로컬 LLM을 게임에 넣어보자 #1 : 준비

바야흐로 대 AI 시대이다. 비용과 성능의 사이에서 몸을 비틀며 게임을 만들고 있는 사람들이 많을 거라 생각한다.

나는 그 중에서 최적화 빌런답게 비용에 집중해보기로 했다. 돈 한푼 안 들이고 생성형 AI를 사용하는 프로젝트를 만드는 게 목표다.

 

 

한계

뭘 시작하지도 않았는데 한계부터 제시한다.

사실 Llama나 Deepseek 등 저사양 로컬 모델을 일정 기간 사용해봤는데, 완벽한 성능을 기대하는 것은 어려웠다. 한글이 깨지기도 하고, 할루시네이션도 많이 뱉고... 맥락을 제대로 읽지도 못하는 경우가 많았다. (허깅페이스에서 한국어 파인튜닝 모델을 사용했다)

또한 로컬 모델은 컴퓨터 사양에 따라 생성 속도가 달라지는 결정적인 문제점을 가지고 있었다.

일단 이번 프로젝트는 문제점이 해결될만한지 각을 보는 정도로만 하고, 스팀에 무료 출시하는 등의 작업만 하려고 한다.

 

 

스펙 정하기

Llama 3.2의 3b 모델로 간다. 왜냐고 물으면 그냥 벤치마크도 그렇고 경험론적으로도 그렇고 제일 괜찮았음.

어차피 나는 AI 개발자가 아니기 때문에 더 이상의 말을 붙일 수는 없다! 몸을 비틀며 생성형 AI를 게임에 넣고 싶은 개발자일 뿐이므로 넘어간다.

 

 

게임 기획하기

- 모델이 답변을 생성하는 동안 시간이 걸리므로, AI와의 상호작용은 알림이나 메신저처럼 구현한다.

- 알림이나 메신저가 오기 전까지 플레이어는 다른 짓을 하고 있다. 미니게임 로그라이크를 하고 있자. (??)

- AI와의 대화에 따라 게임 내용이 해금되는 방식을 취하자. 그 해금 기준을 판단하는 것도 AI가 한다.

- AI가 플레이어의 게임 진행에 따라 게임 난이도를 높이거나 낮출 수 있다.

 

 

관련 패키지 넣기

서치를 해 보니, 두 가지 정도의 적용 방식을 찾을 수 있었다. 두 방식 다 허깅페이스에서 받은 파일을 적용할 수 있으므로, 추후 새 모델이 나오더라도 갈아끼우는 데에는 문제가 없을 듯.

 

Unity Sentis

유니티에서 공식적으로 지원하는 AI 솔루션. 현재 2.1.2 버전까지 나와 있고, 공식 문서도 존재한다.

ONNX 파일 표준을 통해 직접 모델을 임포트하거나, 허깅페이스에서 검증된 모델을 임포트할 수 있다. 이 경우 한국어로 파인튜닝한 신버전 경량 모델을 바로바로 적용해볼 수 없다는 게 약점이 될 듯.

 

https://www.youtube.com/watch?v=0GZ4KJAspJM

 

유니티 코리아에서 센티스를 설명하는 영상이 있다.

 

LLMUnity

3일 전까지도 커밋이 업데이트 될 정도로 활발한 레포다. 1000+ 스타이고, 해당 라이브러리를 적용한 출시 사례도 있으니 흥미롭다.

.gguf를 지원하고, RAG도 지원한다. 그러므로 이번 프로젝트에서는 LLMUnity를 사용해보기로 한다.

 

https://github.com/undreamai/LLMUnity

GitHub - undreamai/LLMUnity: Create characters in Unity with LLMs!

 

 

 

기타

정보를 찾다가, r/LocalLLM과 r/LocalLLaMA 레딧 채널을 찾았다. 최신 로컬 모델 소식을 받기 위해 구독해놓고 매일매일 들어가봐야 할 듯.