Gemma 4가 GDScript 및 Vulkan 컴퓨팅 셰이더를 통해 Godot 내에서 실행됨

한 개발자는 llama.cpp, Python, 외부 서버 또는 GDExtensions에 의존하지 않고 Godot 게임 엔진 내에서 Gemma 4 언어 모델을 직접 실행하는 데 성공했습니다.

• 이 프로젝트는 모델의 로컬 실행을 위해 GGUF 파일을 사용합니다.
• Vulkan 컴퓨팅 셰이더가 모델 계산을 처리합니다.
• GDScript는 GGUF 로드, 토큰화, 샘플링, KV 캐시 및 채팅 UI를 관리합니다.
• 이 구현은 CUDA를 사용하는 llama.cpp보다 약 10배 느립니다.

이 실험은 Godot의 네이티브 스크립팅 및 그래픽 기능만 사용하여 LLM을 통합할 수 있음을 보여줍니다.