Разработчик успешно запустил языковую модель Gemma 4 непосредственно в игровом движке Godot, не полагаясь на llama.cpp, Python, внешние серверы или GDExtensions.

  • Проект использует файл GGUF для локального выполнения модели.
  • Вычислительные шейдеры Vulkan обрабатывают вычисления модели.
  • GDScript управляет загрузкой GGUF, токенизацией, сэмплированием, KV кэшем и чат-интерфейсом.
  • Реализация работает примерно в 10 раз медленнее, чем llama.cpp с CUDA.

Этот эксперимент демонстрирует, что возможно интегрировать LLM в Godot, используя только его нативные возможности скриптинга и графики.