एक डेवलपर ने llama.cpp, Python, बाहरी सर्वरों या GDExtensions पर निर्भर किए बिना Godot गेम इंजन के भीतर सीधे Gemma 4 भाषा मॉडल को सफलतापूर्वक चलाया है।
- प्रोजेक्ट स्थानीय रूप से मॉडल के निष्पादन के लिए एक GGUF फ़ाइल का उपयोग करता है।
- Vulkan compute shaders मॉडल की गणनाओं को संभालते हैं।
- GDScript GGUF लोडिंग, टोकनाइज़ेशन, सैंपलिंग, KV कैश और चैट UI को प्रबंधित करता है।
- यह कार्यान्वयन CUDA के साथ llama.cpp की तुलना में लगभग 10 गुना धीमा है।
यह प्रयोग दिखाता है कि केवल Godot के अपने नेटिव स्क्रिप्टिंग और ग्राफिक्स क्षमताओं का उपयोग करके LLMs को Godot में एकीकृत करना संभव है।