Un développeur a réussi à exécuter le modèle de langage Gemma 4 directement au sein du moteur de jeu Godot, sans recourir à llama.cpp, Python, des serveurs externes ou aux GDExtensions.

  • Le projet utilise un fichier GGUF pour l'exécution locale du modèle.
  • Les shaders de calcul Vulkan gèrent les calculs du modèle.
  • GDScript gère le chargement du GGUF, la tokenisation, l'échantillonnage, le cache KV et l'interface utilisateur de chat.
  • L'implémentation est environ 10 fois plus lente que llama.cpp avec CUDA.

Cette expérience démontre qu'il est possible d'intégrer des LLM dans Godot en utilisant uniquement ses capacités natives de script et de graphisme.