ある開発者は、llama.cpp、Python、外部サーバー、またはGDExtensionsに依存することなく、Gemma 4言語モデルをGodotゲームエンジン内で直接実行することに成功しました。

  • このプロジェクトは、モデルのローカル実行のためにGGUFファイルを利用しています。
  • Vulkan計算シェーダーがモデルの計算を処理します。
  • GDScriptはGGUFの読み込み、トークン化、サンプリング、KVキャッシュ、およびチャットUIを管理します。
  • この実装は、CUDAを使用するllama.cppと比較して約10倍遅いです。

この実験は、Godotのネイティブスクリプティングとグラフィックス機能のみを使用してLLMを統合することが可能であることを示しています。