Разработчик создал игронезависимый бэкенд движка NPC, который использует небольшие локальные модели для достижения быстрого времени отклика и приемлемого качества в ролевых играх. Система использует NVIDIA Parakeet 0.6 для преобразования речи в текст, Gemma 4 26B A4B в качестве LLM и Qwen3-TTS для синтеза голоса.

  • Архитектура сильно вдохновлена SillyTavern.
  • Для поддержания лаконичности промптов используется Retrieval-Augmented Generation (RAG), который внедряет только контекстно релевантные действия из большого пула.
  • Этот подход предотвращает перегрузку модели гигантскими списками доступных действий на каждом ходу.

Автор предполагает, что этот метод может представлять будущее RPG по мере того, как небольшие локальные модели продолжают улучшать свои возможности.