Разработчик перенёс три модели с открытым исходным кодом — OpenMOSS для синтеза речи из текста, ThinkSound для создания звуковых эффектов и Trellis.2 для 3D-генерации — на фреймворк GGML, чтобы создать полный локальный конвейер для генерации игровых ассетов.

  • OpenMOSS обеспечивает полную возможность клонирования голоса и его синтеза для NPC.
  • ThinkSound занимается генерацией звуковых эффектов, восполняя пробел, оставленный моделями голоса.
  • Trellis.2 является текущим лидером среди моделей с открытым исходным кодом для 3D-генерации, включая удаление фона.
  • Все движки поддерживают CUDA, Vulkan и ROCm для широкой совместимости с оборудованием.

Эти инструменты теперь интегрированы в Lemonade SDK, что позволяет выполнять каскадные вызовы моделей, например полный цикл преобразования текста в 3D с использованием stablediffusion.cpp.