ある開発者が、テキストから音声への変換（OpenMOSS）、効果音生成（ThinkSound）、3D生成（Trellis.2）のための3つのオープンソースモデルをGGMLフレームワークにポートし、ゲームアセットの完全なローカルパイプラインを作成しました。

  • OpenMOSSはNPCキャラクターの完全な音声クローンと生成機能を提供します。
  • ThinkSoundは効果音の生成を扱い、音声モデルが残したギャップを埋めます。
  • Trellis.2は背景除去を含むオープンソース3D生成における現在の最先端技術です。
  • すべてのエンジンがCUDA、Vulkan、ROCmをサポートし、広範なハードウェア互換性を実現しています。

これらのツールはLemonade SDKに統合され、stablediffusion.cppを使用した完全なテキストから3Dへのサイクルなど、カスケードモデル呼び出しを可能にしています。