TurboderpはExLlamaV3に重要なアップデートを提供し、Mixture of Experts (MoE) 専門家のためのCPUオフロード機能を導入しました。このアップデートには、新たにリリースされたGLM-5.3-FlashおよびQwen3.8-Flashモデルのサポートも含まれます。

  • MoE専門家専用のCPUオフロードの実装。
  • ngramディスクオフロード機能を持つQwen-3.8-Flash-Nextのサポート。
  • exl3形式を介したGLM-5.3-Flashの統合。
  • 新しい自己較正最適化技術の導入。
  • エンジンに対するその他のさまざまな最適化と改善。

これらのアップデートにより、ExLlamaV3のハードウェアの柔軟性とモデル互換性が拡大し、ユーザーは特定のモデルコンポーネントにCPUリソースを活用できるようになります。