Turboderp は ExLlamaV3 v1.0.0 をリリースしました。これは1年以上の開発を経て、このライブラリの最初の安定版です。今回のアップデートでは、推論速度の向上と依存関係の削減を目指した、重要なアーキテクチャの変更とカーネル最適化が導入されました。

  • flash-attention-2 と xformers の依存関係が削除されました。
  • Gemma4 を含むほとんどのモデルに tensor-parallel サポートが拡張されました。
  • KV 量子化による速度低下を解消するオンラインキャッシュ量子化を備えた新しいアテンションカーネルが導入されました。
  • すべての attn/GDN モジュールのグラフパスと新しい conv1d カーネルが追加されました。
  • Ampere GPU における GEMM/GEMV パフォーマンスが大幅に向上し、新しい INT8 GEMV カーネルが追加されました。
  • 新しい MoE カーネルチケットスケジューラが実装され、GptOssForCausalLM と NemotronHForCausalLM のサポートが追加されました。

今回のリリースは、これらの広範な最適化とバグ修正を通じて、より高速な推論機能と幅広いモデルの互換性を提供することを目指しています。