あるユーザーはCodexに、302GBのDeepSeek V4 Flash 8ビットアフィンモデル向けにoMLXランタイムを最適化するよう依頼し、Mac Studio M3 Ultra上で大幅なパフォーマンス向上を実現しました。この変更により、ネイティブなDeepSeek MoE Metalカーネルが有効化され、汎用のルートソートがバケット/カウントパスに置き換えられました。

  • 12Kプロンプトにおけるプレフィル速度が約300 tok/sから約533 tok/sに向上。
  • 制御されたベンチマークにおいて、デコード速度が約7.31 tok/sから約20-22 tok/sに改善。
  • 80K-120Kのコンテキストを持つ実世界のHermes実行では、デコード速度が約19.5-20.7 tok/sを維持。
  • この最適化は、オーバーヘッドを削減するために8ビットアフィンMetalカーネルのインスタンス化とルートインデックス付きデコードカーネルを追加します。

著者は、重みと量子化フォーマットが変更されていないことに留意しつつ、変更が意味のある精度低下を引き起こさないことをコミュニティに検証するよう求めています。