あるユーザーが、M1およびM2 Ultraデバイス向けに構築されたカスタムエンジンを使用して、Apple Siliconハードウェア上で拡散ベースの言語モデル（dLLMs）、具体的にはLLaDA2.1とSumiを実行する初期実験の結果を報告しています。

  • M1で4.6–22.2 tok/s、M2 Ultraで32.1–122.6 tok/sという基礎的なスループットが確立されました。
  • デフォルトとして一様な4ビット量子化が採用され、モデルのフットプリントは約9.57 GBとなり、低い自信の反転率を実現しました。
  • 弾性キャッシュ（却下）、マルチブロックアンマスク（仮に承認）、S2D2による自動推測（承認）など、いくつかの最適化がテストされました。
  • TSCV投票によりGSM8Kの精度が6–8パーセントポイント向上し、CPUオーバーヘッドはゼロでした。一方、Credit Decodingはほぼ無視できるほどの効果しか示しませんでした。
  • ルーティング分析により、固有のエキスパート数が予測より少ないことが明らかになり、量子化解除が遅さをもたらすため、量子化は依然として必要であることが示されました。

著者は、個人デバイス向けに機能的な拡散エンジンを構築し、これらのモデルがどのように動作するかについてより深い理解を得ることを目指しています。