著者はAiiStream Q3.6をリリースしました。これは、8〜16 GBのRAMを搭載したApple Siliconデバイス上でQwen3.6-35B-A3Bモデルを実行することを可能にするオープンソース技術です。ルーティングされたエキスパートをSSD上に保持し、早期ロード予測を使用することで、この手法はMLXのメモリ使用量を約1.7 GBに削減しつつ、標準的なmlx_lm実装とバイトレベルで完全に一致する出力を維持します。
16 GB M5 MacBook Airでの主要なパフォーマンス指標：
- 制御されたベンチマークで15.0 tok/s。これはSSDからの直接ストリーミングより72.6%高速です。
- 他のアプリケーションを実行している場合、約11.8 tok/s。
- 短いプロンプトの場合、最初のトークンまでの時間は約2.3秒。
この手法は8 GBのMacでも動作するように設計されていますが、その構成に関するパフォーマンス数値は現在のリリースに基づいた推定値です。