著者は、シングルGPUからデュアルGPUへのアップグレードが、より大きく高品質なモデル量子化の使用を可能にするのではなく、並列処理を通じてより大きな利益をもたらすと主張しています。コーディングタスクにおいて、Q4とQ6/Q8の量子化間の品質差は最小限であり、そのため拡張されたコンテキストウィンドウとスループットの方がより価値があります。

  • このセットアップでは、分割されたサブタスクを管理するために広範なコンテキストを持つQwen 27Bモデルをオーケストレーターとして使用します。
  • Qwen 35B-A3Bなどのサブエージェントは、115kのコンテキスト制限内で狭いタスクを処理し、終了する前に報告を行います。
  • このアーキテクチャにより、3つのエージェントが並列で実行され、単一のモデルと比較して全体的なスループットが大幅に向上します。
  • システムは、サブエージェントを特定の明確に定義されたタスクに対してアクティブに保つことで、頻繁なモデルのアンロードや圧縮を回避しています。

このアプローチは、不適切なハードウェア上で大きな100B+モデルを実行しようとするよりも実用的な価値を提供し、SOTAクローズドモデルは稀な専門家のレビューのためにのみ予約されています。