本記事は、エージェントシステムにおけるモデルルーティングは単純な分類タスクではなくシステム最適化の問題であると主張し、その背景には3つの主要な複雑さがあることを示しています：実際のコストはスタンプ価格だけでなくキャッシュ動作に依存し、タスクの難易度はルーティング時には見えないことが多く、レイテンシはインフラストラクチャの状態によって支配されることです。

  • CodeActエージェントを用いたAppWorldテストチャレンジでは、Claude Sonnetの総コストは79ドルでしたが、GPT-4.1は155ドルでした。これは、Sonnetが高いヒット率によりキャッシュ読み取り価格の低さから恩恵を受けたためです。
  • 標準的な難易度ベースのルーターは、最適化アプローチと比較して同程度の精度でより高いコストとなりました。最適化アプローチは、完全なトレードオフ空間を探索します。
  • 著者の軽量ルーター（タスクあたり6 msおよび2 kBメモリ）は、84%の精度、93ドルのコスト、83秒のレイテンシという構成を実現し、Opus単独で実行した場合と比較してコストが21%削減され、レイテンシが9%短縮されました。

著者たちは、効果的なルーティングはコスト、品質、レイテンシ、コンプライアンス、信頼性を同時にバランスさせることで、システム全体の最適な運用ポイントを見つけることに結論付けています。