研究者らは、単一の最先端モデルをすべてのタスクに使用するのではなく、個々の軌跡のステップを適切なモデル階層にルーティングすることで、マルチステップのエージェントワークフローを最適化する軽量な分類器であるAgentRouterを提案している。このシステムは、より小さなモデルでも同等に処理できるサブタスクに対して推論予算の60〜80%を浪費するエンタープライズシステムの非効率性に対処する。

  • AgentRouterは、12Mパラメータの分類器を使用し、A100 GPU上でステップごとに5ms未満のオーバーヘッドで、抽出可能な5つの特徴に基づいてステップを4つのモデル階層にマッピングする。
  • 50,000件の注釈付きエージェント軌跡ステップで学習され、最先端モデルのみを使用するベースラインと比較して72%のコスト削減を実現しつつ、品質の97.3%を維持している。
  • システムは、最小限の複雑さを持つステップにおいて91%、効率的な階層のステップにおいて85%のステップレベルルーティング精度を示す。
  • 単一ターンソリューションが見逃す軌跡レベルの品質依存性を考慮することで、それぞれ31%と44%のコスト削減しか達成できないRouteLLMやFrugalGPTを上回る。