研究者らは、エージェントRouterを提案した。これは軽量な分類器であり、すべてのタスクに最先端モデルを使用するのではなく、個々の軌跡のステップを適切なモデルティアにルーティングすることで、マルチステップのエージェントワークフローを最適化する。

  • AgentRouterは12Mパラメータのモデルを使用し、A100 GPU上でステップごとに5ms未満のオーバーヘッドで、5つの特徴に基づいてステップを4つのティアにマッピングする。
  • プランニング、コーディング、リサーチ、データ分析のタスクにわたる50,000の注釈付きステップで学習され、最先端モデルのみを使用した場合の品質の97.3%を維持しながらコストを72%削減している。
  • ルーティング精度は最小複雑度のステップで91%、効率的なティアのステップで85%に達し、それぞれコスト削減が31%と44%にとどまったRouteLLMやFrugalGPTを上回っている。

このアプローチは、軌跡内の異なるステップが異なるレベルのモデル能力を必要とすることを認識することで、エンタープライズのエージェントシステムにおける推論コストを大幅に低減する。