연구자들은 에이전트 워크플로우의 다단계 과정을 최적화하기 위해 AgentRouter를 제안했습니다. 이는 매 작업마다 최상위 모델을 사용하는 대신 개별 궤적 단계를 적절한 모델 계층으로 라우팅하는 경량 분류기입니다. 이 시스템은 단일 에이전트 세션 내에서 하위 작업 복잡성이 다양함을 무시하는 기존 솔루션의 비효율성을 해결합니다.

  • AgentRouter는 1200만 파라미터 모델을 사용하며, A100 GPU에서 단계당 오버헤드가 5ms 미만으로, 다섯 가지 특징을 기반으로 단계를 네 계층에 매핑합니다.
  • 계획, 코딩, 연구, 데이터 분석 작업에 걸쳐 주석이 달린 50,000개의 학습된 단계로 훈련되었으며, 최상위 모델 전용 품질의 97.3%를 유지하면서 비용을 72% 절감합니다.
  • 라우팅 정확도는 최소 복잡도 단계에서 91%, 효율적 계층 단계에서 85%에 달하며, 각각 비용 절감률이 31%와 44%에 불과한 RouteLLM과 FrugalGPT를 능가합니다.

이 접근 방식은 궤적 내의 서로 다른 단계가 서로 다른 수준의 모델 능력을 필요로 한다는 점을 인식함으로써 기업용 에이전트 시스템의 추론 비용을 크게 낮춥니다.