연구자들은 AgentRouter를 제안했는데, 이는 단일 최첨단 모델을 모든 작업에 사용하는 대신 개별 궤적 단계를 적절한 모델 계층으로 라우팅하여 다단계 에이전트 워크플로우를 최적화하는 경량 분류기입니다. 이 시스템은 더 작은 모델로도 충분히 처리할 수 있는 하위 작업에 추론 예산의 60-80%를 낭비하는 기업 시스템의 비효율성을 해결합니다.
- AgentRouter는 A100 GPU에서 단계당 5ms 미만의 오버헤드로 12M 파라미터 분류기를 사용하며, 추출 가능한 다섯 가지 특징을 기반으로 단계를 네 가지 모델 계층에 매핑합니다.
- 50,000개의 주석이 달린 에이전트 궤적 단계로 학습되었으며, 최첨단 모델 전용 기준 대비 72%의 비용 절감을 달성하면서도 품질의 97.3%를 유지합니다.
- 이 시스템은 최소 복잡도 단계에서 91%, 효율성 계층 단계에서 85%의 단계별 라우팅 정확도를 보여줍니다.
- 단일 턴 솔루션이 놓치는 궤적 수준의 품질 의존성을 고려함으로써 RouteLLM과 FrugalGPT를 능가하며, 이들은 각각 31%와 44%의 비용 절감만 달성합니다.