본 기사는 에이전트 시스템에서 모델 라우팅이 단순한 분류 작업이 아니라 시스템 최적화 문제라고 주장하며, 세 가지 주요 복잡성으로 인해 발생한다고 설명합니다: 실제 비용은 스티커 가격뿐만 아니라 캐시 동작에 따라 달라지며, 작업 난이도는 라우팅 시점에 종종 보이지 않으며, 지연 시간은 인프라 상태에 의해 지배된다는 것입니다.

  • CodeAct 에이전트를 사용한 AppWorld 테스트 챌린지에서 Claude Sonnet의 총 비용은 79달러였으나, GPT-4.1은 155달러였습니다. 이는 Sonnet이 높은 히트율로 인해 낮은 캐시 읽기 가격의 혜택을 받았기 때문입니다.
  • 표준 난이도 기반 라우터는 최적화 접근 방식과 비교하여 유사한 정확도를 달성했지만 더 높은 비용이 발생했습니다. 최적화 접근 방식은 전체 트레이드오프 공간을 탐색합니다.
  • 저자의 경량 라우터(작업당 6 ms 및 2 kB 메모리)는 84%의 정확도, 93달러의 비용, 83초의 지연 시간을 달성했으며, 이는 Opus 단독 실행 대비 비용이 21% 절감되고 지연 시간이 9% 단축된 결과를 나타냅니다.

저자들은 효과적인 라우팅이 비용, 품질, 지연 시간, 규정 준수, 신뢰성을 동시에 균형 있게 조정하여 전체 시스템에 대한 최적의 운영 지점을 찾은다고 결론짓습니다.