이 연구는 대규모 언어 모델에 대한 예산 인식 테스트 타임 모델 선택을 공식화하며, 커밋된 모델의 재추출과 대체 모델로의 재라우팅을 단일 쿼리 비용 예산의 경쟁적인 용도로 다룹니다. 저자들은 불완전한 검증기가 주어졌을 때 기대 정확성을 최대화하기 위해 단위 비용당 추정 한계 정확성에 의해 구동되는 온라인 resample-or-reroute (RoR) 배분 정책을 제안합니다.
- 리플레이 실험은 4개의 벤치마크에 걸쳐 11개 모델의 오픈 가중치 풀에서 재생성된 멀티 드로우 정확성 텐서를 사용합니다.
- RoR 정책은 단일 라우트, 원 커밋 라우터, 예산 인식 best-of-K, 캐스케이드, 랜덤 배분 기반선과 비교하여 유리한 비용-품질 파레토 전선을 달성합니다.
- 이득은 가장 이질적인 벤치마크에서 가장 크며 검증기에 의해 게이트되며, 검증기 품질이 저하됨에 따라 축소됩니다.
- 공급자 가격 벡터와 레이블 없는 합의 검증기 하에서의 강건성 리플레이는 결론이 어디까지 적용되는지를 명확히 합니다.
이 접근법은 이상적인 정확성 라벨을 요구하지 않고 예산 배분을 최적화하여 배포된 라우터와 인스턴스별 오라클 간의 격차를 해소합니다.