Данная работа формулирует задачу осознанного с точки зрения бюджета выбора модели во время тестирования для больших языковых моделей, рассматривая ресэмплинг зафиксированной модели и перенаправление к альтернативе как конкурирующие использования единого бюджета стоимости на один запрос. Авторы предлагают политику распределения онлайн-ресэмплинга или перенаправления (RoR), управляемую оценкой маржинальной корректности на единицу стоимости, для максимизации ожидаемой корректности при наличии несовершенного верификатора.
- Эксперименты с воспроизведением используют регенерированные тензоры корректности множественных выборок из открытого пула из одиннадцати моделей над четырьмя бенчмарками.
- Политика RoR достигает благоприятной парето-фронты стоимость-качество по сравнению с базовыми вариантами однократного маршрута, одного коммит-роутера, бюджетно-осознанного best-of-K, каскада и случайного распределения.
- Приросты наиболее велики на самом гетерогенном бенчмарке и зависят от верификатора, уменьшаясь по мере деградации качества верификатора.
- Воспроизведения устойчивости при векторе цен провайдера и верификаторе согласия без меток delineate области, где выводы сохраняют силу.
Подход устраняет разрыв между развернутыми роутерами и оракулами на уровне экземпляра за счет оптимизации распределения бюджета без необходимости в идеализированных метках корректности.