Este trabalho formula a seleção de modelos em tempo de teste consciente do orçamento para grandes modelos de linguagem, tratando a remostragem do modelo comprometido e o rerroteamento para uma alternativa como usos competitivos de um único orçamento de custo por consulta. Os autores propõem uma política de alocação online de remostragem-ou-rerroteamento (RoR) impulsionada pela correção marginal estimada por unidade de custo para maximizar a correção esperada dado um verificador imperfeito.
- Experimentos de replay usam tensores de correção de múltiplas amostras regeneradas de um pool aberto de onze modelos sobre quatro benchmarks.
- A política RoR atinge uma frente de Pareto custo-qualidade favorável em relação às linhas de base de rota única, um roteador de compromisso único, best-of-K consciente do orçamento, cascata e alocação aleatória.
- Os ganhos são maiores no benchmark mais heterogêneo e são gateados pelo verificador, diminuindo à medida que a qualidade do verificador se degrada.
- Replays de robustez sob um vetor de preços do provedor e um verificador de acordo sem rótulos delineiam onde as conclusões se mantêm.
A abordagem aborda a lacuna entre roteadores implantados e oráculos por instância otimizando a alocação de orçamento sem exigir rótulos de correção idealizados.