Ce travail formule la sélection de modèle en temps de test consciente du budget pour les grands modèles de langage, traitant le resampling du modèle engagé et le rerouting vers une alternative comme des usages concurrents d'un seul budget de coût par requête. Les auteurs proposent une politique d'allocation en ligne resample-or-reroute (RoR) pilotée par la correction marginale estimée par unité de coût pour maximiser la correction attendue étant donné un vérificateur imparfait.
- Les expériences de replay utilisent des tenseurs de correction multi-draw régénérés à partir d'un pool open-weight de onze modèles sur quatre benchmarks.
- La politique RoR atteint une frontière de Pareto coût-qualité favorable par rapport aux lignes de base single-route, one-commit-router, best-of-K conscient du budget, cascade et allocation aléatoire.
- Les gains sont les plus importants sur le benchmark le plus hétérogène et sont verrouillés par le vérificateur, diminuant à mesure que la qualité du vérificateur se dégrade.
- Les replays de robustesse sous un vecteur de prix fournisseur et un vérificateur d'accord sans étiquette délimitent où les conclusions s'appliquent.
L'approche comble l'écart entre les routeurs déployés et les oracles par instance en optimisant l'allocation du budget sans nécessiter d'étiquettes de correction idéalisées.