Este trabajo formula la selección de modelos en tiempo de prueba consciente del presupuesto para grandes modelos de lenguaje, tratando el remuestreo del modelo comprometido y el reruteo a una alternativa como usos competitivos de un único presupuesto de costo por consulta. Los autores proponen una política de asignación online de remuestreo-o-reruteo (RoR) impulsada por la corrección marginal estimada por unidad de costo para maximizar la corrección esperada dado un verificador imperfecto.
- Los experimentos de replay utilizan tensores de corrección de múltiples dibujos regenerados de un pool abierto de once modelos sobre cuatro benchmarks.
- La política RoR alcanza una frontera Pareto costo-calidad favorable en comparación con las líneas base de ruta única, un router de compromiso único, best-of-K consciente del presupuesto, cascada y asignación aleatoria.
- Las ganancias son mayores en el benchmark más heterogéneo y están condicionadas por el verificador, disminuyendo a medida que la calidad del verificador se degrada.
- Las réplicas de robustez bajo un vector de precios del proveedor y un verificador de acuerdo sin etiquetas delinean dónde se mantienen las conclusiones.
El enfoque aborda la brecha entre los routers implementados y los oráculos por instancia optimizando la asignación de presupuesto sin requerir etiquetas de corrección idealizadas.