El artículo propone reemplazar las evaluaciones rígidas de tamaño fijo con un marco de evaluación adaptativo basado en pruebas secuenciales para abordar la ineficiencia de los métodos actuales de evaluación de modelos.
- El marco combina pruebas secuenciales con criterios de parada adaptados para la detección de rendimientos decrecientes y el tamaño mínimo del efecto detectable.
- Permite niveles variables de potencia estadística necesarios para diferentes objetivos como el ranking o la selección de modelos.
- Las demostraciones en Open VLM Leaderboard muestran una reducción del 80% en el costo computacional en comparación con la evaluación de tamaño fijo, manteniendo la significancia estadística.
Este enfoque proporciona una manera fundamentada de navegar el compromiso entre eficiencia y confiabilidad, evitando costos excesivos o una confiabilidad comprometida.