Un documento de posición argumenta que los sistemas modernos de IA deben pasar de ruedas de mantenimiento reactivas a un desarrollo proactivo basado en pruebas para mejorar la generalización. Los actuales pipelines reactivos dependen de observar errores de usuarios para parchear modelos, lo que a menudo ignora objetivos más amplios del sistema y falla en prevenir casos límite futuros.
Los autores abogan por crear un "espacio de prueba" para mapear datos de retroalimentación a los objetivos de la tarea, evolucionando así la rueda de reactiva a proactiva. Demuestran matemáticamente que este enfoque proactivo logra un mejor escalado a largo plazo con menos iteraciones en comparación con los métodos reactivos.
Este cambio aborda la dificultad estadística de recopilar errores restantes en casos de uso de mundo abierto y tiene como objetivo construir sistemas de IA más generalizables.