Un document de position soutient que les systèmes d'IA modernes doivent passer des roues de maintenance réactives à un développement proactif basé sur les tests pour améliorer la généralisation. Les pipelines réactifs actuels dépendent de l'observation des erreurs des utilisateurs pour corriger les modèles, ce qui ignore souvent les objectifs systémiques plus larges et échoue à anticiper les cas limites futurs.
Les auteurs plaident pour la création d'un "espace de test" afin de mapper les données de retour aux objectifs de la tâche, faisant ainsi évoluer la roue du réactif au proactif. Ils démontrent mathématiquement que cette approche proactive atteint une meilleure mise à l'échelle à long terme avec moins d'itérations par rapport aux méthodes réactives.
Ce changement aborde la difficulté statistique de collecter les erreurs restantes dans des cas d'utilisation en monde ouvert et vise à construire des systèmes d'IA plus généralisables.