L'article propose de remplacer les benchmarks rigides à taille fixe par un cadre d'évaluation adaptatif basé sur des tests séquentiels afin de pallier l'inefficacité des méthodes actuelles d'évaluation des modèles.
- Le cadre combine les tests séquentiels avec des critères d'arrêt adaptés à la détection des rendements décroissants et à la taille minimale de l'effet détectable.
- Il permet d'ajuster les niveaux de puissance statistique nécessaires pour différents objectifs tels que le classement ou la sélection de modèles.
- Les démonstrations sur le Open VLM Leaderboard montrent une réduction de 80 % des coûts informatiques par rapport à l'évaluation à taille fixe, tout en maintenant la signification statistique.
Cette approche offre une méthode rigoureuse pour naviguer dans le compromis entre efficacité et fiabilité, empêchant des coûts excessifs ou une fiabilité compromise.