Les chercheurs proposent un cadre d'évaluation qui utilise la régression regularisée sur les embeddings textuels des éléments pour prédire les propriétés psychométriques, adressant le problème du démarrage à froid dans l'étalonnage des éléments. L'étude applique cette méthode à une banque d'éléments de mathématiques (EEDI) et à un benchmark de licence médicale (BEA 2024), introduisant les plafonds de fiabilité et de conception comme bornes supérieures de performance.
- La difficulté des éléments est hautement prévisible à partir du texte, atteignant un R carré croisé répété de 0.53, ce qui représente environ 57% de son plafond de fiabilité.
- Les paramètres de discrimination et de pseudo-devinettes semblent moins prévisibles, mais cela découle d'une faible fiabilité cible plutôt que d'une faible intensité du signal textuel.
- Le texte récupère uniformément 57 à 63% de la variance fiable à travers les cibles de difficulté, tandis que le plafond de fiabilité du paramètre de pseudo-devinette 3PL est proche de zéro.
- Sur le benchmark BEA, la régression basée sur les embeddings correspond au RMSE du leaderboard malgré l'explication de presque aucune variance, soulignant le besoin de métriques sans échelle.
- Un seul split d'entraînement et de test peut gonfler la précision apparente de 0.1 à 0.15 en R carré, soulignant la nécessité d'une validation croisée répétée.
Les auteurs considèrent cela important car cela démontre que les embeddings textuels peuvent prédire efficacement la difficulté des éléments et fournit un cadre rigoureux pour le benchmarking des applications de support d'étalonnage.