Los investigadores proponen un marco de evaluación que utiliza regresión regularizada sobre incrustaciones de texto de los ítems para predecir propiedades psicométricas, abordando el problema del inicio en frío en la calibración de ítems. El estudio aplica este método a un banco de ítems de matemáticas (EEDI) y a una prueba de referencia de licencia médica (BEA 2024), introduciendo límites de fiabilidad y diseño como cimas superiores de rendimiento.
- La dificultad del ítem es altamente predecible a partir del texto, alcanzando un R cuadrado validado cruzadamente repetido de 0.53, lo que representa aproximadamente el 57% de su límite de fiabilidad.
- Los parámetros de discriminación y adivinación pseudoaleatoria parecen menos predecibles, pero esto se debe a una baja fiabilidad del objetivo en lugar de una debilidad en la intensidad de la señal textual.
- El texto recupera uniformemente entre el 57 y el 63% de la varianza fiable en los objetivos de dificultad, mientras que el parámetro de adivinación pseudoaleatoria del modelo 3PL tiene un límite de fiabilidad cercano a cero.
- En la prueba de referencia BEA, la regresión basada en incrustaciones iguala el RMSE del ranking a pesar de explicar casi ninguna varianza, destacando la necesidad de métricas independientes de la escala.
- Una única división de entrenamiento y prueba puede influir la precisión aparente entre 0.1 y 0.15 en R cuadrado, subrayando la necesidad de validación cruzada repetida.
Los autores consideran esto importante porque demuestra que las incrustaciones de texto pueden predecir eficazmente la dificultad del ítem y proporciona un marco riguroso para evaluar aplicaciones de soporte de calibración.