Pesquisadores propõem um framework de avaliação que utiliza regressão regularizada em embeddings de texto dos itens para prever propriedades psicométricas, abordando o problema do cold start na calibração de itens. O estudo aplica esse método a um banco de itens de matemática (EEDI) e a um benchmark de licenciamento médico (BEA 2024), introduzindo limites de confiabilidade e de projeto como limites superiores de desempenho.
- A dificuldade do item é altamente previsível a partir do texto, alcançando um R quadrado validado cruzadamente repetido de 0,53, o que representa cerca de 57% do seu limite de confiabilidade.
- Os parâmetros de discriminação e de palpite pseudo parecem menos previsíveis, mas isso decorre da baixa confiabilidade do alvo, e não da fraqueza da força do sinal textual.
- O texto recupera uniformemente de 57 a 63% da variância confiável em alvos de dificuldade, enquanto o parâmetro de palpite pseudo do modelo 3PL tem um limite de confiabilidade próximo de zero.
- No benchmark BEA, a regressão baseada em embeddings iguala o RMSE do ranking apesar de explicar quase nenhuma variância, destacando a necessidade de métricas livres de escala.
- Uma única divisão de treino e teste pode inflacionar a precisão aparente em 0,1 a 0,15 no R quadrado, sublinhando a necessidade de validação cruzada repetida.
Os autores consideram isso importante porque demonstra que embeddings de texto podem prever efetivamente a dificuldade do item e fornece um framework rigoroso para benchmarking de aplicações de suporte à calibração.