Исследователи предлагают оценочную рамку, использующую регуляризованную регрессию на текстовых эмбеддингах элементов для прогнозирования психометрических свойств, решая проблему холодного старта в калибровке элементов. Исследование применяет этот метод к банку математических элементов (EEDI) и бенчмарку медицинского лицензирования (BEA 2024), вводя пределы надёжности и дизайна как верхние границы производительности.

  • Сложность элемента высоко предсказуема по тексту, достигая повторной перекрёстно-валидированной R squared равной 0.53, что составляет около 57% от её предела надёжности.
  • Дискриминация и параметры псевдоугадывания кажутся менее предсказуемыми, но это обусловлено низкой целевой надёжностью, а не слабой силой текстового сигнала.
  • Текст равномерно восстанавливает от 57 до 63% надёжной дисперсии по целям сложности, тогда как для параметра псевдоугадывания 3PL предел надёжности близок к нулю.
  • На бенчмарке BEA регрессия на основе эмбеддингов достигает RMSE лидерборда, объясняя почти нулевую дисперсию, что подчёркивает необходимость метрик, не зависящих от масштаба.
  • Одно разделение на обучение и тест может завышать кажущуюся точность на 0.1–0.15 в R squared, подчеркивая необходимость повторной перекрёстной валидации.

Авторы считают это важным, поскольку это демонстрирует, что текстовые эмбеддинги могут эффективно предсказывать сложность элемента и обеспечивают строгую рамку для бенчмаркинга приложений поддержки калибровки.