يقترح الباحثون إطار تقييم يستخدم الانحدار المنتظم على تضمينات نص العناصر للتنبؤ بالخصائص السيكومترية، مما يعالج مشكلة البداية الباردة في معايرة العناصر. تطبق الدراسة هذه الطريقة على بنك عناصر الرياضيات (EEDI) ومعاينة ترخيص الطب (BEA 2024)، مقدمةً حدود الموثوقية والتصميم كحدود عليا للأداء.
- صعوبة العناصر قابلة للتنبؤ بها بشدة من النص، محققةً مربع R المعاد التحقق منه عبرياً بمقدار 0.53، وهو ما يمثل حوالي 57% من حد موثوقيتها.
- تبدو معاملات التمييز والتخمين الزائف أقل قابلية للتنبؤ، ولكن هذا يعود إلى انخفاض الموثوقية المستهدفة وليس ضعف قوة الإشارة النصية.
- يستعيد النص بشكل منتظم 57 إلى 63% من التباين الموثوق عبر أهداف الصعوبة، بينما يكون حد موثوقية معامل التخمين الزائف 3PL قريباً من الصفر.
- على معاينة BEA، يتطابق الانحدار القائم على التضمينات مع RMSE في لوحة المتصدرين رغم شرحه لتباين ضئيل جداً، مما يبرز الحاجة إلى مقاييس خالية من المقياس.
- يمكن لقسمة تدريب واختبار واحدة أن تضخم الدقة الظاهرة بمقدار 0.1 إلى 0.15 في مربع R، مؤكدةً على ضرورة التحقق المتقاطع المتكرر.
يعتبر المؤلفون هذا مهماً لأنه يثبت أن التضمينات النصية يمكنها التنبؤ بفعالية بصعوبة العناصر وتوفر إطاراً صارماً لمعايرة تطبيقات دعم المعايرة.