शोधकर्ता एक मूल्यांकन ढांचे का प्रस्ताव रखते हैं जो आइटम कैलिब्रेशन में कोल्ड स्टार्ट समस्या को हल करने के लिए आइटम टेक्स्ट एम्बेडिंग पर रेगुलाइज्ड रीग्रेशन का उपयोग करके साइकोमेट्रिक गुणों की भविष्यवाणी करता है। अध्ययन इस विधि को एक गणितीय आइटम बैंक (EEDI) और एक चिकित्सा लाइसेंसिंग बेंचमार्क (BEA 2024) पर लागू करता है, प्रदर्शन ऊपरी सीमाओं के रूप में विश्वसनीयता और डिज़ाइन छतों को पेश करते हुए।
- आइटम की कठिनाई पाठ से अत्यधिक भविष्यवाणी योग्य है, जिसमें 0.53 का दोहराया गया क्रॉस-वैलिडेटेड R स्क्वायर प्राप्त हुआ, जो इसके विश्वसनीयता छत का लगभग 57% प्रतिनिधित्व करता है।
- भेदभाव और झूठी अनुमानन पैरामीटर कम भविष्यवाणी योग्य प्रतीत होते हैं, लेकिन यह कम लक्ष्य विश्वसनीयता के कारण है न कि कमजोर पाठ सिग्नल शक्ति के कारण।
- पाठ कठिनाई लक्ष्यों में विश्वसनीय विचरण का 57 से 63% समान रूप से पुनर्प्राप्त करता है, जबकि 3PL झूठी अनुमानन पैरामीटर की विश्वसनीयता छत शून्य के निकट है।
- BEA बेंचमार्क पर, एम्बेडिंग-आधारित रीग्रेशन लगभग कोई विचरण समझाए बिना भी लीडरबोर्ड RMSE से मेल खाता है, जिससे स्केल-मुक्त मापदंडों की आवश्यकता का उद्घाटन होता है।
- एकमात्र प्रशिक्षण और परीक्षण विभाजन R स्क्वायर में 0.1 से 0.15 तक apparent सटीकता को बढ़ा सकता है, जो दोहराए गए क्रॉस-वैलिडेशन की आवश्यकता पर जोर देता है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह दिखाता है कि पाठ एम्बेडिंग आइटम कठिनाई को प्रभावी ढंग से भविष्यवाणी कर सकते हैं और बेंचमार्किंग कैलिब्रेशन सहायता अनुप्रयोगों के लिए एक कड़ा ढांचा प्रदान करते हैं।