शोधकर्ताओं ने FormalRx का परिचय दिया, जो एक व्यापक निदान मूल्यांकन ढांचा है जिसे ऑटोफॉर्मलाइजेशन मूल्यांकन को अस्पष्ट द्विआधारी निर्णयों से क्रियाशील प्रतिक्रिया में बदलने के लिए डिज़ाइन किया गया है। सिस्टम SCI Error Taxonomy का उपयोग करके त्रुटियों को 28 विशिष्ट श्रेणियों में विभाजित करता है और अलाइनमेंट निर्णय, त्रुटि वर्गीकरण, स्थानीयकरण और सुधार के लिए क्षमताएं प्रदान करता है।
- FormalRx में एक निदान मॉडल, FormalRx-8B शामिल है, जिसे 56,287 NL-FL युग्मों पर सूक्ष्म टिप्पणियों के साथ प्रशिक्षित किया गया था।
- ढांचे ने ऑटोफॉर्मलाइजेशन के लिए पहला सूक्ष्म निदान बेंचमार्क के रूप में FormalRx-Test को जारी किया।
- FormalRx-8B ने निर्णयों के लिए 0.88 और वर्गीकरण के लिए 0.71 की F1-स्कोर प्राप्त की, साथ ही स्थानीयकरण के लिए 0.75 और सुधार के लिए 0.73 की सटीकता के साथ।
- यह मॉडल इन निदान कार्यों में सामान्य उद्देश्य वाले LLMs और विशेष आधार रेखाओं दोनों को काफी बेहतर करता है।
मूल्यांकन को क्रियाशील अंतर्दृष्टि से जोड़कर, FormalRx ऑटोफॉर्मलाइजेशन सिस्टम के व्यवस्थित निदान और सुधार को सक्षम बनाता है।