अध्ययन URSA (Utilitarian RetroSynthesis Assessment) का परिचय देता है, जो एक मूल्यांकन फ्रेमवर्क है जिसे औपचारिक और रासायनिक यौक्तिकता के दृष्टिकोणों से सिंथेटिक मार्गों के बेंचमार्किंग के लिए डिज़ाइन किया गया है। यह प्रोटोकॉल विशेषज्ञ रसायनज्ञों की तरह प्रतिक्रियाओं का मूल्यांकन करने का अनुकरण करके, दवा खोज में वस्तुनिष्ठ तुलना की कठिनाई को संबोधित करता है।
- फ्रेमवर्क वाणिज्यिक रूप से उपलब्ध प्रारंभिक सामग्रियों की ओर अभिसरण और रासायनिक यौक्तिकता दोनों का मूल्यांकन करता है।
- यह अनावृत सिंथेटिक मार्गों के साथ नए, विविध लक्ष्य अणुओं पर पारंपरिक एंड-टू-एंड रेट्रोसिंथेसिस समाधानों और बड़े भाषा मॉडलों का मूल्यांकन करता है।
- पाया गया कि LLM उच्च-स्तरीय रणनीतिक योजना का समर्थन करते हैं, लेकिन सिंथेसिस योजना कार्यों को विश्वसनीय रूप से हल करने में विशेषज्ञ रेट्रोसिंथेसिस मॉडलों की तुलना में कम प्रदर्शन करते हैं।