एक अध्ययन BioASQ 14b Task B चुनौती के लिए एक बड़े भाषा मॉडल फ्रेमवर्क प्रस्तुत करता है जो प्रश्न के प्रकार के आधार पर निष्कर्ष प्रक्रियाओं का चयन करके उत्तरों की दृढ़ता को बेहतर बनाता है। सिस्टम हाँ/ना प्रश्नों के लिए स्निपेट शफलिंग और स्व-प्रतिबिंब, तथ्यात्मक प्रश्नों के लिए चेन-ऑफ-थाट इन्-कॉन्टेक्स्ट लर्निंग, और सूची प्रश्नों के लिए मल्टी-एजेंट आर्किटेक्चर का उपयोग करता है।
- हाँ/ना प्रश्न साक्ष्य क्रम के प्रति संवेदनशीलता कम करने के लिए स्निपेट शफलिंग और स्व-प्रतिबिंब का उपयोग करते हैं।
- तथ्यात्मक प्रश्न इकाई पहचान के लिए पूर्ण-स्निपेट इनपुट को चेन-ऑफ-थाट-आधारित इन्-कॉन्टेक्स्ट लर्निंग के साथ जोड़कर उपयोग करते हैं।
- सूची प्रश्नों का सामूहिक साक्ष्य निष्कर्षण और सत्यापन के लिए मल्टी-एजेंट आर्किटेक्चर के माध्यम से निपटाया जाता है।
फ्रेमवर्क ने बैच 4 में तथ्यात्मक उप-कार्य में पहले स्थान पर हासिल किया, जो प्रश्न-प्रकार-विशिष्ट निष्कर्ष को एजेंट-आधारित सत्यापन के साथ मिलाने की प्रभावशीलता को प्रदर्शित करता है।