VITA नामक एक विशेष रूप से बनाया गया रीट्रीवल-अगमेंटेड जनरेशन सिस्टम, जो कम और मध्यम आय वाले क्षेत्रों के लिए डिज़ाइन किया गया था, का HealthBench बेंचमार्क पर सामान्य उद्देश्य वाले बड़े भाषा मॉडल्स के साथ मूल्यांकन किया गया। अध्ययन दिखाता है कि कॉर्पस-विशिष्ट डिज़ाइन नए फ्रंटियर मॉडल्स जारी होने के बावजूद प्रतिस्पर्धी प्रदर्शन बनाए रख सकता है।
- 4,023 अंग्रेजी भाषा के HealthBench प्रश्नों पर, VITA ने संभावित रबरिक बिंदुओं में से 51.9% के साथ पहले स्थान पर रहा, जो GPT-5.4 (46.1%), o4-mini (44.3%), Gemini 3.1 Pro (42.6%), और Claude Sonnet 4.6 (37.3%) से आगे था।
- जब एक GPT-4.1 जज द्वारा ग्रेड किया गया, तो VITA ने 45.4% प्रश्नों पर उच्चतम स्कोर प्राप्त किया।
- एक तटस्थ ओपन-वेट जज का उपयोग करते हुए एक रोबस्टनेस टेस्ट में, VITA ने GPT-5.5 के साथ समानता हासिल की और पॉइंट्स-वेटेड स्कोर पर अग्रणी रहा।
- सिस्टम बीमारी-विशिष्ट दिशानिर्देशों, भारत-विशिष्ट एंटीमाइक्रोबियल रेजिस्टेंस डेटा, और संसाधन-सीमित देखभाल प्रोटोकॉल सहित एक संपादित कॉर्पस से रीट्रीव करता है।
परिणाम संकेत करते हैं कि एक विशेष रूप से बनाया गया क्लिनिकल RAG सिस्टम फ्रंटियर LLMs के साथ प्रतिस्पर्धी बना हुआ है, जिसका सुझाव है कि कॉर्पस विशिष्टता कम संचार चमक होने के बावजूद ग्राउंडिंग को बेहतर बनाती है।