Специализированная система генерации с дополнением извлечения, названная VITA и предназначенная для стран с низким и средним уровнем дохода, была оценена по сравнению с универсальными большими языковыми моделями на бенчмарке HealthBench. Исследование показывает, что специфичный для корпуса дизайн может поддерживать конкурентоспособную производительность даже при выходе новых передовых моделей.

  • На 4023 вопросах HealthBench на английском языке VITA заняла первое место с 51,9% возможных баллов по рубрике, опередив GPT-5.4 (46,1%), o4-mini (44,3%), Gemini 3.1 Pro (42,6%) и Claude Sonnet 4.6 (37,3%).
  • VITA набрала наивысший балл в 45,4% вопросов при оценке судьей GPT-4.1.
  • В тесте на устойчивость с использованием нейтрального судьи с открытым весом VITA достигла паритета с GPT-5.5 и лидировала по взвешенным по баллам показателям.
  • Система извлекает информацию из курируемого корпуса, включающего специфичные для заболеваний руководства, данные об антимикробной резистентности, специфичные для Индии, и протоколы оказания помощи в условиях ограниченных ресурсов.

Результаты указывают на то, что специально созданная клиническая система RAG остается конкурентоспособной по сравнению с передовыми LLM, что предполагает, что специфика корпуса улучшает обоснованность, несмотря на потенциально менее отточенную коммуникацию.