Разработчик выпустил бесплатный и простой API для Retrieval-Augmented Generation (RAG), основанный на статьях медицинской Википедии, чтобы обеспечить локальным большим языковым моделям точную фактическую информацию. Сервис ориентирован на время ответа менее секунды и в настоящее время работает на одном ARM VPS, используя около 2 ГБ оперативной памяти.
- API поддерживает Model Context Protocol (MCP) для простой интеграции с AI-агентами.
- Он позволяет пользователям указывать своим LLM извлекать медицинские факты непосредственно из источника, а не полагаться исключительно на веса модели.
- Демонстрация показывает, как небольшая модель (qwen3.5-0.8B) без RAG галлюцинирует неверные кардиологические детали о симптоме Лермитта, тогда как при использовании API она правильно идентифицирует его как неврологический симптом.
Этот инструмент помогает смягчать галлюцинации в локальных LLM, предоставляя им проверенные медицинские данные, которые они могли не запомнить.