Пользователи оценивают локальные модели с помощью RAG, обнаружив значительное улучшение точности

Пользователь Reddit протестировал точность локальных больших языковых моделей на технических вопросах, сравнив их с документацией по таким проектам, как Node, Langchain.js и TypeScript. Эксперимент сравнивал модели unsloth Gemma QAT, Apple Intelligence AFM 2 3B и модели Qwen с использованием Retrieval-Augmented Generation (RAG) и без него.

• Без RAG локальные модели показывали плохие результаты по технической точности.
• Добавление системы RAG, внедряющей релевантные документы, значительно улучшило показатели, сделав модели «очень хорошими».
• Включение возможностей «мышления» дало лишь незначительное улучшение на 1% при увеличении задержки.
• Apple Intelligence AFM 2 3B достигла результата в 86% несмотря на ограниченное контекстное окно в 4k.

Результаты показывают, что локальные LLM высокоэффективны для технических запросов при подключении к базе знаний через RAG, тогда как автономная производительность недостаточна.