Usuários avaliam modelos locais com RAG, encontrando melhoria significativa na precisão

Um usuário do Reddit testou a precisão de grandes modelos de linguagem locais em perguntas técnicas, comparando-os com a documentação de projetos como Node, Langchain.js e TypeScript. O experimento comparou os modelos unsloth Gemma QAT, Apple Intelligence AFM 2 3B e os modelos Qwen com e sem Geração Aumentada por Recuperação (RAG).

• Sem RAG, os modelos locais tiveram um desempenho ruim em precisão técnica.
• Adicionar um sistema RAG que injeta documentos relevantes melhorou significativamente as pontuações, tornando os modelos "muito bons".
• Habilitar capacidades de "pensamento" forneceu apenas uma melhoria marginal de 1% enquanto aumentava a latência.
• Apple Intelligence AFM 2 3B alcançou uma pontuação de 86% apesar de uma janela de contexto limitada de 4k.

Os resultados indicam que os LLMs locais são altamente eficazes para consultas técnicas quando conectados a uma base de conhecimento via RAG, enquanto o desempenho independente é insuficiente.