Los usuarios evalúan modelos locales con RAG, encontrando una mejora significativa en la precisión

Un usuario de Reddit probó la precisión de los grandes modelos de lenguaje locales en preguntas técnicas comparándolos con la documentación de proyectos como Node, Langchain.js y TypeScript. El experimento comparó los modelos unsloth Gemma QAT, Apple Intelligence AFM 2 3B y los modelos Qwen con y sin Generación Aumentada por Recuperación (RAG).

• Sin RAG, los modelos locales tuvieron un rendimiento pobre en precisión técnica.
• Agregar un sistema RAG que inyecta documentos relevantes mejoró significativamente las puntuaciones, haciendo que los modelos sean "muy buenos".
• Habilitar las capacidades de "pensamiento" proporcionó solo una mejora marginal del 1% mientras aumentaba la latencia.
• Apple Intelligence AFM 2 3B logró una puntuación del 86% a pesar de una ventana de contexto limitada de 4k.

Los resultados indican que los LLM locales son altamente efectivos para consultas técnicas cuando se conectan a una base de conocimientos mediante RAG, mientras que el rendimiento independiente es insuficiente.