Les utilisateurs benchmarkent les modèles locaux avec RAG, la précision s'améliore considérablement

Un utilisateur de Reddit a testé la précision des grands modèles de langage locaux sur des questions techniques en les comparant aux documentation de projets tels que Node, Langchain.js et TypeScript. L'expérience a comparé les modèles unsloth Gemma QAT, Apple Intelligence AFM 2 3B et les modèles Qwen avec et sans Retrieval-Augmented Generation (RAG).

• Sans RAG, les modèles locaux ont obtenu de mauvais résultats en précision technique.
• L'ajout d'un système RAG injectant des documents pertinents a considérablement amélioré les scores, rendant les modèles "très bons".
• L'activation des capacités de "réflexion" n'a apporté qu'une amélioration marginale de 1 % tout en augmentant la latence.
• Apple Intelligence AFM 2 3B a obtenu un score de 86 % malgré une fenêtre de contexte limitée à 4k.

Les résultats indiquent que les LLM locaux sont très efficaces pour les requêtes techniques lorsqu'ils sont connectés à une base de connaissances via RAG, tandis que leurs performances autonomes sont insuffisantes.