사용자가 RAG로 로컬 모델 벤치마킹, 정확도 크게 향상

한 레딧 사용자는 Node, Langchain.js, TypeScript 등의 프로젝트 문서를 대상으로 벤치마킹하여 기술적 질문에 대한 로컬 대규모 언어 모델의 정확도를 테스트했습니다. 이 실험에서는 unsloth Gemma QAT 모델, Apple Intelligence AFM 2 3B, 그리고 Retrieval-Augmented Generation (RAG) 유무에 따른 Qwen 모델을 비교했습니다.

• RAG 없이 로컬 모델은 기술적 정확도에서 낮은 성능을 보였습니다.
• 관련 문서를 주입하는 RAG 시스템을 추가하면 점수가 크게 향상되어 모델이 "매우 좋음" 수준이 되었습니다.
• "생각" 기능을 활성화하면 지연 시간이 증가하는 반면 1%의 미미한 개선만 얻었습니다.
• Apple Intelligence AFM 2 3B는 제한된 4k 컨텍스트 윈도우에도 불구하고 86%의 점수를 달성했습니다.

이 결과는 RAG를 통해 지식 베이스에 연결될 때 로컬 LLM이 기술적 쿼리에 매우 효과적임을 나타내는 반면, 독립적인 성능은 불충분함을 보여줍니다.