로컬 임베딩 및 리랭커는 유료 API 사용자에게 로컬 LLM보다 더 유용하다

한 사용자는 ChatGPT Pro나 Codex와 같은 LLM 서비스에 이미 비용을 지불하는 사람들에게 대규모 언어 모델을 로컬에서 호스팅하는 것보다 로컬 임베딩 및 리랭커 모델을 실행하는 것이 더 큰 실용적 유용성을 제공한다고 주장한다.

• 저자는 Qwen3 Embedding 4B와 Qwen3 Reranker 4B를 사용하여 MCP 인터페이스를 통해 GBrain이라는 메모리 시스템을 구축했다.
• 이 스택에는 llama.cpp, PostgreSQL, pgvector, S3 API 저장소를 위한 Ceph, 그리고 Markdown 파일로 기억을 저장하기 위한 GitLab가 포함된다.
• GBrain은 이러한 파일을 인덱싱하고 LLM을 사용하여 사실을 추출하며, 쿼리 동안 임베딩과 리랭킹을 사용하여 관련 기억을 검색한다.
• 이 접근 방식은 Codex와 ChatGPT Web 간에 최소한의 수동 개입으로 컨텍스트를 공유할 수 있게 한다.

저자는 로컬 하드웨어가 유료 API에서 편리하게 제공되지 않는 임베딩 및 리랭커와 같은 모델들을 위해 더 잘 활용되어야 하며, 로컬 LLM을 실행하기 위한 것이 아니라고 결론짓는다.