あるユーザーは、ChatGPT ProやCodexのようなLLMサービスにすでに支払いをしている人々にとって、大規模言語モデルをローカルでホストするよりも、ローカルの埋め込みおよびリランカーモデルを実行することの方が実用的な有用性が高いと主張している。

  • 著者はQwen3 Embedding 4BとQwen3 Reranker 4Bを使用して、MCPインターフェースを介してGBrainという名前のメモリシステムを構築した。
  • このスタックにはllama.cpp、PostgreSQL、pgvector、S3 APIストレージ用のCeph、およびMarkdownファイルとして記憶を保存するためのGitLabが含まれる。
  • GBrainはこれらのファイルをインデックス化し、LLMを使用して事実を抽出し、クエリ中に埋め込みとリランキングを用いて関連する記憶を取得する。
  • このアプローチにより、CodexとChatGPT Webの間で最小限の手動介入でコンテキストを共有できる。

著者は、ローカルハードウェアは埋め込みやリランカーのように有料APIで conveniently 提供されないモデルのためにより良く活用されるべきであり、ローカルのLLMを実行するためではないと結論づけている。