对于付费 API 用户来说，运行本地嵌入和重排序器比运行本地 LLM 更有用

一位用户认为，对于那些已经为 ChatGPT Pro 或 Codex 等 LLM 服务付费的人来说，运行本地嵌入和重排序模型比在本地托管大型语言模型具有更大的实际效用。

• 作者使用 Qwen3 Embedding 4B 和 Qwen3 Reranker 4B 通过 MCP 接口构建了一个名为 GBrain 的记忆系统。
• 该堆栈包括 llama.cpp、PostgreSQL、pgvector、用于 S3 API 存储的 Ceph 以及用于将记忆存储为 Markdown 文件的 GitLab。
• GBrain 对这些文件进行索引，使用 LLM 提取事实，并在查询期间使用嵌入和重排序来检索相关记忆。
• 这种方法允许在 Codex 和 ChatGPT Web 之间共享上下文，几乎不需要人工干预。

作者得出结论，本地硬件更适合用于付费 API 无法方便提供的模型，如嵌入和重排序器，而不是运行本地 LLM。