Пользователь утверждает, что для тех, кто уже оплачивает услуги LLM, такие как ChatGPT Pro или Codex, запуск локальных моделей эмбеддингов и реранкеров обеспечивает большую практическую пользу, чем размещение больших языковых моделей локально.

  • Автор использует Qwen3 Embedding 4B и Qwen3 Reranker 4B для создания системы памяти под названием GBrain через интерфейс MCP.
  • Стек включает llama.cpp, PostgreSQL, pgvector, Ceph для хранения по S3 API и GitLab для хранения воспоминаний в виде файлов Markdown.
  • GBrain индексирует эти файлы, извлекает факты с помощью LLM и использует эмбеддинги и реранкинг для получения релевантных воспоминаний во время запросов.
  • Этот подход позволяет делиться контекстом между Codex и ChatGPT Web с минимальным ручным вмешательством.

Автор приходит к выводу, что локальное оборудование лучше использовать для моделей, которые неудобно предоставлять платные API, таких как эмбеддинги и реранкеры, а не запускать локальные LLM.