Executar embeddings e rerankers locais é mais útil do que LLMs locais para usuários de APIs pagas

Um usuário argumenta que para aqueles que já pagam por serviços de LLM como ChatGPT Pro ou Codex, executar modelos locais de embedding e reranker oferece maior utilidade prática do que hospedar grandes modelos de linguagem localmente.

• O autor usa Qwen3 Embedding 4B e Qwen3 Reranker 4B para construir um sistema de memória chamado GBrain via uma interface MCP.
• A pilha inclui llama.cpp, PostgreSQL, pgvector, Ceph para armazenamento via API S3 e GitLab para armazenar memórias como arquivos Markdown.
• O GBrain indexa esses arquivos, extrai fatos usando um LLM e usa embeddings e reranking para recuperar memórias relevantes durante as consultas.
• Essa abordagem permite compartilhar contexto entre Codex e ChatGPT Web com mínima intervenção manual.

O autor conclui que o hardware local é melhor utilizado para modelos não fornecidos convenientemente por APIs pagas, como embeddings e rerankers, em vez de executar LLMs locais.