Ejecutar embeddings y rerankers locales es más útil que los LLM locales para usuarios de APIs de pago

Un usuario argumenta que para aquellos que ya pagan por servicios de LLM como ChatGPT Pro o Codex, ejecutar modelos locales de embedding y reranker ofrece una utilidad práctica mayor que alojar grandes modelos de lenguaje localmente.

• El autor utiliza Qwen3 Embedding 4B y Qwen3 Reranker 4B para construir un sistema de memoria llamado GBrain a través de una interfaz MCP.
• La pila incluye llama.cpp, PostgreSQL, pgvector, Ceph para almacenamiento vía API S3 y GitLab para almacenar memorias como archivos Markdown.
• GBrain indexa estos archivos, extrae hechos usando un LLM y utiliza embeddings y reranking para recuperar memorias relevantes durante las consultas.
• Este enfoque permite compartir contexto entre Codex y ChatGPT Web con mínima intervención manual.

El autor concluye que el hardware local se utiliza mejor para modelos no proporcionados convenientemente por APIs de pago, como embeddings y rerankers, en lugar de ejecutar LLMs locales.