Un utilisateur soutient que pour ceux qui paient déjà des services LLM comme ChatGPT Pro ou Codex, l'exécution de modèles d'embedding et de reranking locaux offre une utilité pratique supérieure à celle de l'hébergement de grands modèles de langage localement.

  • L'auteur utilise Qwen3 Embedding 4B et Qwen3 Reranker 4B pour construire un système de mémoire appelé GBrain via une interface MCP.
  • La pile inclut llama.cpp, PostgreSQL, pgvector, Ceph pour le stockage API S3, et GitLab pour stocker les mémoires sous forme de fichiers Markdown.
  • GBrain indexe ces fichiers, extrait des faits à l'aide d'un LLM, et utilise des embeddings et du reranking pour récupérer les mémoires pertinentes lors des requêtes.
  • Cette approche permet de partager le contexte entre Codex et ChatGPT Web avec une intervention manuelle minimale.

L'auteur conclut que le matériel local est mieux utilisé pour des modèles non commodément fournis par les API payantes, tels que les embeddings et les rerankers, plutôt que d'exécuter des LLM locaux.