Menjalankan embedding dan reranker lokal lebih berguna daripada LLM lokal bagi pengguna API berbayar

Seorang pengguna berpendapat bahwa bagi mereka yang sudah membayar layanan LLM seperti ChatGPT Pro atau Codex, menjalankan model embedding dan reranker lokal menawarkan utilitas praktis yang lebih besar daripada meng-host model bahasa besar secara lokal.

• Penulis menggunakan Qwen3 Embedding 4B dan Qwen3 Reranker 4B untuk membangun sistem memori bernama GBrain melalui antarmuka MCP.
• Tumpukan ini mencakup llama.cpp, PostgreSQL, pgvector, Ceph untuk penyimpanan API S3, dan GitLab untuk menyimpan memori sebagai file Markdown.
• GBrain mengindeks file-file ini, mengekstrak fakta menggunakan LLM, dan menggunakan embedding serta reranking untuk mengambil memori yang relevan selama kueri.
• Pendekatan ini memungkinkan berbagi konteks antara Codex dan ChatGPT Web dengan intervensi manual minimal.

Penulis menyimpulkan bahwa perangkat keras lokal lebih baik digunakan untuk model yang tidak nyaman disediakan oleh API berbayar, seperti embedding dan reranker, daripada menjalankan LLM lokal.