एक उपयोगकर्ता का तर्क है कि वे लोग जो पहले से ही ChatGPT Pro या Codex जैसे LLM सेवाओं के लिए भुगतान कर रहे हैं, उनके लिए स्थानीय एम्बेडिंग और रीरैंकर मॉडल चलाना स्थानीय रूप से बड़े भाषा मॉडल होस्ट करने की तुलना में अधिक व्यावहारिक उपयोगिता प्रदान करता है।
- लेखक Qwen3 Embedding 4B और Qwen3 Reranker 4B का उपयोग करके MCP इंटरफ़ेस के माध्यम से GBrain नामक एक मेमोरी सिस्टम बनाता है।
- स्टैक में llama.cpp, PostgreSQL, pgvector, S3 API भंडारण के लिए Ceph और मार्कडाउन फ़ाइलों के रूप में मेमोरिया को संग्रहीत करने के लिए GitLab शामिल हैं।
- GBrain इन फ़ाइलों को इंडेक्स करता है, एक LLM का उपयोग करके तथ्यों को निकालता है, और क्वेरी के दौरान प्रासंगिक मेमोरिया को पुनर्प्राप्त करने के लिए एम्बेडिंग्स और रीरैंकिंग का उपयोग करता है।
- यह दृष्टिकोण न्यूनतम मैन्युअल हस्तक्षेप के साथ Codex और ChatGPT Web के बीच संदर्भ साझा करने की अनुमति देता है।
लेखक निष्कर्ष निकालता है कि स्थानीय हार्डवेयर का उपयोग भुगतान वाले API द्वारा सुविधाजनक रूप से प्रदान नहीं किए गए मॉडल, जैसे एम्बेडिंग्स और रीरैंकर के लिए बेहतर ढंग से किया जा सकता है, न कि स्थानीय LLM चलाने के लिए।