يجادل مستخدم بأن أولئك الذين يدفعون بالفعل لخدمات النماذج اللغوية الكبيرة مثل ChatGPT Pro أو Codex، فإن تشغيل نماذج التضمين وإعادة الترتيب المحلية يوفر فائدة عملية أكبر من استضافة النماذج اللغوية الكبيرة محليًا.
- يستخدم المؤلف Qwen3 Embedding 4B وQwen3 Reranker 4B لبناء نظام ذاكرة يُدعى GBrain عبر واجهة MCP.
- تتضمن هذه البنية llama.cpp، PostgreSQL، pgvector، Ceph لتخزين واجهة برمجة التطبيقات S3، وGitLab لتخزين الذكريات كملفات Markdown.
- يقوم GBrain بفهرسة هذه الملفات، واستخراج الحقائق باستخدام نموذج لغوي كبير، ويستخدم التضمين وإعادة الترتيب لاسترجاع الذكريات ذات الصلة أثناء الاستعلامات.
- يسمح هذا النهج بمشاركة السياق بين Codex وChatGPT Web بأقل تدخل يدوي ممكن.
يستنتج المؤلف أن الأجهزة المحلية تُستخدم بشكل أفضل للنماذج التي لا توفرها واجهات برمجة التطبيقات المدفوعة بسهولة، مثل التضمين وإعادة الترتيب، بدلاً من تشغيل النماذج اللغوية الكبيرة محليًا.