يبحث مستخدم عن إرشادات معمارية لإنشاء مساعد ذكاء اصطناعي يعمل كخبير حقيقي في منصة برمجية معقدة، بدلاً من أن يكون مجرد روبوت دردشة للوثائق. الهدف هو الاستفادة من مئات الصفحات من الوثائق، ومقاطع الفيديو التعليمية، والبرامج النصية للأتمتة الموجودة لتقديم إجابات دقيقة وموثوقة ودعم سير العمل.
- يجب أن يعمل الحل محليًا على عتاد محدود دون الحاجة إلى وحدة معالجة الرسومات (GPU) للاستدلال.
- تُعتبر النماذج التي يقل عدد معاملاتها عن 3 مليارات معقولة للنشر، لكن قدراتها كخبير غير مؤكدة.
- تشمل النهج المحتملة التدريب المسبق المستمر (CPT)، والضبط الدقيق الخاضع للإشراف (SFT)، واسترجاع المعلومات المولّد للنصوص (RAG)، والأنظمة القائمة على الوكلاء باستخدام LangGraph.
يسأل المؤلف المجتمع عن مشاركة تجاربه حول أي بنية معمارية تعمل بشكل أفضل، وما إذا كان من الممكن للنماذج المحلية الصغيرة تحقيق الخبرة بشكل واقعي، وما إذا كان RAG كافيًا أم أن الضبط الدقيق ضروري.