एक उपयोगकर्ता एक जटिल सॉफ़्टवेयर प्लेटफ़ॉर्म पर एक वास्तविक विशेषज्ञ के रूप में कार्य करने वाले AI सहायक को बनाने के लिए वास्तुकला मार्गदर्शन खोज रहा है, न कि एक साधारण दस्तावेज़ चैटबॉट। लक्ष्य सटीक, विश्वसनीय उत्तर और कार्यप्रवाह सहायता प्रदान करने के लिए दस्तावेज़ों की सैकड़ों पृष्ठों, ट्यूटोरियल वीडियो और मौजूदा स्वचालन स्क्रिप्ट्स का लाभ उठाना है।
- समाधान को modest हार्डवेयर पर स्थानीय रूप से चलना चाहिए और inference के लिए GPU की आवश्यकता नहीं होनी चाहिए।
- 3B पैरामीटर से कम वाले मॉडल को तैनाती के लिए यथार्थवादी माना जाता है, लेकिन उनकी विशेषज्ञ क्षमताएं अनिश्चित हैं।
- संभावित दृष्टिकोणों में Continued Pretraining (CPT), Supervised Fine-Tuning (SFT), RAG और LangGraph के साथ एजेंट-आधारित प्रणालियाँ शामिल हैं।
लेखक समुदाय से अनुभव साझा करने का अनुरोध करता है कि कौन सी वास्तुकला सबसे अच्छी काम करती है, क्या छोटे स्थानीय मॉडल यथार्थवादी रूप से विशेषज्ञता प्राप्त कर सकते हैं, और क्या RAG पर्याप्त है या fine-tuning की आवश्यकता है।