Seorang pengguna mencari panduan arsitektur untuk membuat asisten AI yang berfungsi sebagai ahli sejati pada platform perangkat lunak yang kompleks, bukan sekadar chatbot dokumentasi. Tujuannya adalah memanfaatkan ratusan halaman dokumen, video tutorial, dan skrip otomatisasi yang ada untuk memberikan jawaban yang akurat, andal, serta bantuan alur kerja.
- Solusi harus berjalan secara lokal di perangkat keras terbatas tanpa memerlukan GPU untuk inferensi.
- Model dengan kurang dari 3 miliar parameter dianggap realistis untuk deployment, namun kemampuan keahliannya masih belum pasti.
- Pendekatan potensial termasuk Continued Pretraining (CPT), Supervised Fine-Tuning (SFT), RAG, dan sistem berbasis agen dengan LangGraph.
Penulis meminta komunitas untuk berbagi pengalaman mengenai arsitektur mana yang paling efektif, apakah model lokal berukuran kecil dapat secara realistis mencapai keahlian, serta apakah RAG sudah cukup atau fine-tuning diperlukan.