Un utilisateur cherche des conseils architecturaux pour créer un assistant IA qui fonctionne comme un véritable expert sur une plateforme logicielle complexe, plutôt que comme un simple chatbot de documentation. L'objectif est d'exploiter des centaines de pages de documentation, des vidéos tutorielles et des scripts d'automatisation existants pour fournir des réponses précises et fiables ainsi qu'une assistance aux flux de travail.

  • La solution doit fonctionner localement sur du matériel modeste sans nécessiter de GPU pour l'inférence.
  • Les modèles de moins de 3 milliards de paramètres sont considérés comme réalistes pour le déploiement, mais leurs capacités d'expert restent incertaines.
  • Les approches potentielles incluent le pré-entraînement continu (CPT), l'ajustement fin supervisé (SFT), la RAG et les systèmes basés sur des agents avec LangGraph.

L'auteur demande à la communauté de partager ses expériences sur quelle architecture fonctionne le mieux, si les petits modèles locaux peuvent réellement atteindre un niveau d'expertise, et si la RAG est suffisante ou si un ajustement fin est nécessaire.