Um usuário busca orientação arquitetural para criar um assistente de IA que funcione como um verdadeiro especialista em uma plataforma de software complexa, em vez de um simples chatbot de documentação. O objetivo é aproveitar centenas de páginas de documentação, vídeos tutoriais e scripts de automação existentes para fornecer respostas precisas, confiáveis e assistência em fluxos de trabalho.

  • A solução deve ser executada localmente em hardware modesto sem exigir uma GPU para inferência.
  • Modelos com menos de 3B parâmetros são considerados realistas para implantação, mas suas capacidades especializadas são incertas.
  • Abordagens potenciais incluem Continued Pretraining (CPT), Supervised Fine-Tuning (SFT), RAG e sistemas baseados em agentes com LangGraph.

O autor pede à comunidade que compartilhe experiências sobre qual arquitetura funciona melhor, se modelos locais pequenos podem realisticamente alcançar especialização e se o RAG é suficiente ou se o ajuste fino (fine-tuning) é necessário.