Un usuario busca orientación arquitectónica para crear un asistente de IA que funcione como un verdadero experto en una plataforma de software compleja, en lugar de un simple chatbot de documentación. El objetivo es aprovechar cientos de páginas de documentación, videos tutoriales y scripts de automatización existentes para proporcionar respuestas precisas, confiables y asistencia en flujos de trabajo.

  • La solución debe ejecutarse localmente en hardware modesto sin requerir una GPU para inferencia.
  • Los modelos con menos de 3B parámetros se consideran realistas para su implementación, pero sus capacidades expertas son inciertas.
  • Los enfoques potenciales incluyen Continued Pretraining (CPT), Supervised Fine-Tuning (SFT), RAG y sistemas basados en agentes con LangGraph.

El autor pide a la comunidad que comparta experiencias sobre qué arquitectura funciona mejor, si los modelos locales pequeños pueden lograr realmente la experiencia y si RAG es suficiente o si se necesita un ajuste fino (fine-tuning).