Пользователь ищет архитектурные рекомендации по созданию ИИ-ассистента, который функционирует как настоящий эксперт в сложной программной платформе, а не как простой чат-бот для документации. Цель — использовать сотни страниц документации, обучающие видео и существующие скрипты автоматизации для предоставления точных, надежных ответов и помощи в рабочих процессах.

  • Решение должно работать локально на скромном оборудовании без необходимости использования GPU для вывода (inference).
  • Модели с количеством параметров менее 3B считаются реалистичными для развертывания, но их экспертные способности остаются под вопросом.
  • Потенциальные подходы включают Continued Pretraining (CPT), Supervised Fine-Tuning (SFT), RAG и системы на основе агентов с LangGraph.

Автор просит сообщество поделиться опытом: какая архитектура работает лучше всего, могут ли маленькие локальные модели реально достичь уровня эксперта и достаточно ли RAG или необходима донастройка (fine-tuning).