一位用户正在寻求架构指导，以创建一个作为复杂软件平台真正专家的AI助手，而不是一个简单的文档聊天机器人。目标是利用数百页的文档、教程视频和现有的自动化脚本，提供准确、可靠的回答和工作流协助。

  • 该解决方案必须在适度的硬件上本地运行，无需GPU即可进行推理。
  • 参数量小于3B的模型被认为在部署方面是现实的，但其专家能力尚不确定。
  • 潜在的方法包括继续预训练 (CPT)、监督微调 (SFT)、RAG以及基于LangGraph的智能体系统。

作者请社区分享经验：哪种架构效果最好，小型本地模型是否真的能达到专家水平，以及RAG是否足够或是否需要微调。