한 사용자는 단순한 문서 채팅 봇이 아니라 복잡한 소프트웨어 플랫폼의 진정한 전문가로서 기능하는 AI 어시스턴트를 만들기 위한 아키텍처 가이드를 찾고 있습니다. 목표는 수백 페이지에 달하는 문서, 튜토리얼 비디오, 기존 자동화 스크립트를 활용하여 정확하고 신뢰할 수 있는 답변과 워크플로우 지원을 제공하는 것입니다.

  • 솔루션은 추론을 위해 GPU가 필요 없이 제한된 하드웨어에서 로컬로 실행되어야 합니다.
  • 3B 파라미터 미만의 모델은 배포에 현실적이지만 전문가로서의 능력은 불확실합니다.
  • 잠재적 접근 방식에는 지속 사전 훈련(CPT), 지도 미세 조정(SFT), RAG, LangGraph 기반 에이전트 시스템이 포함됩니다.

저자는 어떤 아키텍처가 가장 효과적인지, 소규모 로컬 모델로 전문성을 달성하는 것이 현실적인지, 그리고 RAG만으로 충분한지 아니면 미세 조정이 필요한지에 대한 커뮤니티의 경험을 공유해 줄 것을 요청합니다.