あるユーザーは、単なるドキュメントチャットボットではなく、複雑なソフトウェアプラットフォームの真の専門家として機能するAIアシスタントを作成するためのアーキテクチャガイダンスを求めています。目標は、数百ページにわたるドキュメント、チュートリアル動画、既存の自動化スクリプトを活用し、正確で信頼性の高い回答とワークフロー支援を提供することです。

  • 解決策は、推論にGPUを必要とせず、限られたハードウェア上でローカルで実行する必要があります。
  • 3Bパラメータ未満のモデルは展開にとって現実的ですが、その専門家の能力は不確実です。
  • 潜在的なアプローチには、継続的事前トレーニング（CPT）、教師ありファインチューニング（SFT）、RAG、LangGraphを用いたエージェントベースのシステムが含まれます。

著者は、どのアーキテクチャが最善か、小規模なローカルモデルで専門性を達成することが現実的かどうか、そしてRAGで十分なのかファインチューニングが必要なのかについて、コミュニティに経験を共有するよう求めています。