Spanish-language voice and WhatsApp agents向けに、FastAPIとQdrantを使用してOllama経由でLlama 3.1:8b-instruct-q4_K_Mを展開した開発者は、マルチターン会話におけるモデルのインジェクトされたコンテキストの扱いに関連する3つの本番環境の問題を特定しました。

  • 会話中に2番目のシステムメッセージを挿入すると、モデルがそれを静かに吸収するのではなく、インジェクトされた指示に応答し、会話履歴の喪失につながりました。すべての動的コンテキストを初期システムメッセージに移動することでこの問題を解決しました。
  • 取得されたRAGチャンクが長く構造化されていない段落の場合、モデルは回答を拒否することがあり、参照資料を実際のクエリではなくユーザーの質問として扱いました。
  • 会話履歴を最後の6つのメッセージに制限すると、長い呼び出しで記憶喪失が発生しました。num_ctxを4096に引き上げ、ウィンドウを16ターンに広げることでこの問題を修正しました。

著者は、これらの動作がLlama 3.1のインストラクションチューニングまたはOllamaのチャットテンプレートの既知の制限であるかどうか、特に複数のシステムロールと長いコンテキストブロックの扱いに関して確認を求めています。