FastAPI와 Qdrant를 사용하여 Ollama를 통해 Spanish-language voice and WhatsApp agents에 Llama 3.1:8b-instruct-q4_K_M을 배포한 개발자는 멀티 턴 대화에서 모델이 주입된 컨텍스트를 처리하는 방식과 관련된 세 가지 프로덕션 문제를 식별했습니다.
- 대화 중간에 두 번째 시스템 메시지를 삽입하면 모델이 이를 조용히 흡수하는 대신 주입된 지시에 응답하여 대화 기록 손실로 이어졌습니다. 모든 동적 컨텍스트를 초기 시스템 메시지로 이동하여 이 문제를 해결했습니다.
- 검색된 RAG 청크가 길거나 구조화되지 않은 단락인 경우 모델이 답변을 거부할 수 있으며, 참조 자료를 실제 쿼리가 아닌 사용자의 질문으로 취급했습니다.
- 대화 기록을 마지막 6개 메시지로 제한하면 긴 호출에서 기억 상실이 발생했습니다. num_ctx를 4096으로 높이고 창을 16 턴으로 넓혀 이 문제를 수정했습니다.
저자는 이러한 동작이 Llama 3.1의 인스트럭션 튜닝 또는 Ollama의 채팅 템플릿의 알려진 제한 사항인지, 특히 여러 시스템 역할과 긴 컨텍스트 블록 처리와 관련하여 확인을 요청합니다.