Um desenvolvedor implantando o Llama 3.1:8b-instruct-q4_K_M via Ollama com FastAPI e Qdrant para agentes de voz e WhatsApp em espanhol identificou três problemas de produção relacionados a como o modelo lida com o contexto injetado em conversas multironda.
- Inserir uma segunda mensagem do sistema no meio da conversa fez com que o modelo respondesse à instrução injetada em vez de absorvê-la silenciosamente, levando à perda do histórico da conversa; mover todo o contexto dinâmico para a mensagem inicial do sistema resolveu isso.
- O modelo às vezes se recusava a responder quando os trechos RAG recuperados eram parágrafos longos ou não estruturados, tratando o material de referência como a pergunta do usuário em vez da consulta real.
- Limitar o histórico da conversa às últimas seis mensagens causou amnésia em chamadas mais longas; aumentar num_ctx para 4096 e ampliar a janela para 16 rodadas corrigiu esse problema.
O autor busca confirmação sobre se esses comportamentos são limitações conhecidas do ajuste por instrução do Llama 3.1 ou do modelo de chat do Ollama, particularmente em relação ao manuseio de múltiplos papéis do sistema e blocos de contexto longos.