Un desarrollador que implementa Llama 3.1:8b-instruct-q4_K_M a través de Ollama con FastAPI y Qdrant para agentes de voz y WhatsApp en español identificó tres problemas de producción relacionados con cómo el modelo maneja el contexto inyectado en conversaciones multironda.
- Insertar un segundo mensaje del sistema a mitad de la conversación hizo que el modelo respondiera a la instrucción inyectada en lugar de absorberla silenciosamente, lo que provocó la pérdida del historial de la conversación; mover todo el contexto dinámico al mensaje inicial del sistema resolvió esto.
- El modelo a veces se negaba a responder cuando los fragmentos RAG recuperados eran párrafos largos o no estructurados, tratando el material de referencia como la pregunta del usuario en lugar de la consulta real.
- Limitar el historial de la conversación a las últimas seis mensajes causó amnesia en llamadas más largas; aumentar num_ctx a 4096 y ampliar la ventana a 16 turnos solucionó este problema.
El autor busca confirmación sobre si estos comportamientos son limitaciones conocidas del ajuste por instrucciones de Llama 3.1 o de la plantilla de chat de Ollama, particularmente respecto al manejo de múltiples roles del sistema y bloques de contexto largos.