Un développeur déployant Llama 3.1:8b-instruct-q4_K_M via Ollama avec FastAPI et Qdrant pour des agents vocaux en espagnol et WhatsApp a identifié trois problèmes de production liés à la façon dont le modèle gère le contexte injecté dans les conversations multi-tours.
- L'insertion d'un deuxième message système en milieu de conversation a conduit le modèle à répondre à l'instruction injectée au lieu de l'absorber silencieusement, entraînant une perte de l'historique de la conversation ; déplacer tout le contexte dynamique dans le message système initial a résolu ce problème.
- Le modèle refusait parfois de répondre lorsque les chunks RAG récupérés étaient longs ou des paragraphes non structurés, traitant le matériel de référence comme la question de l'utilisateur au lieu de la requête réelle.
- Limiter l'historique de la conversation aux six derniers messages a causé une amnésie lors des appels plus longs ; augmenter num_ctx à 4096 et élargir la fenêtre à 16 tours a corrigé ce problème.
L'auteur cherche à confirmer si ces comportements sont des limitations connues du réglage fin d'instruction de Llama 3.1 ou du modèle de chat d'Ollama, en particulier concernant la gestion de plusieurs rôles système et de longs blocs de contexte.