Разработчик, развертывающий модель Llama 3.1:8b-instruct-q4_K_M через Ollama с FastAPI и Qdrant для испаноязычных голосовых и WhatsApp-агентов, выявил три проблемы в продакшене, связанные с тем, как модель обрабатывает внедренный контекст в многошаговых диалогах.

  • Вставка второго системного сообщения посреди разговора заставила модель реагировать на внедренную инструкцию вместо того, чтобы молча ее усвоить, что привело к потере истории разговора; перемещение всего динамического контекста в начальное системное сообщение решило эту проблему.
  • Модель иногда отказывалась отвечать, когда извлеченные фрагменты RAG представляли собой длинные или неструктурированные абзацы, воспринимая справочный материал как вопрос пользователя вместо фактического запроса.
  • Ограничение истории разговона последними шестью сообщениями вызывало «амнезию» в длинных диалогах; увеличение num_ctx до 4096 и расширение окна до 16 поворотов исправили эту проблему.

Автор ищет подтверждение того, являются ли эти поведения известными ограничениями инструктивного обучения Llama 3.1 или шаблона чата Ollama, особенно в отношении обработки нескольких системных ролей и длинных блоков контекста.