Проект llama.cpp выпустил версию b9986, устраняющую конкретные проблемы с шаблонами чата. Обновление включает исправление утечек рассуждений, возникавших при принудительном использовании голых шаблонов.

  • Исправляет вывод начального тега рассуждений путем обрезки конечных пробелов для предотвращения поглощения контента.
  • Устраняет регрессию, влияющую на модели Nemotron Nano v2.
  • Предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) и openEuler.

Этот релиз обеспечивает правильную обработку шаблонов для конкретных архитектур моделей и предоставляет обновленные бинарные файлы на всех поддерживаемых платформах.