Проект llama.cpp выпустил версию b9910, которая устраняет критическое несоответствие между подготовкой черновой модели и её загрузкой в компоненте сервера. Это обновление включает исправление проблемы с избыточным вызовом обратного отсчета прогресса при загрузке черновой модели и рефакторинг спекулятивной инициализации.

  • Унифицирована инициализация параметров предсказания черновой/множественных токенов, а также загрузка модели и контекста.
  • Логика спекулятивной инициализации перемещена в speculative.cpp.
  • Изменено использование указателей на модель_dft и ctx_dft в server_context_impl для использования сырых указателей.
  • В этом релизе отключена поддержка KleidiAI Apple Silicon для macOS.
  • Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.

Этот релиз обеспечивает стабильную работу сервера при использовании спекулятивного декодирования путем исправления базовых механизмов инициализации и загрузки.