Проект llama.cpp выпустил версию b9833, в которой представлен выделенный парсер для модели MiniCPM5 наряду с различными исправлениями ошибок и рефакторингом. Это обновление включает поддержку парсинга вызовов инструментов, упрощение грамматики и исправленное поведение Jinja API для обеспечения совместимости со стандартами Jinja2.
- Реализован выделенный PEG-парсер MiniCPM5 с поддержкой вызовов инструментов в формате XML и исправлены заполнители аргументов инструментов при потоковой передаче.
- Проведён рефакторинг модуля чата для использования автопарсера для MiniCPM5, а также откат общих мапперов и резервного копирования истории.
- Исправлен API min/max jinja для соответствия спецификациям Jinja2 и обновлено имя шаблона на openbmb-MiniCPM5-1B.jinja.
- Предоставлены бинарники для macOS (Apple Silicon, Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP) и openEuler.
Этот выпуск позволяет пользователям запускать модели MiniCPM5 с улучшенными возможностями вызова инструментов на широком спектре аппаратных архитектур и операционных систем.