llama.cpp b9909 добавляет тайминги и прогресс в поток /responses API

Проект llama.cpp выпустил версию b9909, которая добавляет информацию о времени выполнения и прогрессе в поток API /responses. Это обновление доступно на нескольких платформах, включая macOS, Linux, Windows, Android и openEuler.

• Основное функциональное изменение — добавление таймингов и деталей прогресса в потоковый вывод для конечной точки /responses API.
• Предварительно собранные бинарные файлы предоставлены для различных архитектур, таких как Apple Silicon, Intel x64, ARM64 и s390x.
• Поддержка GPU включает CUDA 12.4 и 13.3, Vulkan, ROCm 7.2, OpenVINO, SYCL и HIP.
• Поддержка KleidiAI для macOS Apple Silicon отключена в этом релизе.

Это обновление позволяет пользователям более эффективно отслеживать прогресс ответов API.