github llama.cpp · 1 ч назад · inference

llama.cpp b10290 добавляет ggml_build_forward_order для исправления выполнения графа аудио

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10290, внедрив новую функцию `ggml_build_forward_order` в библиотеку ggml. Это изменение устраняет ошибку в графе аудио mtmd, где использование `ggml_build_forward_expand` в качестве чистого указания порядка приводило к выполнению неселектированных ветвей со старыми данными.

Предыдущий метод принудительно выполнял вычисления на неселектированных ветвях, что приводило к ошибкам проверки границ `get_rows` на CPU из-за устаревших данных `inp_code0`.
Новая функция вставляет узлы без флага вычислений, восстанавливая его только тогда, когда ветвь фактически выбирается.
Сборка b10290 предоставляет бинарные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) и openEuler.
В релиз также включены iOS XCFramework и автономная сборка UI.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 4 ч назад · 1 просмотр

llama.cpp b10289 укрепляет file_glob_search и исправляет обработку путей в Windows

Выпуск llama.cpp b10289 укрепляет обход директорий file_glob_search сервера для предотвращения бесконечных циклов на точках соединения Windows и улучшает отчеты об ошибках для недоступных директорий.

media Hugging Face Forums · 6 ч назад

QuantCheck предупреждает против предположения, что финальный чекпоинт лучше всего подходит для 4-битного квантования

Новый инструмент QuantCheck подчеркивает, что финальный чекпоинт предварительного обучения может не быть оптимальным выбором для 4-битного квантования, поскольку бенчмарки могут оставаться плоскими, в то время как хрупкость увеличивается. Автор наблюдал эту закономерность на Pythia-160m, где финальный чекпоинт suffered примерно в четыре раза больше повреждений качества, чем более ранний чекпоинт того же качества.

github llama.cpp · 11 ч назад

llama.cpp b10285 добавляет многострочную пакетную обработку для deepseek-ocr

Проект llama.cpp выпустил сборку b10285, которая внедряет поддержку многострочной пакетной обработки в модуле mtmd специально для моделей deepseek-ocr. Это обновление позволяет системе объединять строки deepseek-ocr за одну операцию, а не обрабатывать их по отдельности.

github llama.cpp · 13 ч назад

llama.cpp b10282 добавляет счетчики spec-decode в конечную точку /metrics

Проект llama.cpp выпустил версию b10282, которая внедряет новые возможности мониторинга для спекулятивного декодирования. Сервер теперь включает счетчики spec-decode в своей конечной точке /metrics, позволяя пользователям отслеживать метрики производительности, связанные с этой функцией.

github llama.cpp · 1 д назад

llama.cpp b10275 декодирует вывод Windows OEM в UTF-8 во встроенных инструментах

Проект llama.cpp выпустил сборку b10275, которая устраняет проблему кодировки символов на Windows, из-за которой акцентированные символы терялись без предупреждения. Обновление гарантирует, что текст из дочерних процессов, записываемый в кодовой странице OEM, корректно декодируется в UTF-8 до достижения слоя JSON.