github llama.cpp · 1 ч назад · inference

llama.cpp b10235 добавляет SILU_BACK op для f32

Переведено с English → Русский

Проект llama.cpp выпустил версию b10235, внедряя новую операцию SILU_BACK для точности f32. Это обновление включает реализацию оператора silu_back и удаляет избыточные проверки из файла ggml-metal-ops.cpp.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) и openEuler.

Это обновление расширяет доступную поддержку бэкендов и добавляет специфические вычислительные операции для пользователей llama.cpp.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

llama.cpp b10232 реализует гиперсвязи DeepSeek V4 в Metal

Проект llama.cpp выпустил сборку b10232, которая добавляет поддержку гиперсвязей DeepSeek V4 через бэкенд Metal. Это обновление включает реализацию операций GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE и GGML_OP_DSV4_HC_POST.

github llama.cpp · 3 ч назад · 3 просмотра

llama.cpp b10231 добавляет поддержку sidecar DSpark

Проект llama.cpp выпустил сборку b10231, в которой добавлена поддержка sidecar для спекулятивного декодирования DSpark. Это обновление позволяет файлам dspark разрешаться аналогично другим speculative sidecars, с применением тега -hfd к ним и приоритетом автовыбора dspark над dflash из-за его дополнительного Markov head.

github llama.cpp · 7 ч назад

llama.cpp b10222 исправляет проблему с невымыванием данных профилирования OpenCL

Проект llama.cpp выпустил версию b10229, которая включает критическое исправление бага для бэкенда OpenCL. Обновление решает проблему, при которой данные профилирования не записывались во время завершения программы.

media Hugging Face Forums · 22 ч назад · 6 просмотров

Хардик Кумар опубликовал матрицу цен на HF Inference с разбросом до 4,66x

Новый датасет, опубликованный на Hugging Face, предоставляет комплексную матрицу цен для провайдеров инференса моделей, выявляя значительные ценовые различия для одинаковых моделей у разных поставщиков.

github llama.cpp · 1 д назад · 7 просмотров

llama.cpp b10219 сохраняет reasoning_content в истории чата

Проект llama.cpp выпустил версию b10219, которая включает исправление для CLI, позволяющее сохранять содержимое рассуждений в истории чата. Ранее, хотя `llama-cli` собирал рассуждения из потока для отображения, он сохранял только контент ассистента в сообщениях, что не позволяло флагу `--reasoning-preserve` повторно внедрять предыдущие мысли в последующих ходах.