github llama.cpp · 2 ч назад · inference

llama.cpp b10107 исправляет сбой в Windows и предоставляет бинарники для нескольких платформ

Переведено с English → Русский

Проект llama.cpp выпустил версию b10107, которая включает исправление сбоя в Windows, возникавшего при включённой функции op_poll.

Устраняет сбой в Windows при активном op_poll (PR #26029).
Предоставляет предварительно собранные бинарники для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x с CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.
В этом выпуске отключена поддержка KleidiAI для Apple Silicon на macOS.

Это обновление обеспечивает стабильность в системах Windows, использующих op_poll, продолжая предоставлять комплексную поддержку оборудования на основных операционных системах и ускорителях.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 7 ч назад

llama.cpp b10105 рефакторит mlock/mmap/directio в единый аргумент режима загрузки

Проект llama.cpp выпустил сборку b10105, которая представляет собой значительный рефакторинг командной строки путем объединения отдельных флагов управления памятью в единый аргумент `load-mode`.

github llama.cpp · 17 ч назад

llama.cpp b10099 улучшает квантование NVFP4 W4A4 на CUDA

Проект llama.cpp выпустил версию b10099, которая включает значительное обновление бэкенда CUDA для улучшенного квантования активаций NVFP4 W4A4.

github llama.cpp · 19 ч назад

llama.cpp b10098 обновляет операции активации Hexagon

Проект llama.cpp выпустил версию b10098, которая включает обновление операций активации Hexagon. Этот релиз предоставляет бинарные файлы для macOS, Linux, Android, Windows и openEuler на различных CPU и GPU бэкендах.

media Together AI Blog · 21 ч назад

Together запускает выделенный вывод моделей с бета-версией пользовательского обучения

Together выпустила значительное обновление своей платформы вывода, представив «Выделенный вывод моделей», предназначенный для предоставления пользователям полного контроля над производительностью, стоимостью и качеством моделей с открытыми весами. Обновление также анонсирует закрытую бета-версию возможностей пользовательского обучения, включая обучение с подкреплением с полными весами и LoRA.

github llama.cpp · 22 ч назад · 1 просмотр

llama.cpp b10094 определяет тип спекулятивного вывода из боковых репозиториев черновика

Проект llama.cpp выпустил версию b10094, в которой появилась функция автоматического определения типа спекулятивного декодирования по боковым репозиториям черновика. Ранее при использовании флага `-hfd` для указания репозитория, содержащего боковые файлы mtp-, dflash- или eagle3-, без явного указания `--spec-type`, система ошибочно определяла черновик как полную модель.