github llama.cpp · только что · inference

llama.cpp b10734 включает Metal 4.0 tensor API для M5+/A19+

Переведено с English → Русский

Проект llama.cpp выпустил версию b10734, которая включает обновление для включения тензорного API Metal 4.0 для устройств с чипами M5+ или A19+.

Запрашивает языковую версию Metal 4.0 для тензорного API.
Загружает ядра тензорного API из отдельной metallib.
Исправляет порядок сборки metallib для ядер тензорного API.
Добавляет внешний регрессионный тест тензорного API metallib.

Этот релиз предоставляет бинарные файлы для macOS, iOS, Linux, Windows, Android и openEuler для различных аппаратных бэкендов, включая CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL и OpenCL.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

ExLlamaV3 добавляет выгрузку на CPU для экспертов MoE и новые модели GLM-5.3-Flash, Qwen3.8-Flash

Turboderp выпустил значительные обновления ExLlamaV3, внедрив возможности выгрузки на CPU для экспертов Mixture of Experts (MoE). Обновление также включает поддержку недавно выпущенных моделей GLM-5.3-Flash и Qwen3.8-Flash.

github llama.cpp · 18 ч назад · 2 просмотра

llama.cpp b10724 оптимизирует восстановление состояния kv-cache, сокращая количество копирований с 1.3M до 224

Проект llama.cpp выпустил сборку b10724, которая значительно улучшает производительность восстановления неконтекстных ячеек KV кэша путем группировки операций scatter-чтения для каждого непрерывного участка.

github llama.cpp · 20 ч назад · 3 просмотра

llama.cpp b10721 исправляет сбой WebGPU и добавляет поддержку CUDA 13.4 для Windows

Проект llama.cpp выпустил сборку b10721, которая включает критическое исправление для бэкенда WebGPU и расширяет поддержку оборудования на Windows.

github llama.cpp · 22 ч назад · 9 просмотров

llama.cpp b10718 расширяет слияние MOE на specdec и многотокенный режим

Проект llama.cpp выпустил версию b10718, которая включает значительное обновление бэкенда CUDA. Наиболее заметным изменением является расширение слияния Mixture of Experts (MOE) для поддержки спекулятивного декодирования (specdec), что устраняет предыдущие ограничения, при которых слияние MOE glu и topk-router было ограничено обработкой только одного токена за раз.

github llama.cpp · 1 д назад · 4 просмотра

llama.cpp b10715 объединяет кодировщик DFlash с инъекцией KV-кэша

Проект llama.cpp выпустил сборку b10715, которая включает ключевую оптимизацию реализации DFlash. Кодировщик DFlash теперь напрямую объединён с процессом инъекции в KV-кэш во время декодирования.