github llama.cpp · 1 ч назад · inference

llama.cpp b10159 добавляет ядро FWHT для бэкенда Metal

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10159, которая внедряет ядро быстрого преобразования Уолша-Адамара (FWHT) для бэкенда Metal. Это обновление включает детали реализации в стадии разработки, а также проверки форм данных и корректировки форматирования кода.

Добавлена поддержка ядра FWHT для бэкенда Metal в ggml-metal.
Включены исправления проблем с сужением типов и мелкие правки стиля.
Предоставлены бинарные файлы для macOS, iOS, Linux, Windows, Android и openEuler для архитектур CPU, GPU (CUDA, Vulkan, ROCm, SYCL, OpenVINO) и Apple Silicon.

Выпуск делает новое ядро Metal доступным для пользователей на совместимых платформах.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 3 ч назад · 2 просмотра

llama.cpp b10158 добавляет поддержку eagle3-v3 для модели gpt-oss

Проект llama.cpp выпустил сборку b10158, которая добавляет поддержку архитектуры eagle3-v3 в модели gpt-oss.

github llama.cpp · 5 д назад · 2 просмотра

llama.cpp b10098 обновляет операции активации Hexagon

Проект llama.cpp выпустил версию b10098, которая включает обновление операций активации Hexagon. Этот релиз предоставляет бинарные файлы для macOS, Linux, Android, Windows и openEuler на различных CPU и GPU бэкендах.

lab Hugging Face Blog · 5 д назад · 1 просмотр

Diffusers добавляет нативную поддержку вывода Nunchaku Lite с 4-битным квантованием

Hugging Face Diffusers теперь поддерживает загрузку контрольных точек Nunchaku Lite напрямую через `from_pretrained()`, что устраняет необходимость в отдельном движке вывода или локальной компиляции CUDA. Эта интеграция использует метод SVDQuant для выполнения слоёв трансформера с 4-битными весами и активациями (W4A4), что значительно снижает потребление памяти и одновременно повышает скорость вывода.

github llama.cpp · 6 д назад · 1 просмотр

llama.cpp b10089 добавляет полную поддержку k-quant и i-quant для CUDA GET_ROWS

Релиз llama.cpp b10089 расширяет операции CUDA GET_ROWS для поддержки форматов квантования k-quants, i-quants и mxfp4. Это изменение гарантирует, что все квантованные типы GGML теперь могут использовать прямой путь устройства для поиска встраиваний.

github llama.cpp · 6 д назад

llama.cpp b10085 исправляет привязку Qwen3-VL за счёт выравнивания интерполяции позиционных встраиваний

Проект llama.cpp выпустил сборку b10085, которая включает исправление интерполяции позиционных встраиваний для модели зрения Qwen3-VL с целью устранения несоответствий координат привязки.