github llama.cpp · только что · inference

llama.cpp b10158 добавляет поддержку eagle3-v3 для модели gpt-oss

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10158, которая добавляет поддержку архитектуры eagle3-v3 в модели gpt-oss.

Это обновление доступно на нескольких платформах и аппаратных конфигурациях. Загрузки включают бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu с CPU, Vulkan, ROCm 7.2, OpenVINO и SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL и HIP), Android и openEuler.

Релиз предоставляет предварительно собранные бинарные файлы для основного приложения и его пользовательского интерфейса, что позволяет пользователям запускать обновленную модель на широком спектре систем без компиляции из исходного кода.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 5 д назад · 2 просмотра

llama.cpp b10098 обновляет операции активации Hexagon

Проект llama.cpp выпустил версию b10098, которая включает обновление операций активации Hexagon. Этот релиз предоставляет бинарные файлы для macOS, Linux, Android, Windows и openEuler на различных CPU и GPU бэкендах.

lab Hugging Face Blog · 5 д назад · 1 просмотр

Diffusers добавляет нативную поддержку вывода Nunchaku Lite с 4-битным квантованием

Hugging Face Diffusers теперь поддерживает загрузку контрольных точек Nunchaku Lite напрямую через `from_pretrained()`, что устраняет необходимость в отдельном движке вывода или локальной компиляции CUDA. Эта интеграция использует метод SVDQuant для выполнения слоёв трансформера с 4-битными весами и активациями (W4A4), что значительно снижает потребление памяти и одновременно повышает скорость вывода.

github llama.cpp · 6 д назад · 1 просмотр

llama.cpp b10089 добавляет полную поддержку k-quant и i-quant для CUDA GET_ROWS

Релиз llama.cpp b10089 расширяет операции CUDA GET_ROWS для поддержки форматов квантования k-quants, i-quants и mxfp4. Это изменение гарантирует, что все квантованные типы GGML теперь могут использовать прямой путь устройства для поиска встраиваний.

github llama.cpp · 6 д назад

llama.cpp b10085 исправляет привязку Qwen3-VL за счёт выравнивания интерполяции позиционных встраиваний

Проект llama.cpp выпустил сборку b10085, которая включает исправление интерполяции позиционных встраиваний для модели зрения Qwen3-VL с целью устранения несоответствий координат привязки.

github llama.cpp · 8 д назад · 2 просмотра

llama.cpp b10069 добавляет поддержку широковещательной передачи OpenCL для Adreno MUL_MAT

Проект llama.cpp выпустил сборку b10069, которая включает специфические обновления OpenCL для графических процессоров Qualcomm Adreno. Основное изменение заключается в поддержке операций широковещательной передачи для ядра Adreno MUL_MAT и учете смещений представления для варианта Q8_0 MUL_MAT, что позволяет включить многопоточную функциональность в llama-server.