github llama.cpp · только что · inference

llama.cpp b10792 исправляет генерацию грамматики GBNF для пустых схем объектов

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10792, которая включает исправление генерации грамматики GBNF, специально решающее проблемы с пустыми схемами объектов.

Это обновление предоставляет бинарные файлы и фреймворки для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Android, Windows и openEuler для различных аппаратных бэкендов, включая CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL и OpenCL.

Обновление обеспечивает корректную генерацию грамматики для пустых схем объектов в GBNF.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

llama.cpp b10791 добавляет оптимизации OpenCL для квантованной lm_head и декодирования GEMV

Проект llama.cpp выпустил версию b10791, внедряя значительные оптимизации OpenCL для квантованных голов языковых моделей и операций декодирования GEMV. Это обновление также включает улучшения GEMM для средних пакетов, относящиеся к спекулятивному декодированию и предсказанию нескольких токенов.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10790 настраивает переход MMVQ в MMQ для SM87

Проект llama.cpp выпустил сборку b10790, которая включает специфическую настройку перехода от MMVQ к MMQ для SM87.

media r/LocalLLaMA · 7 ч назад · 1 просмотр

IFM выпустила K2-Horizon-MoVA-36B-A4B, разреженную MoE-модель с 4B активных параметров

IFM выпустила финальный чекпоинт для K2-Horizon-MoVA-36B-A4B, модели Mixture-of-Experts с механизмом внимания Mixture-of-Values, которая хранит 36B параметров, но использует только 4B на токен. В релиз входят форматы GGUF и ссылки на более мелкие варианты семейства K2-Horizon.

github llama.cpp · 9 ч назад · 2 просмотра

llama.cpp добавляет поддержку разреженного flash-внимания для предварительной обработки на Metal

Проект llama.cpp добавил поддержку разреженного flash-внимания (FA) для бэкенда Metal, ориентированную на фазу префилла при выводе модели. Это обновление включает новое ядро, которое сжимает конечные записи маски в списки индексов по строкам и расширяет векторное ядро FA за счёт опционального сбора разреженных индексов.

github llama.cpp · 10 ч назад · 2 просмотра

llama.cpp b10782 исправляет оптимизацию CUDA-графов для нескольких GPU

Проект llama.cpp выпустил сборку b10782, которая устраняет критическую проблему в бэкенде CUDA для конфигураций с несколькими GPU. Обновление позволяет создавать параллельные потоки на каждый раздел и корректно запускать оптимизацию CUDA-графов на нескольких устройствах.