github llama.cpp · 1 ч назад · inference

llama.cpp b10790 настраивает переход MMVQ в MMQ для SM87

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10790, которая включает специфическую настройку перехода от MMVQ к MMQ для SM87.

Это обновление предоставляет предварительно собранные бинарные файлы для нескольких платформ и аппаратных конфигураций. Доступные сборки включают macOS Apple Silicon и Intel, Linux (Ubuntu) с поддержкой CPU, Vulkan, ROCm 10.0, OpenVINO и SYCL, а также сборки для Windows с поддержкой CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL и ROCm 10.0. Дополнительные релизы охватывают Android arm64, iOS XCFramework и архитектуры openEuler x86/aarch64.

Релиз также включает стандартный пакет UI llama.cpp для всех поддерживаемых операционных систем.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

media r/LocalLLaMA · 6 ч назад · 1 просмотр

IFM выпустила K2-Horizon-MoVA-36B-A4B, разреженную MoE-модель с 4B активных параметров

IFM выпустила финальный чекпоинт для K2-Horizon-MoVA-36B-A4B, модели Mixture-of-Experts с механизмом внимания Mixture-of-Values, которая хранит 36B параметров, но использует только 4B на токен. В релиз входят форматы GGUF и ссылки на более мелкие варианты семейства K2-Horizon.

github llama.cpp · 8 ч назад · 1 просмотр

llama.cpp добавляет поддержку разреженного flash-внимания для предварительной обработки на Metal

Проект llama.cpp добавил поддержку разреженного flash-внимания (FA) для бэкенда Metal, ориентированную на фазу префилла при выводе модели. Это обновление включает новое ядро, которое сжимает конечные записи маски в списки индексов по строкам и расширяет векторное ядро FA за счёт опционального сбора разреженных индексов.

github llama.cpp · 9 ч назад · 2 просмотра

llama.cpp b10782 исправляет оптимизацию CUDA-графов для нескольких GPU

Проект llama.cpp выпустил сборку b10782, которая устраняет критическую проблему в бэкенде CUDA для конфигураций с несколькими GPU. Обновление позволяет создавать параллельные потоки на каждый раздел и корректно запускать оптимизацию CUDA-графов на нескольких устройствах.

github llama.cpp · 11 ч назад · 1 просмотр

llama.cpp b10780 улучшает SYCL API для поддержки копирования между узлами

Проект llama.cpp выпустил версию b10780, которая включает конкретное улучшение бэкенда SYCL. Это обновление изменяет API, чтобы включить возможности копирования между узлами (peer-to-peer copy) для устройств SYCL.

github llama.cpp · 11 ч назад · 2 просмотра

llama.cpp b10781 исправляет включение пути деквантования Vulkan FA

Проект llama.cpp выпустил сборку b10781, которая содержит исправление для пути деквантования быстрого внимания (FA) Vulkan. Обновление устраняет проблему, при которой шейдер неверно проверял `nb[3]`, даже когда `ne[3] == 1`, из-за чего путь включался только при полном кэше.