github llama.cpp · только что · inference

llama.cpp b10795 объединяет операции SYCL

Переведено с English → Русский

Проект llama.cpp выпустил версию b10795, которая включает новую оптимизацию для бэкенда SYCL. Это обновление позволяет объединять цепочки RMS_NORM+MUL+ADD и ADD+ADD residual под флагом GGML_SYCL_ENABLE_FUSION.

Объединённая операция ADD+ADD повторно использует ту же индексацию broadcast и матрицу типов, что и отдельная функция add(), поддерживая f32, f16, i32, i16, bf16 и неконтейгуированные данные.
Неподдерживаемые комбинации в логике слияния возвращаются к двум отдельным запускам add() для сохранения совместимости.

Этот релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler на различных аппаратных ускорителях, включая CUDA, ROCm, Vulkan и OpenVINO.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 7 ч назад · 3 просмотра

llama.cpp b10791 добавляет оптимизации OpenCL для квантованной lm_head и декодирования GEMV

Проект llama.cpp выпустил версию b10791, внедряя значительные оптимизации OpenCL для квантованных голов языковых моделей и операций декодирования GEMV. Это обновление также включает улучшения GEMM для средних пакетов, относящиеся к спекулятивному декодированию и предсказанию нескольких токенов.

media r/LocalLLaMA · 14 ч назад · 3 просмотра

IFM выпустила K2-Horizon-MoVA-36B-A4B, разреженную MoE-модель с 4B активных параметров

IFM выпустила финальный чекпоинт для K2-Horizon-MoVA-36B-A4B, модели Mixture-of-Experts с механизмом внимания Mixture-of-Values, которая хранит 36B параметров, но использует только 4B на токен. В релиз входят форматы GGUF и ссылки на более мелкие варианты семейства K2-Horizon.

github llama.cpp · 16 ч назад · 3 просмотра

llama.cpp добавляет поддержку разреженного flash-внимания для предварительной обработки на Metal

Проект llama.cpp добавил поддержку разреженного flash-внимания (FA) для бэкенда Metal, ориентированную на фазу префилла при выводе модели. Это обновление включает новое ядро, которое сжимает конечные записи маски в списки индексов по строкам и расширяет векторное ядро FA за счёт опционального сбора разреженных индексов.

github llama.cpp · 19 ч назад · 1 просмотр

llama.cpp b10780 улучшает SYCL API для поддержки копирования между узлами

Проект llama.cpp выпустил версию b10780, которая включает конкретное улучшение бэкенда SYCL. Это обновление изменяет API, чтобы включить возможности копирования между узлами (peer-to-peer copy) для устройств SYCL.

github llama.cpp · 19 ч назад · 2 просмотра

llama.cpp добавляет поддержку NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp вводит поддержку модели NVIDIA Nemotron-3-Puzzle-75B-A9B, обеспечивая вывод для этой архитектуры Mixture of Experts. Обновление реализует инфраструктуру для переменных размеров feed-forward экспертов на слой и маршрутизации top-k, что необходимо, поскольку модель имеет 40 слоев MoE с различными значениями n_ff_exp и top-k.