github llama.cpp · только что · inference

llama.cpp b10414 добавляет поддержку TQ2_0 и оптимизирует ядро mul_mv

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10414, добавляющую поддержку типа тернарной квантования GGML_TYPE_TQ2_0 в бэкенде Metal. Это обновление также включает оптимизации ядра mul_mv для непрерывных тензоров (cont).

Добавлена поддержка GGML_TYPE_TQ2_0 (тернарная, 2 бита на элемент) в бэкенде Metal.
Оптимизировано ядро mul_mv путем переключения с целочисленных операций на операции с плавающей запятой.
Улучшена производительность за счет предварительно вычисленных сумм, вынесенных коэффициентов и непрерывной загрузки y.

Этот релиз предоставляет обновленные бинарные файлы для macOS, Linux, Windows, Android и openEuler для различных аппаратных бэкендов, включая CPU, CUDA, Vulkan, ROCm и SYCL.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 3 д назад · 1 просмотр

llama.cpp b10354 исправляет маску привязки к CPU на Android

Проект llama.cpp выпустил версию b10354, которая включает исправление проблемы с игнорированием маски привязки к процессору на устройствах Android.

github llama.cpp · 3 д назад · 2 просмотра

llama.cpp b10344 добавляет поддержку MTP для моделей Nemotron

Проект llama.cpp выпустил сборку b10344, которая вводит поддержку Multi-Token Prediction (MTP) специально для моделей Nemotron и Nemotron Nano.

github llama.cpp · 3 д назад · 1 просмотр

llama.cpp добавляет архитектуру Granite-Switch с маршрутизатором в графе для выбора LoRA на токене

Проект llama.cpp внедряет поддержку архитектуры Granite-Switch, варианта плотной модели с N встроенными адаптерами LoRA, которые выбираются на токене посредством управляющих токенов. Эта реализация заменяет предыдущий концепт глобального «липкого» индекса причинным механизмом внимания «маршрутизатора» в графе для разрешения индексов адаптеров.

github llama.cpp · 3 д назад

Выпуск llama.cpp b10336 с рефакторингом ggml-webgpu

Проект llama.cpp выпустил версию b10336, которая включает рефакторинг нескольких файлов wgsl и упрощение flash_attn wgsl в компоненте ggml-webgpu.

media Hugging Face Forums · 5 д назад · 9 просмотров

vLLM Launcher предоставляет рабочий стол для локального вывода LLM в Windows

Новый проект vLLM Launcher выпущен как приложение для рабочего стола Windows, предназначенное для управления локальным выводом больших языковых моделей через WSL2. Этот инструмент позволяет пользователям управлять несколькими бэкендами движков, включая vLLM, SGLang и llama.cpp, из единого графического интерфейса.