github llama.cpp · 2 ч назад · inference

llama.cpp b10344 добавляет поддержку MTP для моделей Nemotron

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10344, которая вводит поддержку Multi-Token Prediction (MTP) специально для моделей Nemotron и Nemotron Nano.

Добавлена поддержка MTP для модели Nemotron Nano.
Введена конфигурация mtp_flags для модели Nemotron.
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) и openEuler.

Это обновление позволяет пользователям использовать возможности MTP с моделями Nemotron на широком спектре аппаратных платформ и операционных систем.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp добавляет архитектуру Granite-Switch с маршрутизатором в графе для выбора LoRA на токене

Проект llama.cpp внедряет поддержку архитектуры Granite-Switch, варианта плотной модели с N встроенными адаптерами LoRA, которые выбираются на токене посредством управляющих токенов. Эта реализация заменяет предыдущий концепт глобального «липкого» индекса причинным механизмом внимания «маршрутизатора» в графе для разрешения индексов адаптеров.

github llama.cpp · 11 ч назад

Выпуск llama.cpp b10336 с рефакторингом ggml-webgpu

Проект llama.cpp выпустил версию b10336, которая включает рефакторинг нескольких файлов wgsl и упрощение flash_attn wgsl в компоненте ggml-webgpu.

media Hugging Face Forums · 2 д назад · 8 просмотров

vLLM Launcher предоставляет рабочий стол для локального вывода LLM в Windows

Новый проект vLLM Launcher выпущен как приложение для рабочего стола Windows, предназначенное для управления локальным выводом больших языковых моделей через WSL2. Этот инструмент позволяет пользователям управлять несколькими бэкендами движков, включая vLLM, SGLang и llama.cpp, из единого графического интерфейса.

github llama.cpp · 2 д назад · 1 просмотр

llama.cpp b10330 объединяет rms_norm, mul и rope на CUDA

Проект llama.cpp выпустил версию b10330, внедряющую оптимизацию CUDA, которая объединяет операции rms_norm, умножения и RoPE в одно ядро. Это изменение сопровождается проверкой диапазонов памяти для объединённых операций и новыми тестовыми случаями для весов широковещательной передачи.

github llama.cpp · 2 д назад · 6 просмотров

llama.cpp b10328 добавляет начальную изоляцию инструментов сервера через Docker

Проект llama.cpp выпустил сборку b10328, которая вводит первоначальную поддержку изоляции инструментов внутри компонента сервера с использованием Docker. Это обновление включает документацию и адаптацию кода для разделения песочниц ввода-вывода инструментов и переименование соответствующих флагов конфигурации.