github llama.cpp · 1 д назад · inference

llama.cpp b10354 исправляет маску привязки к CPU на Android

Переведено с English → Русский

Проект llama.cpp выпустил версию b10354, которая включает исправление проблемы с игнорированием маски привязки к процессору на устройствах Android.

В релизе предоставлены бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL, OpenVINO) и Android (arm64).

Поддержка KleidiAI для macOS Apple Silicon остается отключенной в этой сборке.

Сборки openEuler в значительной степени отключены, доступны только определенные конфигурации x86 и aarch64.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10344 добавляет поддержку MTP для моделей Nemotron

Проект llama.cpp выпустил сборку b10344, которая вводит поддержку Multi-Token Prediction (MTP) специально для моделей Nemotron и Nemotron Nano.

github llama.cpp · 2 д назад

llama.cpp добавляет архитектуру Granite-Switch с маршрутизатором в графе для выбора LoRA на токене

Проект llama.cpp внедряет поддержку архитектуры Granite-Switch, варианта плотной модели с N встроенными адаптерами LoRA, которые выбираются на токене посредством управляющих токенов. Эта реализация заменяет предыдущий концепт глобального «липкого» индекса причинным механизмом внимания «маршрутизатора» в графе для разрешения индексов адаптеров.

github llama.cpp · 2 д назад

Выпуск llama.cpp b10336 с рефакторингом ggml-webgpu

Проект llama.cpp выпустил версию b10336, которая включает рефакторинг нескольких файлов wgsl и упрощение flash_attn wgsl в компоненте ggml-webgpu.

media Hugging Face Forums · 3 д назад · 8 просмотров

vLLM Launcher предоставляет рабочий стол для локального вывода LLM в Windows

Новый проект vLLM Launcher выпущен как приложение для рабочего стола Windows, предназначенное для управления локальным выводом больших языковых моделей через WSL2. Этот инструмент позволяет пользователям управлять несколькими бэкендами движков, включая vLLM, SGLang и llama.cpp, из единого графического интерфейса.

github llama.cpp · 3 д назад · 2 просмотра

llama.cpp b10330 объединяет rms_norm, mul и rope на CUDA

Проект llama.cpp выпустил версию b10330, внедряющую оптимизацию CUDA, которая объединяет операции rms_norm, умножения и RoPE в одно ядро. Это изменение сопровождается проверкой диапазонов памяти для объединённых операций и новыми тестовыми случаями для весов широковещательной передачи.