github llama.cpp · 1 ч назад · inference

llama.cpp b10472 пропускает переопределение UMA для сборок HIP

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10472, которая включает исправление для пропуска переопределения архитектуры унифицированной памяти (UMA) для сборок HIP. Это изменение решает проблему, при которой ускоренные процессоры AMD (APU) сообщали неточную информацию о памяти через hipMemGetInfo.

Обновление устраняет проблему GitHub #18159, предотвращая завышение значения MemAvailable на системах с малыми выделенными областями.
Сборки macOS Apple Silicon с KleidiAI отключены в этом релизе.
Поддержка Ubuntu ROCm 7.14 также отключена.
Бинарные файлы предоставлены для Linux, Windows, Android и macOS для CPU, CUDA, Vulkan, OpenVINO, SYCL и других бэкендов.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

media Hugging Face Forums · 11 ч назад · 2 просмотра

Прототип SpiralCoreAttention выбирает блоки токенов для длинноконтекстного QLoRA-дообучения

Разработчик запрашивает отзывы о SpiralCoreAttention, экспериментальном прототипе выбора контекста во время обучения для дообучения LLM с открытыми весами. Вместо обработки полных длинных последовательностей на каждом прямом и обратном проходе система выбирает конкретные блоки токенов из последовательности для обучения, оценивая при этом полученный адаптер на полных последовательностях с удержанным контекстом.

github llama.cpp · 11 ч назад · 7 просмотров

llama.cpp b10456 исправляет количество потоков SYCL для 7-кратного прироста пропускной способности на Arc 70

Проект llama.cpp выпустил версию b10456, которая включает критическое исправление для бэкенда SYCL в запусках квантованного ядра копирования. Обновление корректирует количество потоков и блоков так, чтобы они были пропорциональны размеру квантования, эффективно устраняя проблемы с недостаточным и избыточным выделением ресурсов.

media r/LocalLLaMA · 1 д назад · 10 просмотров

NVIDIA запускает Qwen 3.8 2.4T на GB300 NVL72 со скоростью 4K токенов/с на GPU

NVIDIA продемонстрировала развертывание модели Qwen 3.8 2.4T с параметрами и настраиваемыми возможностями рассуждения на аппаратной платформе GB300 NVL72.

github llama.cpp · 2 д назад · 14 просмотров

llama.cpp добавляет поддержку модели Kimi-K3 с MXFP4-репакингом и шаблоном чата

Проект llama.cpp добавил поддержку текстовой модели Kimi-K3, реализовав её гибридную архитектуру внимания KDA (линейная) + MLA (полная), а также пять специфических архитектурных особенностей, отсутствующих в более старой модели Kimi-Linear-48B.

github llama.cpp · 2 д назад · 14 просмотров

llama.cpp b10447 перерабатывает модель потоков yield_to_queue

Проект llama.cpp выпустил сборку b10447, включающую переработку модели потоков `yield_to_queue`. Это изменение предполагает запуск `common_speculative_process` в рабочем потоке и замену дизайна взаимодействия рабочего потока с главным.