github llama.cpp · 1 ч назад · inference

llama.cpp b10663 исправляет ошибки смещения весов RMS_NORM_MUL

Переведено с English → Русский

Проект llama.cpp выпустил версию b10663, которая включает исправление ошибок смещения весов RMS_NORM_MUL, влияющих на групповые и широковещательные нормализации.

Исправлены ошибки смещения весов RMS_NORM_MUL для групповых/широковещательных нормализаций (PR #27798).
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) и openEuler.

Этот релиз обеспечивает корректное поведение нормализации для определенных архитектур моделей, а также обновленные бинарные файлы для всех поддерживаемых платформ.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что Live

llama.cpp b10665 добавляет поддержку DSpark для Nemotron3.5

Проект llama.cpp выпустил сборку b10665, которая вводит поддержку DSpark для модели Nemotron3.5.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10662 добавляет ctx-per-slot для единого KV кэша

Проект llama.cpp выпустил сборку b10662, вводя новую аргумент `--kv-unified-per-slot`, позволяющий пользователям указывать контекст на слот для единого KV кэша. Это изменение заменяет предыдущий механизм доли контекста на слоты пула контекста и рефакторит базовую реализацию.

github llama.cpp · 3 ч назад · 2 просмотра

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 4 ч назад · 1 просмотр

llama.cpp b10658 добавляет поддержку DFlash2 и исправляет ошибку mrope

Проект llama.cpp выпустил сборку b10658, в которой добавлена поддержка спецификации DFlash2, включающей локальную свертку и селектор кандидатов. Это обновление также устраняет конкретную ошибку mrope в кодовой базе.

github llama.cpp · 4 ч назад · 1 просмотр

llama.cpp включает HIP runtime DLL в выпуск ROCm для Windows

Проект llama.cpp обновил свой выпуск ROCm для Windows, чтобы включить необходимые DLL-файлы HIP runtime непосредственно рядом с бинарными файлами. Это изменение решает проблему #26929, гарантируя загрузку правильной версии HIP runtime вместо возможного конфликта с копией драйвера в System32.