github llama.cpp · 1 ч назад · inference

llama.cpp b11403 использует MMVF для тонкого умножения f16/bf16 mul_mat при малом размере батча

Переведено с English → Русский

Проект llama.cpp выпустил версию b11403, которая включает оптимизацию CUDA для использования ядра MMVF для тонких матричных умножений f16 и bf16 при малых размерах батчей.

Настроена логика выбора ядра для улучшения производительности на GPU NVIDIA.
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android и openEuler.
Включены iOS XCFramework и сборки UI вместе со стандартными бинарными файлами.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp b11405 тайлит световой индексатор по ключам и токенам для 4 голов

Выпуск llama.cpp b11405 обновляет бэкенд CUDA, тайля световой индексатор по ключам и токенам для 4 голов, решая проблемы производительности при малом количестве голов.

github llama.cpp · 19 ч назад · 28 просмотров

llama.cpp b11390 исправляет ошибку памяти CUDA MMQ

Проект llama.cpp выпустил версию b11390, которая содержит исправление ошибки памяти CUDA MMQ, возникавшей при значительном превышении количества экспертов над размером микро-батча.

github llama.cpp · 2 д назад · 24 просмотра

llama.cpp b11375 исправляет прерывания перераспределения графа при GGML_SCHED_NO_REALLOC

Проект llama.cpp выпустил сборку b11375, которая устраняет критическую проблему, при которой неконгруэнтные ячейки ubatch вызывали перераспределение графа, приводившее к аварийному завершению при установленном флаге GGML_SCHED_NO_REALLOC.

github llama.cpp · 2 д назад · 29 просмотров

llama.cpp b11372 вдвое снижает потребление памяти индексатора qwen4exp и добавляет поддержку CUDA для 4 голов

Релиз llama.cpp b11372 вводит оптимизации для молниеносного индексатора модели qwen4exp, прежде всего сокращая вдвое память, необходимую для вычисления оценок индекса при обработке длинного контекста. Это достигается за счёт вычисления оценок голов на месте, а не создания отдельных тензоров для каждой головы.

github llama.cpp · 2 д назад · 30 просмотров

llama.cpp b11368 добавляет вероятностную выборку для простого черновика и MTP

Проект llama.cpp выпустил сборку b11368, которая вводит вероятностную выборку для рабочих процессов простого черновика и MTP (Multi-Token Prediction). Это обновление изменяет механизм черновика, чтобы использовать вероятностный отбор при проверке целей через отклоняющую выборку.