github llama.cpp · 1 ч назад · inference

llama.cpp b11390 исправляет ошибку памяти CUDA MMQ

Переведено с English → Русский

Проект llama.cpp выпустил версию b11390, которая содержит исправление ошибки памяти CUDA MMQ, возникавшей при значительном превышении количества экспертов над размером микро-батча.

Исправлена ошибка памяти в бэкенде CUDA, связанная с обработкой Mixture-of-Experts (MMQ).
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android и openEuler.
Включена обновленная версия пользовательского интерфейса.

Это обновление обеспечивает стабильность для пользователей, запускающих модели Mixture-of-Experts на оборудовании CUDA, предотвращая конкретную ошибку доступа к памяти.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 1 д назад · 12 просмотров

llama.cpp b11375 исправляет прерывания перераспределения графа при GGML_SCHED_NO_REALLOC

Проект llama.cpp выпустил сборку b11375, которая устраняет критическую проблему, при которой неконгруэнтные ячейки ubatch вызывали перераспределение графа, приводившее к аварийному завершению при установленном флаге GGML_SCHED_NO_REALLOC.

github llama.cpp · 1 д назад · 15 просмотров

llama.cpp b11372 вдвое снижает потребление памяти индексатора qwen4exp и добавляет поддержку CUDA для 4 голов

Релиз llama.cpp b11372 вводит оптимизации для молниеносного индексатора модели qwen4exp, прежде всего сокращая вдвое память, необходимую для вычисления оценок индекса при обработке длинного контекста. Это достигается за счёт вычисления оценок голов на месте, а не создания отдельных тензоров для каждой головы.

github llama.cpp · 1 д назад · 17 просмотров

llama.cpp b11368 добавляет вероятностную выборку для простого черновика и MTP

Проект llama.cpp выпустил сборку b11368, которая вводит вероятностную выборку для рабочих процессов простого черновика и MTP (Multi-Token Prediction). Это обновление изменяет механизм черновика, чтобы использовать вероятностный отбор при проверке целей через отклоняющую выборку.

github llama.cpp · 2 д назад · 16 просмотров

llama.cpp b11362 добавляет ядро flash attention для тензорного API с KV в F16

Проект llama.cpp выпустил сборку b11362, которая представляет новое ядро flash attention для тензорного API, поддерживающее хранение ключей и значений (KV) в формате F16. Это обновление доступно на платформах macOS, Linux, Windows, Android и iOS с различными вариантами бэкендов, включая CUDA, Vulkan и ROCm.

github llama.cpp · 2 д назад · 16 просмотров

llama.cpp b11351 добавляет alloc_buffer_n и get_alloc_size_n в интерфейс типа буфера бэкенда ggml

Проект llama.cpp выпустил сборку b11351, внедрив новые методы в интерфейс типа буфера бэкенда ggml. Обновление добавляет `alloc_buffer_n` и `get_alloc_size_n` для более детального контроля над выделением буфера и запросом его размера.