github llama.cpp · 1 ч назад · inference

llama.cpp b10247 устраняет падения при работе с широкими моделями MoE за счёт динамического выделения памяти

Переведено с English → Русский

Проект llama.cpp выпустил версию b10247, которая решает проблемы стабильности при загрузке больших моделей Mixture of Experts (MoE) в конфигурациях с несколькими бэкендами. Обновление заменяет массивы фиксированного размера в планировщике бэкенда на динамически выделяемые буферы для обработки разделения графа, превышающего 30 входных тензоров.

Заменяет GGML_SCHED_MAX_SPLIT_INPUTS на динамическое выделение памяти для входных данных разделённого графа.
Исправляет падения при загрузке широких моделей MoE, таких как Gemma 4, Qwen MoE, Mixtral и DeepSeek.
Обновляет расчёт graph_size для использования фактического количества входов вместо фиксированной константы.
Предоставляет бинарные файлы для macOS (Apple Silicon/Intel), Linux (CPU/Vulkan/ROCm/OpenVINO/SYCL), Windows (CPU/CUDA/Vulkan/OpenVINO/SYCL/HIP), Android и iOS.

Это изменение позволяет пользователям запускать сложные архитектуры MoE без столкновения с падениями, связанными с планировщиком, на системах с несколькими устройствами бэкенда.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад

llama.cpp b10246 перенаправляет большие q6_K lm_head в плоский GEMV

Проект llama.cpp выпустил версию b10246, которая включает исправление производительности OpenCL для определенных конфигураций моделей. Обновление устраняет проблему, при которой исходное условие размерности было недостаточным для обработки больших весов.

github llama.cpp · 7 ч назад · 2 просмотра

llama.cpp b10242 добавляет бэкенд-сэмплер CUDA для штрафов

Проект llama.cpp выпустил версию b10242, внедрив новый бэкенд-сэмплер для штрафов, который позволяет перенести обработку штрафов на GPU. Это изменение улучшает функцию `common_sampler_init` и обновляет структуру `llama_sampler_penalties`, чтобы она наследовалась от `llama_sampler_backend`, что обеспечивает корректировку частоты и присутствия на бэкенде.

github llama.cpp · 10 ч назад · 1 просмотр

llama.cpp b10241 устраняет гонки данных SMEM в block_reduce для CUDA

Проект llama.cpp выпустил версию b10241, которая устраняет критическую ошибку в бэкенде CUDA. Обновление решает проблему гонок данных, возникавших при повторном использовании разделяемой памяти (SMEM) во время блочных редукций.

media Hugging Face Forums · 13 ч назад · 1 просмотр

Quesma публикует curated-карту из 218 инструментов и статей по эффективности использования токенов в LLM

Quesma выпустила открытый курируемый список, содержащий 218 записей, которые отслеживают, где расходуются токены в рабочих процессах LLM и агентов. Ресурс охватывает мониторинг, семантическое кэширование, дешевые локальные модели, контекстную инженерию и управление затратами.

github llama.cpp · 16 ч назад

llama.cpp b10238 добавляет поддержку MTP для Qwen3-Next

Проект llama.cpp выпустил сборку b10238, которая внедряет поддержку Multi-Token Prediction (MTP) для семейства моделей Qwen3-Next. Это обновление включает специфические изменения в реализации для обработки слоев MTP и исправления, связанные с проверкой типов Python в кодовой базе.