Проект llama.cpp выпустил сборку b10751, которая вводит объединённое ядро для взвешенного снижения экспертов MoE (Mixture of Experts) на CUDA. Эта оптимизация заменяет предыдущую базовую реализацию, выполнявшую два физических ядра, одним ядром взвешенного снижения, чтобы уменьшить промежуточный трафик в глобальной памяти.
Проект llama.cpp выпустил сборку b10750, которая рефакторит управление ячейками ключа и значения для улучшения индексации позиций последовательности и поиска истории n-грамм.
Проект llama.cpp выпустил версию b10742, которая включает новую функцию добавления быстрых векторных (fa-vec) настроек специально для чипа Apple A18 Pro, установленного в MacBook Neo.
Проект llama.cpp выпустил версию b10739, которая включает специфическую оптимизацию производительности для аппаратного обеспечения Apple M2 Max. Это обновление вводит быструю настройку векторов внимания (fa-vec), адаптированную под 30 GPU-ядер M2 Max.
Компания Hugging Face выпустила библиотеку @huggingface/kernels для загрузки и запуска оптимизированных ядер WebGPU из Hugging Face Hub, а также начальную коллекцию из 207 ядер. В релиз также вошёл Fleet — набор для браузерного бенчмаркинга GPU, который собирает данные о производительности и корректности с устройств пользователей.
Проект llama.cpp выпустил версию b10734, которая включает обновление для включения тензорного API Metal 4.0 для устройств с чипами M5+ или A19+.
Turboderp выпустил значительные обновления ExLlamaV3, внедрив возможности выгрузки на CPU для экспертов Mixture of Experts (MoE). Обновление также включает поддержку недавно выпущенных моделей GLM-5.3-Flash и Qwen3.8-Flash.
Проект llama.cpp выпустил сборку b10724, которая значительно улучшает производительность восстановления неконтекстных ячеек KV кэша путем группировки операций scatter-чтения для каждого непрерывного участка.
Проект llama.cpp выпустил сборку b10721, которая включает критическое исправление для бэкенда WebGPU и расширяет поддержку оборудования на Windows.
Проект llama.cpp выпустил версию b10718, которая включает значительное обновление бэкенда CUDA. Наиболее заметным изменением является расширение слияния Mixture of Experts (MOE) для поддержки спекулятивного декодирования (specdec), что устраняет предыдущие ограничения, при которых слияние MOE glu и topk-router было ограничено обработкой только одного токена за раз.
Проект llama.cpp выпустил сборку b10715, которая включает ключевую оптимизацию реализации DFlash. Кодировщик DFlash теперь напрямую объединён с процессом инъекции в KV-кэш во время декодирования.
Проект llama.cpp выпустил сборку b10714, включающую специфические оптимизации для бэкенда Vulkan, ориентированные на оборудование AMD Strix Halo. Обновление корректирует количество строк умножения матрицы на вектор для улучшения производительности при пакетном выводе.
Проект llama.cpp выпустил сборку b10706, внедряя новый функционал в бэкенд ggml. Это обновление включает добавление SWIGLU_CLAMP и новую реализацию шейдера Vulkan.
Проект llama.cpp выпустил версию b10707, включающую оптимизацию производительности обработки ключ-значительного (KV) кэша. Обновление изменяет функцию `for_each_token_in`, чтобы прекратить сканирование после того, как все последовательности в конкретной ячейке были просмотрены, вместо итерации по всем возможным максимальным последовательностям.
Проект llama.cpp выпустил сборку b10688, которая включает запрос на слияние (pull request) с добавлением быстрых векторных (fa-vec) настроек для архитектуры M2.
Проект llama.cpp обновил свой бэкенд OpenCL для улучшения производительности умножения матриц на двух поколениях GPU Adreno. Изменения в первую очередь ориентированы на поколение X2E, по умолчанию активируя путь GEMM xmem F16xF32 и оптимизируя обработку для поколения A7X.
Проект llama.cpp выпустил версию b10684, которая включает конкретное исправление для бэкенда SYCL, чтобы флаг `--fit` более точно учитывал `--fit-target`.
Проект llama.cpp выпустил версию b10670, которая включает специфическую оптимизацию для архитектуры Intel Xe2. Обновление перенаправляет операцию декодирования квантованных ключей и значений (KV) исключительно на бэкенд TILE для оборудования BMG, сохраняя бэкенд VEC для других архитектур до их валидации.
Проект llama.cpp выпустил версию b10669, которая включает оптимизацию производительности для пути SDPA oneDNN за счёт привязки KV-кэша f16 на месте.
Релиз llama.cpp b10666 расширяет набор тестов save-load-state для запуска на всех архитектурах и устраняет несколько критических ошибок в управлении состоянием и обработке графа. Ключевые изменения включают исправление висячих ссылок в minimax-01, согласование копирования чанков для последовательностей на устройстве и исправление количества голов индексатора для deepseek4.