Новый проект vLLM Launcher выпущен как приложение для рабочего стола Windows, предназначенное для управления локальным выводом больших языковых моделей через WSL2. Этот инструмент позволяет пользователям управлять несколькими бэкендами движков, включая vLLM, SGLang и llama.cpp, из единого графического интерфейса.
Проект llama.cpp выпустил версию b10330, внедряющую оптимизацию CUDA, которая объединяет операции rms_norm, умножения и RoPE в одно ядро. Это изменение сопровождается проверкой диапазонов памяти для объединённых операций и новыми тестовыми случаями для весов широковещательной передачи.
Проект llama.cpp выпустил сборку b10328, которая вводит первоначальную поддержку изоляции инструментов внутри компонента сервера с использованием Docker. Это обновление включает документацию и адаптацию кода для разделения песочниц ввода-вывода инструментов и переименование соответствующих флагов конфигурации.
Сервер и UI llama.cpp были обновлены для условного отображения элемента управления рабочим каталогом. Ранее этот элемент появлялся при любом экспорте встроенного инструмента, даже если ни один инструмент на самом деле не использовал его.
Проект llama.cpp выпустил версию b10327, которая включает исправление количества потоков и блоков при запуске ядра копирования с квантованием на CUDA. Это обновление устраняет проблему, выявленную в pull request #26731.
Проект llama.cpp выпустил версию b10313, которая внедряет планировщик LRU (Least Recently Used) для его серверного компонента. Это обновление включает обработку слияния запросов и исправления для случаев потоковой передачи.
Проект llama.cpp выпустил версию b10312, которая включает конкретное обновление компонента сервера. Ключевое изменение устраняет проблему, при которой загруженные модели вытеснялись из маршрутизатора.
Проект llama.cpp выпустил версию b10307, которая включает исправление кода GPU SYCL для корректного разбора коэффициентов масштабирования UE4M3, используемых в квантовании NVFP4.
Проект llama.cpp выпустил сборку b10298, которая вводит новую функцию сохранения и загрузки чанков для модуля mtmd. Это обновление также включает очистку кода и дополнительные тесты.
Проект llama.cpp выпустил версию b10282, которая внедряет новые возможности мониторинга для спекулятивного декодирования. Сервер теперь включает счетчики spec-decode в своей конечной точке /metrics, позволяя пользователям отслеживать метрики производительности, связанные с этой функцией.
Выпуск llama.cpp b10271 внедряет функцию рабочей директории для каждой беседы в UI, позволяя пользователям устанавливать и перемещаться по директориям независимо для каждого сеанса чата.
Проект llama.cpp выпустил версию b10270, добавляющую поддержку модели Qwen3-TTS. Это обновление включает критическое изменение для бинарного файла llama-tts и реализует значительные архитектурные модификации для обработки нового рабочего процесса преобразования текста в речь.
Проект llama.cpp выпустил сборку b10259, которая добавляет возможность изменения формы тензоров в процессе загрузки.
Проект llama.cpp выпустил версию b10254, представив новый шаблон чата для модели DeepSeek V4 Flash 0731 наряду с обновлениями существующих шаблонов DeepSeek V4.
Проект llama.cpp выпустил сборку b10251, которая добавляет поддержку многозадачного предсказания (MTP) для модели GLM-4.7-Flash.
Проект llama.cpp выпустил сборку b10238, которая внедряет поддержку Multi-Token Prediction (MTP) для семейства моделей Qwen3-Next. Это обновление включает специфические изменения в реализации для обработки слоев MTP и исправления, связанные с проверкой типов Python в кодовой базе.
Проект llama.cpp выпустил сборку b10237, которая вводит поддержку предсказания нескольких токенов (MTP) для модели DeepSeek V3.2.
Проект llama.cpp выпустил сборку b10232, которая добавляет поддержку гиперсвязей DeepSeek V4 через бэкенд Metal. Это обновление включает реализацию операций GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE и GGML_OP_DSV4_HC_POST.
Проект llama.cpp выпустил версию b10219, которая включает исправление для CLI, позволяющее сохранять содержимое рассуждений в истории чата. Ранее, хотя `llama-cli` собирал рассуждения из потока для отображения, он сохранял только контент ассистента в сообщениях, что не позволяло флагу `--reasoning-preserve` повторно внедрять предыдущие мысли в последующих ходах.
Проект llama.cpp выпустил версию b10213, добавляющую поддержку квантования вращённого ключ-значения кэша. Это обновление доступно на широком спектре платформ и аппаратных ускорителей.