Новый проект vLLM Launcher выпущен как приложение для рабочего стола Windows, предназначенное для управления локальным выводом больших языковых моделей через WSL2. Этот инструмент позволяет пользователям управлять несколькими бэкендами движков, включая vLLM, SGLang и llama.cpp, из единого графического интерфейса.
Проект llama.cpp выпустил сборку b10331, которая включает исправление для эндпоинта `get_info` сервера. Ранее, когда явный текущий рабочий каталог не был указан, функция ошибочно возвращалась к рабочему каталогу процесса сервера, даже если был настроен tools runtime.
Проект llama.cpp выпустил версию b10330, внедряющую оптимизацию CUDA, которая объединяет операции rms_norm, умножения и RoPE в одно ядро. Это изменение сопровождается проверкой диапазонов памяти для объединённых операций и новыми тестовыми случаями для весов широковещательной передачи.
Проект llama.cpp выпустил сборку b10328, которая вводит первоначальную поддержку изоляции инструментов внутри компонента сервера с использованием Docker. Это обновление включает документацию и адаптацию кода для разделения песочниц ввода-вывода инструментов и переименование соответствующих флагов конфигурации.
Проект llama.cpp выпустил версию b10327, которая включает исправление количества потоков и блоков при запуске ядра копирования с квантованием на CUDA. Это обновление устраняет проблему, выявленную в pull request #26731.
Проект llama.cpp выпустил сборку b10326, которая изменяет способ расчета измерений времени за счет включения прохода вокодера.
Проект llama.cpp выпустил версию b10321, которая включает критическое исправление операций GGML_OP_NORM и GGML_OP_RMS_NORM в Metal. Обновление устраняет проблему, при которой размер threadgroups, оставляющий частичную SIMD-группу, приводил к некорректным вычислениям среднего значения и дисперсии из-за потери частичных сумм.
Проект llama.cpp выпустил сборку b10322, которая включает оптимизацию производительности, объединяющую загрузки окон SSM_CONV в бэкенде SYCL.
Проект llama.cpp выпустил версию b10313, которая внедряет планировщик LRU (Least Recently Used) для его серверного компонента. Это обновление включает обработку слияния запросов и исправления для случаев потоковой передачи.
Проект llama.cpp выпустил сборку b10311, которая включает исправление для конвейера Qwen3-TTS. Обновление устраняет проблему, при которой модель дважды читала входную фразу во время генерации.
Проект llama.cpp выпустил версию b10312, которая включает конкретное обновление компонента сервера. Ключевое изменение устраняет проблему, при которой загруженные модели вытеснялись из маршрутизатора.
Проект llama.cpp выпустил версию b10307, которая включает исправление кода GPU SYCL для корректного разбора коэффициентов масштабирования UE4M3, используемых в квантовании NVFP4.
Проект llama.cpp выпустил сборку b10305, которая вводит поддержку специфических операций DSv4 в бэкенде SYCL. Это обновление включает реализацию операторов LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST и DSV4_HC_PRE.
Релиз llama.cpp b10306 вносит оптимизации производительности для бэкенда SYCL, конкретно направленные на операции Gated Linear Unit (GLU). Обновление добавляет непрерывный быстрый путь для объединённых операций GLU и объединяет ранее различные ядра для использования общего загрузчика.
Проект llama.cpp выпустил сборку b10298, которая вводит новую функцию сохранения и загрузки чанков для модуля mtmd. Это обновление также включает очистку кода и дополнительные тесты.
Проект llama.cpp выпустил сборку b10293, которая включает интеграцию непрерывной интеграции AMD ROCm для архитектуры gfx1151 и устраняет проблемы корректности на интегрированных GPU с архитектурой RDNA3.5.
Проект llama.cpp выпустил версию b10291, которая включает критические исправления для бэкенда Vulkan наряду со стандартными обновлениями платформы. Основные технические изменения касаются проблем с размером пакетов отправки и внедряют новые диагностические возможности для ошибок драйвера.
Проект llama.cpp выпустил сборку b10290, внедрив новую функцию `ggml_build_forward_order` в библиотеку ggml. Это изменение устраняет ошибку в графе аудио mtmd, где использование `ggml_build_forward_expand` в качестве чистого указания порядка приводило к выполнению неселектированных ветвей со старыми данными.
Выпуск llama.cpp b10289 укрепляет обход директорий file_glob_search сервера для предотвращения бесконечных циклов на точках соединения Windows и улучшает отчеты об ошибках для недоступных директорий.
Новый инструмент QuantCheck подчеркивает, что финальный чекпоинт предварительного обучения может не быть оптимальным выбором для 4-битного квантования, поскольку бенчмарки могут оставаться плоскими, в то время как хрупкость увеличивается. Автор наблюдал эту закономерность на Pythia-160m, где финальный чекпоинт suffered примерно в четыре раза больше повреждений качества, чем более ранний чекпоинт того же качества.