github llama.cpp · 1 ч назад · inference

llama.cpp b10150 корректирует логику выгрузки ggml и исправляет dsv4-граф

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10150, которая включает корректировки логики ggml для операций выгрузки на бэкенд весов. Это обновление также содержит исправления для графа llama dsv4.

ggml: корректировка логики выгрузки операций на бэкенд весов
llama: исправления графа dsv4

В этом релизе представлены обновлённые бинарные файлы для macOS, Linux, Windows, Android и iOS для различных аппаратных бэкендов, включая CPU, CUDA, Vulkan, ROCm и OpenVINO.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

TraceML добавляет коллбэк Hugging Face Trainer для диагностики узких мест загрузки данных

Автор интегрировал диагностический инструмент в TraceML, проект с открытым исходным кодом для наблюдаемости PyTorch, чтобы помочь пользователям различать проблемы производительности обучения, ограниченные вычислениями GPU и ограничениями ввода. Эта новая функция позволяет разработчикам быстро определить, вызвана ли низкая утилизация GPU медленной загрузкой данных или реальными пределами вычислений модели.

github llama.cpp · 5 ч назад · 1 просмотр

Аарон Тео добавил аргумент -lm mlock в llama.cpp

Аарон Тео отправил изменение в репозиторий llama.cpp, которое вводит новый аргумент командной строки `-lm mlock`. Это дополнение позволяет пользователям явно блокировать память в тех областях, где код выполняет операции `mlock`, но не использует `mmap`.

github llama.cpp · 4 д назад

llama.cpp b10093 исправляет шаблон DeepSeek v4 и добавляет флаг drop_reasoning

Проект llama.cpp выпустил сборку b10093, которая включает специфические обновления для поддержки моделей DeepSeek v4. Релиз решает проблемы с обработкой шаблонов и вводит новые флаги конфигурации для этого семейства моделей.

github llama.cpp · 5 д назад · 1 просмотр

llama.cpp b10089 добавляет полную поддержку k-quant и i-quant для CUDA GET_ROWS

Релиз llama.cpp b10089 расширяет операции CUDA GET_ROWS для поддержки форматов квантования k-quants, i-quants и mxfp4. Это изменение гарантирует, что все квантованные типы GGML теперь могут использовать прямой путь устройства для поиска встраиваний.

github llama.cpp · 6 д назад

llama.cpp b10076 векторизует get_rows с копированием int4 для ускорения на 27%

Проект llama.cpp выпустил сборку b10076, которая вносит оптимизацию производительности в бэкенд CUDA за счёт векторизации операции `get_rows` с использованием копирования int4. Это изменение выносит работу, не зависящую от строки, из цикла по элементам, и добавляет векторизованный путь, копирующий 16 байт на поток для непрерывных данных одного типа.