github llama.cpp · 1 ч назад · inference

llama.cpp b10155 добавляет поддержку аудио MiMo-V2.5

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10155, которая добавляет поддержку модели входных аудиоданных MiMo-V2.5. Это обновление включает конвертер GGUF для аудио MiMo и реализует необходимую логику бэкенда на C++ для обработки моделей на основе RVQ.

Добавлена поддержка входного аудио MiMo-V2.5 с использованием архитектуры модели на основе RVQ.
Включен конвертер GGUF, специально предназначенный для форматов аудио MiMo.
Реализован соответствующий код вывода на C++ для нового типа модели.
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), Linux, Windows, Android и openEuler для бэкендов CPU, GPU и специализированного оборудования.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 9 ч назад

llama.cpp b10150 корректирует логику выгрузки ggml и исправляет dsv4-граф

Проект llama.cpp выпустил сборку b10150, которая включает корректировки логики ggml для операций выгрузки на бэкенд весов. Это обновление также содержит исправления для графа llama dsv4.

media Hugging Face Forums · 11 ч назад

TraceML добавляет коллбэк Hugging Face Trainer для диагностики узких мест загрузки данных

Автор интегрировал диагностический инструмент в TraceML, проект с открытым исходным кодом для наблюдаемости PyTorch, чтобы помочь пользователям различать проблемы производительности обучения, ограниченные вычислениями GPU и ограничениями ввода. Эта новая функция позволяет разработчикам быстро определить, вызвана ли низкая утилизация GPU медленной загрузкой данных или реальными пределами вычислений модели.

github llama.cpp · 13 ч назад · 2 просмотра

Аарон Тео добавил аргумент -lm mlock в llama.cpp

Аарон Тео отправил изменение в репозиторий llama.cpp, которое вводит новый аргумент командной строки `-lm mlock`. Это дополнение позволяет пользователям явно блокировать память в тех областях, где код выполняет операции `mlock`, но не использует `mmap`.

github llama.cpp · 4 д назад

llama.cpp b10093 исправляет шаблон DeepSeek v4 и добавляет флаг drop_reasoning

Проект llama.cpp выпустил сборку b10093, которая включает специфические обновления для поддержки моделей DeepSeek v4. Релиз решает проблемы с обработкой шаблонов и вводит новые флаги конфигурации для этого семейства моделей.

github llama.cpp · 5 д назад · 1 просмотр

llama.cpp b10089 добавляет полную поддержку k-quant и i-quant для CUDA GET_ROWS

Релиз llama.cpp b10089 расширяет операции CUDA GET_ROWS для поддержки форматов квантования k-quants, i-quants и mxfp4. Это изменение гарантирует, что все квантованные типы GGML теперь могут использовать прямой путь устройства для поиска встраиваний.