github llama.cpp · 3 ч назад · inference

llama.cpp b10180 добавляет непрерывный быстрый путь и 32-битную индексную арифметику для SYCL унарных операций

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10180, внедряя оптимизации производительности для бэкенда SYCL. Обновление реализует непрерывный быстрый путь и переключает индексную арифметику поэлементно на использование fastdiv с 32-битными целыми числами.

SYCL: непрерывный быстрый путь + 32-битная индексная арифметика для унарных поэлементных операций
SYCL: использовать fastdiv для индексной арифметики поэлементно

Этот релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для CPU, GPU и различных ускорителей.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10155 добавляет поддержку аудио MiMo-V2.5

Проект llama.cpp выпустил сборку b10155, которая добавляет поддержку модели входных аудиоданных MiMo-V2.5. Это обновление включает конвертер GGUF для аудио MiMo и реализует необходимую логику бэкенда на C++ для обработки моделей на основе RVQ.

github llama.cpp · 2 д назад · 2 просмотра

llama.cpp b10150 корректирует логику выгрузки ggml и исправляет dsv4-граф

Проект llama.cpp выпустил сборку b10150, которая включает корректировки логики ggml для операций выгрузки на бэкенд весов. Это обновление также содержит исправления для графа llama dsv4.

media Hugging Face Forums · 2 д назад · 2 просмотра

TraceML добавляет коллбэк Hugging Face Trainer для диагностики узких мест загрузки данных

Автор интегрировал диагностический инструмент в TraceML, проект с открытым исходным кодом для наблюдаемости PyTorch, чтобы помочь пользователям различать проблемы производительности обучения, ограниченные вычислениями GPU и ограничениями ввода. Эта новая функция позволяет разработчикам быстро определить, вызвана ли низкая утилизация GPU медленной загрузкой данных или реальными пределами вычислений модели.

github llama.cpp · 2 д назад · 6 просмотров

Аарон Тео добавил аргумент -lm mlock в llama.cpp

Аарон Тео отправил изменение в репозиторий llama.cpp, которое вводит новый аргумент командной строки `-lm mlock`. Это дополнение позволяет пользователям явно блокировать память в тех областях, где код выполняет операции `mlock`, но не использует `mmap`.

github llama.cpp · 6 д назад · 1 просмотр

llama.cpp b10093 исправляет шаблон DeepSeek v4 и добавляет флаг drop_reasoning

Проект llama.cpp выпустил сборку b10093, которая включает специфические обновления для поддержки моделей DeepSeek v4. Релиз решает проблемы с обработкой шаблонов и вводит новые флаги конфигурации для этого семейства моделей.