github llama.cpp · 1 ч назад · inference

llama.cpp b10198 добавляет поддержку Vulkan для квантованного конкатенирования

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10198, которая внедряет поддержку операций квантованного конкатенирования во внутреннем бэкенде Vulkan.

Основное техническое обновление — добавление поддержки Vulkan для квантованного concat, реализованная в pull request #25684.
Сборки macOS Apple Silicon с KleidiAI явно отключены в этом релизе.
Бинарные файлы предоставляются для нескольких платформ, включая macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL, HIP), Android и openEuler.
В пакет релиза также включен автономный бинарный файл UI.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10180 добавляет непрерывный быстрый путь и 32-битную индексную арифметику для SYCL унарных операций

Проект llama.cpp выпустил сборку b10180, внедряя оптимизации производительности для бэкенда SYCL. Обновление реализует непрерывный быстрый путь и переключает индексную арифметику поэлементно на использование fastdiv с 32-битными целыми числами.

github llama.cpp · 3 д назад · 3 просмотра

llama.cpp b10155 добавляет поддержку аудио MiMo-V2.5

Проект llama.cpp выпустил сборку b10155, которая добавляет поддержку модели входных аудиоданных MiMo-V2.5. Это обновление включает конвертер GGUF для аудио MiMo и реализует необходимую логику бэкенда на C++ для обработки моделей на основе RVQ.

github llama.cpp · 3 д назад · 2 просмотра

llama.cpp b10150 корректирует логику выгрузки ggml и исправляет dsv4-граф

Проект llama.cpp выпустил сборку b10150, которая включает корректировки логики ggml для операций выгрузки на бэкенд весов. Это обновление также содержит исправления для графа llama dsv4.

media Hugging Face Forums · 3 д назад · 2 просмотра

TraceML добавляет коллбэк Hugging Face Trainer для диагностики узких мест загрузки данных

Автор интегрировал диагностический инструмент в TraceML, проект с открытым исходным кодом для наблюдаемости PyTorch, чтобы помочь пользователям различать проблемы производительности обучения, ограниченные вычислениями GPU и ограничениями ввода. Эта новая функция позволяет разработчикам быстро определить, вызвана ли низкая утилизация GPU медленной загрузкой данных или реальными пределами вычислений модели.

github llama.cpp · 3 д назад · 6 просмотров

Аарон Тео добавил аргумент -lm mlock в llama.cpp

Аарон Тео отправил изменение в репозиторий llama.cpp, которое вводит новый аргумент командной строки `-lm mlock`. Это дополнение позволяет пользователям явно блокировать память в тех областях, где код выполняет операции `mlock`, но не использует `mmap`.