github llama.cpp · 1 ч назад · inference

Выпуск llama.cpp b10202 с объединением SYCL RMS_NORM

Переведено с English → Русский

Проект llama.cpp выпустил версию b10202, в которой представлена оптимизация SYCL, объединяющая операции RMS_NORM и MUL.

Это обновление предоставляет предварительно собранные бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows и Android. Поддерживаются различные аппаратные бэкенды, включая CUDA 12/13, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16, HIP и OpenCL Adreno.

В релиз также входит стандартный интерфейс llama.cpp, и отмечается, что поддержка KleidiAI для macOS Apple Silicon в настоящее время отключена.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10201 улучшает flash attention для квантованного KV при длинных контекстах

Проект llama.cpp выпустил версию b10201, которая включает ключевое улучшение бэкенда ggml-webgpu. Это обновление повышает производительность flash attention при обработке квантованных ключ-значительных кэшей во время генерации длинных контекстов.

github llama.cpp · 17 ч назад · 1 просмотр

llama.cpp b10198 добавляет поддержку Vulkan для квантованного конкатенирования

Проект llama.cpp выпустил сборку b10198, которая внедряет поддержку операций квантованного конкатенирования во внутреннем бэкенде Vulkan.

github llama.cpp · 2 д назад · 1 просмотр

llama.cpp b10180 добавляет непрерывный быстрый путь и 32-битную индексную арифметику для SYCL унарных операций

Проект llama.cpp выпустил сборку b10180, внедряя оптимизации производительности для бэкенда SYCL. Обновление реализует непрерывный быстрый путь и переключает индексную арифметику поэлементно на использование fastdiv с 32-битными целыми числами.

github llama.cpp · 4 д назад · 3 просмотра

llama.cpp b10155 добавляет поддержку аудио MiMo-V2.5

Проект llama.cpp выпустил сборку b10155, которая добавляет поддержку модели входных аудиоданных MiMo-V2.5. Это обновление включает конвертер GGUF для аудио MiMo и реализует необходимую логику бэкенда на C++ для обработки моделей на основе RVQ.

github llama.cpp · 4 д назад · 3 просмотра

llama.cpp b10150 корректирует логику выгрузки ggml и исправляет dsv4-граф

Проект llama.cpp выпустил сборку b10150, которая включает корректировки логики ggml для операций выгрузки на бэкенд весов. Это обновление также содержит исправления для графа llama dsv4.