github llama.cpp · только что · inference

llama.cpp b10889 избегает выделения V кэша для индексатора

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10889, которая включает оптимизацию памяти для избежания выделения V кэша для индексатора, поскольку он не используется.

Это обновление предоставляет предварительно собранные бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu x64, arm64, s390x с CPU, Vulkan, ROCm 10.0, OpenVINO и SYCL бэкендами), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) и openEuler.

Релиз также включает UI llama.cpp.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

llama.cpp b10888 добавляет метки отладки командных буферов для профилировщиков GPU

Проект llama.cpp выпустил сборку b10888, которая включает новую функцию добавления меток отладки командных буферов для профилировщиков GPU во бэкенде Vulkan.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10886 добавляет поддержку векторных встроенных функций Q1_0 для s390x

Проект llama.cpp выпустил сборку b10886, которая внедряет поддержку векторных встроенных функций Q1_0 для архитектуры s390x. Это обновление включает реализацию `ggml_vec_dot_q1_0_q8_0` и обновляет документацию, чтобы отразить новую возможность.

github llama.cpp · 17 ч назад · 1 просмотр

llama.cpp b10883 исправляет умножение матриц Vulkan и восстанавливает оптимизации Ampere

Проект llama.cpp выпустил сборку b10883, включающую значительные обновления бэкенда Vulkan. Основное изменение заключается в использовании спецификационных констант для операций умножения матрица-на-матрицу типа A с целью улучшения компиляции шейдеров и производительности.

media r/LocalLLaMA · 20 ч назад · 1 просмотр

gtrg55 выпускает INT4-квантованную версию NVIDIA Cosmos3 64B для локальной генерации изображений

Пользователь опубликовал код и веса для локального запуска модели Cosmos3 от NVIDIA с 64 миллиардами параметров с использованием INT4-квантования. Реализация поддерживает задачи Text-to-Image и Image-to-Video на Apple Silicon через MLX, а также CUDA.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b10872 исправляет левый операнд null в поиске шаблонов Jinja

Проект llama.cpp выпустил сборку b10872, которая включает исправление обработки шаблонов Jinja. Обновление устраняет проблему, при которой шаблоны, устанавливающие необязательную переменную в значение none и проверяющие её наличие в словаре, ранее вызывали ошибку.