github llama.cpp · 1 ч назад · inference

llama.cpp b10642 добавляет отслеживание ID токенов в ячейку KV

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10642, которая вносит изменение для отслеживания ID токенов внутри ячейки ключ-значение (KV).

Основное обновление заключается в добавлении отслеживания ID токенов в реализацию ячейки KV.
Функция `get_prev_tokens` была удалена из этого конкретного коммита и перемещена в основной запрос на слияние #27762.
Бинарные файлы предоставлены для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL) и openEuler.

Этот релиз предоставляет обновленные бинарные файлы для нескольких платформ с внутренним изменением ячейки KV.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 5 ч назад · 1 просмотр

llama.cpp b10638 добавляет Vulkan cross_entropy_loss и выпускает бинарные файлы

Проект llama.cpp выпустил версию b10638, которая реализует поддержку Vulkan для функций `cross_entropy_loss` и `cross_entropy_loss_back`.

github llama.cpp · 6 ч назад · 2 просмотра

llama.cpp b10639 исправляет предположение о размере warptile в Vulkan

Проект llama.cpp выпустил сборку b10639, которая включает исправление для бэкенда Vulkan, где ранее warptiles предполагали, что размеры warp меньше или равны 64. Это изменение ограничивает размер warp для обхода проблем с более крупными warp.

media Hugging Face Forums · 6 ч назад · 1 просмотр

Celestium Neon устраняет OOM в SDXL на видеокартах с 4 ГБ памяти, очищая VRAM

Celestium Neon — это новый инструмент, предназначенный для очистки VRAM и обеспечения работы Stable Diffusion XL (SDXL) на видеокартах с объёмом памяти всего 4 ГБ, например GTX 1650.

github llama.cpp · 10 ч назад · 2 просмотра

llama.cpp b10636 отключает сборку npm UI по умолчанию и очищает CI

Проект llama.cpp выпустил версию b10636, которая изменяет поведение по умолчанию при сборке веб-интерфейса. Сборка UI на основе npm теперь отключена по умолчанию (LLAMA_BUILD_UI=OFF), вместо этого UI встраивается из локальных источников или готовых загрузок.

github llama.cpp · 11 ч назад · 1 просмотр

llama.cpp b10635 разблокирует mmq для MoE на sm_60

Проект llama.cpp выпустил версию b10635, включающую специфические обновления поддержки CUDA. Основное изменение — разблокировка смешанной точности матричного умножения (mmq) для архитектур Mixture of Experts (MoE) на GPU с вычислительной способностью 6.0 (sm_60).