github llama.cpp · 8 ч назад · inference

llama.cpp b10655 добавляет поддержку LIGHTNING_INDEXER для операций Deepseek V4 в Vulkan

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10655, которая добавляет поддержку операции LIGHTNING_INDEXER во внутреннем бэкенде Vulkan для обеспечения работы операций Deepseek V4.

Добавлена операция LIGHTNING_INDEXer во внутренний бэкенд Vulkan.
Обновлены файлы lightning_indexer.comp и ggml-vulkan.cpp для переноса 128-канального свёртывания точечного произведения из дерева общей памяти в subgroupAdd.
Внесены изменения по очистке, такие как пропуск проверок границ и откат предыдущих модификаций FA_K_ONLY.
Восстановлен чередующийся порядок буферов K/V и удалена логика FA_K_ONLY.

Это обновление предоставляет пользователям Vulkan возможность запускать операции Deepseek V4 с использованием новой реализации LIGHTNING_INDEXER.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 8 ч назад · 3 просмотра

llama.cpp b10653 добавляет TENSOR_READ_LAZY для загрузки моделей

Проект llama.cpp выпустил сборку b10653, внедряющую функцию TENSOR_READ_LAZY в загрузчик моделей. Это изменение включает добавление функции TENSOR_GET_ROW_LAZY и соответствующего флага командной строки --tensor-read-lazy.

github llama.cpp · 1 д назад · 6 просмотров

llama.cpp b10639 исправляет предположение о размере warptile в Vulkan

Проект llama.cpp выпустил сборку b10639, которая включает исправление для бэкенда Vulkan, где ранее warptiles предполагали, что размеры warp меньше или равны 64. Это изменение ограничивает размер warp для обхода проблем с более крупными warp.

media Hugging Face Forums · 1 д назад · 4 просмотра

EdgeFirst публикует Rust-пайплайн для валидации моделей YOLO на 20 периферийных платформах

EdgeFirst опубликовала EdgeFirst Model Zoo на Hugging Face, включающую модели YOLOv5, YOLOv8, YOLO11 и YOLO26, прошедшие валидацию на 20 различных периферийных платформах. Валидация опирается на единый Rust-пайплайн, который выполняет прямое копирование DMA для предобработки, декодирование модели и постобработку непосредственно на целевом оборудовании.

lab Hugging Face Blog · 2 д назад · 1 просмотр

Papers with Code использует сервисы Hugging Face для гибридного поиска по статьям

Papers with Code внедрил систему гибридного поиска, сочетающую ключевые слова и семантический поиск, чтобы помочь пользователям находить релевантные статьи по исследованиям в области ИИ. Архитектура использует Hugging Face Jobs, Storage Buckets и Inference Endpoints для управления конвейером эмбеддингов и обслуживания запросов с низкой задержкой.