github llama.cpp · только что · inference

llama.cpp b10665 добавляет поддержку DSpark для Nemotron3.5

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10665, которая вводит поддержку DSpark для модели Nemotron3.5.

Добавлена поддержка DSpark для Nemotron3.5 через обновления src/models/dflash.cpp.
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu с CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) и openEuler.

Это обновление позволяет пользователям запускать модели Nemotron3.5 в формате DSpark на широком спектре аппаратных архитектур и операционных систем.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 10 ч назад · 4 просмотра

llama.cpp b10653 добавляет TENSOR_READ_LAZY для загрузки моделей

Проект llama.cpp выпустил сборку b10653, внедряющую функцию TENSOR_READ_LAZY в загрузчик моделей. Это изменение включает добавление функции TENSOR_GET_ROW_LAZY и соответствующего флага командной строки --tensor-read-lazy.

github llama.cpp · 10 ч назад · 3 просмотра

llama.cpp b10655 добавляет поддержку LIGHTNING_INDEXER для операций Deepseek V4 в Vulkan

Проект llama.cpp выпустил сборку b10655, которая добавляет поддержку операции LIGHTNING_INDEXER во внутреннем бэкенде Vulkan для обеспечения работы операций Deepseek V4.

github llama.cpp · 1 д назад · 6 просмотров

llama.cpp b10639 исправляет предположение о размере warptile в Vulkan

Проект llama.cpp выпустил сборку b10639, которая включает исправление для бэкенда Vulkan, где ранее warptiles предполагали, что размеры warp меньше или равны 64. Это изменение ограничивает размер warp для обхода проблем с более крупными warp.

media Hugging Face Forums · 2 д назад · 4 просмотра

EdgeFirst публикует Rust-пайплайн для валидации моделей YOLO на 20 периферийных платформах

EdgeFirst опубликовала EdgeFirst Model Zoo на Hugging Face, включающую модели YOLOv5, YOLOv8, YOLO11 и YOLO26, прошедшие валидацию на 20 различных периферийных платформах. Валидация опирается на единый Rust-пайплайн, который выполняет прямое копирование DMA для предобработки, декодирование модели и постобработку непосредственно на целевом оборудовании.