github llama.cpp · ahora mismo · inference

llama.cpp b10665 añade soporte para DSpark en Nemotron3.5

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10665, que introduce el soporte de DSpark para el modelo Nemotron3.5.

Añade soporte de DSpark para Nemotron3.5 mediante actualizaciones a src/models/dflash.cpp.
Proporciona binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu con CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) y openEuler.

Esta versión permite a los usuarios ejecutar modelos Nemotron3.5 utilizando el formato DSpark en una amplia gama de arquitecturas de hardware y sistemas operativos.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp añade soporte para la arquitectura Qwen3.8-Flash-Next (qwen4exp)

El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Qwen3.8-Flash-Next (qwen4exp), implementando sus componentes específicos, incluidas las hiperconexiones, redes delta con compuerta, Mezcla de Expertos y embeddings de hash n-gram PLE.

github llama.cpp · hace 10 h · 4 vistas

llama.cpp b10653 añade TENSOR_READ_LAZY para la carga de modelos

El proyecto llama.cpp ha lanzado la compilación b10653, introduciendo la función TENSOR_READ_LAZY en su cargador de modelos. Este cambio incluye la adición de la función TENSOR_GET_ROW_LAZY y una bandera correspondiente --tensor-read-lazy en la línea de comandos.

github llama.cpp · hace 10 h · 3 vistas

llama.cpp b10655 añade soporte para LIGHTNING_INDEXER en operaciones de Deepseek V4 en Vulkan

El proyecto llama.cpp lanzó la compilación b10655, que introduce soporte para la operación LIGHTNING_INDEXER dentro del backend de Vulkan para habilitar las operaciones de Deepseek V4.

github llama.cpp · hace 1 d · 6 vistas

llama.cpp b10639 corrige la suposición del tamaño de warptile en Vulkan

El proyecto llama.cpp lanzó la compilación b10639, que incluye una corrección para el backend de Vulkan donde las warptiles asumían previamente que los tamaños de warp eran menores o iguales a 64. Este cambio limita el tamaño de warp para evitar problemas con warps más grandes.

media Hugging Face Forums · hace 2 d · 4 vistas

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.