github llama.cpp · hace 8 h · inference

llama.cpp b10655 añade soporte para LIGHTNING_INDEXER en operaciones de Deepseek V4 en Vulkan

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10655, que introduce soporte para la operación LIGHTNING_INDEXER dentro del backend de Vulkan para habilitar las operaciones de Deepseek V4.

Se añadió la operación LIGHTNING_INDEXer al backend de Vulkan.
Se actualizaron lightning_indexer.comp y ggml-vulkan.cpp para mover la reducción de producto punto de 128 canales desde un árbol de memoria compartida a subgroupAdd.
Se incluyeron cambios de limpieza como omitir comprobaciones de límites y revertir modificaciones anteriores de FA_K_ONLY.
Se restauró el ordenamiento entrelazado del búfer K/V y se eliminó la lógica FA_K_ONLY.

Esta actualización proporciona a los usuarios de Vulkan la capacidad de ejecutar operaciones de Deepseek V4 utilizando la nueva implementación de LIGHTNING_INDEXER.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp añade soporte para la arquitectura Qwen3.8-Flash-Next (qwen4exp)

El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Qwen3.8-Flash-Next (qwen4exp), implementando sus componentes específicos, incluidas las hiperconexiones, redes delta con compuerta, Mezcla de Expertos y embeddings de hash n-gram PLE.

github llama.cpp · hace 8 h · 3 vistas

llama.cpp b10653 añade TENSOR_READ_LAZY para la carga de modelos

El proyecto llama.cpp ha lanzado la compilación b10653, introduciendo la función TENSOR_READ_LAZY en su cargador de modelos. Este cambio incluye la adición de la función TENSOR_GET_ROW_LAZY y una bandera correspondiente --tensor-read-lazy en la línea de comandos.

github llama.cpp · hace 1 d · 6 vistas

llama.cpp b10639 corrige la suposición del tamaño de warptile en Vulkan

El proyecto llama.cpp lanzó la compilación b10639, que incluye una corrección para el backend de Vulkan donde las warptiles asumían previamente que los tamaños de warp eran menores o iguales a 64. Este cambio limita el tamaño de warp para evitar problemas con warps más grandes.

media Hugging Face Forums · hace 1 d · 4 vistas

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.

lab Hugging Face Blog · hace 2 d · 1 vista

Papers with Code utiliza servicios de Hugging Face para búsqueda híbrida de artículos

Papers with Code ha implementado un sistema de búsqueda híbrida que combina recuperación por palabras clave y semántica para ayudar a los usuarios a encontrar artículos relevantes de investigación en IA. La arquitectura aprovecha Hugging Face Jobs, Storage Buckets e Inference Endpoints para gestionar la canalización de incrustaciones y servir consultas de baja latencia.