github llama.cpp · hace 1 h · inference

llama.cpp b10639 corrige la suposición del tamaño de warptile en Vulkan

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10639, que incluye una corrección para el backend de Vulkan donde las warptiles asumían previamente que los tamaños de warp eran menores o iguales a 64. Este cambio limita el tamaño de warp para evitar problemas con warps más grandes.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) y openEuler. También incluye la interfaz llama.cpp UI.

Esta actualización garantiza la compatibilidad con configuraciones de hardware que utilizan tamaños de warp mayores a 64.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.

lab Hugging Face Blog · hace 1 d · 1 vista

Papers with Code utiliza servicios de Hugging Face para búsqueda híbrida de artículos

Papers with Code ha implementado un sistema de búsqueda híbrida que combina recuperación por palabras clave y semántica para ayudar a los usuarios a encontrar artículos relevantes de investigación en IA. La arquitectura aprovecha Hugging Face Jobs, Storage Buckets e Inference Endpoints para gestionar la canalización de incrustaciones y servir consultas de baja latencia.

github llama.cpp · hace 1 d · 21 vistas

llama.cpp 0.3.0 añade el modelo dots3-note y tensor-split para DeepSeek 4

llama.cpp 0.3.0 introduce soporte para el modelo multimodal dots3-note con un nuevo tipo de caché KV DSA-ISWA, junto con soporte para predicción multi-tokeno (MTP) para GLM-4.5-Air. La versión también añade capacidades de tensor-split para DeepSeek 4 y corrige problemas de retroceso en secuencias múltiples.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b10615 añade vec flash-attn ajustado por dispositivo para Metal

El proyecto llama.cpp lanzó la versión b10615, introduciendo operaciones vectoriales flash-attention cuantizadas (Q, NE) ajustadas por dispositivo para el backend de Metal.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10614 añade división de fuentes por operación de Metal y compilación en paralelo

La versión llama.cpp b10614 introduce un cambio arquitectónico significativo en el backend de Metal al dividir las fuentes de operaciones y habilitar la compilación paralela. Esta actualización también incluye varias implementaciones de kernel nuevas y soporte para formatos de cuantización adicionales.