github llama.cpp · ahora mismo · inference

llama.cpp b10891 corrige el fallo de Vulkan en PowerVR mediante la reducción por memoria compartida

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10891, que aborda un problema crítico de estabilidad en las GPU PowerVR. La actualización modifica el backend de Vulkan para recurrir a la reducción por memoria compartida en las operaciones de multiplicación matriz-vectorial desquantizada (dmmv).

El cambio resuelve un fallo causado por el compilador propietario de Vulkan de Imagination que devolvía VK_ERROR_UNKNOWN al construir pipelines de cómputo con reducciones solo de subgrupo.
Esta corrección se aplica a los formatos de cuantización k-quants, i-quants, TQ2_0, MXFP4 y NVFP4 que anteriormente fallaban en dispositivos como el Pixel 11 Pro.
La variante de reducción por memoria compartida compila correctamente y coincide con los resultados de referencia de la CPU para las cuantizaciones q2_K a q6_K.
También está disponible una variante híbrida, pero implica una penalización significativa en el rendimiento, reduciendo el throughput de tokens al 27% de la tasa estándar.

Esta actualización garantiza que los modelos que utilizan estos formatos de cuantización específicos puedan ejecutarse en hardware PowerVR sin fallar durante la fase inicial de generación de tokens.

Importancia 1/3 Confianza 1/3 llama.cpp Hardware & chips Inference efficiency

Artículos relacionados

github llama.cpp · hace 3 d · 12 vistas

llama.cpp b10839 corrige los fallos por desalineación de desplazamientos en GET_ROWS de Vulkan

El proyecto llama.cpp lanzó la versión b10839, que resuelve fallos graves en el backend de Vulkan causados por desplazamientos desalineados durante las operaciones de recuperación de filas de tensores. Anteriormente, modelos como Qwen3-TTS y Qwen3-VL fallaban al usar `ggml_view` con desplazamientos de vista distintos de cero porque el shader generaba una aserción ante violaciones de alineación en relación con `minStorageBufferOffsetAlignment`. Esta actualización implementa soporte nativo para desplazamientos alineados tanto en las rutas cuantizadas como no cuantizadas, eliminando la necesidad de recurrir a la CPU.

arxiv arXiv cs.LG · hace 6 d · 10 vistas

FlashAttention-4 introduce Direct-P para inferencia y entrenamiento de FP4 consciente del hardware

FlashAttention-4 aborda las limitaciones de rendimiento de los núcleos de tensor de punto flotante de 4 bits (FP4) de Blackwell introduciendo nuevas rutas para la inferencia no causal y el entrenamiento causal. El método, llamado Direct-P, mapea las puntuaciones directamente a probabilidades FP4 para evitar los sobrecostos de conversión de softmax que suelen dominar una vez que los productos matriciales se reducen.

lab NVIDIA Research · hace 12 d · 14 vistas

Twill deriva automáticamente horarios óptimos de software pipelining y especialización de warp para GPUs con Tensor Cores

Los investigadores han presentado Twill, un sistema que formula el software pipelining (SWP) y la especialización de warp (WS) como un problema de optimización conjunta resoluble por solucionadores de restricciones comerciales. Este enfoque automatiza la derivación de horarios óptimos de ejecución para programas iterativos en arquitecturas GPU.

github llama.cpp · hace 13 d · 26 vistas

llama.cpp b10675 añade soporte de hoisting para IDs de fila y conteo de expertos en shaders

El proyecto llama.cpp lanzó la versión b10675, que incluye una actualización clave a su backend Vulkan. Esta versión añade soporte de hoisting para IDs de fila y conteos de expertos dentro del código del shader.

github llama.cpp · hace 13 d · 12 vistas

llama.cpp añade ajustes fa-vec para Apple M4 Pro

El proyecto llama.cpp ha añadido ajustes de vector de atención rápida (fa-vec) para la GPU Apple M4 Pro a través de una nueva contribución al backend Metal. Esta actualización sigue al trabajo previo para soportar GPUs adicionales de Apple y fue generada usando la herramienta `ggml-metal-tuning` en un MacBook Pro de 14 pulgadas de noviembre de 2024.