github llama.cpp · hace 2 h · inference

llama.cpp b10517 añade optimizaciones de desquantización FA para Vulkan y correcciones

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10517, introduciendo varias mejoras específicas de Vulkan en la ruta de desquantización de flash attention (FA). Los cambios clave incluyen desquantizar q8_0 KV una vez en coopmat1, omitir la ruta de desquantización FA en coopmat2 y excluir Intel Xe1 de la ruta de desquantización FA.

Vulkan ahora hace fallback en lugar de abortar cuando el scratch de FA excede maxStorageBufferRange.
La versión requiere un diseño específico de KV-cache en la ruta de desquantización FA.
Se ajustaron las comprobaciones de permutación para la ruta FA y se corrigió el tiempo de prealloc_x_need_sync.
Se añadieron pruebas para escenarios K/V FA con asignación contigua.

Esta actualización mejora la estabilidad y el rendimiento para usuarios de Vulkan al abordar casos límite en la gestión de memoria y compatibilidad de hardware.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp b10208 añade atención flash GEMM oneMKL para procesamiento de prompts acelerado por XMX

La versión b10208 de llama.cpp introduce soporte SYCL para la atención flash GEMM de oneMKL, permitiendo la aceleración por hardware XMX para el procesamiento de prompts. Este cambio mejora significativamente la velocidad de inferencia en las GPUs Intel Arc al utilizar núcleos MKL en lugar de la ruta TILE predeterminada.

github llama.cpp · hace 29 d · 26 vistas

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.

media r/LocalLLaMA · hace 7 h · 2 vistas

El modelo MoE G9v3-39A5B muestra fuertes resultados en artificialanalysis

El modelo G9v3-39A5B está atrayendo atención por su rendimiento en artificialanalysis, donde se informa que ocupa un puesto superior al de Qwen 3.6 27B.

media Hugging Face Forums · hace 7 h · 1 vista

La canalización de Celestium permite ejecutar SDXL en GPUs de 4GB-8GB mediante FP16 adaptativo y fallback a CPU

Un diagnóstico utilizando la canalización de inferencia hardware-agnostic de Celestium demuestra que Stable Diffusion XL puede ejecutarse de forma estable en GPUs con baja VRAM (4GB, 6GB y 8GB) aprovechando la precisión FP16 adaptativa y la limpieza autónoma de memoria. El enfoque previene picos de fragmentación durante las canalizaciones multi-etapa y utiliza un modo CPU de emergencia para mantener la generación cuando se agota la VRAM de la GPU.

github llama.cpp · hace 12 h · 1 vista

llama.cpp b10509 añade soporte para ggml_rope_set_offset en Metal, CUDA y Vulkan

El proyecto llama.cpp lanzó la compilación b10509, que introduce soporte para la función `ggml_rope_set_offset` en múltiples backends de hardware. Esta actualización incluye implementaciones de CPU, Metal, CUDA y Vulkan para la nueva operación.