github llama.cpp · hace 3 d · inference

llama.cpp b10831 añade soporte de Vulkan para TQ1_0 y corrige el fallback a Metal

Traducido del English → Español

La versión b10831 de llama.cpp introduce soporte de cuantización TQ1_0 para el backend de Vulkan, habilitando operaciones como multiplicación de matrices, mat-vec, dequantización y get_rows. Esta actualización también corrige el backend de Metal para rechazar adecuadamente las operaciones TQ1_0 no compatibles, asegurando que se realicen un fallback a la ejecución en CPU.

La implementación de Vulkan agrupa las potencias de 3 de TQ1_0 en una constante de 32 bits para evitar problemas de registros.
Los helpers de descodificación compartidos en types.glsl reemplazan la lógica duplicada en varios archivos de shaders.
Se corrige un error en el cálculo del denominador del workgroup del shader de dequantización independiente.
El backend de Metal ahora rechaza TQ1_0 para GET_ROWS y mat-mul, igualando el manejo existente de NVFP4.
Los casos de prueba se han reducido y los comentarios se han estandarizado a ASCII.

Los cambios de Vulkan se han verificado en AMD gfx1151 con todas las operaciones relevantes del backend superando las pruebas.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Artículos relacionados

github llama.cpp · hace 2 d · 2 vistas

llama.cpp desactiva la carga perezosa de tensores por defecto en GPUs integradas

El proyecto llama.cpp ha desactivado la carga perezosa de tensores por defecto para GPUs integradas (iGPUs) en la versión b10867. Este cambio aborda una regresión introducida en la configuración anterior del modo "AUTO".

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10864 corrige la evicción de puntos de control para modelos híbridos

El proyecto llama.cpp lanzó la compilación b10864, que incluye una corrección para la lógica de evicción de espacios de los puntos de control en `create_checkpoint()`. Anteriormente, la regla de evicción mantenía el punto de control más antiguo y borraba los posteriores dentro de `checkpoint_min_step`, lo que hacía que los prompts más cortos que ese umbral perdieran el punto de control necesario para la reanudación. Esto obligaba a los modelos híbridos y recurrentes a reprefijar innecesariamente desde el punto de control anterior.

github llama.cpp · hace 3 d · 6 vistas

llama.cpp b10844 añade operaciones fusionadas de hiperconexión Vulkan para DeepSeek-V4

El proyecto llama.cpp lanzó la versión b10844, introduciendo soporte para operaciones fusionadas de hiperconexión DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) en el backend de Vulkan. Esta actualización lleva a Vulkan al mismo nivel que CUDA y Metal en cuanto a estas optimizaciones específicas.

github llama.cpp · hace 3 d · 4 vistas

llama.cpp b10842 añade soporte HIP para gfx90c

El proyecto llama.cpp lanzó la compilación b10842, que introduce soporte para la arquitectura gfx90c a través de HIP.

media Hugging Face Forums · hace 3 d · 8 vistas

AI Model Radar se lanza con ajuste de hardware medido para modelos abiertos

Un nuevo sitio llamado AI Model Radar ayuda a los usuarios a determinar qué modelos abiertos realmente se ajustan a su GPU o Mac utilizando datos medidos en lugar de estimaciones. La plataforma calcula los tamaños de pesos basándose en archivos GGUF publicados reales y computa la capa de caché de contexto capa por capa desde las configuraciones del modelo.