github llama.cpp · hace 1 h · inference

llama.cpp b10165 añade soporte para iq4_nl y q1_0 a Vulkan FA

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10165, que restaura el soporte de cuantización iq4_nl para el backend Flash Attention (FA) de Vulkan. Este cambio aborda el problema #23681 reactivando la función después de que las preocupaciones sobre el uso de memoria compartida se consideraran insignificantes.

Añade de nuevo el soporte iq4_nl a la implementación de Vulkan FA.
Añade soporte q1_0 para configuraciones non-coopmat2.
Corrige el problema de GitHub #23681 respecto a la eliminación del soporte FA q1_0.

El lanzamiento proporciona binarios para macOS, Linux, Windows y Android a través de los backends CPU, CUDA, ROCm, OpenVINO, SYCL y Vulkan.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10164 añade matmul SSD fragmentado para acelerar el prefill de Mamba-2

El proyecto llama.cpp lanzó la versión b10164, introduciendo una nueva implementación de multiplicación de matrices SSD fragmentada diseñada para acelerar la fase de prefill de los modelos Mamba-2.

github llama.cpp · hace 6 h · 1 vista

llama.cpp b10159 añade kernel FWHT para el backend de Metal

El proyecto llama.cpp lanzó la compilación b10159, que introduce un kernel de Transformada Rápida de Walsh-Hadamard (FWHT) para el backend de Metal. Esta actualización incluye detalles de implementación en progreso junto con protecciones de forma y ajustes de formato de código.

github llama.cpp · hace 8 h · 2 vistas

llama.cpp b10158 añade soporte para eagle3-v3 en el modelo gpt-oss

El proyecto llama.cpp ha lanzado la compilación b10158, que introduce soporte para la arquitectura eagle3-v3 dentro del modelo gpt-oss.

github llama.cpp · hace 5 d · 2 vistas

llama.cpp b10098 actualiza las operaciones de activación Hexagon

El proyecto llama.cpp lanzó la versión b10098, que incluye una actualización a las operaciones de activación Hexagon. Esta versión proporciona binarios para macOS, Linux, Android, Windows y openEuler en varios backends de CPU y GPU.

lab Hugging Face Blog · hace 5 d · 1 vista

Diffusers añade soporte nativo para inferencia Nunchaku Lite de 4 bits

Hugging Face Diffusers ahora admite la carga de checkpoints de Nunchaku Lite de forma nativa mediante `from_pretrained()`, eliminando la necesidad de un motor de inferencia separado o compilación local de CUDA. Esta integración utiliza el método SVDQuant para ejecutar capas transformadoras con pesos y activaciones de 4 bits (W4A4), reduciendo significativamente el uso de memoria mientras mejora la velocidad de inferencia.