github llama.cpp · hace 1 h · inference

llama.cpp b10159 añade kernel FWHT para el backend de Metal

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10159, que introduce un kernel de Transformada Rápida de Walsh-Hadamard (FWHT) para el backend de Metal. Esta actualización incluye detalles de implementación en progreso junto con protecciones de forma y ajustes de formato de código.

Añadido soporte del kernel FWHT para el backend de Metal en ggml-metal.
Incluidas correcciones para problemas de estrechamiento y pequeñas correcciones de estilo.
Proporcionados binarios para macOS, iOS, Linux, Windows, Android y openEuler a través de arquitecturas CPU, GPU (CUDA, Vulkan, ROCm, SYCL, OpenVINO) y Apple Silicon.

El lanzamiento hace que el nuevo kernel de Metal esté disponible para usuarios en plataformas compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10158 añade soporte para eagle3-v3 en el modelo gpt-oss

El proyecto llama.cpp ha lanzado la compilación b10158, que introduce soporte para la arquitectura eagle3-v3 dentro del modelo gpt-oss.

github llama.cpp · hace 5 d · 2 vistas

llama.cpp b10098 actualiza las operaciones de activación Hexagon

El proyecto llama.cpp lanzó la versión b10098, que incluye una actualización a las operaciones de activación Hexagon. Esta versión proporciona binarios para macOS, Linux, Android, Windows y openEuler en varios backends de CPU y GPU.

lab Hugging Face Blog · hace 5 d · 1 vista

Diffusers añade soporte nativo para inferencia Nunchaku Lite de 4 bits

Hugging Face Diffusers ahora admite la carga de checkpoints de Nunchaku Lite de forma nativa mediante `from_pretrained()`, eliminando la necesidad de un motor de inferencia separado o compilación local de CUDA. Esta integración utiliza el método SVDQuant para ejecutar capas transformadoras con pesos y activaciones de 4 bits (W4A4), reduciendo significativamente el uso de memoria mientras mejora la velocidad de inferencia.

github llama.cpp · hace 6 d · 1 vista

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.

github llama.cpp · hace 6 d

llama.cpp b10085 corrige la localización de Qwen3-VL alineando la interpolación de incrustaciones de posición

El proyecto llama.cpp lanzó la compilación b10085, que incluye una corrección para la interpolación de incrustaciones de posición del modelo de visión Qwen3-VL para resolver las discrepancias en las coordenadas de localización.