github llama.cpp · hace 1 h · inference

llama.cpp b10098 actualiza las operaciones de activación Hexagon

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10098, que incluye una actualización a las operaciones de activación Hexagon. Esta versión proporciona binarios para macOS, Linux, Android, Windows y openEuler en varios backends de CPU y GPU.

Microkernel geglu todo-en-uno optimizado (hex-geglu)
Habilitado fuente no contigua y DMA estridido para hex-geglu
Habilitado fuente no contigua y DMA estridido para el resto de las operaciones ACT
Generalizadas funciones GLU por hilo mediante la macro DEFINE_GLU_PER_THREAD
Desplazados UNARY_SILU y UNARY_GELU a unary-ops
Reemplazado el uso genérico del espacio de trabajo ops_context con el cálculo local htp_vtcm_layout

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

Diffusers añade soporte nativo para inferencia Nunchaku Lite de 4 bits

Hugging Face Diffusers ahora admite la carga de checkpoints de Nunchaku Lite de forma nativa mediante `from_pretrained()`, eliminando la necesidad de un motor de inferencia separado o compilación local de CUDA. Esta integración utiliza el método SVDQuant para ejecutar capas transformadoras con pesos y activaciones de 4 bits (W4A4), reduciendo significativamente el uso de memoria mientras mejora la velocidad de inferencia.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.

github llama.cpp · hace 2 d

llama.cpp b10085 corrige la localización de Qwen3-VL alineando la interpolación de incrustaciones de posición

El proyecto llama.cpp lanzó la compilación b10085, que incluye una corrección para la interpolación de incrustaciones de posición del modelo de visión Qwen3-VL para resolver las discrepancias en las coordenadas de localización.

github llama.cpp · hace 4 d · 2 vistas

llama.cpp b10069 añade soporte de difusión OpenCL para Adreno MUL_MAT

El proyecto llama.cpp lanzó la compilación b10069, que incluye actualizaciones específicas de OpenCL para GPUs Qualcomm Adreno. El cambio principal implica soportar operaciones de difusión para el kernel Adreno MUL_MAT y respetar los desplazamientos de vista para la variante Q8_0 MUL_MAT para habilitar la funcionalidad multi-stream en llama-server.

github llama.cpp · hace 5 d · 1 vista

llama.cpp b10068 rota la caché K/V inyectada para DFlash

El proyecto llama.cpp lanzó la versión b10068, que introduce un cambio en la implementación del modelo DFlash. La actualización modifica src/models/dflash.cpp para rotar la caché de clave/valor (K/V) inyectada cuando se usa cuantización K/V.