github llama.cpp · hace 2 h · inference

llama.cpp b11413 añade atención flash dispersa de Vulkan para K/V cuantizados

Traducido del English → Español

La versión b11413 de llama.cpp introduce una nueva implementación de atención flash dispersa en Vulkan que soporta tensores de Clave y Valor cuantizados. Esta actualización aborda problemas de rendimiento en el método anterior de compactación, que era demasiado costoso para tareas de decodificación con ventanas de contexto grandes.

El nuevo enfoque divide las filas en segmentos contiguos procesados por subgrupos o hilos, utilizando conteo de votos sobre cargas coalescidas para mantener una lista de índices ascendente.
Los binarios precompilados están disponibles para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, Vulkan, CUDA, OpenVINO, SYCL, ROCm), Android e iOS.
La versión también incluye la interfaz de usuario de llama.cpp y atestiguaciones para verificación de seguridad.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp añade soporte para GLM-5.3-Flash con correcciones de k-pool y MTP

El proyecto llama.cpp ha añadido soporte inicial para la arquitectura del modelo GLM-5.3-Flash (GLM5-Next), incluyendo la migración a memoria de índice híbrido y capacidades tempranas de Multi-Token Prediction (MTP).

github llama.cpp · hace 8 d · 30 vistas

llama.cpp b11207 añade soporte para GET_ROWS con mosaico Q4_0 y Q8_0 para Hexagon

El proyecto llama.cpp lanzó la compilación b11207, que introduce soporte para operaciones GET_ROWS con mosaico Q4_0 y Q8_0 en el backend de Hexagon. Esta actualización también incluye correcciones a macros, desbordamientos de registros y la tubería DMA, junto con mejoras en la lógica de selección de núcleos y la vectorización reactivada.

github llama.cpp · hace 12 d · 30 vistas

llama.cpp v0.5.0 añade soporte para HRM-Text, aceleración de conv2d en CUDA y enlace a múltiples direcciones

El proyecto llama.cpp ha lanzado la versión 0.5.0, centrada en el rendimiento del backend, una mayor cobertura de modelos y un funcionamiento del servidor más robusto. Esta actualización introduce soporte para nuevas arquitecturas como HRM-Text (DFM Mimir 1B) y MiMo-V2.6, mientras mejora significativamente la eficiencia computacional mediante optimizaciones de CUDA y Metal.

github llama.cpp · hace 12 d · 41 vistas

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 13 d · 37 vistas

llama.cpp añade soporte para DFlash en HunyuanOCR y corrige la conversión de borrador

El proyecto llama.cpp ha añadido soporte para la decodificación especulativa DFlash con el modelo HunyuanOCR, exponiendo los tensores de entrada de las capas en el grafo objetivo. Este cambio permite que el modelo de borrador lea los flujos residuales, lo que posibilita que las solicitudes de imagen se ejecuten correctamente con una tasa de aceptación del borrador de aproximadamente 0.5 y una salida OCR idéntica a nivel de bytes en comparación con las ejecuciones no especulativas.