github llama.cpp · hace 4 d · inference

llama.cpp b11207 añade soporte para GET_ROWS con mosaico Q4_0 y Q8_0 para Hexagon

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11207, que introduce soporte para operaciones GET_ROWS con mosaico Q4_0 y Q8_0 en el backend de Hexagon. Esta actualización también incluye correcciones a macros, desbordamientos de registros y la tubería DMA, junto con mejoras en la lógica de selección de núcleos y la vectorización reactivada.

Añadido soporte para GET_ROWS con mosaico Q4_0 y Q8_0 para Hexagon usando dequantización HVX con mosaico.
Corregidas macros y desbordamientos de registros en hex-get-rows mientras se limpiaban las comprobaciones de operaciones no soportadas.
Mejorada la tubería DMA y simplificada la lógica de selección de núcleos.
Reactivado el vectorizador después de que se identificara una regresión durante una actualización del muestreador.

El lanzamiento proporciona binarios para macOS, Linux, Windows, Android y openEuler en varios backends de hardware incluyendo CPU, GPU, NPU, CUDA, ROCm, Vulkan, OpenVINO y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp añade soporte para GLM-5.3-Flash con correcciones de k-pool y MTP

El proyecto llama.cpp ha añadido soporte inicial para la arquitectura del modelo GLM-5.3-Flash (GLM5-Next), incluyendo la migración a memoria de índice híbrido y capacidades tempranas de Multi-Token Prediction (MTP).

github llama.cpp · hace 7 d · 17 vistas

llama.cpp v0.5.0 añade soporte para HRM-Text, aceleración de conv2d en CUDA y enlace a múltiples direcciones

El proyecto llama.cpp ha lanzado la versión 0.5.0, centrada en el rendimiento del backend, una mayor cobertura de modelos y un funcionamiento del servidor más robusto. Esta actualización introduce soporte para nuevas arquitecturas como HRM-Text (DFM Mimir 1B) y MiMo-V2.6, mientras mejora significativamente la eficiencia computacional mediante optimizaciones de CUDA y Metal.

github llama.cpp · hace 7 d · 22 vistas

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 8 d · 22 vistas

llama.cpp añade soporte para DFlash en HunyuanOCR y corrige la conversión de borrador

El proyecto llama.cpp ha añadido soporte para la decodificación especulativa DFlash con el modelo HunyuanOCR, exponiendo los tensores de entrada de las capas en el grafo objetivo. Este cambio permite que el modelo de borrador lea los flujos residuales, lo que posibilita que las solicitudes de imagen se ejecuten correctamente con una tasa de aceptación del borrador de aproximadamente 0.5 y una salida OCR idéntica a nivel de bytes en comparación con las ejecuciones no especulativas.

lab Hugging Face Blog · hace 8 d · 24 vistas

Transformers añade soporte para GGUF mediante núcleos ggml para inferencia local

La biblioteca Transformers de Hugging Face ahora admite la carga de modelos cuantizados en formato GGUF, aprovechando los núcleos subyacentes de ggml para acercar el rendimiento al de llama.cpp. Esta integración permite a los desarrolladores ejecutar puntos de control cuantizados directamente dentro de la API estándar basada en PyTorch en hardware compatible.