github llama.cpp · ahora mismo · inference

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

Extiende la fusión MMVQ GLU para manejar tipos de cuantización mixtos en el backend SYCL.
Añade fusiones rms_norm+scale y ssm_conv+silu para SYCL.
Corrige problemas de espaciado y convierte una macro a una función plantilla.
Proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de backends CPU, GPU y NPU incluyendo CUDA, Vulkan, ROCm y OpenVINO.

Esta actualización mejora el rendimiento y la compatibilidad para la aceleración de hardware basada en SYCL dentro del ecosistema llama.cpp.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp añade soporte para DFlash en HunyuanOCR y corrige la conversión de borrador

El proyecto llama.cpp ha añadido soporte para la decodificación especulativa DFlash con el modelo HunyuanOCR, exponiendo los tensores de entrada de las capas en el grafo objetivo. Este cambio permite que el modelo de borrador lea los flujos residuales, lo que posibilita que las solicitudes de imagen se ejecuten correctamente con una tasa de aceptación del borrador de aproximadamente 0.5 y una salida OCR idéntica a nivel de bytes en comparación con las ejecuciones no especulativas.

lab Hugging Face Blog · hace 21 h · 10 vistas

Transformers añade soporte para GGUF mediante núcleos ggml para inferencia local

La biblioteca Transformers de Hugging Face ahora admite la carga de modelos cuantizados en formato GGUF, aprovechando los núcleos subyacentes de ggml para acercar el rendimiento al de llama.cpp. Esta integración permite a los desarrolladores ejecutar puntos de control cuantizados directamente dentro de la API estándar basada en PyTorch en hardware compatible.

github llama.cpp · hace 4 d · 21 vistas

llama.cpp b11046 añade soporte para OpenCL al kernel flash_attn_f32_f16_bin

El proyecto llama.cpp ha lanzado la versión b11046, que introduce soporte para OpenCL en el kernel `flash_attn_f32_f16_bin`. Esta actualización también incluye funcionalidad de prellenado protegido para Flash Attention en dispositivos OpenCL.

github llama.cpp · hace 6 d · 15 vistas

llama.cpp b11019 corrige la alineación de datos GGUF para archivos embebidos y añade carga de LoRA

El proyecto llama.cpp lanzó la versión b11019, corrigiendo un error crítico en el que los archivos GGUF embebidos en desplazamientos no alineados devolvían datos de tensor incorrectos. La actualización alinea la sección de datos GGUF con respecto al inicio del archivo en lugar del desplazamiento 0, asegurando la carga correcta de modelos embebidos.

github llama.cpp · hace 7 d · 20 vistas

llama.cpp b11006 añade soporte Hexagon para K-Quants Q4_K y Q6_K

El proyecto llama.cpp lanzó la versión b11006, introduciendo soporte para procesadores Qualcomm Hexagon para manejar formatos de cuantización K. Esta actualización implementa núcleos específicos para los niveles de cuantización Q4_K y Q6_K en la arquitectura Hexagon.