github llama.cpp · hace 1 h · inference

llama.cpp b11147 añade kernel OpenCL dp4a non-MoE Q6_K A8

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11147, que introduce un nuevo kernel binario para OpenCL. Esta actualización añade específicamente soporte para la configuración A8 Q6_K non-MoE dp4a.

Añade un kernel binario A8 Q6_K non-MoE dp4a para OpenCL.
Proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, Adreno, CUDA, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.

Esta versión permite a los usuarios ejecutar llama.cpp en una amplia gama de plataformas de hardware con las últimas optimizaciones del kernel.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b11132 añade soporte para el backbone de borrador Gemma 4 DSpark

El proyecto llama.cpp lanzó la versión b11132, introduciendo soporte para el backbone de borrador Gemma 4 DSpark. Esta actualización habilita la conversión GGUF y capacidades en tiempo de ejecución para borradores Gemma 4 con atención completa y SWA, incluyendo pesos de salida vinculados y metadatos del backbone booleanos.

github llama.cpp · hace 11 h · 12 vistas

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 1 d · 13 vistas

llama.cpp b11111 añade kernels de optimización flash attention para Intel Xe

El proyecto llama.cpp lanzó la compilación b11111, que introduce kernels de optimización flash attention basados en Vulkan para rutas split k en las arquitecturas Xe-LPG Plus, Xe2 y Xe3.

github llama.cpp · hace 1 d · 11 vistas

llama.cpp añade soporte para DFlash en HunyuanOCR y corrige la conversión de borrador

El proyecto llama.cpp ha añadido soporte para la decodificación especulativa DFlash con el modelo HunyuanOCR, exponiendo los tensores de entrada de las capas en el grafo objetivo. Este cambio permite que el modelo de borrador lea los flujos residuales, lo que posibilita que las solicitudes de imagen se ejecuten correctamente con una tasa de aceptación del borrador de aproximadamente 0.5 y una salida OCR idéntica a nivel de bytes en comparación con las ejecuciones no especulativas.

github llama.cpp · hace 1 d · 14 vistas

la versión b11101 de llama.cpp permite llamadas repetidas a find_package para llama

El proyecto llama.cpp ha lanzado la versión b11101, que incluye una corrección del sistema de compilación que permite llamadas repetidas a find_package para la biblioteca llama.