github llama.cpp · ahora mismo · inference

llama.cpp b11158 habilita el soporte de matrices cooperativas KHR para GPUs Adreno

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11158, que incluye un ajuste del soporte de matrices cooperativas KHR específicamente para GPUs Adreno a través del backend de Vulkan.

Habilitado el soporte de matrices cooperativas (coopmat) para el backend de Vulkan para mejorar el rendimiento en hardware compatible.
Corregida la función mul_mat_s dentro de la implementación.
Eliminadas las declaraciones de depuración del código base.

Esta actualización proporciona aceleración de GPU optimizada para dispositivos Snapdragon que ejecutan Linux y Android, así como sistemas Windows arm64 con gráficos Adreno.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp v0.5.0 añade soporte para HRM-Text, aceleración de conv2d en CUDA y enlace a múltiples direcciones

El proyecto llama.cpp ha lanzado la versión 0.5.0, centrada en el rendimiento del backend, una mayor cobertura de modelos y un funcionamiento del servidor más robusto. Esta actualización introduce soporte para nuevas arquitecturas como HRM-Text (DFM Mimir 1B) y MiMo-V2.6, mientras mejora significativamente la eficiencia computacional mediante optimizaciones de CUDA y Metal.

github llama.cpp · hace 17 h · 11 vistas

llama.cpp b11147 añade kernel OpenCL dp4a non-MoE Q6_K A8

El proyecto llama.cpp ha lanzado la versión b11147, que introduce un nuevo kernel binario para OpenCL. Esta actualización añade específicamente soporte para la configuración A8 Q6_K non-MoE dp4a.

github llama.cpp · hace 22 h · 12 vistas

llama.cpp b11132 añade soporte para el backbone de borrador Gemma 4 DSpark

El proyecto llama.cpp lanzó la versión b11132, introduciendo soporte para el backbone de borrador Gemma 4 DSpark. Esta actualización habilita la conversión GGUF y capacidades en tiempo de ejecución para borradores Gemma 4 con atención completa y SWA, incluyendo pesos de salida vinculados y metadatos del backbone booleanos.

github llama.cpp · hace 1 d · 13 vistas

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 2 d · 14 vistas

llama.cpp b11111 añade kernels de optimización flash attention para Intel Xe

El proyecto llama.cpp lanzó la compilación b11111, que introduce kernels de optimización flash attention basados en Vulkan para rutas split k en las arquitecturas Xe-LPG Plus, Xe2 y Xe3.