github llama.cpp · hace 2 h · inference

llama.cpp b10982 añade soporte de Flash Attention disperso con Vulkan para DSV4/GLM

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10982, que introduce soporte para Flash Attention disperso a través del backend de Vulkan. Esta actualización se dirige específicamente a los modelos DSV4 y GLM, permitiendo que aprovechen mecanismos de atención dispersa en hardware de GPU compatible.

Añade soporte de Flash Attention disperso para DSV4/GLM en la implementación de Vulkan.
Incluye lógica de implementación ajustada y pruebas añadidas.
Corrige el comportamiento no determinista de atomicAdd.
Añade soporte de vector de descodificación cm2 y enlace f16vec4 para vectores de descodificación.
Simplifica la lógica y mejora la consistencia de los nombres de variables.

El lanzamiento proporciona binarios precompilados para macOS, Linux, Windows, Android y openEuler a través de backends CPU, CUDA, ROCm, OpenVINO, SYCL y Vulkan.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10981 corrige la decodificación con estado para Gemma-4 y optimiza la inferencia de MoE en GPU

La versión b10981 de llama.cpp aborda problemas críticos de corrección en la ruta de decodificación con estado del backend OpenVINO, corrigiendo específicamente el soporte para modelos como Gemma-4 que utilizan tamaños de cabeza por capa. También introduce optimizaciones para la inferencia de MoE (Mixture of Experts) en GPU y mejora el rendimiento mediante relayouts del estado KV.

github llama.cpp · hace 21 h · 8 vistas

llama.cpp 0.4.1 añade soporte para Maple 20B-A1B, Tencent Hy 4 y Spark2.5

El proyecto llama.cpp lanzó la versión 0.4.1, introduciendo soporte para la arquitectura ternaria de Mezcla de Expertos (MoE) Maple 20B-A1B en CPU, así como soporte preliminar para los modelos Tencent Hy 4 y Spark2.5.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b10951 mueve llama_n_rs_seq antes de llama_decode para evitar llamadas innecesarias

El proyecto llama.cpp lanzó la versión b10951, que incluye una optimización de código en la lógica de decodificación. La llamada a la función `llama_n_rs_seq` ahora se ejecuta antes de `llama_decode`, permitiendo al sistema devolver directamente si la comprobación pasa.

github llama.cpp · hace 3 d · 12 vistas

llama.cpp b10930 permite descargas de modelos al límite del modelo

El proyecto llama.cpp lanzó la versión b10930, que incluye una corrección para el componente del servidor que permite descargar modelos incluso cuando el usuario ha alcanzado su límite de modelos.

github llama.cpp · hace 3 d · 4 vistas

la versión b10926 de llama.cpp maneja con gracia las cuantizaciones tq1_0 no compatibles

El proyecto llama.cpp ha lanzado la versión b10926, que incluye una corrección para manejar las cuantizaciones tq1_0 no compatibles fallando de forma elegante. Esta actualización aborda el problema #28681 para mejorar la estabilidad al encontrar este formato de cuantización específico.