github llama.cpp · hace 3 d · inference

llama.cpp b10833 añade fusión de norma RMS de Vulkan para una aceleración de ~4% en gemma4

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10833, introduciendo optimizaciones del backend de Vulkan que fusionan operaciones específicas de normalización para mejorar el rendimiento de inferencia.

Soporte para fusión de RMS_NORM + MUL + ADD (+ MUL) y RMS_NORM + VIEW + SET_ROWS en el backend de Vulkan.
Extensión de ROPE + VIEW + SET_ROWS para soportar IMROPE.
El autor reporta una ganancia de rendimiento de aproximadamente 4% en modelos gemma4 en su sistema.

Esta actualización proporciona a los usuarios velocidades de inferencia más rápidas para modelos compatibles que se ejecutan en hardware compatible con Vulkan.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

DeepSeek lanza DeepSeek-V4.1-Flash con contexto de 1M y caché KV FP4

DeepSeek AI ha lanzado DeepSeek-V4.1-Flash, un modelo multimodal Mixture-of-Experts que cuenta con una ventana de contexto de 1 millón de tokens y una caché KV FP4 que reduce la huella global de la caché a 890 bytes por token. El modelo utiliza una arquitectura de codificador-decodificador causal y Compressed Sparse Attention 2 (CSA2) para reducir significativamente los requisitos de memoria mientras mantiene el rendimiento.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10889 evita la asignación de caché V para el indexador

El proyecto llama.cpp ha lanzado la compilación b10889, que incluye una optimización de memoria para evitar asignar el caché V para el indexador ya que no se utiliza.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10888 añade etiquetas de depuración de búfer de comandos para perfiles de GPU

El proyecto llama.cpp ha lanzado la compilación b10888, que incluye una nueva función para agregar etiquetas de depuración de búfer de comandos para perfiles de GPU en el backend de Vulkan.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10886 añade soporte de intrínsecos vectoriales Q1_0 para s390x

El proyecto llama.cpp lanzó la compilación b10886, que introduce el soporte de intrínsecos vectoriales Q1_0 para la arquitectura s390x. Esta actualización incluye la implementación de `ggml_vec_dot_q1_0_q8_0` y actualiza la documentación para reflejar la nueva capacidad.

github llama.cpp · hace 18 h · 1 vista

llama.cpp b10883 corrige la multiplicación de matrices Vulkan y restaura las optimizaciones de Ampere

El proyecto llama.cpp lanzó la compilación b10883, que incluye actualizaciones significativas en el backend de Vulkan. El cambio principal implica el uso de constantes de especificación para operaciones de multiplicación matriz-matriz tipo A para mejorar la compilación y el rendimiento de los shaders.