github vLLM · hace 2 d · inference

v0.29.0rc5 cambia el valor predeterminado de prefix_cache_retention_interval a dense para Mamba

Traducido del English → Español

La versión v0.29.0rc5 actualiza el valor predeterminado del parámetro `prefix_cache_retention_interval` a `dense` específicamente para modelos Mamba.

El cambio afecta a la arquitectura Mamba dentro del sistema central.
Modifica el comportamiento de caché estableciendo el intervalo de retención en dense.

Importancia 1/3 Confianza 2/3 vLLM Inference efficiency

Leer original

DeepSeek lanza DeepSeek-V4.1-Flash con contexto de 1M y caché KV FP4

DeepSeek AI ha lanzado DeepSeek-V4.1-Flash, un modelo multimodal Mixture-of-Experts que cuenta con una ventana de contexto de 1 millón de tokens y una caché KV FP4 que reduce la huella global de la caché a 890 bytes por token. El modelo utiliza una arquitectura de codificador-decodificador causal y Compressed Sparse Attention 2 (CSA2) para reducir significativamente los requisitos de memoria mientras mantiene el rendimiento.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10889 evita la asignación de caché V para el indexador

El proyecto llama.cpp ha lanzado la compilación b10889, que incluye una optimización de memoria para evitar asignar el caché V para el indexador ya que no se utiliza.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10888 añade etiquetas de depuración de búfer de comandos para perfiles de GPU

El proyecto llama.cpp ha lanzado la compilación b10888, que incluye una nueva función para agregar etiquetas de depuración de búfer de comandos para perfiles de GPU en el backend de Vulkan.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10886 añade soporte de intrínsecos vectoriales Q1_0 para s390x

El proyecto llama.cpp lanzó la compilación b10886, que introduce el soporte de intrínsecos vectoriales Q1_0 para la arquitectura s390x. Esta actualización incluye la implementación de `ggml_vec_dot_q1_0_q8_0` y actualiza la documentación para reflejar la nueva capacidad.

github llama.cpp · hace 18 h · 1 vista

llama.cpp b10883 corrige la multiplicación de matrices Vulkan y restaura las optimizaciones de Ampere

El proyecto llama.cpp lanzó la compilación b10883, que incluye actualizaciones significativas en el backend de Vulkan. El cambio principal implica el uso de constantes de especificación para operaciones de multiplicación matriz-matriz tipo A para mejorar la compilación y el rendimiento de los shaders.