github llama.cpp · hace 2 d · inference

llama.cpp b10857 corrige el uso de manejos Vulkan-Hpp en destinos de 32 bits

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10857, que incluye una corrección para el uso de manejos Vulkan-Hpp en plataformas de 32 bits. Esta actualización aborda problemas de seguridad de tipos donde los manejos no despachables de Vulkan como VkBuffer se representan como uint64_t.

Añade el operador<< para vk::Buffer para permitir la transmisión directa a std::ostream para registros de depuración y memoria.
Pasa vk::Buffer directamente a las APIs CommandBuffer::copyBuffer de Vulkan-Hpp en lugar de convertirlo a VkBuffer.

Este cambio asegura el manejo correcto de objetos Vulkan en arquitecturas de 32 bits, previniendo errores potenciales en registros y operaciones de copia de búfer.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

DeepSeek lanza DeepSeek-V4.1-Flash con contexto de 1M y caché KV FP4

DeepSeek AI ha lanzado DeepSeek-V4.1-Flash, un modelo multimodal Mixture-of-Experts que cuenta con una ventana de contexto de 1 millón de tokens y una caché KV FP4 que reduce la huella global de la caché a 890 bytes por token. El modelo utiliza una arquitectura de codificador-decodificador causal y Compressed Sparse Attention 2 (CSA2) para reducir significativamente los requisitos de memoria mientras mantiene el rendimiento.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10889 evita la asignación de caché V para el indexador

El proyecto llama.cpp ha lanzado la compilación b10889, que incluye una optimización de memoria para evitar asignar el caché V para el indexador ya que no se utiliza.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10888 añade etiquetas de depuración de búfer de comandos para perfiles de GPU

El proyecto llama.cpp ha lanzado la compilación b10888, que incluye una nueva función para agregar etiquetas de depuración de búfer de comandos para perfiles de GPU en el backend de Vulkan.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10886 añade soporte de intrínsecos vectoriales Q1_0 para s390x

El proyecto llama.cpp lanzó la compilación b10886, que introduce el soporte de intrínsecos vectoriales Q1_0 para la arquitectura s390x. Esta actualización incluye la implementación de `ggml_vec_dot_q1_0_q8_0` y actualiza la documentación para reflejar la nueva capacidad.

github llama.cpp · hace 18 h · 1 vista

llama.cpp b10883 corrige la multiplicación de matrices Vulkan y restaura las optimizaciones de Ampere

El proyecto llama.cpp lanzó la compilación b10883, que incluye actualizaciones significativas en el backend de Vulkan. El cambio principal implica el uso de constantes de especificación para operaciones de multiplicación matriz-matriz tipo A para mejorar la compilación y el rendimiento de los shaders.