github llama.cpp · hace 1 h · inference

llama.cpp b10206 aplica los mismos tipos de caché K y V para modelos DeepSeek V4 y MLA

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10206, que introduce cambios específicos en cómo se manejan los cachés de clave-valor en los mecanismos de atención. La actualización asegura que los tipos de caché K y V permanezcan consistentes para los modelos DeepSeek V4.

Aplica tipos de caché K y V idénticos para las arquitecturas DeepSeek V4.
Habilita Flash Attention (FA) cuando el caché V está cuantizado.
Aplica la misma aplicación de tipos de caché K y V a otros modelos MLA.

Esta versión proporciona binarios para macOS, Linux, Windows, Android y openEuler en varios backends de hardware que incluyen CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL y OpenCL.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

Lanzamiento de llama.cpp b10202 con fusión SYCL RMS_NORM

El proyecto llama.cpp ha lanzado la versión b10202, introduciendo una optimización SYCL que fusiona las operaciones RMS_NORM y MUL.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10201 mejora flash attention para KV cuantizado en contextos largos

El proyecto llama.cpp ha lanzado la versión b10201, que incluye una mejora clave al backend ggml-webgpu. Esta actualización mejora el rendimiento de flash attention al manejar cachés de clave-valor cuantizados durante la generación de contexto largo.

github llama.cpp · hace 19 h · 1 vista

llama.cpp b10198 añade soporte de Vulkan para concatenación cuantizada

El proyecto llama.cpp ha lanzado la compilación b10198, que introduce soporte para operaciones de concatenación cuantizada dentro del backend de Vulkan.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10180 añade ruta rápida contigua y matemáticas de índice de 32 bits para operaciones unarias SYCL

El proyecto llama.cpp ha lanzado la compilación b10180, introduciendo optimizaciones de rendimiento para el backend SYCL. La actualización implementa una ruta rápida contigua y cambia las matemáticas de índice elemento a elemento para usar fastdiv con enteros de 32 bits.

github llama.cpp · hace 4 d · 3 vistas

llama.cpp b10155 añade soporte de audio MiMo-V2.5

El proyecto llama.cpp ha lanzado la compilación b10155, que introduce soporte para el modelo de entrada de audio MiMo-V2.5. Esta actualización incluye un convertidor GGUF para audio MiMo e implementa la lógica del backend en C++ necesaria para manejar modelos de audio basados en RVQ.