github llama.cpp · ahora mismo · inference

llama.cpp b11460 añade IQ3_S multi-column MMVQ a SYCL

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11460, que introduce soporte para el formato de cuantización IQ3_S multi-column MMVQ dentro de su backend SYCL. Esta actualización se incluye en la nueva compilación junto con las opciones estándar de aceleración de CPU y GPU.

El lanzamiento añade soporte para IQ3_S multi-column MMVQ a la implementación de SYCL a través del pull request #29500.
Se proporcionan binarios para macOS (Apple Silicon e Intel), Linux (x64, arm64, s390x), Windows, Android y openEuler.
La aceleración de GPU está disponible mediante CUDA 12/13, Vulkan, ROCm 10.0, OpenVINO y OpenCL Adreno en las plataformas compatibles.
Se incluyen compilaciones específicas para dispositivos Snapdragon en Linux y Android, que admiten CPU, GPU Adreno y NPU Hexagon.

Este lanzamiento permite a los usuarios acceder a las últimas optimizaciones de SYCL y amplía la compatibilidad con hardware para ejecutar modelos llama.cpp en diversas arquitecturas.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b11454 añade soporte para K2 Horizon dense y MoVA

El proyecto llama.cpp lanzó la compilación b11454, que introduce soporte para la arquitectura del modelo K2 Horizon, incluyendo las variantes dense y Mixture-of-Value Attention (MoVA).

github llama.cpp · hace 1 d · 25 vistas

llama.cpp b11433 añade soporte para la operación de agrupamiento Hexagon

El proyecto llama.cpp lanzó la versión b11433, que introduce soporte para operaciones de agrupamiento (pooling) en la NPU Hexagon. Esta actualización incluye implementaciones para capas de agrupamiento 2D y 1D.

github llama.cpp · hace 2 d · 25 vistas

llama.cpp b11424 corrige escritura fuera de límites en memoria compartida de Vulkan Flash Attention

El proyecto llama.cpp ha lanzado la versión b11424, que incluye una corrección para un error de escritura fuera de los límites de memoria compartida en el backend de Vulkan al usar Flash Attention.

github llama.cpp · hace 2 d · 22 vistas

llama.cpp b11413 añade atención flash dispersa de Vulkan para K/V cuantizados

La versión b11413 de llama.cpp introduce una nueva implementación de atención flash dispersa en Vulkan que soporta tensores de Clave y Valor cuantizados. Esta actualización aborda problemas de rendimiento en el método anterior de compactación, que era demasiado costoso para tareas de decodificación con ventanas de contexto grandes.

github llama.cpp · hace 2 d · 29 vistas

llama.cpp b11405 aplica tiles al indexador lightning sobre claves y tokens para 4 cabezas

La versión b11405 de llama.cpp actualiza el backend CUDA aplicando tiles al indexador lightning sobre las claves y los tokens para 4 cabezas, abordando problemas de rendimiento con un número reducido de cabezas.