github llama.cpp · hace 5 h · inference

llama.cpp b11362 añade kernel de flash attention para API tensorial con KV en F16

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11362, que introduce un nuevo kernel de flash attention para la API tensorial que admite almacenamiento de claves y valores (KV) en F16. Esta actualización está disponible en las plataformas macOS, Linux, Windows, Android e iOS con varias opciones de backend, incluyendo CUDA, Vulkan y ROCm.

Añade kernels FA tensoriales para dimensiones específicas: DK=DV=512, DK=576/DV=512 y DK=192/DV=128.
El nuevo kernel admite mecanismos de attention sinks, ALiBi y logit softcap.
Se proporcionan binarios precompilados para backends de CPU, GPU (CUDA 12/13, Vulkan, ROCm 10.0) y NPU (Snapdragon Hexagon).

Este lanzamiento permite un cálculo de atención más eficiente en configuraciones de hardware compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b11368 añade muestreo probabilístico para borrador simple y MTP

El proyecto llama.cpp lanzó la compilación b11368, que introduce muestreo probabilístico para flujos de trabajo de borrador simple y MTP (Multi-Token Prediction). Esta actualización modifica el mecanismo de borrado para usar selección probabilística mientras verifica los objetivos mediante muestreo por rechazo.

github llama.cpp · hace 9 h · 4 vistas

llama.cpp b11351 añade alloc_buffer_n y get_alloc_size_n a la interfaz de tipo de búfer del backend ggml

El proyecto llama.cpp lanzó la compilación b11351, introduciendo nuevos métodos en la interfaz de tipo de búfer del backend ggml. La actualización añade `alloc_buffer_n` y `get_alloc_size_n` para permitir un control más granular sobre la asignación de búferes y la consulta de tamaños.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b11338 añade copia DMA estrada compartida para CPY y CONCAT

El proyecto llama.cpp lanzó la compilación b11338, introduciendo un mecanismo de copia Direct Memory Access (DMA) estrada compartida para las operaciones CPY y CONCAT. Esta actualización permite CONCAT de cualquier dimensión a través de DMA en arquitecturas Hexagon.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b11335 enruta sm70 a la tabla Turing MMVQ para el rendimiento de Volta

El proyecto llama.cpp lanzó la versión b11335, que incluye una optimización CUDA para GPUs Volta. La actualización dirige la arquitectura sm_70 a la tabla nwarps existente de Turing MMVQ en lugar de caer en la configuración genérica.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b11333 añade soporte bfloat16 para WebGPU en operaciones MUL_MAT

El proyecto llama.cpp ha lanzado la compilación b11333, que introduce soporte bfloat16 para las operaciones MUL_MAT, MUL_MAT_ID y GET_ROWS dentro de su backend WebGPU.