github llama.cpp · hace 2 h · inference

llama.cpp b10262 añade GATED_LINEAR_ATTN al backend de Vulkan

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10262, que introduce soporte para la operación GATED_LINEAR_ATTN en su backend de Vulkan. Esta actualización también incluye actualizaciones de documentación para operaciones de Vulkan y elimina una constante de especificación GLA no utilizada.

Implementada la operación GATED_LINEAR_ATTN para Vulkan (#25601)
Actualizada la documentación de las operaciones de Vulkan
Eliminada la constante de especificación GLA no utilizada

Esta versión proporciona binarios para macOS, Linux, Windows, Android e iOS a través de los backends CPU, CUDA, ROCm, OpenVINO, SYCL y Vulkan.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

Atención lineal causal O(N) con compuerta de decaimiento y núcleo Triton fusionado, de código abierto

Un desarrollador ha liberado como código abierto una arquitectura de Atención Lineal Causal O(N) con compuerta de decaimiento que incluye núcleos de acumulación de estado Triton/CUDA fusionados, diseñados para evitar los cuellos de botella de MHA cuadrático.

github llama.cpp · hace 4 h

llama.cpp b10259 permite el reordenamiento de tensores durante la carga

El proyecto llama.cpp ha lanzado la compilación b10259, que introduce la capacidad de permitir el reordenamiento de tensores durante el proceso de carga.

github llama.cpp · hace 10 h

llama.cpp b10256 paraleliza el kernel de concatenación no contigua para SYCL

La versión llama.cpp b10256 incluye un cambio para paralelizar el kernel de concatenación no contigua para dispositivos SYCL. La actualización modifica la geometría de lanzamiento desde un grupo de trabajo de un solo carril a uno que utiliza `SYCL_CONCAT_BLOCK_SIZE`.

github llama.cpp · hace 10 h

llama.cpp b10254 añade la plantilla DeepSeek V4 Flash 0731 y actualiza las plantillas V4

El proyecto llama.cpp lanzó la versión b10254, introduciendo una nueva plantilla de chat para el modelo DeepSeek V4 Flash 0731 junto con actualizaciones a las plantillas existentes de DeepSeek V4.

github llama.cpp · hace 11 h · 1 vista

llama.cpp b10255 extiende oneDNN SDPA a cachés KV no FP16

La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.