github llama.cpp · hace 1 h · inference

llama.cpp b10269 corrige dflash wo_a reshape en la carga

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10269, que incluye una corrección para el problema de reshaping wo_a de dflash durante la carga del modelo.

Esta versión proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x con backends de CPU, Vulkan, ROCm 7.2, OpenVINO y SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler (x86 y aarch64 con ACL Graph).

La actualización está disponible para descarga en todas las plataformas compatibles para garantizar un comportamiento correcto al cargar el modelo.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

Atención lineal causal O(N) con compuerta de decaimiento y núcleo Triton fusionado, de código abierto

Un desarrollador ha liberado como código abierto una arquitectura de Atención Lineal Causal O(N) con compuerta de decaimiento que incluye núcleos de acumulación de estado Triton/CUDA fusionados, diseñados para evitar los cuellos de botella de MHA cuadrático.

github llama.cpp · hace 5 h

llama.cpp b10262 añade GATED_LINEAR_ATTN al backend de Vulkan

El proyecto llama.cpp lanzó la compilación b10262, que introduce soporte para la operación GATED_LINEAR_ATTN en su backend de Vulkan. Esta actualización también incluye actualizaciones de documentación para operaciones de Vulkan y elimina una constante de especificación GLA no utilizada.

github llama.cpp · hace 7 h

llama.cpp b10259 permite el reordenamiento de tensores durante la carga

El proyecto llama.cpp ha lanzado la compilación b10259, que introduce la capacidad de permitir el reordenamiento de tensores durante el proceso de carga.

github llama.cpp · hace 13 h

llama.cpp b10256 paraleliza el kernel de concatenación no contigua para SYCL

La versión llama.cpp b10256 incluye un cambio para paralelizar el kernel de concatenación no contigua para dispositivos SYCL. La actualización modifica la geometría de lanzamiento desde un grupo de trabajo de un solo carril a uno que utiliza `SYCL_CONCAT_BLOCK_SIZE`.

github llama.cpp · hace 13 h

llama.cpp b10254 añade la plantilla DeepSeek V4 Flash 0731 y actualiza las plantillas V4

El proyecto llama.cpp lanzó la versión b10254, introduciendo una nueva plantilla de chat para el modelo DeepSeek V4 Flash 0731 junto con actualizaciones a las plantillas existentes de DeepSeek V4.