github llama.cpp · hace 2 h · inference

llama.cpp b10273 resuelve la longitud del contexto del muestreador y elimina las ventanas de contexto completo

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10273, abordando un problema crítico donde los muestreadores basados en historial no podían inferir la longitud correcta del contexto durante la inicialización debido a restricciones del backend de muestreo.

Resuelve -1 a 1024 en lugar de ctx-len para los muestreadores para corregir errores de inicialización.
Establece un valor compartido por defecto de 64 para los muestreadores basados en historial y elimina el parámetro context_size.
Proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de CPU, GPU (CUDA, Vulkan, ROCm, SYCL) y backends OpenVINO.

Esta actualización asegura un comportamiento estable del muestreador durante las fases tempranas de construcción cuando el llama_context completo aún no está disponible.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10269 corrige dflash wo_a reshape en la carga

El proyecto llama.cpp ha lanzado la compilación b10269, que incluye una corrección para el problema de reshaping wo_a de dflash durante la carga del modelo.

media Hugging Face Forums · hace 7 h

Atención lineal causal O(N) con compuerta de decaimiento y núcleo Triton fusionado, de código abierto

Un desarrollador ha liberado como código abierto una arquitectura de Atención Lineal Causal O(N) con compuerta de decaimiento que incluye núcleos de acumulación de estado Triton/CUDA fusionados, diseñados para evitar los cuellos de botella de MHA cuadrático.

github llama.cpp · hace 7 h

llama.cpp b10262 añade GATED_LINEAR_ATTN al backend de Vulkan

El proyecto llama.cpp lanzó la compilación b10262, que introduce soporte para la operación GATED_LINEAR_ATTN en su backend de Vulkan. Esta actualización también incluye actualizaciones de documentación para operaciones de Vulkan y elimina una constante de especificación GLA no utilizada.

github llama.cpp · hace 10 h

llama.cpp b10259 permite el reordenamiento de tensores durante la carga

El proyecto llama.cpp ha lanzado la compilación b10259, que introduce la capacidad de permitir el reordenamiento de tensores durante el proceso de carga.

github llama.cpp · hace 16 h

llama.cpp b10256 paraleliza el kernel de concatenación no contigua para SYCL

La versión llama.cpp b10256 incluye un cambio para paralelizar el kernel de concatenación no contigua para dispositivos SYCL. La actualización modifica la geometría de lanzamiento desde un grupo de trabajo de un solo carril a uno que utiliza `SYCL_CONCAT_BLOCK_SIZE`.