github llama.cpp · hace 2 d · inference

llama.cpp b11016 fusiona el epílogo SiLU en el kernel ssm_conv

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11016, que incluye una actualización técnica al backend SYCL. El cambio principal es la fusión del epílogo SiLU en el kernel ssm_conv, como se detalla en el pull request #28929.

Esta versión proporciona binarios precompilados para macOS (Apple Silicon e Intel), Linux (Ubuntu con CPU, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL FP32/FP16 y Vulkan), Windows (CPU, CUDA 12/13, OpenCL Adreno, Vulkan, OpenVINO, SYCL y ROCm 10.0), Android arm64 y openEuler x86/aarch64.

La actualización también incluye la interfaz llama.cpp UI y atestaciones para verificación.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b11046 añade soporte para OpenCL al kernel flash_attn_f32_f16_bin

El proyecto llama.cpp ha lanzado la versión b11046, que introduce soporte para OpenCL en el kernel `flash_attn_f32_f16_bin`. Esta actualización también incluye funcionalidad de prellenado protegido para Flash Attention en dispositivos OpenCL.

github llama.cpp · hace 5 h · 1 vista

llama.cpp b11042 añade el kernel binario OpenCL A8 Q6_K

El proyecto llama.cpp ha lanzado la versión b11042, que introduce un nuevo kernel binario OpenCL para modelos A8 Q6_K no-MoE. Esta actualización también incluye correcciones de compatibilidad de disposición dentro del backend de OpenCL.

github llama.cpp · hace 9 h · 1 vista

llama.cpp b11039 añade soporte para el patrón SWA al guardador de modelos y a los cargadores

El proyecto llama.cpp lanzó la compilación b11039, que actualiza el guardador de modelos para escribir patrones de atención de ventana deslizante (SWA) y geometría MLA SWA para todos los modelos que utilizan SWA. El cambio asegura que `sliding_window_pattern` se escriba como una bandera por capa en lugar de colapsarse a un escalar, preservando la representación exacta de los datos.

github llama.cpp · hace 1 d · 6 vistas

llama.cpp b11024 actualiza OpenVINO a 2026.4 y corrige advertencias

El proyecto llama.cpp lanzó la compilación b11024, que principalmente actualiza la integración de OpenVINO a la versión 2026.4.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b11025 amplía el soporte de Nemotron MTP

El proyecto llama.cpp ha lanzado la compilación b11025, que incluye una extensión del soporte de Predicción Multi-Tokens (MTP) de Nemotron.