github llama.cpp · hace 1 d · inference

llama.cpp b11025 amplía el soporte de Nemotron MTP

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b11025, que incluye una extensión del soporte de Predicción Multi-Tokens (MTP) de Nemotron.

La actualización aborda la primera corrección para esta función y elimina declaraciones innecesarias.
Se proporcionan binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.
También hay disponible una compilación de interfaz de usuario independiente para descargar.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b11046 añade soporte para OpenCL al kernel flash_attn_f32_f16_bin

El proyecto llama.cpp ha lanzado la versión b11046, que introduce soporte para OpenCL en el kernel `flash_attn_f32_f16_bin`. Esta actualización también incluye funcionalidad de prellenado protegido para Flash Attention en dispositivos OpenCL.

github llama.cpp · hace 5 h · 1 vista

llama.cpp b11042 añade el kernel binario OpenCL A8 Q6_K

El proyecto llama.cpp ha lanzado la versión b11042, que introduce un nuevo kernel binario OpenCL para modelos A8 Q6_K no-MoE. Esta actualización también incluye correcciones de compatibilidad de disposición dentro del backend de OpenCL.

github llama.cpp · hace 9 h · 1 vista

llama.cpp b11039 añade soporte para el patrón SWA al guardador de modelos y a los cargadores

El proyecto llama.cpp lanzó la compilación b11039, que actualiza el guardador de modelos para escribir patrones de atención de ventana deslizante (SWA) y geometría MLA SWA para todos los modelos que utilizan SWA. El cambio asegura que `sliding_window_pattern` se escriba como una bandera por capa en lugar de colapsarse a un escalar, preservando la representación exacta de los datos.

github llama.cpp · hace 1 d · 6 vistas

llama.cpp b11024 actualiza OpenVINO a 2026.4 y corrige advertencias

El proyecto llama.cpp lanzó la compilación b11024, que principalmente actualiza la integración de OpenVINO a la versión 2026.4.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b11019 corrige la alineación de datos GGUF para archivos embebidos y añade carga de LoRA

El proyecto llama.cpp lanzó la versión b11019, corrigiendo un error crítico en el que los archivos GGUF embebidos en desplazamientos no alineados devolvían datos de tensor incorrectos. La actualización alinea la sección de datos GGUF con respecto al inicio del archivo en lugar del desplazamiento 0, asegurando la carga correcta de modelos embebidos.