github llama.cpp · ahora mismo · inference

llama.cpp b10444 añade soporte para modelos asistente MTP y elimina eagle3

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10444, introduciendo soporte para cargar modelos asistente de Predicción Multi-Tokens (MTP) a través de la bandera `--models-dir`. Esta actualización también incluye una verificación estricta de prefijos para modelos MTP en las preconfiguraciones y elimina el soporte para el tipo de borrador eagle3.

common: soporte para cargar modelos asistente MTP con --models-dir
common: preset: verificar modelos MTP con prefijo estricto
manejar otros tipos de borrador
eliminar eagle3

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10442 añade SHMEM_STRIDE_PAD de Vulkan para Intel Xe y corrige lectura fuera de límites

El proyecto llama.cpp lanzó la versión b10442, introduciendo optimizaciones específicas de Vulkan para hardware Intel Xe mientras aborda problemas de seguridad de memoria en rutinas de multiplicación de matrices.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b10434 pasa reasoning_effort a las plantillas

El proyecto llama.cpp lanzó la compilación b10434, que añade soporte para pasar el parámetro `reasoning_effort` a las plantillas Jinja. Este cambio asegura que los valores de `reasoning_effort` de OpenAI Chat Completions se almacenen y estén disponibles durante la generación.

github llama.cpp · hace 2 d

llama.cpp b10418 añade soporte para memoria fija del host en SYCL

El proyecto llama.cpp lanzó la versión b10418, introduciendo soporte para memoria fija del host para mejorar el acceso a la memoria del Host al Dispositivo en SYCL. Esta actualización aborda problemas de seguridad de hilos dentro de la implementación del backend.

github llama.cpp · hace 2 d · 4 vistas

el backend OpenVINO de llama.cpp añade soporte para Qwen3.5 y optimizaciones de memoria

El proyecto llama.cpp ha fusionado actualizaciones significativas en su backend OpenVINO, principalmente habilitando el soporte para la familia de modelos Qwen3.5 e introduciendo varias técnicas de optimización de memoria.

github llama.cpp · hace 2 d · 2 vistas

llama.cpp b10414 añade soporte para TQ2_0 y optimiza el kernel mul_mv

El proyecto llama.cpp lanzó la compilación b10414, introduciendo soporte para el tipo de cuantización ternaria GGML_TYPE_TQ2_0 en el backend de Metal. Esta actualización también incluye optimizaciones al kernel mul_mv de tensores contiguos (cont).