github llama.cpp · hace 1 h · inference

llama.cpp b10447 rediseña el modelo de hilos yield_to_queue

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10447, que incluye un rediseño del modelo de hilos `yield_to_queue`. Este cambio implica ejecutar `common_speculative_process` en el trabajador y cambiar el diseño del hilo trabajador al principal.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu con CPU, Vulkan, OpenVINO, SYCL y ROCm deshabilitado), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL y ROCm 7.14) y openEuler (con algunas compilaciones desactivadas).

Esta actualización está disponible para descargar en las plataformas compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10444 añade soporte para modelos asistente MTP y elimina eagle3

El proyecto llama.cpp ha lanzado la versión b10444, introduciendo soporte para cargar modelos asistente de Predicción Multi-Tokens (MTP) a través de la bandera `--models-dir`. Esta actualización también incluye una verificación estricta de prefijos para modelos MTP en las preconfiguraciones y elimina el soporte para el tipo de borrador eagle3.

github llama.cpp · hace 6 h

llama.cpp b10442 añade SHMEM_STRIDE_PAD de Vulkan para Intel Xe y corrige lectura fuera de límites

El proyecto llama.cpp lanzó la versión b10442, introduciendo optimizaciones específicas de Vulkan para hardware Intel Xe mientras aborda problemas de seguridad de memoria en rutinas de multiplicación de matrices.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b10434 pasa reasoning_effort a las plantillas

El proyecto llama.cpp lanzó la compilación b10434, que añade soporte para pasar el parámetro `reasoning_effort` a las plantillas Jinja. Este cambio asegura que los valores de `reasoning_effort` de OpenAI Chat Completions se almacenen y estén disponibles durante la generación.

github llama.cpp · hace 2 d

llama.cpp b10418 añade soporte para memoria fija del host en SYCL

El proyecto llama.cpp lanzó la versión b10418, introduciendo soporte para memoria fija del host para mejorar el acceso a la memoria del Host al Dispositivo en SYCL. Esta actualización aborda problemas de seguridad de hilos dentro de la implementación del backend.

github llama.cpp · hace 2 d · 4 vistas

el backend OpenVINO de llama.cpp añade soporte para Qwen3.5 y optimizaciones de memoria

El proyecto llama.cpp ha fusionado actualizaciones significativas en su backend OpenVINO, principalmente habilitando el soporte para la familia de modelos Qwen3.5 e introduciendo varias técnicas de optimización de memoria.