github llama.cpp · hace 1 h · inference

llama.cpp b10418 añade soporte para memoria fija del host en SYCL

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10418, introduciendo soporte para memoria fija del host para mejorar el acceso a la memoria del Host al Dispositivo en SYCL. Esta actualización aborda problemas de seguridad de hilos dentro de la implementación del backend.

Añade soporte para ggml_backend_sycl_host_buffer_type_get_max_size para memoria fija del host.
Corrige un problema de seguridad de hilos en el backend SYCL.
Incluye binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) y openEuler.
Proporciona un paquete de interfaz de usuario unificado para todas las plataformas.

El lanzamiento permite una transferencia de datos más rápida entre la memoria del host y del dispositivo para hardware compatible con SYCL, garantizando estabilidad mediante una mejor seguridad de hilos.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

el backend OpenVINO de llama.cpp añade soporte para Qwen3.5 y optimizaciones de memoria

El proyecto llama.cpp ha fusionado actualizaciones significativas en su backend OpenVINO, principalmente habilitando el soporte para la familia de modelos Qwen3.5 e introduciendo varias técnicas de optimización de memoria.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10414 añade soporte para TQ2_0 y optimiza el kernel mul_mv

El proyecto llama.cpp lanzó la compilación b10414, introduciendo soporte para el tipo de cuantización ternaria GGML_TYPE_TQ2_0 en el backend de Metal. Esta actualización también incluye optimizaciones al kernel mul_mv de tensores contiguos (cont).

github llama.cpp · hace 3 d · 1 vista

llama.cpp b10354 corrige la máscara de afinidad de CPU en Android

El proyecto llama.cpp ha lanzado la versión b10354, que incluye una corrección para la máscara de afinidad de CPU que se ignoraba en dispositivos Android.

github llama.cpp · hace 3 d · 2 vistas

llama.cpp b10344 añade soporte MTP para modelos Nemotron

El proyecto llama.cpp ha lanzado la compilación b10344, que introduce soporte para Multi-Token Prediction (MTP) específicamente para los modelos Nemotron y Nemotron Nano.

github llama.cpp · hace 3 d · 1 vista

llama.cpp añade la arquitectura Granite-Switch con enrutador en el grafo para selección de LoRA por token

El proyecto llama.cpp introduce soporte para la arquitectura Granite-Switch, una variante de modelo denso que cuenta con N adaptadores LoRA incrustados que se seleccionan por token mediante tokens de control. Esta implementación reemplaza un índice pegajoso global previo de prueba de concepto con un mecanismo de atención "enrutador" causal en el grafo para resolver los índices de adaptador.