github llama.cpp · hace 8 h · inference

llama.cpp b10653 añade TENSOR_READ_LAZY para la carga de modelos

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10653, introduciendo la función TENSOR_READ_LAZY en su cargador de modelos. Este cambio incluye la adición de la función TENSOR_GET_ROW_LAZY y una bandera correspondiente --tensor-read-lazy en la línea de comandos.

Añadidos TENSOR_READ_LAZY y TENSOR_GET_ROW_LAZY al cargador de modelos.
Introducida la opción CLI --tensor-read-lazy para habilitar la lectura perezosa de tensores.
Proporcionados binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android e iOS.

Esta versión actualiza la biblioteca principal con nuevas capacidades de carga diferida mientras distribuye binarios precompilados a través de las plataformas compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp añade soporte para la arquitectura Qwen3.8-Flash-Next (qwen4exp)

El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Qwen3.8-Flash-Next (qwen4exp), implementando sus componentes específicos, incluidas las hiperconexiones, redes delta con compuerta, Mezcla de Expertos y embeddings de hash n-gram PLE.

github llama.cpp · hace 6 d · 11 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.

github llama.cpp · hace 7 d · 17 vistas

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.

github llama.cpp · hace 7 d · 7 vistas

llama.cpp b10532 añade desquantización de KV en Metal para Flash Attention

El proyecto llama.cpp lanzó la versión b10532, introduciendo un paso de preprocesamiento en el backend de Metal que desquantiza los cachés de Key-Value (KV) cuantizados a F16 antes de ejecutar Flash Attention.

github llama.cpp · hace 7 d · 13 vistas

llama.cpp b10517 añade optimizaciones de desquantización FA para Vulkan y correcciones

El proyecto llama.cpp lanzó la compilación b10517, introduciendo varias mejoras específicas de Vulkan en la ruta de desquantización de flash attention (FA). Los cambios clave incluyen desquantizar q8_0 KV una vez en coopmat1, omitir la ruta de desquantización FA en coopmat2 y excluir Intel Xe1 de la ruta de desquantización FA.