github llama.cpp · hace 3 d · inference

llama.cpp b10830 añade la bandera --fuse-qkv para la conversión de HF a GGUF

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10830, introduciendo una nueva opción de línea de comandos para la conversión de modelos. Esta actualización añade la bandera `--fuse-qkv`, que permite a los usuarios fusionar las matrices de Query, Key y Value en una única estructura QKV durante la conversión desde el formato Hugging Face a GGUF.

El lanzamiento incluye binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu con backends de CPU, Vulkan, ROCm, OpenVINO y SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO y SYCL) y openEuler.
El soporte para iOS se proporciona a través de un XCFramework, mientras que el soporte de KleidiAI en macOS Apple Silicon está actualmente deshabilitado.

Esta actualización ofrece a los usuarios una ruta de conversión más eficiente para modelos que se benefician de mecanismos de atención fusionados.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp desactiva la carga perezosa de tensores por defecto en GPUs integradas

El proyecto llama.cpp ha desactivado la carga perezosa de tensores por defecto para GPUs integradas (iGPUs) en la versión b10867. Este cambio aborda una regresión introducida en la configuración anterior del modo "AUTO".

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10864 corrige la evicción de puntos de control para modelos híbridos

El proyecto llama.cpp lanzó la compilación b10864, que incluye una corrección para la lógica de evicción de espacios de los puntos de control en `create_checkpoint()`. Anteriormente, la regla de evicción mantenía el punto de control más antiguo y borraba los posteriores dentro de `checkpoint_min_step`, lo que hacía que los prompts más cortos que ese umbral perdieran el punto de control necesario para la reanudación. Esto obligaba a los modelos híbridos y recurrentes a reprefijar innecesariamente desde el punto de control anterior.

github llama.cpp · hace 3 d · 6 vistas

llama.cpp b10844 añade operaciones fusionadas de hiperconexión Vulkan para DeepSeek-V4

El proyecto llama.cpp lanzó la versión b10844, introduciendo soporte para operaciones fusionadas de hiperconexión DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) en el backend de Vulkan. Esta actualización lleva a Vulkan al mismo nivel que CUDA y Metal en cuanto a estas optimizaciones específicas.

github llama.cpp · hace 3 d · 4 vistas

llama.cpp b10842 añade soporte HIP para gfx90c

El proyecto llama.cpp lanzó la compilación b10842, que introduce soporte para la arquitectura gfx90c a través de HIP.

media Hugging Face Forums · hace 3 d · 8 vistas

AI Model Radar se lanza con ajuste de hardware medido para modelos abiertos

Un nuevo sitio llamado AI Model Radar ayuda a los usuarios a determinar qué modelos abiertos realmente se ajustan a su GPU o Mac utilizando datos medidos en lugar de estimaciones. La plataforma calcula los tamaños de pesos basándose en archivos GGUF publicados reales y computa la capa de caché de contexto capa por capa desde las configuraciones del modelo.