github llama.cpp · hace 1 h · inference

llama.cpp b10232 implementa hiperconexiones de DeepSeek V4 en Metal

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10232, que introduce soporte para las hiperconexiones de DeepSeek V4 a través del backend de Metal. Esta actualización añade la implementación de las operaciones GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE y GGML_OP_DSV4_HC_POST.

Los nuevos kernels utilizan optimizaciones de registro SIMDgroup y barajado.
Se añadió infraestructura de despacho de Metal para soportar conteos de iteración Sinkhorn de producción y anchos de incrustación.
Hay binarios precompilados disponibles para macOS (Apple Silicon e Intel), iOS, Linux, Windows, Android y openEuler en varios backends de hardware, incluyendo CPU, CUDA, ROCm, Vulkan y OpenVINO.

Este lanzamiento permite la inferencia eficiente de modelos DeepSeek V4 en dispositivos Apple Silicon utilizando el framework Metal.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10219 persiste reasoning_content en el historial de chat

El proyecto llama.cpp lanzó la versión b10219, que incluye una corrección para la CLI que permite persistir el contenido del razonamiento dentro del historial de chat. Anteriormente, aunque `llama-cli` recopilaba el razonamiento del stream para su visualización, solo almacenaba el contenido del asistente en los mensajes, lo que impedía que la bandera `--reasoning-preserve` reinyectara los pensamientos previos en turnos posteriores.

github llama.cpp · hace 2 d · 8 vistas

llama.cpp b10213 añade soporte para cuantización de caché kv rotado

El proyecto llama.cpp ha lanzado la versión b10213, introduciendo soporte para la cuantización del caché de clave-valor rotado. Esta actualización está disponible en una amplia gama de plataformas y aceleradores de hardware.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10212 carga tensores MTP solo cuando se usan

El proyecto llama.cpp lanzó la versión b10212, que incluye un cambio para cargar los tensores de Multi-Token Prediction (MTP) solo si realmente se utilizan. Esta actualización asegura que los tensores MTP se omitan durante la carga en los modelos restantes que admiten la función pero no la requieren.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10210 corrige los tokens aceptados durante la repetición de tokens borrador

El proyecto llama.cpp ha lanzado la versión b10210, que incluye una corrección a la lógica del servidor para manejar los tokens aceptados cuando se requiere la repetición de tokens borrador.

github llama.cpp · hace 2 d · 6 vistas

llama.cpp b10208 añade atención flash GEMM oneMKL para procesamiento de prompts acelerado por XMX

La versión b10208 de llama.cpp introduce soporte SYCL para la atención flash GEMM de oneMKL, permitiendo la aceleración por hardware XMX para el procesamiento de prompts. Este cambio mejora significativamente la velocidad de inferencia en las GPUs Intel Arc al utilizar núcleos MKL en lugar de la ruta TILE predeterminada.