github llama.cpp · hace 3 d · inference

llama.cpp b11060 corrige la proyección del paso de tiempo de Mamba y omite la copia contigua

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11060, que incluye una corrección para el modelo Mamba para garantizar que la entrada de proyección del paso de tiempo sea contigua. Este cambio aborda problemas de disposición de memoria dentro de la implementación de Mamba.

El módulo Mamba ahora hace que la entrada de proyección del paso de tiempo sea contigua para prevenir errores.
Una optimización posterior omite la operación de copia contigua después de la normalización en la ruta de Mamba.
La versión proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android y openEuler.

Esta actualización garantiza la estabilidad para los modelos basados en Mamba mientras mantiene un amplio soporte de hardware en el ecosistema llama.cpp.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 1 h · 11 vistas En vivo

llama.cpp b11120 oculta símbolos internos de Vulkan para corregir la destrucción del estado

El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.

github llama.cpp · hace 6 h · 13 vistas

llama.cpp b11118 introduce un caché DMA de mapeo directo para el manejo de máscaras FA de HVX

El proyecto llama.cpp ha lanzado la compilación b11118, que incluye una nueva función hex-dma que introduce un caché DMA de mapeo directo mejor adaptado para el manejo de máscaras FA de Hexagon Vector eXtended (HVX).

github llama.cpp · hace 17 h · 9 vistas

llama.cpp añade soporte para DFlash en HunyuanOCR y corrige la conversión de borrador

El proyecto llama.cpp ha añadido soporte para la decodificación especulativa DFlash con el modelo HunyuanOCR, exponiendo los tensores de entrada de las capas en el grafo objetivo. Este cambio permite que el modelo de borrador lea los flujos residuales, lo que posibilita que las solicitudes de imagen se ejecuten correctamente con una tasa de aceptación del borrador de aproximadamente 0.5 y una salida OCR idéntica a nivel de bytes en comparación con las ejecuciones no especulativas.

github llama.cpp · hace 18 h · 13 vistas

llama.cpp b11104 añade soporte para vincular llama-server a múltiples direcciones

El proyecto llama.cpp lanzó la versión b11104, introduciendo una nueva función que permite al componente llama-server vincularse a múltiples direcciones de red simultáneamente.