github llama.cpp · hace 1 h · inference

llama.cpp b10549 habilita la división de tensores para LFM2/LFM2MOE

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10549, que introduce principalmente soporte para la división de tensores en los modelos LFM2 y LFM2MOE.

La actualización incluye binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x con backends CPU, Vulkan, OpenVINO y SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm) y Android.
El soporte para iOS se proporciona a través de un XCFramework.
Las compilaciones de openEuler están disponibles para las arquitecturas x86 y aarch64 utilizando ACL Graph.

Esta versión proporciona binarios actualizados en múltiples plataformas para facilitar la ejecución de modelos LFM2/LFM2MOE con la nueva capacidad de división de tensores.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

vLLM v0.28.0rc2 añade DFlash2 Spec Decode con convolución local y selector de candidatos

El proyecto vLLM lanzó la versión 0.28.0rc2, que incluye la función de decodificación especulativa DFlash2.

github llama.cpp · hace 6 h · 2 vistas

llama.cpp b10539 corrige el desbordamiento de Vulkan FA MMQ y añade soporte para CUDA 13 en Windows

El proyecto llama.cpp ha lanzado la versión b10539, que aborda un problema crítico de estabilidad numérica en el backend de Vulkan mientras expande el soporte de hardware para usuarios de Windows.

github llama.cpp · hace 6 h · 1 vista

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.

github llama.cpp · hace 7 h · 1 vista

llama.cpp b10545 corrige lecturas fuera de límites en matmul de Metal para K no múltiplo de 32

El proyecto llama.cpp lanzó la compilación b10545, que aborda un error crítico en el kernel de multiplicación de matrices de la API de tensores del backend Metal. La actualización previene comportamiento indefinido y resultados corruptos al procesar tensores donde la dimensión K no es múltiplo de 32.

github llama.cpp · hace 7 h · 1 vista

llama.cpp b10534 añade puntos de conmutación por-HW CUDA para descodificación más rápida

El proyecto llama.cpp lanzó la compilación b10534, que introduce puntos de conmutación específicos del hardware para ajustar el cruce entre las rutas de vector y núcleo tensor durante la descodificación cuantizada en CUDA.