github llama.cpp · hace 1 h · inference

llama.cpp b10790 ajusta el cruce de MMVQ a MMQ para SM87

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10790, que incluye un ajuste específico del cruce de MMVQ a MMQ para SM87.

Esta actualización proporciona binarios precompilados en múltiples plataformas y configuraciones de hardware. Las compilaciones disponibles incluyen macOS Apple Silicon e Intel, Linux (Ubuntu) con soporte para CPU, Vulkan, ROCm 10.0, OpenVINO y SYCL, así como compilaciones para Windows que cuentan con soporte para CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL y ROCm 10.0. Las versiones adicionales cubren Android arm64, iOS XCFramework y las arquitecturas openEuler x86/aarch64.

El lanzamiento también incluye el paquete de interfaz de usuario estándar de llama.cpp para todos los sistemas operativos compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

IFM lanza K2-Horizon-MoVA-36B-A4B, un modelo MoE disperso con 4B de parámetros activos

IFM ha lanzado el checkpoint final para K2-Horizon-MoVA-36B-A4B, un modelo Mixture-of-Experts que presenta atención Mixture-of-Values y almacena 36B de parámetros pero ejecuta solo 4B por token. El lanzamiento incluye formatos GGUF y enlaces a variantes más pequeñas de la familia K2-Horizon.

github llama.cpp · hace 8 h · 1 vista

llama.cpp añade soporte de atención flash dispersa para el prellenado con Metal

El proyecto llama.cpp ha introducido soporte de atención flash dispersa (FA) para el backend de Metal, dirigido específicamente a la fase de prellenado de la inferencia del modelo. Esta actualización incluye un nuevo kernel que compacta las entradas de máscara finita en listas de índices por fila y extiende el kernel de FA vectorial con recolección opcional de índices dispersos.

github llama.cpp · hace 9 h · 2 vistas

llama.cpp b10782 corrige la optimización de gráficos CUDA para múltiples GPU

El proyecto llama.cpp lanzó la compilación b10782, que aborda un problema crítico en el backend de CUDA para configuraciones con múltiples GPU. La actualización permite flujos concurrentes por división y habilita que la optimización de gráficos CUDA se ejecute correctamente en múltiples dispositivos.

github llama.cpp · hace 10 h · 1 vista

llama.cpp b10780 mejora la API de SYCL para admitir copia entre pares

El proyecto llama.cpp ha lanzado la versión b10780, que incluye una mejora específica al backend de SYCL. Esta actualización modifica la API para habilitar las capacidades de copia entre pares (peer-to-peer copy) para dispositivos SYCL.

github llama.cpp · hace 11 h · 2 vistas

llama.cpp b10781 corrige la activación de la ruta de desquantización de FA de Vulkan

El proyecto llama.cpp lanzó la compilación b10781, que incluye una corrección para la ruta de desquantización de atención rápida (FA) de Vulkan. La actualización aborda un problema en el que el shader verificaba incorrectamente `nb[3]` incluso cuando `ne[3] == 1`, lo que provocaba que la ruta solo se activara cuando la caché estaba llena.