github llama.cpp · ahora mismo · inference

llama.cpp b10795 fusiona operaciones SYCL

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10795, que incluye una nueva optimización para el backend de SYCL. Esta actualización permite la fusión de las cadenas RMS_NORM+MUL+ADD y ADD+ADD residual bajo la bandera GGML_SYCL_ENABLE_FUSION.

La operación fusionada ADD+ADD reutiliza el mismo índice de broadcast y matriz de tipos que la función add() independiente, admitiendo f32, f16, i32, i16, bf16 y datos no contiguos.
Las combinaciones no compatibles en la lógica de fusión vuelven a dos lanzamientos separados de add() para mantener la compatibilidad.

Esta versión proporciona binarios para macOS, Linux, Windows, Android y openEuler en varios aceleradores de hardware, incluyendo CUDA, ROCm, Vulkan y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10791 añade optimizaciones de GEMV para descodificación y lm_head cuantificado con OpenCL

El proyecto llama.cpp lanzó la versión b10791, introduciendo optimizaciones significativas de OpenCL para cabezales de modelos de lenguaje cuantificados y operaciones de GEMV de descodificación. Esta actualización también incluye mejoras de GEMM en lotes medianos relevantes para la descodificación especulativa y la predicción de múltiples tokens.

media r/LocalLLaMA · hace 14 h · 3 vistas

IFM lanza K2-Horizon-MoVA-36B-A4B, un modelo MoE disperso con 4B de parámetros activos

IFM ha lanzado el checkpoint final para K2-Horizon-MoVA-36B-A4B, un modelo Mixture-of-Experts que presenta atención Mixture-of-Values y almacena 36B de parámetros pero ejecuta solo 4B por token. El lanzamiento incluye formatos GGUF y enlaces a variantes más pequeñas de la familia K2-Horizon.

github llama.cpp · hace 16 h · 3 vistas

llama.cpp añade soporte de atención flash dispersa para el prellenado con Metal

El proyecto llama.cpp ha introducido soporte de atención flash dispersa (FA) para el backend de Metal, dirigido específicamente a la fase de prellenado de la inferencia del modelo. Esta actualización incluye un nuevo kernel que compacta las entradas de máscara finita en listas de índices por fila y extiende el kernel de FA vectorial con recolección opcional de índices dispersos.

github llama.cpp · hace 19 h · 1 vista

llama.cpp b10780 mejora la API de SYCL para admitir copia entre pares

El proyecto llama.cpp ha lanzado la versión b10780, que incluye una mejora específica al backend de SYCL. Esta actualización modifica la API para habilitar las capacidades de copia entre pares (peer-to-peer copy) para dispositivos SYCL.

github llama.cpp · hace 19 h · 2 vistas

llama.cpp añade soporte para NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduce soporte para el modelo NVIDIA Nemotron-3-Puzzle-75B-A9B, habilitando la inferencia para esta arquitectura de Mezcla de Expertos. La actualización implementa infraestructura para tamaños de alimentación hacia adelante de expertos por capa variables y enrutamiento top-k, que son necesarios porque el modelo tiene 40 capas MoE con valores distintos de n_ff_exp y top-k.