github llama.cpp · hace 1 h · inference

llama.cpp b10615 añade vec flash-attn ajustado por dispositivo para Metal

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10615, introduciendo operaciones vectoriales flash-attention cuantizadas (Q, NE) ajustadas por dispositivo para el backend de Metal.

Se añadieron 53 instanciaciones de vectores flash-attn f16, aumentando el total de 80 a 133.
Se implementó una tabla de ajuste y cableado de despacho con respaldo de capacidad de memoria compartida.
Se extendió el ajuste de vectores para admitir cachés KV cuantizados.
Se incluyeron parámetros ajustados para dispositivos M1 Pro, M2 Ultra y M5 Max.

Esta actualización optimiza el rendimiento en hardware Apple Silicon aplicando resultados de ajuste específicos al backend de Metal.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10614 añade división de fuentes por operación de Metal y compilación en paralelo

La versión llama.cpp b10614 introduce un cambio arquitectónico significativo en el backend de Metal al dividir las fuentes de operaciones y habilitar la compilación paralela. Esta actualización también incluye varias implementaciones de kernel nuevas y soporte para formatos de cuantización adicionales.

github llama.cpp · hace 10 h · 12 vistas

llama.cpp b10610 acorta el nombre de dispositivos virtuales en CUDA y Metal

El proyecto llama.cpp lanzó la versión b10610, que incluye un cambio para acortar la nomenclatura de dispositivos virtuales dentro del backend ggml tanto para las plataformas CUDA como Metal.

github llama.cpp · hace 15 h · 17 vistas

llama.cpp b10605 aplanar proyecciones mamba2 para enviar GEMM

El proyecto llama.cpp lanzó la compilación b10605, que incluye una optimización clave para la arquitectura Mamba2. La actualización aplanea las proyecciones de entrada y salida de los modelos Mamba2 para enviar operaciones de Multiplicación General de Matrices (GEMM) en lugar de operaciones de Multiplicación General de Matriz por Vector (GEMV).

github llama.cpp · hace 1 d · 13 vistas

llama.cpp b10603 añade soporte MTP para GLM-4.5-Air

El proyecto llama.cpp ha lanzado la compilación b10603, que introduce el soporte de Predicción Multi-Tokens (MTP) para el modelo GLM-4.5-Air.

github llama.cpp · hace 3 d · 5 vistas

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.