github llama.cpp · hace 1 h · inference

llama.cpp b10614 añade división de fuentes por operación de Metal y compilación en paralelo

Traducido del English → Español

La versión llama.cpp b10614 introduce un cambio arquitectónico significativo en el backend de Metal al dividir las fuentes de operaciones y habilitar la compilación paralela. Esta actualización también incluye varias implementaciones de kernel nuevas y soporte para formatos de cuantización adicionales.

Dividir metallib en 8 bibliotecas y cargarlas en paralelo para mejorar los tiempos de compilación.
Añadir operación col2im_1d que soporta tipos de datos f32, f16 y bf16.
Implementar soporte CONV_2D_DW (convolución profunda) para Metal.
Añadir soporte para el formato de cuantización Q2_0.
Fusionar operaciones de activación snake (mul, sin, sqr, mul, add).
Introducir kernel FWHT para el backend de Metal.

Esta versión proporciona binarios precompilados para macOS, iOS, Linux, Windows, Android y openEuler a través de CPU, GPU y varios backends de aceleradores.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10610 acorta el nombre de dispositivos virtuales en CUDA y Metal

El proyecto llama.cpp lanzó la versión b10610, que incluye un cambio para acortar la nomenclatura de dispositivos virtuales dentro del backend ggml tanto para las plataformas CUDA como Metal.

github llama.cpp · hace 13 h · 17 vistas

llama.cpp b10605 aplanar proyecciones mamba2 para enviar GEMM

El proyecto llama.cpp lanzó la compilación b10605, que incluye una optimización clave para la arquitectura Mamba2. La actualización aplanea las proyecciones de entrada y salida de los modelos Mamba2 para enviar operaciones de Multiplicación General de Matrices (GEMM) en lugar de operaciones de Multiplicación General de Matriz por Vector (GEMV).

github llama.cpp · hace 1 d · 13 vistas

llama.cpp b10603 añade soporte MTP para GLM-4.5-Air

El proyecto llama.cpp ha lanzado la compilación b10603, que introduce el soporte de Predicción Multi-Tokens (MTP) para el modelo GLM-4.5-Air.

github llama.cpp · hace 3 d · 5 vistas

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.

github llama.cpp · hace 3 d · 3 vistas

llama.cpp b10576 añade núcleos MMVQ reordenados Q2_K y ESIMD para SYCL

El proyecto llama.cpp ha lanzado la compilación b10576, que vuelve a añadir los núcleos MMVQ reordenados Q2_K y ESIMD para el soporte de SYCL. Este cambio revierte efectivamente un commit anterior que había eliminado estas implementaciones específicas de núcleos.