github llama.cpp · hace 1 h · inference

llama.cpp b10605 aplanar proyecciones mamba2 para enviar GEMM

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10605, que incluye una optimización clave para la arquitectura Mamba2. La actualización aplanea las proyecciones de entrada y salida de los modelos Mamba2 para enviar operaciones de Multiplicación General de Matrices (GEMM) en lugar de operaciones de Multiplicación General de Matriz por Vector (GEMV).

Aplanea las proyecciones in/out de mamba2 para habilitar el envío de GMM en lugar de GEMV.
Elimina las operaciones redundantes de reorganización de salida dentro de la implementación de Mamba2.

Esta versión proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de varios backends de hardware que incluyen CPU, CUDA, ROCm, Vulkan y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10603 añade soporte MTP para GLM-4.5-Air

El proyecto llama.cpp ha lanzado la compilación b10603, que introduce el soporte de Predicción Multi-Tokens (MTP) para el modelo GLM-4.5-Air.

github llama.cpp · hace 2 d · 2 vistas

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10576 añade núcleos MMVQ reordenados Q2_K y ESIMD para SYCL

El proyecto llama.cpp ha lanzado la compilación b10576, que vuelve a añadir los núcleos MMVQ reordenados Q2_K y ESIMD para el soporte de SYCL. Este cambio revierte efectivamente un commit anterior que había eliminado estas implementaciones específicas de núcleos.

github llama.cpp · hace 2 d · 6 vistas

llama.cpp b10577 corrige draft-mtp con embeddings

El proyecto llama.cpp lanzó la compilación b10577, que incluye una corrección para draft-mtp al usarse con embeddings. Esta actualización aborda los problemas #26352 y #27299.

github llama.cpp · hace 2 d · 9 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.