github llama.cpp · hace 1 h · inference

llama.cpp b10603 añade soporte MTP para GLM-4.5-Air

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10603, que introduce el soporte de Predicción Multi-Tokens (MTP) para el modelo GLM-4.5-Air.

Añade capacidad MTP para GLM-4.5-Air a través del pull request #26534.
Proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) y openEuler.

Esta versión permite a los usuarios ejecutar GLM-4.5-Air con MTP en una amplia gama de arquitecturas de hardware.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b10576 añade núcleos MMVQ reordenados Q2_K y ESIMD para SYCL

El proyecto llama.cpp ha lanzado la compilación b10576, que vuelve a añadir los núcleos MMVQ reordenados Q2_K y ESIMD para el soporte de SYCL. Este cambio revierte efectivamente un commit anterior que había eliminado estas implementaciones específicas de núcleos.

github llama.cpp · hace 2 d · 2 vistas

llama.cpp b10577 corrige draft-mtp con embeddings

El proyecto llama.cpp lanzó la compilación b10577, que incluye una corrección para draft-mtp al usarse con embeddings. Esta actualización aborda los problemas #26352 y #27299.

github llama.cpp · hace 2 d · 5 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.

github llama.cpp · hace 2 d · 11 vistas

Lanzamiento de llama.cpp v0.2.0 con ggml 0.21.0 y soporte para Kleidiai SME2

El proyecto llama.cpp ha lanzado la versión 0.2.0, que incluye una sincronización con la biblioteca ggml actualizada a la versión 0.21.0. Esta actualización introduce varias mejoras en los backends y nuevas características en diversas plataformas de hardware.