github llama.cpp · hace 1 h · inference

llama.cpp b10576 añade núcleos MMVQ reordenados Q2_K y ESIMD para SYCL

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10576, que vuelve a añadir los núcleos MMVQ reordenados Q2_K y ESIMD para el soporte de SYCL. Este cambio revierte efectivamente un commit anterior que había eliminado estas implementaciones específicas de núcleos.

El lanzamiento incluye binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows y Android.
La aceleración de GPU se admite a través de Vulkan, ROCm 7.14, OpenVINO, CUDA 12/13 y SYCL en múltiples plataformas.
El soporte de macOS KleidiAI permanece desactivado en esta compilación.

Esta actualización restaura núcleos de cuantificación específicos para dispositivos SYCL mientras proporciona binarios integrales para varios sistemas operativos y aceleradores de hardware.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10577 corrige draft-mtp con embeddings

El proyecto llama.cpp lanzó la compilación b10577, que incluye una corrección para draft-mtp al usarse con embeddings. Esta actualización aborda los problemas #26352 y #27299.

github llama.cpp · hace 10 h · 2 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.

github llama.cpp · hace 15 h · 6 vistas

Lanzamiento de llama.cpp v0.2.0 con ggml 0.21.0 y soporte para Kleidiai SME2

El proyecto llama.cpp ha lanzado la versión 0.2.0, que incluye una sincronización con la biblioteca ggml actualizada a la versión 0.21.0. Esta actualización introduce varias mejoras en los backends y nuevas características en diversas plataformas de hardware.

github llama.cpp · hace 1 d · 4 vistas

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.