github llama.cpp · hace 1 h · inference

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

Traducido del English → Español

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.

Reemplaza el memcpy por elemento con memcpy a nivel de fila en la operación de concatenación.
Corrige los desplazamientos de concatenación para el nuevo mecanismo de copia a nivel de fila.
Añade y mueve las aserciones del tamaño del bloque de concatenación mientras elimina comprobaciones redundantes.
Proporciona compilaciones para macOS, Linux, Windows, Android y openEuler en CPU, GPU y backends especializados.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10576 añade núcleos MMVQ reordenados Q2_K y ESIMD para SYCL

El proyecto llama.cpp ha lanzado la compilación b10576, que vuelve a añadir los núcleos MMVQ reordenados Q2_K y ESIMD para el soporte de SYCL. Este cambio revierte efectivamente un commit anterior que había eliminado estas implementaciones específicas de núcleos.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10577 corrige draft-mtp con embeddings

El proyecto llama.cpp lanzó la compilación b10577, que incluye una corrección para draft-mtp al usarse con embeddings. Esta actualización aborda los problemas #26352 y #27299.

github llama.cpp · hace 11 h · 2 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.

github llama.cpp · hace 16 h · 6 vistas

Lanzamiento de llama.cpp v0.2.0 con ggml 0.21.0 y soporte para Kleidiai SME2

El proyecto llama.cpp ha lanzado la versión 0.2.0, que incluye una sincronización con la biblioteca ggml actualizada a la versión 0.21.0. Esta actualización introduce varias mejoras en los backends y nuevas características en diversas plataformas de hardware.

github llama.cpp · hace 1 d · 5 vistas

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.