github llama.cpp · hace 1 h · inference

llama.cpp b10577 corrige draft-mtp con embeddings

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10577, que incluye una corrección para draft-mtp al usarse con embeddings. Esta actualización aborda los problemas #26352 y #27299.

Corrige la compatibilidad de draft-mtp con embeddings en el módulo común.
Proporciona binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm), Android y openEuler.

Esta versión asegura que draft-mtp funcione correctamente con entradas de embedding en las plataformas compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10576 añade núcleos MMVQ reordenados Q2_K y ESIMD para SYCL

El proyecto llama.cpp ha lanzado la compilación b10576, que vuelve a añadir los núcleos MMVQ reordenados Q2_K y ESIMD para el soporte de SYCL. Este cambio revierte efectivamente un commit anterior que había eliminado estas implementaciones específicas de núcleos.

github llama.cpp · hace 10 h · 2 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.

github llama.cpp · hace 15 h · 6 vistas

Lanzamiento de llama.cpp v0.2.0 con ggml 0.21.0 y soporte para Kleidiai SME2

El proyecto llama.cpp ha lanzado la versión 0.2.0, que incluye una sincronización con la biblioteca ggml actualizada a la versión 0.21.0. Esta actualización introduce varias mejoras en los backends y nuevas características en diversas plataformas de hardware.

github llama.cpp · hace 1 d · 4 vistas

llama.cpp b10541 añade el argumento --mmproj-device para proyectos multimodales

El proyecto llama.cpp lanzó la compilación b10541, introduciendo el argumento de línea de comandos `--mmproj-device` para permitir a los usuarios especificar el backend del dispositivo para cargar archivos de proyección multimodal.