github llama.cpp · hace 1 h · inference

llama.cpp b10610 acorta el nombre de dispositivos virtuales en CUDA y Metal

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10610, que incluye un cambio para acortar la nomenclatura de dispositivos virtuales dentro del backend ggml tanto para las plataformas CUDA como Metal.

La actualización modifica cómo se nombran los dispositivos virtuales en los backends de CUDA y Metal para reducir la verbosidad.
Las compilaciones de macOS Apple Silicon con soporte KleidiAI permanecen deshabilitadas en esta versión.
Se proporcionan binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm 7.14), Android y openEuler.

Esta versión proporciona binarios actualizados para varios aceleradores de hardware y sistemas operativos, mientras refina las cadenas internas de identificación de dispositivos.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10605 aplanar proyecciones mamba2 para enviar GEMM

El proyecto llama.cpp lanzó la compilación b10605, que incluye una optimización clave para la arquitectura Mamba2. La actualización aplanea las proyecciones de entrada y salida de los modelos Mamba2 para enviar operaciones de Multiplicación General de Matrices (GEMM) en lugar de operaciones de Multiplicación General de Matriz por Vector (GEMV).

github llama.cpp · hace 20 h · 12 vistas

llama.cpp b10603 añade soporte MTP para GLM-4.5-Air

El proyecto llama.cpp ha lanzado la compilación b10603, que introduce el soporte de Predicción Multi-Tokens (MTP) para el modelo GLM-4.5-Air.

github llama.cpp · hace 2 d · 6 vistas

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b10576 añade núcleos MMVQ reordenados Q2_K y ESIMD para SYCL

El proyecto llama.cpp ha lanzado la compilación b10576, que vuelve a añadir los núcleos MMVQ reordenados Q2_K y ESIMD para el soporte de SYCL. Este cambio revierte efectivamente un commit anterior que había eliminado estas implementaciones específicas de núcleos.

github llama.cpp · hace 2 d · 6 vistas

llama.cpp b10577 corrige draft-mtp con embeddings

El proyecto llama.cpp lanzó la compilación b10577, que incluye una corrección para draft-mtp al usarse con embeddings. Esta actualización aborda los problemas #26352 y #27299.