github llama.cpp · hace 1 h · inference

llama.cpp b10581 añade soporte para DSpark en bailinmoe3

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10581, que introduce soporte para el backend DSpark para habilitar el modelo bailinmoe3.

El lanzamiento incluye binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 y arm64) y Android (arm64).
La aceleración de GPU está disponible a través de CUDA 12.4/13.3, Vulkan, OpenCL Adreno, ROCm 7.14, OpenVINO y SYCL en las plataformas compatibles.
El soporte para Bailinmoe3 utiliza específicamente el backend DSpark según se detalla en el pull request #27508.
macOS Apple Silicon con KleidiAI y Ubuntu x64 con ROCm 7.14 están actualmente deshabilitados para esta compilación.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

La biblioteca ggml ha optimizado su operación de concatenación reemplazando copias de memoria por elemento con operaciones de memcpy a nivel de fila. Este cambio es parte de la versión b10578 de llama.cpp, que incluye varios binarios específicos de plataforma y actualizaciones al grafo de cálculo subyacente.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10576 añade núcleos MMVQ reordenados Q2_K y ESIMD para SYCL

El proyecto llama.cpp ha lanzado la compilación b10576, que vuelve a añadir los núcleos MMVQ reordenados Q2_K y ESIMD para el soporte de SYCL. Este cambio revierte efectivamente un commit anterior que había eliminado estas implementaciones específicas de núcleos.

github llama.cpp · hace 3 h · 1 vista

ggml optimiza la operación de concatenación reemplazando memcpy por elemento con memcpy a nivel de fila

llama.cpp b10576 añade núcleos MMVQ reordenados Q2_K y ESIMD para SYCL

llama.cpp b10577 corrige draft-mtp con embeddings

mtmd añade soporte para WebP mediante ffmpeg

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2