github llama.cpp · ahora mismo · inference

llama.cpp b10780 mejora la API de SYCL para admitir copia entre pares

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10780, que incluye una mejora específica al backend de SYCL. Esta actualización modifica la API para habilitar las capacidades de copia entre pares (peer-to-peer copy) para dispositivos SYCL.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 y arm64), Android y openEuler.
Los backends de hardware compatibles incluyen CPU, Vulkan, ROCm 10.0, OpenVINO, CUDA 12/13 y SYCL.
Las compilaciones de macOS Apple Silicon con KleidiAI están actualmente deshabilitadas en esta versión.
El soporte de CUDA 13 para Windows arm64 se marca como una versión preliminar (preview release).

Esta actualización permite a los usuarios utilizar la nueva función de copia entre pares dentro de la implementación de SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp añade soporte para NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduce soporte para el modelo NVIDIA Nemotron-3-Puzzle-75B-A9B, habilitando la inferencia para esta arquitectura de Mezcla de Expertos. La actualización implementa infraestructura para tamaños de alimentación hacia adelante de expertos por capa variables y enrutamiento top-k, que son necesarios porque el modelo tiene 40 capas MoE con valores distintos de n_ff_exp y top-k.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10777 reduce el trabajo redundante en Q4_K multi-column MMVQ

El proyecto llama.cpp lanzó la compilación b10777, que incluye optimizaciones al backend SYCL para multiplicación matriz-vector (MMVQ) de múltiples columnas con Q4_K. La actualización se centra en reducir el trabajo computacional redundante mediante estrategias de desempaquetado de pesos y reutilización de activaciones.

github llama.cpp · hace 14 h · 2 vistas

llama.cpp b10766 añade soporte de visión para DeepSeek 4

El proyecto llama.cpp ha lanzado la compilación b10766, que incluye una corrección para soportar correctamente la entrada visual del modelo DeepSeek 4.

github llama.cpp · hace 15 h · 4 vistas

llama.cpp b10762 añade soporte para DeepSeek-V4-Flash-Vision-Exp

El proyecto llama.cpp ha lanzado la compilación b10762, que introduce soporte para el modelo DeepSeek-V4-Flash-Vision-Exp. Esta actualización también incluye el manejo de conteos mínimos y máximos de tokens desde la interfaz de línea de comandos.

github llama.cpp · hace 23 h · 1 vista

llama.cpp b10758 añade fusión de MUL_MAT y MUL_MAT_ID para Hexagon

El proyecto llama.cpp lanzó la compilación b10758, introduciendo capacidades de fusión de MUL_MAT y MUL_MAT_ID para el DSP Hexagon. Esta actualización también incluye varias correcciones para mejorar la estabilidad y el rendimiento en hardware Qualcomm.