github llama.cpp · hace 1 h · inference

llama.cpp b11007 habilita CUDA graph para borrador de MTP

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11007, que introduce soporte para CUDA graphs en borradores de Multi-Token Prediction (MTP). Esta actualización mejora la eficiencia del proceso de borrado aprovechando la ejecución de CUDA graph.

Habilitar CUDA graph para el borrador de MTP para mejorar la eficiencia de uso.
Proporcionar binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.
Incluir binarios de UI para todas las plataformas compatibles.

Esta versión permite a los usuarios beneficiarse del rendimiento de inferencia optimizado en GPUs NVIDIA compatibles a través de la nueva implementación de borrador MTP.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b11006 añade soporte Hexagon para K-Quants Q4_K y Q6_K

El proyecto llama.cpp lanzó la versión b11006, introduciendo soporte para procesadores Qualcomm Hexagon para manejar formatos de cuantización K. Esta actualización implementa núcleos específicos para los niveles de cuantización Q4_K y Q6_K en la arquitectura Hexagon.

github llama.cpp · hace 1 d · 8 vistas

llama.cpp b10982 añade soporte de Flash Attention disperso con Vulkan para DSV4/GLM

El proyecto llama.cpp ha lanzado la versión b10982, que introduce soporte para Flash Attention disperso a través del backend de Vulkan. Esta actualización se dirige específicamente a los modelos DSV4 y GLM, permitiendo que aprovechen mecanismos de atención dispersa en hardware de GPU compatible.

github llama.cpp · hace 1 d · 5 vistas

llama.cpp b10981 corrige la decodificación con estado para Gemma-4 y optimiza la inferencia de MoE en GPU

La versión b10981 de llama.cpp aborda problemas críticos de corrección en la ruta de decodificación con estado del backend OpenVINO, corrigiendo específicamente el soporte para modelos como Gemma-4 que utilizan tamaños de cabeza por capa. También introduce optimizaciones para la inferencia de MoE (Mixture of Experts) en GPU y mejora el rendimiento mediante relayouts del estado KV.

github llama.cpp · hace 2 d · 12 vistas

llama.cpp 0.4.1 añade soporte para Maple 20B-A1B, Tencent Hy 4 y Spark2.5

El proyecto llama.cpp lanzó la versión 0.4.1, introduciendo soporte para la arquitectura ternaria de Mezcla de Expertos (MoE) Maple 20B-A1B en CPU, así como soporte preliminar para los modelos Tencent Hy 4 y Spark2.5.

github llama.cpp · hace 3 d · 3 vistas

llama.cpp b10951 mueve llama_n_rs_seq antes de llama_decode para evitar llamadas innecesarias

El proyecto llama.cpp lanzó la versión b10951, que incluye una optimización de código en la lógica de decodificación. La llamada a la función `llama_n_rs_seq` ahora se ejecuta antes de `llama_decode`, permitiendo al sistema devolver directamente si la comprobación pasa.