github llama.cpp · hace 1 h · inference

llama.cpp b10781 corrige la activación de la ruta de desquantización de FA de Vulkan

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10781, que incluye una corrección para la ruta de desquantización de atención rápida (FA) de Vulkan. La actualización aborda un problema en el que el shader verificaba incorrectamente `nb[3]` incluso cuando `ne[3] == 1`, lo que provocaba que la ruta solo se activara cuando la caché estaba llena.

Omite la verificación de `nb[3]` cuando `ne[3] == 1` porque el shader nunca lo lee para un único flujo.
Resuelve un error lógico donde las vistas de la caché transportaban la línea completa del búfer, reduciendo la verificación anterior a `n_kv == kv_size`.
Proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.

Esta corrección asegura que la ruta de desquantización de FA de Vulkan se active correctamente durante la inferencia en lugar de estar restringida a estados de caché completa.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10780 mejora la API de SYCL para admitir copia entre pares

El proyecto llama.cpp ha lanzado la versión b10780, que incluye una mejora específica al backend de SYCL. Esta actualización modifica la API para habilitar las capacidades de copia entre pares (peer-to-peer copy) para dispositivos SYCL.

github llama.cpp · hace 2 h · 1 vista

llama.cpp añade soporte para NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduce soporte para el modelo NVIDIA Nemotron-3-Puzzle-75B-A9B, habilitando la inferencia para esta arquitectura de Mezcla de Expertos. La actualización implementa infraestructura para tamaños de alimentación hacia adelante de expertos por capa variables y enrutamiento top-k, que son necesarios porque el modelo tiene 40 capas MoE con valores distintos de n_ff_exp y top-k.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10777 reduce el trabajo redundante en Q4_K multi-column MMVQ

El proyecto llama.cpp lanzó la compilación b10777, que incluye optimizaciones al backend SYCL para multiplicación matriz-vector (MMVQ) de múltiples columnas con Q4_K. La actualización se centra en reducir el trabajo computacional redundante mediante estrategias de desempaquetado de pesos y reutilización de activaciones.

github llama.cpp · hace 8 h · 1 vista

ggml-org lanza llama.cpp b10774 con corrección de caché KV para ajuste fino

El proyecto ggml-org ha lanzado la versión b10774 de llama.cpp, que incluye una corrección para el problema de falta de caché KV en el módulo de ajuste fino.

github llama.cpp · hace 9 h · 1 vista

llama.cpp b10772 añade soporte para F16 ABS al backend Hexagon HTP

La versión b10772 de llama.cpp amplía la cobertura de operaciones unarias F16 del backend Hexagon Tensor Processor (HTP) añadiendo soporte para la función valor absoluto (ABS).