github llama.cpp · ahora mismo · inference

llama.cpp b10782 corrige la optimización de gráficos CUDA para múltiples GPU

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10782, que aborda un problema crítico en el backend de CUDA para configuraciones con múltiples GPU. La actualización permite flujos concurrentes por división y habilita que la optimización de gráficos CUDA se ejecute correctamente en múltiples dispositivos.

Corrige un error donde los eventos de CUDA se vinculaban incorrectamente a la GPU que estaba activa durante la creación, lo que hacía que se omitiera la optimización de gráficos para múltiples GPU.
Implementa el ajuste explícito del dispositivo mediante `ggml_cuda_set_device` para garantizar que las optimizaciones se apliquen a la división correcta por dispositivo.
La corrección está activa solo cuando `GGML_CUDA_GRAPH_OPT=1` está habilitado; el comportamiento predeterminado permanece sin cambios.

Este cambio asegura que la optimización de gráficos se ejecute una vez por división en lugar de ser omitida, permitiendo que la inferencia con múltiples GPU utilice correctamente la aceleración CUDA.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10780 mejora la API de SYCL para admitir copia entre pares

El proyecto llama.cpp ha lanzado la versión b10780, que incluye una mejora específica al backend de SYCL. Esta actualización modifica la API para habilitar las capacidades de copia entre pares (peer-to-peer copy) para dispositivos SYCL.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10781 corrige la activación de la ruta de desquantización de FA de Vulkan

El proyecto llama.cpp lanzó la compilación b10781, que incluye una corrección para la ruta de desquantización de atención rápida (FA) de Vulkan. La actualización aborda un problema en el que el shader verificaba incorrectamente `nb[3]` incluso cuando `ne[3] == 1`, lo que provocaba que la ruta solo se activara cuando la caché estaba llena.

github llama.cpp · hace 2 h · 1 vista

llama.cpp añade soporte para NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduce soporte para el modelo NVIDIA Nemotron-3-Puzzle-75B-A9B, habilitando la inferencia para esta arquitectura de Mezcla de Expertos. La actualización implementa infraestructura para tamaños de alimentación hacia adelante de expertos por capa variables y enrutamiento top-k, que son necesarios porque el modelo tiene 40 capas MoE con valores distintos de n_ff_exp y top-k.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10777 reduce el trabajo redundante en Q4_K multi-column MMVQ

El proyecto llama.cpp lanzó la compilación b10777, que incluye optimizaciones al backend SYCL para multiplicación matriz-vector (MMVQ) de múltiples columnas con Q4_K. La actualización se centra en reducir el trabajo computacional redundante mediante estrategias de desempaquetado de pesos y reutilización de activaciones.

github llama.cpp · hace 9 h · 1 vista

ggml-org lanza llama.cpp b10774 con corrección de caché KV para ajuste fino

El proyecto ggml-org ha lanzado la versión b10774 de llama.cpp, que incluye una corrección para el problema de falta de caché KV en el módulo de ajuste fino.