github llama.cpp · hace 4 d · inference

llama.cpp b11203 añade soporte de entrada F16 a FWHT de CUDA

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11203, que incluye un cambio en la Transformada Rápida de Walsh-Hadamard (FWHT) de CUDA para aceptar entradas F16. Anteriormente, el FWHT de CUDA solo aceptaba entradas F32; esta actualización hace que el tipo de origen sea un parámetro de plantilla para que el kernel lea una fuente F16 directamente sin requerir una copia convertida.

La implementación asegura que `supports_op` y la llamada de despacho compartan un único predicado que verifica las condiciones de contigüidad y forma, cerrando una brecha donde las discrepancias podrían causar fallos de aserción. Test-backend-ops en una GPU A10 pasó todas las 1297 pruebas MUL_MAT, incluyendo 6 nuevos casos de Hadamard F16 junto con los existentes F32.

Este lanzamiento proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de backends CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL y Snapdragon.

Importancia 1/3 Confianza 1/3 llama.cpp Hardware & chips Inference efficiency

Leer original

ThermaCompute AI lanza CrashLens para la triaje local de registros de fallos de GPU

ThermaCompute AI ha lanzado CrashLens, una herramienta gratuita y local diseñada para ayudar a los ingenieros a investigar fallos de GPU analizando archivos de registro. La herramienta identifica patrones de fallo conocidos dentro de los registros y sugiere pasos específicos a seguir para la investigación.

github llama.cpp · hace 8 h · 1 vista

La versión b11280 de llama.cpp reduce la sincronización allreduce de tensores con buffers host fijados

El proyecto llama.cpp ha lanzado la versión b11280, que incluye un cambio para reducir la sincronización allreduce de tensores utilizando buffers host fijados.

media Hugging Face Forums · hace 19 h · 1 vista

AI Hardware Fit conecta los requisitos de VRAM del modelo con la selección de GPU

El creador de AI Hardware Fit ha lanzado una herramienta gratuita y de código abierto para navegador, diseñada para ayudar a los usuarios a determinar si un modelo local cabe en su GPU y comparar opciones de hardware adecuadas. La herramienta aborda la complejidad de armar archivos de modelos, cuantización, longitud de contexto y soporte de tiempo de ejecución desde fuentes dispares.

github llama.cpp · hace 5 d · 21 vistas

llama.cpp corrige fallos de operadores en MTT S5000 y habilita rutas CUB

El proyecto llama.cpp ha lanzado una corrección para fallos de operadores y problemas de compilación en MUSA (MTT S5000), dirigido específicamente a la arquitectura PH1. Esta actualización resuelve errores críticos que causaban resultados incorrectos o tiempos de espera en este hardware.

github llama.cpp · hace 6 d · 22 vistas

llama.cpp b11160 añade matmul coopmat1 int8 para AMD RDNA3/4 y soporte IQ4_XS

El proyecto llama.cpp lanzó la versión b11160, introduciendo una implementación de matriz cooperativa int8 (coopmat1) para Vulkan en las arquitecturas AMD RDNA3 y RDNA4. Esta actualización incluye un shader dedicado que sondea los valores coopmat directamente para mejorar el rendimiento.