github llama.cpp · hace 1 h · inference

llama.cpp b11370 fusiona expertos compartidos en MMVQ

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b11370, que incluye una optimización de CUDA para fusionar expertos compartidos en la arquitectura Mixture of MoE con Cuantización Vectorial (MMVQ). Este cambio es parte del pull request #29184 y también aborda las comprobaciones nulas de búferes y el manejo de argumentos para stride_col_dst.

Fusiona expertos compartidos en MMVQ para backends de CUDA.
Añade comprobaciones nulas para los búferes para mejorar la estabilidad.
Mueve stride_col_dst a los argumentos de fusión.

Esta versión proporciona binarios actualizados para macOS, Linux, Windows, Android e iOS en varios aceleradores de hardware, incluyendo CPU, Vulkan, ROCm, OpenVINO, SYCL y Snapdragon.

Importancia 1/3 Confianza 1/3 llama.cpp Hardware & chips Inference efficiency

Leer original

llama.cpp b11335 enruta sm70 a la tabla Turing MMVQ para el rendimiento de Volta

El proyecto llama.cpp lanzó la versión b11335, que incluye una optimización CUDA para GPUs Volta. La actualización dirige la arquitectura sm_70 a la tabla nwarps existente de Turing MMVQ en lugar de caer en la configuración genérica.

media Hugging Face Forums · hace 2 d · 2 vistas

ThermaCompute AI lanza CrashLens para la triaje local de registros de fallos de GPU

ThermaCompute AI ha lanzado CrashLens, una herramienta gratuita y local diseñada para ayudar a los ingenieros a investigar fallos de GPU analizando archivos de registro. La herramienta identifica patrones de fallo conocidos dentro de los registros y sugiere pasos específicos a seguir para la investigación.

github llama.cpp · hace 3 d · 4 vistas

La versión b11280 de llama.cpp reduce la sincronización allreduce de tensores con buffers host fijados

El proyecto llama.cpp ha lanzado la versión b11280, que incluye un cambio para reducir la sincronización allreduce de tensores utilizando buffers host fijados.

media Hugging Face Forums · hace 3 d · 3 vistas

AI Hardware Fit conecta los requisitos de VRAM del modelo con la selección de GPU

El creador de AI Hardware Fit ha lanzado una herramienta gratuita y de código abierto para navegador, diseñada para ayudar a los usuarios a determinar si un modelo local cabe en su GPU y comparar opciones de hardware adecuadas. La herramienta aborda la complejidad de armar archivos de modelos, cuantización, longitud de contexto y soporte de tiempo de ejecución desde fuentes dispares.

github llama.cpp · hace 6 d · 10 vistas

llama.cpp b11203 añade soporte de entrada F16 a FWHT de CUDA

El proyecto llama.cpp lanzó la versión b11203, que incluye un cambio en la Transformada Rápida de Walsh-Hadamard (FWHT) de CUDA para aceptar entradas F16. Anteriormente, el FWHT de CUDA solo aceptaba entradas F32; esta actualización hace que el tipo de origen sea un parámetro de plantilla para que el kernel lea una fuente F16 directamente sin requerir una copia convertida.