github llama.cpp · hace 5 d · inference

llama.cpp añade un kernel binario A8 Q8_0 non-MoE dp4a para OpenCL

Traducido del English → Español

El proyecto llama.cpp ha añadido un kernel binario A8 Q8_0 non-MoE dp4a para OpenCL.

El cambio está registrado como pull request #29439 en el repositorio ggml-org/llama.cpp.
Introduce soporte para un formato de cuantización específico (A8 Q8_0) utilizando el conjunto de instrucciones dp4a dentro del backend de OpenCL.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

llama.cpp b11298 añade soporte para dflash en la conversión y extracción de características

El proyecto llama.cpp ha lanzado la compilación b11298, que introduce soporte para el formato dflash. Esta actualización permite tanto la conversión de modelos a este formato como la posterior capacidad de extracción de características.

media Hugging Face Forums · hace 1 h · 1 vista En vivo

ThermaCompute AI lanza CrashLens para la triaje local de registros de fallos de GPU

ThermaCompute AI ha lanzado CrashLens, una herramienta gratuita y local diseñada para ayudar a los ingenieros a investigar fallos de GPU analizando archivos de registro. La herramienta identifica patrones de fallo conocidos dentro de los registros y sugiere pasos específicos a seguir para la investigación.

github llama.cpp · hace 7 h · 2 vistas

llama.cpp b11284 corrige GET_ROWS de OpenVINO en vistas de pesos cuantizados

El proyecto llama.cpp lanzó la compilación b11284, que incluye una corrección para el backend de OpenVINO con el fin de manejar correctamente las operaciones GET_ROWS en vistas de pesos cuantizados.

github llama.cpp · hace 9 h · 1 vista

La versión b11280 de llama.cpp reduce la sincronización allreduce de tensores con buffers host fijados

El proyecto llama.cpp ha lanzado la versión b11280, que incluye un cambio para reducir la sincronización allreduce de tensores utilizando buffers host fijados.

github llama.cpp · hace 9 h · 1 vista

llama.cpp b11282 define CUDA_ARCH para pases de dispositivo MUSA

El proyecto llama.cpp lanzó la compilación b11282, que incluye una corrección para definir la macro `CUDA_ARCH` para los pases de dispositivo MUSA. Anteriormente, el encabezado del proveedor MUSA no definía esta variable, lo que hacía que las pruebas de arquitectura en las fuentes compartidas ggml-cuda se evaluaran a cero y resultaran en cuerpos de kernel vacíos.