github llama.cpp · hace 1 h · inference

llama.cpp b11306 corrige la interrupción de realocación del gráfico alternando causal_attn

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11306, que soluciona un fallo causado por cambios en la forma del gráfico durante la decodificación. La actualización modifica el manejo de la bandera `causal_attn` para evitar fallos de realocación bajo restricciones específicas de programación.

Tras la decodificación en el dispositivo, `causal_attn` se desactiva para la mitad del ubatch y luego se activa nuevamente para el resto para garantizar conteos de nodos consistentes.
Este cambio evita que el gráfico se realoque con un tamaño inalterado, lo que anteriormente interrumpía la ejecución cuando `GGML_SCHED_NO_REALLOC` estaba activo.
La corrección se aplica a arquitecturas de decodificación pero se omite para arquitecturas de codificación.

El lanzamiento incluye binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b11301 corrige desbordamiento entero en ggml/gguf

El proyecto llama.cpp ha lanzado la compilación b11301, que incluye una corrección para un problema de desbordamiento entero dentro de los componentes ggml y gguf. Esta actualización aborda la lógica de validación para prevenir errores potenciales al manejar tensores de cero elementos.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b11302 corrige una carrera de datos de ThreadSanitizer en el indexador disperso

El proyecto llama.cpp lanzó la compilación b11302, que aborda un problema crítico de concurrencia identificado por ThreadSanitizer en la canalización de CI. La actualización resuelve una carrera de datos dentro del mecanismo de atención dispersa donde múltiples hilos de CPU escribían incorrectamente en los mismos elementos de memoria.

github llama.cpp · hace 3 h · 2 vistas

llama.cpp b11298 añade soporte para dflash en la conversión y extracción de características

El proyecto llama.cpp ha lanzado la compilación b11298, que introduce soporte para el formato dflash. Esta actualización permite tanto la conversión de modelos a este formato como la posterior capacidad de extracción de características.

media Hugging Face Forums · hace 3 h · 1 vista

ThermaCompute AI lanza CrashLens para la triaje local de registros de fallos de GPU

ThermaCompute AI ha lanzado CrashLens, una herramienta gratuita y local diseñada para ayudar a los ingenieros a investigar fallos de GPU analizando archivos de registro. La herramienta identifica patrones de fallo conocidos dentro de los registros y sugiere pasos específicos a seguir para la investigación.

github llama.cpp · hace 10 h · 2 vistas

llama.cpp b11284 corrige GET_ROWS de OpenVINO en vistas de pesos cuantizados

El proyecto llama.cpp lanzó la compilación b11284, que incluye una corrección para el backend de OpenVINO con el fin de manejar correctamente las operaciones GET_ROWS en vistas de pesos cuantizados.