github llama.cpp · ahora mismo · inference

llama.cpp b10164 añade matmul SSD fragmentado para acelerar el prefill de Mamba-2

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10164, introduciendo una nueva implementación de multiplicación de matrices SSD fragmentada diseñada para acelerar la fase de prefill de los modelos Mamba-2.

ggml-cuda: añadir matmul SSD fragmentado para acelerar el prefill de Mamba-2
Correcciones de corrección de CUDA SSD promoviendo s0_stride_seq a int64_t y mejorando la coalescencia de memoria en ssm_ssd_prepare_dt_kernel
Materialización fusionada de la matriz M en el kernel pre_matmul
Corregida la carrera de lectura-escritura sdata en el bucle de escaneo de respaldo de prepare_dt
Añadidas correcciones de SSD CICD para CUDA, HIP, MUSA y MSVC

Esta actualización proporciona kernels GPU optimizados para arquitecturas específicas de modelos de espacio de estados mientras mantiene una amplia compatibilidad con los backends CPU, Vulkan, ROCm, OpenVINO y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10159 añade kernel FWHT para el backend de Metal

El proyecto llama.cpp lanzó la compilación b10159, que introduce un kernel de Transformada Rápida de Walsh-Hadamard (FWHT) para el backend de Metal. Esta actualización incluye detalles de implementación en progreso junto con protecciones de forma y ajustes de formato de código.

github llama.cpp · hace 6 h · 2 vistas

llama.cpp b10158 añade soporte para eagle3-v3 en el modelo gpt-oss

El proyecto llama.cpp ha lanzado la compilación b10158, que introduce soporte para la arquitectura eagle3-v3 dentro del modelo gpt-oss.

github llama.cpp · hace 5 d · 2 vistas

llama.cpp b10098 actualiza las operaciones de activación Hexagon

El proyecto llama.cpp lanzó la versión b10098, que incluye una actualización a las operaciones de activación Hexagon. Esta versión proporciona binarios para macOS, Linux, Android, Windows y openEuler en varios backends de CPU y GPU.

lab Hugging Face Blog · hace 5 d · 1 vista

Diffusers añade soporte nativo para inferencia Nunchaku Lite de 4 bits

Hugging Face Diffusers ahora admite la carga de checkpoints de Nunchaku Lite de forma nativa mediante `from_pretrained()`, eliminando la necesidad de un motor de inferencia separado o compilación local de CUDA. Esta integración utiliza el método SVDQuant para ejecutar capas transformadoras con pesos y activaciones de 4 bits (W4A4), reduciendo significativamente el uso de memoria mientras mejora la velocidad de inferencia.

github llama.cpp · hace 6 d · 1 vista

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.