github llama.cpp · ahora mismo · inference

llama.cpp fusiona RMS_NORM y SCALE en un solo kernel de CUDA

Traducido del English → Español

El proyecto llama.cpp ha fusionado las operaciones RMS_NORM y SCALE en un único kernel de CUDA para reducir la sobrecarga del host/driver. Anteriormente, los nodos SCALE separados añadían lanzamientos de kernel adicionales que eran insignificantes en el procesamiento por lotes simple, pero aumentaban significativamente la latencia durante la decodificación especulativa draft-mtp.

La fusión añade una bandera do_scale a rms_norm_f32, permitiendo que la ruta fusionada comparta el kernel, la reducción y el lanzador mientras mantiene la equivalencia numérica bit a bit.
En una configuración con 2x GTX 1080 Ti y Qwen3.8-27B, el rendimiento de prellenado en frío mejoró un 4.2% para 8000 tokens y un 4.8% para 20000 tokens bajo condiciones draft-mtp.
El número de lanzamientos por ubatch disminuyó de 1032.9 + 841.7 a 978.9 + 799.7, igualando los conteos de línea base anteriores sin cambiar las sumas de operaciones de GPU.
Todas las pruebas de backend para RMS_NORM_SCALE, NORM_SCALE y operaciones relacionadas pasan en ambas GPUs, con la perplejidad permaneciendo idéntica a la compilación no fusionada.

Esta optimización mejora la velocidad de inferencia específicamente en escenarios de decodificación especulativa al reducir el costo acumulativo de los lanzamientos de kernel.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

media Hugging Face Forums · hace 3 h · 1 vista

VeriLoop E2: modelo post-entrenado de 27B con escalera GGUF desde BF16 hasta IQ1_M

El Laboratorio de Robótica SIGS de Tsinghua ha lanzado VeriLoop E2, un modelo post-entrenado de 27B basado en Qwen3.8-27B para código verificable, matemáticas y razonamiento científico. El lanzamiento introduce la Recurrencia Gobernada por VeriLoop (VGR), que separa la generación de la verificación externa para garantizar que las transiciones de estado mejoren estrictamente las dimensiones de evidencia.

arxiv arXiv cs.CL · hace 3 h · 2 vistas

El marco de puente de corutinas gana el Pista 2 de CAR-bench con 60.0% Pass^3

Un nuevo marco de puente de corutinas para agentes que utilizan herramientas ganó la Pista 2 de la evaluación CAR-bench, logrando una puntuación de 60.0% Pass@3 en el conjunto de pruebas ocultas oficial. El sistema desacopla la invocación del modelo de los viajes de ida y vuelta de las herramientas haciendo que el modelo emita programas Python que bloquean y reanudan a través de los intercambios del evaluador.

github llama.cpp · hace 14 h · 6 vistas

llama.cpp b11160 añade matmul coopmat1 int8 para AMD RDNA3/4 y soporte IQ4_XS

El proyecto llama.cpp lanzó la versión b11160, introduciendo una implementación de matriz cooperativa int8 (coopmat1) para Vulkan en las arquitecturas AMD RDNA3 y RDNA4. Esta actualización incluye un shader dedicado que sondea los valores coopmat directamente para mejorar el rendimiento.

lab Hugging Face Blog · hace 14 h · 3 vistas

Liquid AI lanza LFM2.5-VL-DSpark para acelerar la inferencia de modelos de visión y lenguaje

Liquid AI ha lanzado el modelo borrador LFM2.5-VL-DSpark, un generador de decodificación especulativa diseñado para acelerar la inferencia del modelo de visión y lenguaje LFM2.5-VL-3B. El generador captura estados ocultos de capas fijas del modelo objetivo para generar tokens candidatos, añadiendo solo 280M parámetros (un exceso del 8,9%) mientras mantiene una dimensionalidad idéntica entre modalidades.

lab Liquid AI · hace 16 h · 1 vista

Liquid AI lanza el modelo borrador DSpark para LFM2.5-VL-3B

Liquid AI ha lanzado un modelo borrador experimental DSpark para su modelo de lenguaje y visión LFM2.5-VL-3B, permitiendo una decodificación más rápida en dispositivos edge y GPUs sin cambiar la calidad de salida.