github llama.cpp · ahora mismo · inference

llama.cpp b11140 habilita sparse-fa para prefill dsv4 en CUDA

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11140, que incluye una optimización de CUDA que habilita sparse-fa para el prefill dsv4. Esta actualización aborda problemas de rendimiento en el proceso de escaneo de máscaras de flash attention mediante la plantilla de kernels para permitir el desenrollado de bucles en tiempo de compilación.

El bucle de consulta de `flash_attn_mask_to_sparse_indices` ahora está acotado en tiempo de compilación, reduciendo el tiempo de escaneo de 46 a 17 microsegundos para formas de decodificación dispersa con 49k columnas.
Las comprobaciones de fuera de límites para el escaneo de la máscara dispersa se han trasladado al código del host, permitiendo que la operación dispersa en lote con contexto de 49k disminuya de 586 a 244 microsegundos.

Esta versión proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de backends de CPU, GPU y NPU.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b11138 analiza +/- unarios antes de variables

El proyecto llama.cpp lanzó la compilación b11138, que actualiza el analizador de plantillas Jinja para manejar operadores unarios de más y menos antes de las variables.

github llama.cpp · hace 2 h · 12 vistas

llama.cpp b11136 añade soporte de video_url de OpenAI a llama-server

El proyecto llama.cpp lanzó la compilación b11136, que actualiza llama-server para aceptar el tipo de contenido "video_url" estándar de OpenAI para entradas de video. Anteriormente, el servidor solo aceptaba un tipo no estándar "input_video" y rechazaba URIs de datos, causando problemas de compatibilidad con clientes conformes a OpenAI.

github llama.cpp · hace 3 h · 12 vistas

llama.cpp b11132 añade soporte para el backbone de borrador Gemma 4 DSpark

El proyecto llama.cpp lanzó la versión b11132, introduciendo soporte para el backbone de borrador Gemma 4 DSpark. Esta actualización habilita la conversión GGUF y capacidades en tiempo de ejecución para borradores Gemma 4 con atención completa y SWA, incluyendo pesos de salida vinculados y metadatos del backbone booleanos.

github llama.cpp · hace 8 h · 12 vistas

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 10 h · 12 vistas

llama.cpp b11120 oculta símbolos internos de Vulkan para corregir la destrucción del estado

El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.