github llama.cpp · ahora mismo · inference

llama.cpp b11138 analiza +/- unarios antes de variables

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11138, que actualiza el analizador de plantillas Jinja para manejar operadores unarios de más y menos antes de las variables.

El lexer ahora emite tokens unary_operator para expresiones como -n o +n, permitiendo que se analicen con precedencia multiplicativa.
Este cambio permite la evaluación correcta de cortes como items[:-n] y GigaChat indent[:-indent_factor].
Los +/- unarios están restringidos a vincularse solo al operando primario o postfix, asegurando que -n|abs se evalúe como (-n)|abs en lugar de -(n|abs).
El lanzamiento incluye binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows y openEuler.

Esta actualización asegura que la lógica de plantillas que involucra indexación negativa o variables con signo funcione correctamente dentro de la implementación Jinja de llama.cpp.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b11140 habilita sparse-fa para prefill dsv4 en CUDA

El proyecto llama.cpp lanzó la versión b11140, que incluye una optimización de CUDA que habilita sparse-fa para el prefill dsv4. Esta actualización aborda problemas de rendimiento en el proceso de escaneo de máscaras de flash attention mediante la plantilla de kernels para permitir el desenrollado de bucles en tiempo de compilación.

github llama.cpp · hace 2 h · 12 vistas

llama.cpp b11136 añade soporte de video_url de OpenAI a llama-server

El proyecto llama.cpp lanzó la compilación b11136, que actualiza llama-server para aceptar el tipo de contenido "video_url" estándar de OpenAI para entradas de video. Anteriormente, el servidor solo aceptaba un tipo no estándar "input_video" y rechazaba URIs de datos, causando problemas de compatibilidad con clientes conformes a OpenAI.

github llama.cpp · hace 3 h · 11 vistas

llama.cpp b11132 añade soporte para el backbone de borrador Gemma 4 DSpark

El proyecto llama.cpp lanzó la versión b11132, introduciendo soporte para el backbone de borrador Gemma 4 DSpark. Esta actualización habilita la conversión GGUF y capacidades en tiempo de ejecución para borradores Gemma 4 con atención completa y SWA, incluyendo pesos de salida vinculados y metadatos del backbone booleanos.

github llama.cpp · hace 8 h · 12 vistas

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 9 h · 12 vistas

llama.cpp b11120 oculta símbolos internos de Vulkan para corregir la destrucción del estado

El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.