github llama.cpp · hace 2 d · inference

llama.cpp b11077 corrige el reenvío de la clave API del enrutador a instancias hijas

Traducido del English → Español

La versión llama.cpp b11077 aborda un error en el modo enrutador donde el argumento `--api-key-file` se reenviaba incorrectamente a las instancias hijas generadas por el enrutador. Esto causaba que los clientes que usaban `--api-key` recibieran errores 401 en las completaciones de chat y evitaba que funcionaran las llamadas internas de flujo del enrutador.

Establece `LLAMA_ARG_API_KEY_FILE` como nulo en `unset_reserved_args()` para que ninguna clave API llegue a las instancias hijas.
Garantiza que todas las claves que acepta el enrutador funcionen de extremo a extremo sin una nueva validación contra las claves del archivo.
Evita que las llamadas internas de flujo del enrutador, como POST /v1/streams/lookup y DELETE /v1/stream, sean rechazadas silenciosamente con errores 401.

Esta corrección resuelve el problema #28820 asegurando que la autenticación siga siendo responsabilidad del enrutador en lugar de los procesos hijos.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 1 h · 11 vistas En vivo

llama.cpp b11120 oculta símbolos internos de Vulkan para corregir la destrucción del estado

El proyecto llama.cpp lanzó la versión b11120, que corrige un error crítico en el backend de Vulkan ocultando los símbolos internos. Este cambio evita problemas de destrucción del estado por duplicate-dlopen que ocurrían cuando se exportaban los símbolos internos.

arxiv arXiv cs.AI · hace 4 h · 9 vistas

CliffCompaction reduce los costos de los agentes de codificación en un 50 % mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para reducir los costos de los agentes de codificación de largo alcance hasta en un 50 % bajo un contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de última generación en KernelBench al mantener la información compactada fiel mediante truncamiento en lugar de reformulación.

arxiv arXiv cs.LG · hace 5 h · 9 vistas

CliffCompaction reduce los costos de agentes de codificación de largo alcance hasta en un 50% mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para agentes que manejan millones de tokens, la cual reduce los costos hasta en un 50% bajo contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de vanguardia en KernelBench al mantener la información fiel mediante truncamiento en lugar de reformulación.

github llama.cpp · hace 6 h · 13 vistas

llama.cpp b11118 introduce un caché DMA de mapeo directo para el manejo de máscaras FA de HVX

El proyecto llama.cpp ha lanzado la compilación b11118, que incluye una nueva función hex-dma que introduce un caché DMA de mapeo directo mejor adaptado para el manejo de máscaras FA de Hexagon Vector eXtended (HVX).