github llama.cpp · ahora mismo · inference

llama.cpp b11000 corrige la ejecución remota de código mediante uso tras liberar el gráfico de cómputo en caché

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11000, que aborda una vulnerabilidad crítica de seguridad en el servidor RPC. La corrección resuelve un error de uso tras liberar que permitía a clientes remotos no autenticados lograr la ejecución remota de código manipulando los gráficos de cómputo en caché.

Una implementación anterior almacenaba en caché los gráficos de cómputo por dispositivo para evitar reenviar datos de tensores durante las operaciones GRAPH_RECOMPUTE.
Estos nodos en caché contenían punteros directos a los búferes del backend; si un búfer se liberaba mediante FREE_BUFFER, la reejecución subsiguiente accedía a punteros colgantes.
Los atacantes podían remodelar fragmentos de memoria mediante comandos ALLOC_BUFFER y SET_TENSOR para filtrar direcciones de libc y secuestrar la vtable de la interfaz del búfer.
El parche descarta todos los gráficos en caché en free_buffer(), haciendo que el cliente vuelva a GRAPH_COMPUTE en la siguiente llamada.

Esta actualización previene exploits de ejecución remota de código dirigidos al servidor RPC de llama.cpp sin requerir cambios en el protocolo o la API.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Safety & alignment

Artículos relacionados

media r/LocalLLaMA · hace 90 d · 5 vistas

Ahorros reales en costos de tokens con rtk, headroom y caveman

Un análisis de carga de trabajo real muestra que headroom, rtk y caveman reducen los costos de tokens en 2.8%, 0.5% y 0.4% respectivamente, sumando un 3.7% del gasto base. Sin embargo, los ahorros están limitados por la diversidad de payloads, con la mayor parte del tráfico siendo texto plano o código fuente, y las herramientas solo comprimen salidas estructuradas. La mayor reducción de costos ocurre en el flujo de tokens más barato—lecturas de caché—mientras que las herramientas no afectan el almacenamiento en caché de prompts ni los costos de salida, y existen brechas de cobertura, especialmente para rtk.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10997 amplía la heurística de mosaicos MoE para RDNA3.5

El proyecto llama.cpp lanzó la versión b10997, que incluye un cambio en la heurística ncols_opt de mosaicos de Mixture of Experts (MoE) para admitir la arquitectura RDNA3.5.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10994 corrige NaN de Metal en mul_mm_id para activaciones grandes

La versión llama.cpp b10994 incluye una corrección para el backend de Metal que resuelve las salidas NaN en la operación `mul_mm_id` cuando los valores de activación superan el rango f16. Este defecto anteriormente hacía que modelos como Mistral Small 4 produjeran vocabularios completamente NaN durante los pasos de prellenado de 32 tokens o más en dispositivos Apple Silicon.

github llama.cpp · hace 5 h · 1 vista

llama.cpp b10995 hace incondicional el final BN/2 de MUL_MAT_ID en Vulkan

El proyecto llama.cpp lanzó la compilación b10995, que modifica el manejo de la operación MUL_MAT_ID en el backend de Vulkan. Específicamente, el cambio hace incondicional el final BN/2 utilizando BN/2 como valor predeterminado para BNover2 y como respaldo deshabilitado para BNover4, mientras elimina la puerta de habilitación de esa rama.

lab NVIDIA Research · hace 12 h · 4 vistas

ShareMMU permite el intercambio seguro de traducción de direcciones entre aceleradores no confiables con baja sobrecarga

Los investigadores presentan ShareMMU, un diseño de IOMMU que permite a múltiples aceleradores no confiables reutilizar de forma segura direcciones previamente traducidas dentro de un espacio de direcciones virtuales compartido. Este enfoque mitiga los riesgos de canales laterales asociados con grandes búferes de traducción compartidos (TLB) mientras mantiene un alto rendimiento.