arxiv arXiv cs.AI · hace 1 h · research

AgentZip reduce la memoria del sandbox de agentes IA hasta 8,7 veces

Traducido del English → Español

Los investigadores presentan AgentZip, un sistema de compresión de memoria diseñado específicamente para sandboxes de agentes IA de alta fan-out para abordar los cuellos de botella de memoria causados por sesiones concurrentes.

Aprovecha la redundancia relativa a plantillas y entre sandboxes para comprimir páginas más allá de las coincidencias idénticas.
Desplaza el control de sobrecarga desde la selección conservadora de páginas en el momento de la compresión hacia la precarga en el momento de restauración.
Alinea las costosas operaciones de compresión con los períodos de espera del LLM para evitar interferir con la ejecución de herramientas en primer plano.
Logra una reducción de hasta 8,7 veces en la memoria propiedad del sandbox, en comparación con 2,1x para la configuración estándar de Linux.
Reduce el ralentizamiento del rendimiento por compresión agresiva de 3,1x a 1,40x mientras retiene la mayor parte del ahorro de memoria.

AgentZip mitiga eficazmente la presión de memoria en cargas de trabajo de agentes optimizando cuándo y cómo se comprimen los datos sin afectar significativamente la velocidad de ejecución.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.AI AI agents Inference efficiency

Artículos relacionados

arxiv arXiv cs.LG · hace 4 d · 4 vistas

El método de incertidumbre especulativa reduce errores en agentes de ingeniería de software mediante el uso de un modelo borrador

Los autores presentan la Incertidumbre Especulativa (SU), una técnica que recupera una señal de fallo predictivo para agentes LLM de caja negra analizando únicamente sus tokens de salida, sin requerir acceso a logits, pesos o activaciones. Al invertir la decodificación especulativa, un modelo borrador pequeño con pesos abiertos puntúa la trayectoria del agente en una sola pasada hacia adelante para extraer características sensibles a la fase y calibrarlas contra un objetivo verificable.

lab Hugging Face Blog · hace 23 d · 16 vistas

ALTK-Evolve calibra la dosis de memoria agente a la capacidad del modelo para mejorar el rendimiento

Un estudio de ocho modelos revela que la memoria agente no es una característica universal, sino una dosis que debe calibrarse según la capacidad específica del modelo. El marco ALTK-Evolve destila directrices a partir de las trayectorias pasadas de un agente y las inyecta durante la inferencia sin actualizaciones de pesos, mostrando que las estrategias óptimas de memoria varían significativamente entre los niveles del modelo.

lab Hugging Face Blog · hace 31 d · 11 vistas

ALTK-Evolve logra una precisión igual o superior a la de ACE con una fracción del costo de inferencia

ALTK-Evolve, un sistema para memoria agéntica que convierte trayectorias de agentes en directrices reutilizables sin actualizaciones de pesos, iguala o supera la precisión de ACE mientras utiliza significativamente menos tokens. A diferencia de ACE, que inyecta un manual exhaustivo en cada paso, ALTK-Evolve utiliza recuperación selectiva para entregar únicamente las directrices relevantes según la capacidad del modelo.

media AI News (smol.ai) · hace 31 d · 21 vistas

Meta lanza el modelo de peso abierto Muse Glimmer 30B; Anthropic mejora la cota inferior de Riemann

Meta lanzó Muse Glimmer, un modelo multimodal denso de 30B optimizado para el despliegue de agentes locales bajo Apache 2.0, mientras también prometía futuros pesos para Muse Spark 1.2.

media Hugging Face Forums · hace 39 d · 13 vistas

Quesma publica un mapa curado de 218 herramientas y artículos para la eficiencia del costo de tokens en LLM

Quesma ha lanzado una lista abierta y curada que contiene 218 entradas que rastrean dónde se gastan los tokens en flujos de trabajo de LLM y agentes. El recurso cubre monitoreo, caché semántico, modelos locales económicos, ingeniería de contexto y gobernanza de costos.