arxiv arXiv cs.AI · há 1 h · research

AgentZip reduz a memória do sandbox de agentes IA em até 8,7x

Traduzido do English → Português (BR)

Pesquisadores apresentam o AgentZip, um sistema de compressão de memória projetado especificamente para sandboxes de agentes IA com alto fan-out para abordar gargalos de memória causados por sessões concorrentes.

Explora redundância relativa a templates e entre sandboxes para comprimir páginas além de correspondências idênticas.
Desloca o controle de sobrecarga da seleção conservadora de páginas no momento da compressão para o prefetching no momento da restauração.
Alinha operações de compressão caras com períodos de espera do LLM para evitar interferir na execução de ferramentas em primeiro plano.
Consegue uma redução de até 8,7x na memória pertencente ao sandbox, comparado a 2,1x para a configuração padrão do Linux.
Reduz o atraso de desempenho da compressão agressiva de 3,1x para 1,40x enquanto retém a maior parte da economia de memória.

O AgentZip mitiga eficazmente a pressão de memória em cargas de trabalho de agentes ao otimizar quando e como os dados são comprimidos sem impactar significativamente a velocidade de execução.

Importância 2/3 Novo ambiente de avaliação com diferenciais arXiv cs.AI AI agents Inference efficiency

Artigos relacionados

arxiv arXiv cs.LG · há 4 d · 4 visualizações

Método de Incerteza Especulativa reduz erros em agentes de engenharia de software usando gateamento por modelo rascunho

Os autores apresentam a Incerteza Especulativa (SU), uma técnica que recupera um sinal de falha preditiva para agentes LLM de caixa preta analisando apenas seus tokens de saída, sem exigir acesso a logits, pesos ou ativações. Ao inverter a decodificação especulativa, um pequeno modelo rascunho de pesos abertos pontua a trajetória do agente em uma única passagem direta para extrair características sensíveis à fase e calibrá-las contra um objetivo verificável.

lab Hugging Face Blog · há 23 d · 16 visualizações

ALTK-Evolve calibra a dosagem de memória agêntica à capacidade do modelo para melhor desempenho

Um estudo com oito modelos revela que a memória agêntica não é um recurso universal, mas uma dosagem que deve ser calibrada à capacidade específica do modelo. O framework ALTK-Evolve destila diretrizes das trajetórias passadas de um agente e as injeta no momento da inferência sem atualizações de peso, mostrando que as estratégias ótimas de memória variam significativamente entre os níveis do modelo.

lab Hugging Face Blog · há 31 d · 11 visualizações

ALTK-Evolve alcança precisão igual ou superior à do ACE com uma fração do custo de inferência

O ALTK-Evolve, um sistema de memória agêntica que converte trajetórias de agentes em diretrizes reutilizáveis sem atualizações de pesos, iguala ou supera a precisão do ACE enquanto utiliza significativamente menos tokens. Diferente do ACE, que injeta um manual abrangente em cada etapa, o ALTK-Evolve usa recuperação seletiva para entregar apenas as diretrizes relevantes com base na capacidade do modelo.

media AI News (smol.ai) · há 31 d · 21 visualizações

Meta lança modelo de pesos abertos Muse Glimmer 30B; Anthropic melhora limite de Riemann

A Meta lançou o Muse Glimmer, um modelo multimodal denso de 30B otimizado para implantação local de agentes sob a licença Apache 2.0, enquanto também prometeu futuros pesos para o Muse Spark 1.2.

media Hugging Face Forums · há 39 d · 13 visualizações

Quesma publica mapa curado com 218 ferramentas e artigos para eficiência de custo de tokens em LLM

A Quesma lançou uma lista aberta e curada contendo 218 entradas que rastreiam onde os tokens são gastos em fluxos de trabalho de LLM e agentes. O recurso cobre monitoramento, cache semântico, modelos locais baratos, engenharia de contexto e governança de custos.