arxiv arXiv cs.CL · há 3 h · research

Treinamento sem treinamento do ReFold: dobra reversível de contexto para agentes de longo prazo

Traduzido do English → Português (BR)

Pesquisadores apresentam o ReFold, uma camada de renderização sem treinamento que comprime o contexto renderizado do modelo em agentes LLM de longo prazo sem descartar o histórico de interação subjacente. Ele remove redundância entre rodadas substituindo o conteúdo exibido por stubs e dobrando as rodadas concluídas em notas, usando renderização em blocos para reescrever periodicamente o prefixo em cache.

O ReFold elimina dois tipos de redundância entre rodadas: conteúdo previamente exibido e rodadas concluídas relatadas pelo agente.
O método usa renderização em blocos para atualizar o prefixo em cache a cada poucos passos, em vez de a cada passo.
Todas as remoções são estritamente reversíveis, permitindo restauração do histórico se uma remoção estiver incorreta.
Avaliações em cinco benchmarks e dois LLMs de ponta mostram redução de até 2,5x no consumo de tokens e metade da memória do KV-cache.
Sob orçamentos de contexto limitados, o ReFold evita até 92% das compactações forçadas.
Em cargas de trabalho de serviço concorrente, reduz atrasos de fila de requisições em até 100%, acelera a inferência em até 1,7x e corta custos em até 3,4x.

O ReFold é projetado como uma solução plug-and-play para harnesses padrão estilo ReAct, abordando as limitações dos métodos existentes de gerenciamento de contexto preditivo que introduzem overhead de tempo de execução e invalidam caches de prefixo.

Importância 2/3 Novo ambiente de avaliação com diferenciais arXiv cs.CL AI agents Inference efficiency

Artigos relacionados

arxiv arXiv cs.LG · há 1 h Ao vivo

Treinamento do ReFold: dobragem reversível de contexto sem treinamento para agentes de longo prazo

Pesquisadores apresentam o ReFold, uma camada de renderização sem treinamento que preserva o histórico de interações enquanto comprime o contexto renderizado do modelo para agentes LLM de longo prazo. Ele remove a redundância entre turnos substituindo o conteúdo exibido por stubs e dobrando os turnos finalizados relatados pelo agente em notas de uma linha, utilizando reescrita em blocos para manter os caches de prefixo.

arxiv arXiv cs.CL · há 12 d · 29 visualizações

Estrutura de ponte de coroutine vence o Track 2 do CAR-bench com 60,0% Pass^3

Uma nova estrutura de ponte de coroutine para agentes que utilizam ferramentas venceu o Track 2 da avaliação CAR-bench, alcançando uma pontuação de Pass@3 de 60,0% no conjunto oficial de testes ocultos. O sistema desacopla a invocação do modelo das viagens de ida e volta das ferramentas, fazendo com que o modelo emita programas Python que bloqueiam e retomam a execução entre as trocas do avaliador.

arxiv arXiv cs.AI · há 14 d · 48 visualizações

CliffCompaction reduz custos de agentes de codificação em 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para reduzir custos para agentes de codificação de longo alcance em até 50% sob um contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter as informações compactadas fiéis por meio de truncamento em vez de reformulação.

arxiv arXiv cs.LG · há 14 d · 44 visualizações

CliffCompaction reduz os custos de agentes de codificação de longo alcance em até 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para agentes que lidam com milhões de tokens, que corta custos em até 50% sob contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter a fidelidade das informações por meio de truncamento em vez de reformulação.

lab OpenAI News · há 14 d · 55 visualizações

Reduza pela metade o tempo e o custo de pesquisa com GPT-6 Astra

A Parallel integrou o GPT-6 Astra da OpenAI em sua infraestrutura de agentes de IA, alcançando uma redução de 50% tanto no tempo de pesquisa quanto nos custos de código em comparação com modelos anteriores. A empresa relata que o novo modelo permite que os agentes concluam trabalhos de conhecimento complexo significativamente mais rápido, mantendo alta qualidade de saída.