arxiv arXiv cs.LG · há 1 h · research

Treinamento do ReFold: dobragem reversível de contexto sem treinamento para agentes de longo prazo

Traduzido do English → Português (BR)

Pesquisadores apresentam o ReFold, uma camada de renderização sem treinamento que preserva o histórico de interações enquanto comprime o contexto renderizado do modelo para agentes LLM de longo prazo. Ele remove a redundância entre turnos substituindo o conteúdo exibido por stubs e dobrando os turnos finalizados relatados pelo agente em notas de uma linha, utilizando reescrita em blocos para manter os caches de prefixo.

Remove o conteúdo já mostrado em turnos anteriores e dobra os turnos finalizados relatados pelo agente em notas de uma linha.
Usa renderização em blocos para reescrever o prefixo em cache a cada poucos passos, em vez de a cada passo.
Garante que todas as remoções sejam estritamente reversíveis, permitindo restauração a partir do histórico se uma remoção estiver incorreta.
Reduz o consumo de tokens em até 2,5x e reduz pela metade a memória da KV-cache por sessão sem degradar as taxas de sucesso das tarefas.
Evita até 92% das compactações forçadas sob orçamentos de contexto limitados e reduz os atrasos de enfileiramento de solicitações em até 100%.

O ReFold opera como uma solução plug-and-play em harnesses padrão estilo ReAct, acelerando a inferência em até 1,7x enquanto corta os custos de inferência em até 3,4x.

Importância 2/3 Novo ambiente de avaliação com diferenciais arXiv cs.LG AI agents Inference efficiency

Artigos relacionados

arxiv arXiv cs.CL · há 3 h · 1 visualização

Treinamento sem treinamento do ReFold: dobra reversível de contexto para agentes de longo prazo

Pesquisadores apresentam o ReFold, uma camada de renderização sem treinamento que comprime o contexto renderizado do modelo em agentes LLM de longo prazo sem descartar o histórico de interação subjacente. Ele remove redundância entre rodadas substituindo o conteúdo exibido por stubs e dobrando as rodadas concluídas em notas, usando renderização em blocos para reescrever periodicamente o prefixo em cache.

arxiv arXiv cs.CL · há 12 d · 29 visualizações

Estrutura de ponte de coroutine vence o Track 2 do CAR-bench com 60,0% Pass^3

Uma nova estrutura de ponte de coroutine para agentes que utilizam ferramentas venceu o Track 2 da avaliação CAR-bench, alcançando uma pontuação de Pass@3 de 60,0% no conjunto oficial de testes ocultos. O sistema desacopla a invocação do modelo das viagens de ida e volta das ferramentas, fazendo com que o modelo emita programas Python que bloqueiam e retomam a execução entre as trocas do avaliador.

arxiv arXiv cs.AI · há 14 d · 48 visualizações

CliffCompaction reduz custos de agentes de codificação em 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para reduzir custos para agentes de codificação de longo alcance em até 50% sob um contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter as informações compactadas fiéis por meio de truncamento em vez de reformulação.

arxiv arXiv cs.LG · há 14 d · 44 visualizações

CliffCompaction reduz os custos de agentes de codificação de longo alcance em até 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para agentes que lidam com milhões de tokens, que corta custos em até 50% sob contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter a fidelidade das informações por meio de truncamento em vez de reformulação.

lab OpenAI News · há 14 d · 55 visualizações

Reduza pela metade o tempo e o custo de pesquisa com GPT-6 Astra

A Parallel integrou o GPT-6 Astra da OpenAI em sua infraestrutura de agentes de IA, alcançando uma redução de 50% tanto no tempo de pesquisa quanto nos custos de código em comparação com modelos anteriores. A empresa relata que o novo modelo permite que os agentes concluam trabalhos de conhecimento complexo significativamente mais rápido, mantendo alta qualidade de saída.