arxiv arXiv cs.CL · agora mesmo · research

Estrutura de ponte de coroutine vence o Track 2 do CAR-bench com 60,0% Pass^3

Traduzido do English → Português (BR)

Uma nova estrutura de ponte de coroutine para agentes que utilizam ferramentas venceu o Track 2 da avaliação CAR-bench, alcançando uma pontuação de Pass@3 de 60,0% no conjunto oficial de testes ocultos. O sistema desacopla a invocação do modelo das viagens de ida e volta das ferramentas, fazendo com que o modelo emita programas Python que bloqueiam e retomam a execução entre as trocas do avaliador.

O agente utiliza uma mediana de duas chamadas ao modelo contra sete rodadas do agente por tarefa, resolvendo tarefas em uma mediana de 1,8 segundos de latência do modelo no Cerebras gpt-oss-120b.
Ele alcançou 4,5 vezes a linha de base dos organizadores com o menor custo estimado e a latência mediana mais rápida por tarefa (3,14 s) entre as entradas que superaram essa linha de base.
A estrutura inalterada reproduziu um Pass@3 idêntico de 60,0% no GPT-5.5 na trilha Open, igualando agentes de modelos de fronteira.
Um único prompt estático serviu 78% dos tokens de entrada a partir do cache, reduzindo significativamente o custo computacional nominal de entrada.

A abordagem impõe conformidade sem custo de raciocínio, codificando políticas determinísticas como lógica na camada de ferramentas em vez de regras no prompt.

Importância 2/3 Novo ambiente de avaliação com diferenciais arXiv cs.CL AI agents Inference efficiency

Artigos relacionados

arxiv arXiv cs.AI · há 2 d · 17 visualizações

CliffCompaction reduz custos de agentes de codificação em 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para reduzir custos para agentes de codificação de longo alcance em até 50% sob um contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter as informações compactadas fiéis por meio de truncamento em vez de reformulação.

arxiv arXiv cs.LG · há 2 d · 15 visualizações

CliffCompaction reduz os custos de agentes de codificação de longo alcance em até 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para agentes que lidam com milhões de tokens, que corta custos em até 50% sob contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter a fidelidade das informações por meio de truncamento em vez de reformulação.

lab OpenAI News · há 2 d · 19 visualizações

Reduza pela metade o tempo e o custo de pesquisa com GPT-6 Astra

A Parallel integrou o GPT-6 Astra da OpenAI em sua infraestrutura de agentes de IA, alcançando uma redução de 50% tanto no tempo de pesquisa quanto nos custos de código em comparação com modelos anteriores. A empresa relata que o novo modelo permite que os agentes concluam trabalhos de conhecimento complexo significativamente mais rápido, mantendo alta qualidade de saída.

arxiv arXiv cs.AI · há 3 d · 13 visualizações

AgentRouter reduz custos de fluxos de trabalho agênticos em 72% por meio de roteamento de modelos em nível de etapa

Pesquisadores propõem o AgentRouter, um classificador leve que otimiza fluxos de trabalho agênticos multi-etapas ao rotear etapas individuais da trajetória para níveis apropriados de modelo, em vez de usar modelos de fronteira para cada tarefa. O sistema aborda a ineficiência das soluções existentes que ignoram a complexidade variada de subtarefas dentro de uma única sessão de agente.

arxiv arXiv cs.CL · há 3 d · 13 visualizações

AgentRouter reduz custos de fluxos de trabalho agênticos em 72% por meio de roteamento de modelos em nível de etapa

Pesquisadores propõem o AgentRouter, um classificador leve que otimiza fluxos de trabalho agênticos multi-etapas ao rotear etapas individuais da trajetória para camadas apropriadas de modelos, em vez de usar um único modelo de fronteira para todas as tarefas. O sistema aborda a ineficiência dos sistemas empresariais que desperdiçam 60-80% de seu orçamento de inferência em subtarefas que modelos menores podem lidar igualmente bem.