arxiv arXiv cs.CL · há 1 d · fonte: há 4 d · research

AgentRouter reduz custos de fluxos de trabalho agênticos em 72% por meio de roteamento de modelos em nível de etapa

Traduzido do English → Português (BR)

Pesquisadores propõem o AgentRouter, um classificador leve que otimiza fluxos de trabalho agênticos multi-etapas ao rotear etapas individuais da trajetória para camadas apropriadas de modelos, em vez de usar um único modelo de fronteira para todas as tarefas. O sistema aborda a ineficiência dos sistemas empresariais que desperdiçam 60-80% de seu orçamento de inferência em subtarefas que modelos menores podem lidar igualmente bem.

AgentRouter utiliza um classificador com 12M parâmetros e menos de 5ms de sobrecarga por etapa em uma GPU A100 para mapear etapas para quatro camadas de modelos com base em cinco características extraíveis.
Treinado em 50.000 etapas de trajetória de agentes anotadas, ele alcança uma redução de custo de 72% em relação às linhas de base apenas com fronteira, enquanto retém 97,3% da qualidade.
O sistema demonstra precisão de roteamento por etapa de 91% em etapas de complexidade mínima e 85% em etapas de camada eficiente.
Ele supera RouteLLM e FrugalGPT, que alcançam apenas reduções de custo de 31% e 44%, respectivamente, ao considerar dependências de qualidade em nível de trajetória que soluções de turno único ignoram.

Importância 2/3 Novo ambiente de avaliação com diferenciais arXiv cs.CL AI agents Inference efficiency

Artigos relacionados

arxiv arXiv cs.AI · há 4 h · 9 visualizações

CliffCompaction reduz custos de agentes de codificação em 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para reduzir custos para agentes de codificação de longo alcance em até 50% sob um contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter as informações compactadas fiéis por meio de truncamento em vez de reformulação.

arxiv arXiv cs.LG · há 5 h · 9 visualizações

CliffCompaction reduz os custos de agentes de codificação de longo alcance em até 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para agentes que lidam com milhões de tokens, que corta custos em até 50% sob contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter a fidelidade das informações por meio de truncamento em vez de reformulação.

lab OpenAI News · há 11 h · 16 visualizações

Reduza pela metade o tempo e o custo de pesquisa com GPT-6 Astra

A Parallel integrou o GPT-6 Astra da OpenAI em sua infraestrutura de agentes de IA, alcançando uma redução de 50% tanto no tempo de pesquisa quanto nos custos de código em comparação com modelos anteriores. A empresa relata que o novo modelo permite que os agentes concluam trabalhos de conhecimento complexo significativamente mais rápido, mantendo alta qualidade de saída.

arxiv arXiv cs.AI · há 1 d · 9 visualizações

AgentRouter reduz custos de fluxos de trabalho agênticos em 72% por meio de roteamento de modelos em nível de etapa

Pesquisadores propõem o AgentRouter, um classificador leve que otimiza fluxos de trabalho agênticos multi-etapas ao rotear etapas individuais da trajetória para níveis apropriados de modelo, em vez de usar modelos de fronteira para cada tarefa. O sistema aborda a ineficiência das soluções existentes que ignoram a complexidade variada de subtarefas dentro de uma única sessão de agente.

arxiv arXiv cs.AI · há 12 d · 17 visualizações

AgentZip reduz a memória do sandbox de agentes IA em até 8,7x

Pesquisadores apresentam o AgentZip, um sistema de compressão de memória projetado especificamente para sandboxes de agentes IA com alto fan-out para abordar gargalos de memória causados por sessões concorrentes.