arxiv arXiv cs.AI · há 1 d · fonte: há 4 d · research

AgentRouter reduz custos de fluxos de trabalho agênticos em 72% por meio de roteamento de modelos em nível de etapa

Traduzido do English → Português (BR)

Pesquisadores propõem o AgentRouter, um classificador leve que otimiza fluxos de trabalho agênticos multi-etapas ao rotear etapas individuais da trajetória para níveis apropriados de modelo, em vez de usar modelos de fronteira para cada tarefa. O sistema aborda a ineficiência das soluções existentes que ignoram a complexidade variada de subtarefas dentro de uma única sessão de agente.

AgentRouter utiliza um modelo com 12M parâmetros e menos de 5ms de sobrecarga por etapa em uma GPU A100 para mapear etapas para quatro níveis com base em cinco características.
Treinado em 50.000 etapas anotadas em tarefas de planejamento, codificação, pesquisa e análise de dados, ele alcança uma redução de custo de 72% enquanto retém 97,3% da qualidade apenas de modelos de fronteira.
A precisão do roteamento atinge 91% em etapas de complexidade mínima e 85% em etapas de nível eficiente, superando RouteLLM e FrugalGPT, que alcançaram reduções de custo de apenas 31% e 44%, respectivamente.

Essa abordagem reduz significativamente os custos de inferência para sistemas agênticos empresariais ao reconhecer que diferentes etapas dentro de uma trajetória exigem diferentes níveis de capacidade do modelo.

Importância 2/3 Novo ambiente de avaliação com diferenciais arXiv cs.AI AI agents Inference efficiency

Artigos relacionados

arxiv arXiv cs.AI · há 4 h · 9 visualizações

CliffCompaction reduz custos de agentes de codificação em 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para reduzir custos para agentes de codificação de longo alcance em até 50% sob um contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter as informações compactadas fiéis por meio de truncamento em vez de reformulação.

arxiv arXiv cs.LG · há 5 h · 9 visualizações

CliffCompaction reduz os custos de agentes de codificação de longo alcance em até 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para agentes que lidam com milhões de tokens, que corta custos em até 50% sob contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter a fidelidade das informações por meio de truncamento em vez de reformulação.

lab OpenAI News · há 11 h · 16 visualizações

Reduza pela metade o tempo e o custo de pesquisa com GPT-6 Astra

A Parallel integrou o GPT-6 Astra da OpenAI em sua infraestrutura de agentes de IA, alcançando uma redução de 50% tanto no tempo de pesquisa quanto nos custos de código em comparação com modelos anteriores. A empresa relata que o novo modelo permite que os agentes concluam trabalhos de conhecimento complexo significativamente mais rápido, mantendo alta qualidade de saída.

arxiv arXiv cs.CL · há 1 d · 11 visualizações

AgentRouter reduz custos de fluxos de trabalho agênticos em 72% por meio de roteamento de modelos em nível de etapa

Pesquisadores propõem o AgentRouter, um classificador leve que otimiza fluxos de trabalho agênticos multi-etapas ao rotear etapas individuais da trajetória para camadas apropriadas de modelos, em vez de usar um único modelo de fronteira para todas as tarefas. O sistema aborda a ineficiência dos sistemas empresariais que desperdiçam 60-80% de seu orçamento de inferência em subtarefas que modelos menores podem lidar igualmente bem.

arxiv arXiv cs.AI · há 12 d · 17 visualizações

AgentZip reduz a memória do sandbox de agentes IA em até 8,7x

Pesquisadores apresentam o AgentZip, um sistema de compressão de memória projetado especificamente para sandboxes de agentes IA com alto fan-out para abordar gargalos de memória causados por sessões concorrentes.