arxiv arXiv cs.AI · hace 1 d · fuente: hace 4 d · research

AgentRouter reduce los costos de flujos de trabajo agénticos en un 72% mediante el enrutamiento de modelos a nivel de paso

Traducido del English → Español

Los investigadores proponen AgentRouter, un clasificador ligero que optimiza flujos de trabajo agénticos multi-paso al enrutar pasos individuales de la trayectoria a niveles de modelo apropiados, en lugar de utilizar modelos de vanguardia para cada tarea. El sistema aborda la ineficiencia de las soluciones existentes que ignoran la complejidad variable de las subtareas dentro de una sola sesión de agente.

AgentRouter utiliza un modelo de 12M parámetros con menos de 5ms de sobrecarga por paso en una GPU A100 para mapear pasos a cuatro niveles basados en cinco características.
Entrenado en 50,000 pasos anotados en tareas de planificación, codificación, investigación y análisis de datos, logra una reducción de costos del 72% mientras retiene el 97.3% de la calidad solo de vanguardia.
La precisión del enrutamiento alcanza el 91% en pasos de complejidad mínima y el 85% en pasos de nivel eficiente, superando a RouteLLM y FrugalGPT que lograron reducciones de costos de solo 31% y 44% respectivamente.

Este enfoque reduce significativamente los costos de inferencia para sistemas agénticos empresariales al reconocer que diferentes pasos dentro de una trayectoria requieren diferentes niveles de capacidad del modelo.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.AI AI agents Inference efficiency

Artículos relacionados

arxiv arXiv cs.AI · hace 4 h · 9 vistas

CliffCompaction reduce los costos de los agentes de codificación en un 50 % mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para reducir los costos de los agentes de codificación de largo alcance hasta en un 50 % bajo un contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de última generación en KernelBench al mantener la información compactada fiel mediante truncamiento en lugar de reformulación.

arxiv arXiv cs.LG · hace 5 h · 9 vistas

CliffCompaction reduce los costos de agentes de codificación de largo alcance hasta en un 50% mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para agentes que manejan millones de tokens, la cual reduce los costos hasta en un 50% bajo contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de vanguardia en KernelBench al mantener la información fiel mediante truncamiento en lugar de reformulación.

lab OpenAI News · hace 11 h · 16 vistas

Reducción a la mitad del tiempo y costo de investigación con GPT-6 Astra

Parallel ha integrado GPT-6 Astra de OpenAI en su infraestructura de agentes de IA, logrando una reducción del 50% tanto en el tiempo de investigación como en los costos de código en comparación con modelos anteriores. La empresa informa que el nuevo modelo permite a los agentes completar trabajos de conocimiento complejos significativamente más rápido mientras mantiene un alto nivel de calidad.

arxiv arXiv cs.CL · hace 1 d · 11 vistas

AgentRouter reduce los costos de flujos de trabajo agénticos en un 72 % mediante el enrutamiento de modelos a nivel de paso

Los investigadores proponen AgentRouter, un clasificador ligero que optimiza flujos de trabajo agénticos multi-paso al enrutar los pasos individuales de la trayectoria a niveles de modelo apropiados, en lugar de utilizar un único modelo de vanguardia para todas las tareas. El sistema aborda la ineficiencia de los sistemas empresariales que desperdician del 60 % al 80 % de su presupuesto de inferencia en subtareas que modelos más pequeños pueden manejar con igual eficacia.

arxiv arXiv cs.AI · hace 12 d · 17 vistas

AgentZip reduce la memoria del sandbox de agentes IA hasta 8,7 veces

Los investigadores presentan AgentZip, un sistema de compresión de memoria diseñado específicamente para sandboxes de agentes IA de alta fan-out para abordar los cuellos de botella de memoria causados por sesiones concurrentes.