arxiv arXiv cs.CL · hace 1 d · fuente: hace 4 d · research

AgentRouter reduce los costos de flujos de trabajo agénticos en un 72 % mediante el enrutamiento de modelos a nivel de paso

Traducido del English → Español

Los investigadores proponen AgentRouter, un clasificador ligero que optimiza flujos de trabajo agénticos multi-paso al enrutar los pasos individuales de la trayectoria a niveles de modelo apropiados, en lugar de utilizar un único modelo de vanguardia para todas las tareas. El sistema aborda la ineficiencia de los sistemas empresariales que desperdician del 60 % al 80 % de su presupuesto de inferencia en subtareas que modelos más pequeños pueden manejar con igual eficacia.

AgentRouter utiliza un clasificador de 12M parámetros con menos de 5 ms de sobrecarga por paso en una GPU A100 para mapear los pasos a cuatro niveles de modelo basados en cinco características extraíbles.
Entrenado en 50.000 pasos de trayectoria de agentes anotados, logra una reducción de costos del 72 % en comparación con las líneas base que usan solo modelos de vanguardia, mientras retiene el 97,3 % de la calidad.
El sistema demuestra una precisión de enrutamiento por paso del 91 % en pasos de complejidad mínima y del 85 % en pasos de nivel eficiente.
Supera a RouteLLM y FrugalGPT, que logran solo una reducción de costos del 31 % y del 44 % respectivamente, al tener en cuenta las dependencias de calidad a nivel de trayectoria que las soluciones de turno único pasan por alto.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.CL AI agents Inference efficiency

Artículos relacionados

arxiv arXiv cs.AI · hace 4 h · 9 vistas

CliffCompaction reduce los costos de los agentes de codificación en un 50 % mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para reducir los costos de los agentes de codificación de largo alcance hasta en un 50 % bajo un contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de última generación en KernelBench al mantener la información compactada fiel mediante truncamiento en lugar de reformulación.

arxiv arXiv cs.LG · hace 5 h · 9 vistas

CliffCompaction reduce los costos de agentes de codificación de largo alcance hasta en un 50% mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para agentes que manejan millones de tokens, la cual reduce los costos hasta en un 50% bajo contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de vanguardia en KernelBench al mantener la información fiel mediante truncamiento en lugar de reformulación.

lab OpenAI News · hace 11 h · 16 vistas

Reducción a la mitad del tiempo y costo de investigación con GPT-6 Astra

Parallel ha integrado GPT-6 Astra de OpenAI en su infraestructura de agentes de IA, logrando una reducción del 50% tanto en el tiempo de investigación como en los costos de código en comparación con modelos anteriores. La empresa informa que el nuevo modelo permite a los agentes completar trabajos de conocimiento complejos significativamente más rápido mientras mantiene un alto nivel de calidad.

arxiv arXiv cs.AI · hace 1 d · 9 vistas

AgentRouter reduce los costos de flujos de trabajo agénticos en un 72% mediante el enrutamiento de modelos a nivel de paso

Los investigadores proponen AgentRouter, un clasificador ligero que optimiza flujos de trabajo agénticos multi-paso al enrutar pasos individuales de la trayectoria a niveles de modelo apropiados, en lugar de utilizar modelos de vanguardia para cada tarea. El sistema aborda la ineficiencia de las soluciones existentes que ignoran la complejidad variable de las subtareas dentro de una sola sesión de agente.

arxiv arXiv cs.AI · hace 12 d · 17 vistas

AgentZip reduce la memoria del sandbox de agentes IA hasta 8,7 veces

Los investigadores presentan AgentZip, un sistema de compresión de memoria diseñado específicamente para sandboxes de agentes IA de alta fan-out para abordar los cuellos de botella de memoria causados por sesiones concurrentes.