arxiv arXiv cs.CL · ahora mismo · research

El marco de puente de corutinas gana el Pista 2 de CAR-bench con 60.0% Pass^3

Traducido del English → Español

Un nuevo marco de puente de corutinas para agentes que utilizan herramientas ganó la Pista 2 de la evaluación CAR-bench, logrando una puntuación de 60.0% Pass@3 en el conjunto de pruebas ocultas oficial. El sistema desacopla la invocación del modelo de los viajes de ida y vuelta de las herramientas haciendo que el modelo emita programas Python que bloquean y reanudan a través de los intercambios del evaluador.

El agente utiliza una mediana de dos llamadas al modelo frente a siete turnos del agente por tarea, resolviendo tareas en una mediana de 1.8 segundos de latencia del modelo en Cerebras gpt-oss-120b.
Logró 4.5 veces la línea base del organizador con el costo estimado más bajo y la latencia mediana de tarea más rápida (3.14 s) entre las entradas que superaron esa línea base.
El marco sin cambios reprodujo un Pass@3 idéntico de 60.0% en GPT-5.5 en la pista abierta, igualando a los agentes de modelos de vanguardia.
Un único prompt estático sirvió al 78% de los tokens de entrada desde la caché, reduciendo significativamente el cómputo nominal de entrada.

El enfoque impone cumplimiento sin costo de razonamiento codificando políticas deterministas como lógica en la capa de herramientas en lugar de reglas del prompt.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.CL AI agents Inference efficiency

Artículos relacionados

arxiv arXiv cs.AI · hace 2 d · 17 vistas

CliffCompaction reduce los costos de los agentes de codificación en un 50 % mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para reducir los costos de los agentes de codificación de largo alcance hasta en un 50 % bajo un contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de última generación en KernelBench al mantener la información compactada fiel mediante truncamiento en lugar de reformulación.

arxiv arXiv cs.LG · hace 2 d · 15 vistas

CliffCompaction reduce los costos de agentes de codificación de largo alcance hasta en un 50% mientras mantiene el rendimiento

Los investigadores presentan CliffCompaction, una técnica de autocompacción diseñada para agentes que manejan millones de tokens, la cual reduce los costos hasta en un 50% bajo contexto acotado. El método mantiene o mejora el rendimiento en Terminal-Bench y logra resultados de vanguardia en KernelBench al mantener la información fiel mediante truncamiento en lugar de reformulación.

lab OpenAI News · hace 2 d · 19 vistas

Reducción a la mitad del tiempo y costo de investigación con GPT-6 Astra

Parallel ha integrado GPT-6 Astra de OpenAI en su infraestructura de agentes de IA, logrando una reducción del 50% tanto en el tiempo de investigación como en los costos de código en comparación con modelos anteriores. La empresa informa que el nuevo modelo permite a los agentes completar trabajos de conocimiento complejos significativamente más rápido mientras mantiene un alto nivel de calidad.

arxiv arXiv cs.AI · hace 3 d · 13 vistas

AgentRouter reduce los costos de flujos de trabajo agénticos en un 72% mediante el enrutamiento de modelos a nivel de paso

Los investigadores proponen AgentRouter, un clasificador ligero que optimiza flujos de trabajo agénticos multi-paso al enrutar pasos individuales de la trayectoria a niveles de modelo apropiados, en lugar de utilizar modelos de vanguardia para cada tarea. El sistema aborda la ineficiencia de las soluciones existentes que ignoran la complejidad variable de las subtareas dentro de una sola sesión de agente.

arxiv arXiv cs.CL · hace 3 d · 13 vistas

AgentRouter reduce los costos de flujos de trabajo agénticos en un 72 % mediante el enrutamiento de modelos a nivel de paso

Los investigadores proponen AgentRouter, un clasificador ligero que optimiza flujos de trabajo agénticos multi-paso al enrutar los pasos individuales de la trayectoria a niveles de modelo apropiados, en lugar de utilizar un único modelo de vanguardia para todas las tareas. El sistema aborda la ineficiencia de los sistemas empresariales que desperdician del 60 % al 80 % de su presupuesto de inferencia en subtareas que modelos más pequeños pueden manejar con igual eficacia.