arxiv arXiv cs.CL · à l'instant · research

Le harnais de pont de coroutine remporte la Piste 2 de CAR-bench avec un Pass^3 de 60,0 %

Traduit de English → Français

Un nouveau harnais de pont de coroutine pour les agents utilisant des outils a remporté la Piste 2 de l'évaluation CAR-bench, atteignant un score de Pass@3 de 60,0 % sur l'ensemble de test caché officiel. Le système découple l'appel du modèle des allers-retours d'outils en faisant émettre au modèle des programmes Python qui bloquent et reprennent l'exécution à travers les échanges avec l'évaluateur.

L'agent utilise une médiane de deux appels de modèle pour sept tours d'agent par tâche, résolvant les tâches avec une latence médiane du modèle de 1,8 seconde sur Cerebras gpt-oss-120b.
Il a atteint 4,5 fois la ligne de base des organisateurs au coût estimé le plus bas et à la latence médiane de tâche la plus rapide (3,14 s) parmi les entrées ayant dépassé cette ligne de base.
Le harnais inchangé a reproduit un Pass@3 identique de 60,0 % sur GPT-5.5 dans la piste ouverte, égalant les agents de modèles de pointe.
Une invite statique unique a servi 78 % des jetons d'entrée depuis le cache, réduisant significativement le calcul d'entrée nominal.

L'approche impose la conformité sans coût de raisonnement en encodant des politiques déterministes sous forme de logique dans la couche d'outils plutôt que dans les règles d'invite.

Importance 2/3 Nouveau cadre d'évaluation avec différenciateurs arXiv cs.CL AI agents Inference efficiency

Lire l'original

Articles similaires

arxiv arXiv cs.AI · il y a 2 j · 17 vues

CliffCompaction réduit de 50 % les coûts des agents de codage tout en maintenant la performance

Les chercheurs présentent CliffCompaction, une technique d'autocompaction conçue pour réduire les coûts des agents de codage à long terme jusqu'à 50 % dans un contexte borné. La méthode maintient ou améliore la performance sur Terminal-Bench et atteint des résultats de pointe sur KernelBench en conservant une information compacte fidèle par troncature plutôt que par reformulation.

arxiv arXiv cs.LG · il y a 2 j · 15 vues

CliffCompaction réduit les coûts des agents de codage à long terme jusqu'à 50 % tout en maintenant les performances

Les chercheurs présentent CliffCompaction, une technique d'autocompaction conçue pour les agents traitant des millions de tokens, qui réduit les coûts jusqu'à 50 % dans un contexte borné. La méthode maintient ou améliore les performances sur Terminal-Bench et atteint des résultats de pointe sur KernelBench en conservant la fidélité de l'information par troncature plutôt que par reformulation.

lab OpenAI News · il y a 2 j · 19 vues

Diviser par deux le temps et le coût de recherche avec GPT-6 Astra

Parallel a intégré GPT-6 Astra d'OpenAI dans son infrastructure d'agents IA, réalisant une réduction de 50% du temps de recherche et des coûts de code par rapport aux modèles précédents. L'entreprise indique que le nouveau modèle permet aux agents d'accomplir des travaux de connaissances complexes beaucoup plus rapidement tout en maintenant une sortie de haute qualité.

arxiv arXiv cs.AI · il y a 3 j · 13 vues

AgentRouter réduit les coûts des workflows agents de 72 % grâce au routage modèle par étape

Les chercheurs proposent AgentRouter, un classificateur léger qui optimise les workflows agents multi-étapes en acheminant les étapes individuelles de la trajectoire vers des niveaux de modèles appropriés plutôt que d'utiliser des modèles de pointe pour chaque tâche. Le système répond à l'inefficacité des solutions existantes qui ignorent la complexité variable des sous-tâches au sein d'une seule session agent.

arxiv arXiv cs.CL · il y a 3 j · 13 vues

AgentRouter réduit les coûts des workflows agents de 72 % grâce au routage modèle par étape

Les chercheurs proposent AgentRouter, un classificateur léger qui optimise les workflows agents multi-étapes en acheminant les étapes individuelles des trajectoires vers des niveaux de modèles appropriés plutôt que d'utiliser un seul modèle de pointe pour toutes les tâches. Le système répond à l'inefficacité des systèmes d'entreprise qui gaspillent 60 à 80 % de leur budget d'inférence sur des sous-tâches que des modèles plus petits peuvent traiter aussi bien.