media Hugging Face Forums · il y a 8 h · open_models

IntelligenceLab demande l'ajout de Long-Horizon-Terminal-Bench au classement du Hub

Traduit de English → Français

IntelligenceLab a soumis une demande à Hugging Face pour ajouter le jeu de données Long-Horizon-Terminal-Bench (LHTB) à la liste autorisée des benchmarks. L'objectif est de permettre l'agrégation des résultats d'évaluation de la communauté pour ce benchmark sur Hugging Face Hub.

LHTB comprend 46 tâches conçues pour tester dans quelle mesure les agents LLM maintiennent un travail utile dans un terminal conteneurisé sur plusieurs centaines d'étapes.
Il utilise des vérificateurs cachés reconstruits à partir d'artefacts plutôt que des progrès auto-déclarés pour évaluer la performance de l'agent.
Les tâches sont exécutées via le framework Harbor / Terminal-Bench 2.0, avec un fichier eval.yaml déjà présent et validé dans le dépôt.

Importance 1/3 Confiance 1/3 Hugging Face Forums AI agents Evaluation & benchmarks

Lire l'original

L'optimisation des composés par RELAI-VCL obtient des gains sur Terminal-Bench 2.0

Une étude évalue si les gains d'optimisation des agents se cumulent au fil du temps en testant trois méthodes — GEPA, Meta Harness et RELAI-VCL — sur les tâches difficiles de Terminal-Bench 2.0. Bien que toutes les méthodes améliorent une ligne de base statique, seul RELAI-VCL parvient à transférer vers des tâches non vues et continue de s'améliorer après des rounds d'optimisation ultérieurs.

arxiv arXiv cs.CL · il y a 5 j

Test comportemental de changement d'ensemble pour les agents harnachés

Les chercheurs introduisent un benchmark pour évaluer comment les agents LLM s'adaptent lorsque la fiabilité des outils disponibles change silencieusement pendant une session en cours. Le framework monte des bibliothèques de compétences-outils avec des redondances et utilise un calendrier ramifié pour déplacer le groupe d'outils fiables à des frontières cachées.

arxiv arXiv cs.CL · il y a 5 j

DevicesWorld introduit un benchmark à grande échelle pour la collaboration d'agents multi-appareils

Les chercheurs présentent DevicesWorld, un benchmark exécutable à grande échelle conçu pour évaluer des agents basés sur des LLM opérant dans des environnements hétérogènes incluant les appareils mobiles, de bureau et IoT.

arxiv arXiv cs.CL · il y a 5 j

RELAI-VCL amplifie les gains agent-optimiseur par l'apprentissage continu

Une étude évalue si les gains pilotés par l'optimiseur se cumulent au fil du temps en testant trois méthodes d'optimisation de harnais d'agent sur Terminal-Bench 2.0. La recherche compare GEPA, Meta Harness et l'Apprentissage Continu Vérifiable (RELAI-VCL) de RELAI sous des budgets identiques pour déterminer si les améliorations persistent lorsque de nouvelles tâches apparaissent.

arxiv arXiv cs.AI · il y a 5 j

RELAI-VCL amplifie les gains de l'optimisation d'agents par apprentissage continu

Une étude sur Terminal-Bench 2.0 évalue si les gains de l'optimisation des agents se composent dans le temps en comparant GEPA, Meta Harness et l'Apprentissage Continu Vérifiable (RELAI-VCL) de RELAI. La recherche teste si les agents optimisés peuvent s'améliorer sur de nouvelles tâches sans éroder les gains précédents.