media Hugging Face Forums · hace 8 h · open_models

IntelligenceLab solicita Long-Horizon-Terminal-Bench para la lista de clasificación de Hub

Traducido del English → Español

IntelligenceLab ha presentado una solicitud a Hugging Face para añadir el conjunto de datos Long-Horizon-Terminal-Bench (LHTB) a la lista permitida de benchmarks. El objetivo es permitir la agregación de los resultados de evaluación de la comunidad para este benchmark en Hugging Face Hub.

LHTB consta de 46 tareas diseñadas para probar qué tan bien los agentes LLM mantienen un trabajo útil en una terminal contenerizada durante cientos de pasos.
Utiliza verificadores ocultos que reconstruyen desde artefactos en lugar de progreso autoinformado para evaluar el rendimiento del agente.
Las tareas se ejecutan a través del framework Harbor / Terminal-Bench 2.0, con un archivo eval.yaml ya presente y validado en el repositorio.

Importancia 1/3 Confianza 1/3 Hugging Face Forums AI agents Evaluation & benchmarks

Leer original

La optimización de RELAI-VCL obtiene ventajas en Terminal-Bench 2.0

Un estudio evalúa si las ganancias por optimización de agentes se acumulan con el tiempo al probar tres métodos — GEPA, Meta Harness y RELAI-VCL — en las tareas difíciles de Terminal-Bench 2.0. Aunque todos los métodos mejoran una línea base estática, solo RELAI-VCL transfiere exitosamente a tareas no vistas y continúa mejorando después de rondas posteriores de optimización.

arxiv arXiv cs.CL · hace 5 d

Prueba conductual de cambio de conjunto para agentes aprovechados

Los investigadores presentan un benchmark para evaluar cómo los agentes LLM se adaptan cuando la fiabilidad de las herramientas disponibles cambia silenciosamente durante una sesión en curso. El framework monta bibliotecas de habilidades de herramientas con redundancias y utiliza un horario ramificado para cambiar el grupo de herramientas fiables en límites ocultos.

arxiv arXiv cs.CL · hace 5 d

DevicesWorld presenta un benchmark a gran escala para la colaboración de agentes entre dispositivos

Los investigadores presentan DevicesWorld, un benchmark ejecutable a gran escala diseñado para evaluar agentes basados en LLM que operan en entornos heterogéneos que incluyen dispositivos móviles, de escritorio e IoT.

arxiv arXiv cs.CL · hace 5 d

RELAI-VCL compuesta ganancias de agente-optimizador mediante aprendizaje continuo

Un estudio evalúa si las ganancias impulsadas por el optimizador se acumulan con el tiempo al probar tres métodos de optimización de agente-harness en Terminal-Bench 2.0. La investigación compara GEPA, Meta Harness y RELAI's Verifiable Continual Learning (RELAI-VCL) bajo presupuestos idénticos para determinar si las mejoras persisten a medida que aparecen nuevas tareas.

arxiv arXiv cs.AI · hace 5 d

RELAI-VCL compuesta las ganancias del agente-optimizador mediante aprendizaje continuo

Un estudio en Terminal-Bench 2.0 evalúa si las ganancias de la optimización de agentes se acumulan con el tiempo comparando GEPA, Meta Harness y el Aprendizaje Continuo Verificable de RELAI (RELAI-VCL). La investigación prueba si los agentes optimizados pueden mejorar en nuevas tareas sin erosionar las ganancias anteriores.