arxiv arXiv cs.AI · hace 2 h · research

OpenForgeRL permite el entrenamiento de extremo a extremo de agentes basados en arneses en cualquier entorno

Traducido del English → Español

OpenForgeRL es un marco de código abierto que permite a los investigadores entrenar agentes de IA basados en arneses de extremo a extremo utilizando pilas estándar de aprendizaje por refuerzo. Logra esto desacoplando el entrenamiento de la inferencia mediante un proxy ligero que registra las llamadas del modelo como datos y un orquestador de Kubernetes que gestiona el despliegue remoto de contenedores.

El sistema admite entornos diversos, incluidos agentes basados en herramientas/garras y agentes de navegación GUI multimodales.
OpenForgeClaw logró 31.7 pass^3 en ClawEval y 33.7 en QwenClawBench utilizando solo cientos hasta unas pocas miles de tareas.
OpenForgeGUI alcanzó 37.7 en OSWorld-Verified, 63.0 en Online-Mind2Web y 72.3 en WebVoyager.
Ambas variantes superan las líneas base abiertas de tamaño similar e igualan o superan a modelos más grandes en entornos GUI.
El análisis revela que la elección del arnés impacta significativamente la dificultad de aprendizaje y que el RL mejora métricas de fiabilidad como la autoverificación.

El marco permite entrenar agentes directamente en los arneses y entornos reales donde se despliegan, facilitando un estudio y mejora más sencillos del comportamiento agente.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.AI OpenAI AI agents Training methods

Benchmarks

Benchmark	Modelo	Puntuación
OSWorld	OpenForgeGUI	37.7%
SWE-bench Pro	OpenForgeClaw	31.7%

Artículos relacionados

arxiv arXiv cs.LG · hace 35 d

Acumulación de Ventaja Marginal para la Autoevolución de Agentes Impulsada por Memoria

Este artículo presenta la Acumulación de Ventaja Marginal (MAA), una arquitectura de postprocesamiento que aborda la inconsistencia entre lotes en la autoevolución de agentes impulsada por memoria. MAA formaliza la alineación y comparabilidad como condiciones estructurales, utiliza señales diferenciales y promedio móvil exponencial para acumular evidencia firmada por operación, y garantiza la trazabilidad mediante la fusión de identidad semántica. Supera a las líneas base a nivel de lote en 14 de cada 16 configuraciones y reduce el consumo de tokens en aproximadamente un 75%.

arxiv arXiv cs.LG · hace 35 d

Control jerárquico basado en LLM en juegos multiagente

Un sistema jerárquico que utiliza un LLM preentrenado para seleccionar políticas de habilidades de RL supera al RL plano en un entorno King of the Hill 2v2. Igualua el rendimiento de los árboles de comportamiento diseñados a mano en tasa de victoria y es percibido como más humano por el 60% de los usuarios, destacando una coordinación efectiva y adaptabilidad sin diseño manual de reglas.

arxiv arXiv cs.CL · hace 36 d

GraphPO: Optimización de políticas basada en grafos para modelos de razonamiento

GraphPO introduce un marco de grafos acíclicos dirigidos para representar rollouts de razonamiento, fusionando caminos semánticamente equivalentes para reducir la exploración redundante. Asigna ventajas de eficiencia y corrección a las aristas, mejorando la eficiencia de inferencia y la supervisión del proceso mientras reduce la varianza de estimación de ventaja. Los experimentos muestran que GraphPO supera a los métodos basados en cadenas y árboles en tres LLMs en tareas de razonamiento y búsqueda agéntica bajo presupuestos idénticos de tokens o respuestas.

arxiv arXiv cs.AI · hace 36 d

RODS: Síntesis de datos en línea impulsada por recompensa para agentes de uso de herramientas multi-turno

RODS aborda el agotamiento de muestras en RL de uso de herramientas multi-turno utilizando la varianza de la recompensa para detectar límites de capacidad. Sintetiza nuevos datos en tiempo real, coincidiendo con la complejidad estructural de las muestras límite, y mantiene un búfer de repetición dinámico que coevoluciona con la política. RODS logra un rendimiento comparable a una tubería offline de 17K muestras con 20x menos trayectorias.

arxiv arXiv cs.LG · hace 37 d

Generalización composicional en el razonamiento de modelos de lenguaje

Un modelo de selección latente jerárquico muestra que el ajuste fino supervisado y el aprendizaje por refuerzo trabajan juntos para habilitar la generalización composicional en modelos de lenguaje. El SFT proporciona materiales de módulos crudos, mientras que el RL identifica y recombina módulos atómicos a partir de trazas compuestas para resolver nuevos problemas. Entrenar en trazas compuestas conduce a una generalización más fuerte que el entrenamiento de módulos aislados, y se encuentra un protocolo efectivo donde el SFT asegura la cobertura de módulos y el RL impulsa la exploración de composiciones novedosas.