arxiv arXiv cs.CL · hace 1 h · fuente: hace 3 d · research

OpenForgeRL permite el entrenamiento de extremo a extremo de agentes basados en arneses en cualquier entorno

Traducido del English → Español

OpenForgeRL es un marco de código abierto que permite a los investigadores entrenar agentes de IA basados en arneses de extremo a extremo utilizando pilas estándar de aprendizaje por refuerzo. Desacopla el entrenamiento de la inferencia mediante el uso de un proxy ligero para registrar las llamadas del modelo como datos y un orquestador de Kubernetes para gestionar las ejecuciones en contenedores remotos.

El sistema admite entornos diversos, incluidos agentes basados en herramientas/garras y agentes multimodales de navegación por GUI.
OpenForgeClaw alcanza 31.7 pass^3 en ClawEval y 33.7 en QwenClawBench utilizando solo cientos a unos pocos miles de tareas.
OpenForgeGUI alcanza 37.7 en OSWorld-Verified, 63.0 en Online-Mind2Web y 72.3 en WebVoyager.
Ambas variantes superan las líneas base abiertas de tamaño similar e igualan o superan a modelos más grandes en entornos de GUI.
El análisis revela que la elección del arnés impacta significativamente la dificultad del aprendizaje y que el RL mejora las métricas de fiabilidad como la autoverificación.

El marco permite el estudio y la mejora de los agentes directamente dentro de sus entornos de despliegue, demostrando que el aprendizaje por refuerzo mejora la fiabilidad agéntica a pesar de las debilidades restantes en la recuperación de errores.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.CL OpenAI AI agents Training methods

Benchmarks

Benchmark	Modelo	Puntuación
OSWorld	OpenForgeGUI	37.7%

Artículos relacionados

arxiv arXiv cs.AI · hace 3 d · 3 vistas

OpenForgeRL permite el entrenamiento de extremo a extremo de agentes basados en arneses en cualquier entorno

OpenForgeRL es un marco de código abierto que permite a los investigadores entrenar agentes de IA basados en arneses de extremo a extremo utilizando pilas estándar de aprendizaje por refuerzo. Logra esto desacoplando el entrenamiento de la inferencia mediante un proxy ligero que registra las llamadas del modelo como datos y un orquestador de Kubernetes que gestiona el despliegue remoto de contenedores.

arxiv arXiv cs.LG · hace 38 d

Acumulación de Ventaja Marginal para la Autoevolución de Agentes Impulsada por Memoria

Este artículo presenta la Acumulación de Ventaja Marginal (MAA), una arquitectura de postprocesamiento que aborda la inconsistencia entre lotes en la autoevolución de agentes impulsada por memoria. MAA formaliza la alineación y comparabilidad como condiciones estructurales, utiliza señales diferenciales y promedio móvil exponencial para acumular evidencia firmada por operación, y garantiza la trazabilidad mediante la fusión de identidad semántica. Supera a las líneas base a nivel de lote en 14 de cada 16 configuraciones y reduce el consumo de tokens en aproximadamente un 75%.

arxiv arXiv cs.LG · hace 38 d · 1 vista

Control jerárquico basado en LLM en juegos multiagente

Un sistema jerárquico que utiliza un LLM preentrenado para seleccionar políticas de habilidades de RL supera al RL plano en un entorno King of the Hill 2v2. Igualua el rendimiento de los árboles de comportamiento diseñados a mano en tasa de victoria y es percibido como más humano por el 60% de los usuarios, destacando una coordinación efectiva y adaptabilidad sin diseño manual de reglas.

arxiv arXiv cs.CL · hace 39 d

GraphPO: Optimización de políticas basada en grafos para modelos de razonamiento

GraphPO introduce un marco de grafos acíclicos dirigidos para representar rollouts de razonamiento, fusionando caminos semánticamente equivalentes para reducir la exploración redundante. Asigna ventajas de eficiencia y corrección a las aristas, mejorando la eficiencia de inferencia y la supervisión del proceso mientras reduce la varianza de estimación de ventaja. Los experimentos muestran que GraphPO supera a los métodos basados en cadenas y árboles en tres LLMs en tareas de razonamiento y búsqueda agéntica bajo presupuestos idénticos de tokens o respuestas.

arxiv arXiv cs.AI · hace 39 d

RODS: Síntesis de datos en línea impulsada por recompensa para agentes de uso de herramientas multi-turno

RODS aborda el agotamiento de muestras en RL de uso de herramientas multi-turno utilizando la varianza de la recompensa para detectar límites de capacidad. Sintetiza nuevos datos en tiempo real, coincidiendo con la complejidad estructural de las muestras límite, y mantiene un búfer de repetición dinámico que coevoluciona con la política. RODS logra un rendimiento comparable a una tubería offline de 17K muestras con 20x menos trayectorias.