arxiv arXiv cs.CL · hace 1 h · research

OpenForgeRL permite el entrenamiento de extremo a extremo de agentes basados en arneses en cualquier entorno

Traducido del English → Español

Los investigadores presentan OpenForgeRL, un marco de código abierto que permite el entrenamiento de extremo a extremo de agentes de IA utilizando arneses de inferencia complejos como Claude Code y OpenClaw. El sistema desacopla el entrenamiento de la inferencia mediante un proxy ligero para registrar las llamadas del modelo como datos y un orquestador de Kubernetes para gestionar los despliegues remotos de contenedores.

OpenForgeRL admite entornos diversos, incluidos agentes basados en herramientas y agentes de navegación GUI multimodales.
OpenForgeClaw alcanza 31.7 pass^3 en ClawEval y 33.7 en QwenClawBench utilizando solo cientos a unos pocos miles de tareas.
OpenForgeGUI alcanza 37.7 en OSWorld-Verified, 63.0 en Online-Mind2Web y 72.3 en WebVoyager.
Ambas variantes superan las líneas base abiertas de tamaño similar e igualan o superan a modelos más grandes en configuraciones GUI.
El análisis revela que la elección del arnés impacta significativamente la dificultad de aprendizaje y que el RL mejora las métricas de confiabilidad como la autoverificación.

El marco permite a los investigadores entrenar, estudiar y mejorar agentes directamente dentro de los arneses reales y entornos donde se despliegan.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.CL Hugging Face AI agents Training methods

Benchmarks

Benchmark	Modelo	Puntuación
SWE-bench Pro	OpenForgeClaw	55.9%
OSWorld	OpenForgeGUI	37.7%

Artículos relacionados

arxiv arXiv cs.CL · hace 10 d

OpenSquilla introduce enrutamiento agénico nativo de Harness para crear un ciclo de datos

El artículo propone el enrutamiento agénico nativo de Harness, un paradigma a nivel de paso que selecciona modelos basándose en el estado completo del entorno de ejecución (execution harness) en lugar de optimizar los compromisos costo-calidad de una sola vuelta. Este enfoque trata cada decisión de enrutamiento como un registro de datos estructurado para formar un ciclo de datos nativo de Harness, donde las trazas de ejecución entrenan mejores enrutadores y modelos.

arxiv arXiv cs.AI · hace 35 d · 2 vistas

UltraQuant: Caché KV de 4 bits para agentes con alta carga de contexto

UltraQuant permite el caché KV de 4 bits para agentes con alta carga de contexto, reduciendo el tiempo P50 hasta el primer token en 3.47x en rondas tardías y aumentando el rendimiento de salida en 1.63x sobre la línea base FP8 KV. Logra esto mediante consultas FP8, tensores KV FP4, escalas de grupo UE8M0 y MFMA escalado nativo en GPUs AMD CDNA4, con optimizaciones para kernels de decode-attention y elecciones de diseño robustas como el tratamiento asimétrico K/V y la rotación de Walsh-Hadamard.

arxiv arXiv cs.LG · hace 35 d · 1 vista

UltraQuant: Caché KV de 4 bits para agentes con alta carga de contexto

UltraQuant introduce un método de caché KV de 4 bits diseñado para cargas de trabajo de agentes con alta demanda de contexto. Logra una reducción de 3.47x en el tiempo P50 hasta el primer token en rondas tardías y un aumento de 1.63x en el rendimiento de salida en comparación con el caché KV FP8, utilizando consultas FP8, tensores KV FP4 y soporte nativo AMD CDNA4 para scaled-MFMA.

arxiv arXiv cs.LG · hace 35 d · 1 vista

Entrenamiento de LLMs para agentes de ciclo de vida largo mediante generalización entre dominios

Un nuevo marco permite a los modelos de lenguaje grandes desarrollar la capacidad de 'Conectar los Puntos', permitiendo que los agentes de ciclo de vida largo aprendan de experiencias y actualicen iterativamente el contexto de su entorno. El marco utiliza aprendizaje por refuerzo con secuencias de rollout largas y tareas personalizadas para promover la generalización entre dominios, mostrando un rendimiento efectivo fuera de la distribución tanto en configuraciones de dominio como de transición.

arxiv arXiv cs.CL · hace 35 d · 1 vista

Entrenamiento de LLMs para agentes de ciclo de vida largo mediante generalización interdominio

Un nuevo marco permite a los modelos de lenguaje grandes aprender 'Conecta los puntos' utilizando aprendizaje por refuerzo con secuencias de rollout largas. El método incluye tareas y entornos adaptados para fomentar el desarrollo de meta-capacidades, mostrando una fuerte generalización interdominio y rendimiento en configuraciones fuera de distribución. Las implementaciones están disponibles en https://github.com/agentscope-ai/Trinity-RFT/tree/research/cod/examples/research_cod.