arxiv arXiv cs.CL · hace 3 d · research

ROFT mejora los modelos agénticos mediante ajuste fino en explicaciones autogeneradas

Traducido del English → Español

Los investigadores investigan el Retrospection-Only Fine-Tuning (ROFT), un procedimiento en línea mínimo donde un agente genera explicaciones retrospectivas de sus propias experiencias y se ajusta finamente utilizando únicamente la pérdida de predicción del siguiente token en esos tokens de explicación. Este método no requiere un maestro externo ni una actualización de política basada en recompensas.

En experimentos de ingeniería de software con Qwen3.5-4B, ROFT alcanzó tasas de resolución del 49,2 % y 26,8 % en SWE-bench Verified y Pro después de 20 actualizaciones, superando los resultados de GRPO después de 40 actualizaciones. El enfoque también aprende a resolver tareas donde todos los intentos del modelo base fallaron y fomenta buenas acciones asignando crédito indirectamente.

Estos hallazgos establecen las retrospectivas autogeneradas como objetivos de entrenamiento útiles, demostrando que aprender a explicar puede mejorar el aprendizaje para hacer.

Importancia 2/3 arXiv cs.CL AI agents Training methods

Benchmarks

Benchmark	Modelo	Puntuación
SWE-bench Verified	Qwen3.5-4B (with ROFT)	49.2%
SWE-bench Pro	Qwen3.5-4B (with ROFT)	26.8%

Leer original

El sistema de Microsoft Research predice riesgos del clima espacial para 66.935 subestaciones en EE. UU.

Una canalización de aprendizaje automático desarrollada en Microsoft Research genera estimaciones de riesgo de corriente inducida geomagnéticamente (GIC) específicas por ubicación para 66.935 subestaciones en los Estados Unidos continentales. El sistema combina pronósticos del viento solar con datos geológicos locales para proporcionar a los operadores de la red una advertencia anticipada de 30 a 60 minutos antes de que aparezcan riesgos específicos.

arxiv arXiv cs.CL · hace 8 d · 8 vistas

VHD-Play genera entornos de RL agéntico a partir de mecanismos resueltos

VHD-Play es una tubería que genera diversos entornos de aprendizaje por refuerzo agéntico muestreando y resolviendo modelos matemáticos antes de renderizar sus procesos de decisión como herramientas con estado. Este enfoque asegura que la dinámica ejecutable y las referencias de puntuación de trayectorias se hereden directamente del modelo resuelto, abordando los problemas de desalineación comunes en las tuberías de generación existentes.

arxiv arXiv cs.CL · hace 8 d · 10 vistas

SkillGym internaliza habilidades humanas en LLMs para la resolución de problemas del mundo real

Los investigadores presentan SkillGym, un marco que transforma las habilidades de agentes escritas por humanos en entornos de entrenamiento ejecutables y verificables para agentes de modelos de lenguaje grandes. El sistema utiliza una canalización de habilidad a tarea para instanciar tareas concretas y verificar resultados con verificadores basados en código.

arxiv arXiv cs.AI · hace 9 d · 17 vistas

El Generador de Estado del Mundo alinea planes con mundos sintéticos para mejorar el éxito del agente

El Generador de Estado del Mundo (WSG) es un modelo que mantiene los planes de agentes lingüísticos alineados con las reglas de su entorno de ejecución reescribiendo estados tras fracasos. Se entrena con 226K trayectorias extraídas de siete dominios sintéticos donde un programa aplica reglas y verifica la alcanzabilidad del objetivo.

media Latent Space · hace 10 d · 22 vistas

TypeSafe AI presenta Jev, un modelo System One entrenado con Aprendizaje por Refuerzo para Decisiones Calibradas

TypeSafe AI ha lanzado Jev, una nueva clase de modelos "System One" diseñados para entornos de producción. El CEO de la empresa y coautor del artículo sobre InstructGPT, Diogo Almeida, argumenta que los modelos de vanguardia actuales han priorizado la alineación y las negaciones sobre la fiabilidad, lo que ha provocado problemas como alucinaciones y sycophancy.