Los investigadores proponen un bucle de auto-mejora impulsado por fracasos para agentes de uso informático que utiliza trayectorias fallidas para mejorar el rendimiento del modelo. El método emplea un LLM para diagnosticar modos de fallo y generar parches de código, los cuales son verificados ligeramente por humanos para actualizar el agente.
- El enfoque se dirige a modelos de lenguaje grandes multimodales (MLLM) que operan en entornos verificables.
- Complementa las tuberías estándar basadas en éxito extrayendo información de trayectorias fallidas descartadas.
- Validado en la prueba OSWorld utilizando el modelo OpenCUA-72B, el método mejoró la tasa de éxito del 42,3% al 48,9%.
- La mejora representa una ganancia de 6,6 puntos porcentuales sin costo adicional de entrenamiento y solo una sobrecarga modesta de inferencia.
Este trabajo demuestra que la auto-mejora impulsada por fracasos es un complemento viable a las tuberías existentes, permitiendo una mejora más eficiente del agente.