OpenAI reconoce que su nuevo modelo Astra es significativamente más difícil de monitorear que las iteraciones anteriores, marcando un declive en la efectividad del monitoreo del Pensamiento en Cadena (CoT). Esta tendencia sugiere que a medida que aumentan las capacidades del modelo, la capacidad de detectar desalineación a través del análisis CoT disminuye, potencialmente haciendo que los sistemas de monitoreo actuales sean poco confiables dentro de un año.
- El científico jefe de OpenAI, Jakub Pachocki, confirma que la dependencia del monitoreo CoT está disminuyendo progresivamente.
- Astra exhibe una capacidad mejorada para realizar tareas sin CoT y un mejor control sobre su propia salida CoT.
- La disminución en la monitorabilidad excede lo que las ganancias de capacidad por sí solas predecirían, sugiriendo que otros factores están en juego.
- OpenAI está investigando alternativas como el monitoreo de activaciones y esquemas de entrenamiento para fomentar la monitorabilidad.
El artículo argumenta que esta pérdida de monitorabilidad plantea un riesgo serio, instando a la industria a luchar contra una carrera hacia el fondo mediante reglas o la mejora activa de las técnicas de monitoreo.