Investigadores de Cymela que investigan el razonamiento en el espacio latente continuo con el modelo Monarch Chrysalis v1 observaron un modo de fallo específico donde las representaciones internas del modelo no ayudan eficazmente a la generación. Aunque las pruebas causales confirmaron que los vectores latentes son claramente específicos de la pregunta y varían sustancialmente entre solicitudes, trasplantar estos estados entre problemas mostró que la calidad de la respuesta apenas cambia.
- El decodificador posterior parece ser insensible a la información específica de la tarea presente en el canal latente.
- El equipo identificó problemas arquitectónicos y de entrenamiento desde el punto de control inicial y está ejecutando una arquitectura revisada.
- Se lanzó un punto de control público para el modelo hyper-3b-latent junto con los hallazgos.
Los autores no afirman que el mecanismo funcione aún y están reteniendo afirmaciones adicionales hasta que las corridas actuales determinen si los cambios arquitectónicos resuelven el problema.