Cymela的研究人员在使用Monarch Chrysalis v1模型研究连续潜在空间推理时,观察到一种特定的故障模式,即模型的内部表示未能有效辅助生成。尽管因果测试证实潜在向量明显具有问题特异性且在提示之间变化显著,但在不同问题间移植这些状态显示答案质量几乎没有变化。

  • 下游解码器似乎对潜在通道中存在的任务特定信息不敏感。
  • 团队自初始检查点以来已识别出架构和训练问题,并正在运行修订后的架构。
  • 与发现结果一同发布的还有hyper-3b-latent模型的公开检查点。

作者并未声称该机制目前有效,并暂缓进一步声明,直到当前运行确定架构更改是否能解决该问题。