Monarch Chrysalis v1 모델을 사용한 연속 잠재 공간 추론을 조사한 Cymela 연구진은 모델의 내부 표현이 생성을 효과적으로 돕지 않는 특정 장애 모드를 관찰했습니다. 인과 테스트는 잠재 벡터가 명확하게 질문 특이적이며 프롬프트 간에 크게 변한다는 것을 확인했지만, 문제 간에 이러한 상태를 이식해도 답변 품질은 거의 변하지 않았습니다.
- 다운스트림 디코더는 잠재 채널에 있는 작업 특이적 정보에 둔감해 보입니다.
- 팀은 초기 체크포인트부터 아키텍처 및 훈련 문제를 식별했으며 수정된 아키텍처를 실행 중입니다.
- hyper-3b-latent 모델의 공개 체크포인트가 발견 사항과 함께 출시되었습니다.
저자들은 해당 메커니즘이 아직 작동한다고 주장하지 않으며, 현재 실행에서 아키텍처 변경이 문제를 해결하는지 여부를 결정할 때까지 추가 주장을 보류하고 있습니다.