실험적 프레임워크는 생성 동안 TinyLlama의 은닉 상태 궤적을 매핑하여 런타임 관찰 도구를 만듭니다. 노름, 곡률 및 엔트로피와 같은 지표를 클러스터링함으로써 시스템은 의미 콘텐츠가 아닌 재발하는 역학 영역을 식별합니다.
- 끌개 지도는 궤적이 시간을 보내는 곳과 체제 간 전이를 추적합니다.
- 궤적 분할은 고정된 추론 단계를 가정하지 않고 런타임 역학의 변화를 자동으로 감지합니다.
- 직교 회전 및 DTW 유도 보정과 같은 실험적 개입은 궤적 통계를 성공적으로 수정합니다.
- 그러나 기하학을 변경해도 추론이 신뢰성 있게 개선되거나 의미적 정확성이 보장되지는 않습니다.
이 연구는 은닉 상태 역학을 관찰하는 것은 가능하지만 런타임 안정성이 올바른 답변을 의미하지 않기 때문에 이를 제어하는 것은 여전히 미해결 문제라고 결론짓습니다.