한 연구에 따르면 대규모 언어 모델은 응답의 남은 길이에 대한 내부 추정을 유지하며, 이는 고정된 숨겨진 상태에서 디코딩할 수 있습니다. 연구자들은 이 현상을 조사하기 위해 7개의 완성 스타일 데이터셋에 걸쳐 3개의 오픈 가중치 7-8B 모델에 최소 용량의 선형 프로브를 훈련했습니다.
- 총 응답 길이는 출력이 생성되기 전 프롬프트의 마지막 숨겨진 상태에서 선형으로 디코딩할 수 있습니다.
- 프로브 방향은 제어된 합성 완성으로 널리 이전되며, 통계적 기준선보다 우수한 성능을 보입니다.
- 높은 손실의 완성에서 모델이 해결책을 철회하고 다시 시작할 때 프로브의 추정이 상향 조정됩니다.
이 결과는 LLM이 정확한 카운팅 불가능성 결과와 구별되는 출력 길이에 대한 계획과 같은 내부 표현을 유지함을 시사합니다.