탐색적 연구는 대규모 언어 모델이 두 가지 모두 동일한 다음 토큰 예측 메커니즘을 사용함에도 불구하고 언어 생성과 지각 간에 기능적 비대칭성을 보인다는 것을 입증했습니다. 연구원들은 메타언어적 프롬프팅에 의존하는 대신 토큰 확률을 직접 측정하여, 프롬프트 프레이밍 자체가 디코더 전용 아키텍처에서 서로 다른 확률 분포를 유도한다는 것을 발견했습니다.
- 기본 Llama-3.1-8B 모델을 사용하여 연구는 생성 프롬프트 하에서 시를 생성하고 지향적 프롬프트 하에서 이를 재평가했습니다.
- 생성-지각 거리는 일관되게 생성-생성 거리를 초과했으며, 전체 평균 비율은 약 1.8이었습니다.
- 이 효과는 다섯 가지 오픈 웨이트 모델에서 재현되었습니다: Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3 및 Qwen2.5-7B-Instruct.
- 시간 분석은 지각 프롬프트의 영향이 시퀀스 시작 부분에서 가장 강하고 생성된 컨텍스트가 축적됨에 따라 분리가 감소함을 보여주었습니다.
이러한 발견은 의사소통 프레이밍이 LLM이 정보를 처리하는 방식에 상당한 영향을 미쳐 텍스트 생성과 평가를 구분한다는 것을 시사합니다.