새로운 연구는 대규모 언어 모델에서 사후 학습 양자화를 평가하는 데 정확도와 퍼플렉시티에 대한 의존성에 의문을 제기하며, 이러한 지표가 중요한 행동 변화를 포착하지 못함을 입증합니다. 저자들은 "정답 일치율"이라는 의사결정 수준의 지표를 도입하여 기본 모델과 양자화된 모델 간의 예측 중첩을 측정하며, 작업 성능이 유지되는 것처럼 보임에도 중간 정도의 양자화 하에서 행동 분화가 발생함을 드러냈습니다.
- 양자화를 주의 가중치에 대한 구조적 연산자로 분석함으로써 낮은 비트 폭에서 비선형 분기점이 식별되었습니다.
- 쿼리와 키 투영이 값과 출력 투영보다 왜곡에 일관되게 더 민감한 것으로 발견되었습니다.
- 이 연구는 8비트부터 2비트에 이르기까지 여러 모델과 양자화 방식을 다루고 있습니다.
이러한 발견은 기본 모델과 양자화된 모델 간의 동등성의 환상을 드러내며, 기존 성능 측정치를 넘어 행동 평가 지표의 채택을 촉진합니다.