독립 연구자가 널리 사용되는 네 가지 사후 학습 양자화 방법—AWQ, GPTQ, OWQ 및 SpQR—을 감사하여 채널 중요도 점수가 가중치 민감도를 정확하게 반영하는지 여부를 결정했습니다. INT3 group-128 설정에서 Qwen2.5-0.5B, Pythia-410M 및 SmolLM2-360M 모델의 개별 가중치 채널을 섭동시켜 전방 KL 발산을 통해 실제 손상을 측정했습니다.

  • 네 가지 기준은 높은 일치를 보였지만, 이는 진리에 수렴하기보다는 하나의 공유 입력 통계를 공유하고 있기 때문에 주로 기계적인 것이었습니다.
  • 해당 공유 통계가 제거되면, 네 방법 중 세 가지는 더 이상 실제 민감도를 거의 추적하지 못합니다.
  • 그래디언트 기반 점수는 견고하게 유지되었으며 테스트 과정 내내 버텼습니다.
  • 저자는 엔드투엔드 검증이 오류 보상 단계가 잘못된 선택을 커버하기 때문에 중요한 선택의 나쁨을 숨기는 경우가 많다고 지적했습니다.

연구자는 잠재적인 방법론적 결함에 대한 피드백을 구하고 arXiv (cs.LG)에 논문을 제출하기 위한 승인을 찾고 있습니다.