최근 연구는 슈퍼 가중치가 제거될 때 모델 성능이 급격히 저하되는 개별 파라미터임을 확인했지만, 이 연구는 이러한 특정 파라미터를 훈련하는 것이 비효율적임을 보여줍니다. OLMo-1B 및 OLMo-7B에서 슈퍼 가중치를 고립시켜 훈련하면 최대 36K개의 파라미터에 대한 지역 이웃으로 확장하더라도 정확도가 무작위 추측 수준으로 떨어집니다.
- 고립된 슈퍼 가중치의 훈련은 성능 붕괴를 유발하는 반면, 동일한 수의 무작위로 선택된 위치를 훈련하면 기준선보다 개선됩니다.
- 바닐라 LoRA는 저순위 구조를 통해 어텐션 가중치 행렬의 모든 위치를 업데이트함으로써 파라미터의 단 0.16%만으로 성공합니다.
- 동일한 저순위 업데이트를 down_proj 레이어에 적용하는 것도 성공하지만, 슈퍼 가중치 좌표에서 LoRA 업데이트를 제약하면 무작위 추측과 통계적으로 구별할 수 없는 결과가 나옵니다.
이러한 발견은 파라미터의 중요성이 고립된 학습 가능성을 의미하지 않으며, 효과적인 파인튜닝은 개별적으로 중요한 가중치를 표적으로 삼는 것이 아니라 전체 레이어에 걸친 구조적 분해에 의존함을 확립합니다.