연구자들은 calibration 패스에서 계산된 Wanda 스타일의 활성화 가중치 magnitude 점수를 사용하여 작은 학습 가능한 support를 고정하는 희소 파라미터 효율적 파인튜닝 방법인 Super를 제안합니다. 또한 그들은 간단한 budget-splitting 규칙을 통해 일치하는 학습 가능 파라미터 예산을 유지하면서 이 희소 업데이트와 LoRA를 결합한 하이브리드 어댑터인 Supra도 소개했습니다.

  • Super는 Wanda 스타일의 활성화 가중치 magnitude 점수에 의해 선택된 고정 support를 사용합니다.
  • Supra는 budget-splitting 규칙을 사용하여 희소 업데이트와 LoRA를 결합합니다.
  • Llama-3.2-1B 및 Meta-Llama-3-8B 위의 Math17K 실험에서 Super/Supra 변형체는 테스트된 schedule-selected 어댑터 구성 중 가장 높은 평균 정확도를 달성했습니다.
  • PaFi 스타일의 magnitude-only support는 학습이 필요 없는 희소 baseline으로 작용했습니다.

결과들은 특히 저순위 어댑터와 결합할 때, 단순한 가지치기 영감 순서가 PEFT에 유용한 고정 희소 support를 제공할 수 있음을 시사합니다.