PALS는 활성화 크기를 기반으로 LLM 프루닝에서 계층별 희소성을 조정합니다

저자들은 PALS(Percentile-Aware Layerwise Sparsity)를 제안했습니다. 이는 타겟 비율 주위 ±5%로 제한된 활성화 크기의 99번째 백분위에 기반하여 계층별 희소성을 조정하는 원샷 프루닝 방법입니다. 이 접근 방식은 층의 중요도와 무관하게 균일한 희소성 비율을 적용하는 Wanda 및 SparseGPT와 같은 방법의 한계를 해결합니다.

• LLaMA-2-7B에서 50% 희소성으로 PALS는 WikiText-2 퍼플렉시티 10.96을 달성했습니다. 반면 균일한 Wanda(9회 실행 평균, p < 0.001)는 12.92였습니다.
• 이 이점은 아키텍처에 따라 다릅니다: LLaMA-3-8B는 미미한 개선을 보이지만 Mistral-7B는 개선이 없습니다.
• 그래디언트 기반 할당은 무작위보다 더 나쁜 결과를 생성하며, 이는 그래디언트 크기가 이산 가중치 제거의 영향을 예측하지 못함을 시사합니다.

PALS는 프루닝 파이프라인에 무시할 수 있는 비용만 추가하며 파인튜닝이 필요하지 않습니다.