PALS는 활성화 백분위수를 사용하여 LLM 가지치기의 계층별 희소성을 조정합니다

저자들은 활성화 크기의 99번째 백분위수에 기반하여 계층별 희소성을 조정하고 목표 비율 주위 ±5%로 제한하는 원샷 가지치기 방법인 PALS(Percentile-Aware Layerwise Sparsity)를 제안합니다. 이 접근 방식은 모든 계층에 균일한 희소성 비율을 적용하는 Wanda 및 SparseGPT와 같은 기존 방법의 한계를 해결합니다.

• 50% 희소성의 LLaMA-2-7B에서 PALS는 WikiText-2의 파라플렉시티 10.96을 달성하여 균일한 Wanda(9회 실행 평균, p < 0.001)의 12.92와 비교하여 더 나은 성능을 보입니다.
• 이 이점은 아키텍처에 따라 다릅니다: LLaMA-3-8B는 미미한 개선을 보이지만 Mistral-7B는 개선이 없습니다.
• 그래디언트 기반 할당은 무작위보다 더 나쁜 결과를 생성하며, 이는 그래디언트 크기가 이산 가중치 제거의 영향을 예측하지 못함을 시사합니다.
• PALS는 가지치기 파이프라인에 무시할 수 있는 비용만 추가하며 파인튜닝이 필요하지 않습니다.