본 논문은 대규모 언어 모델용 개선된 구조적 가지치기 방법을 제안하며, 이 방법은 이종 가지치기 점수, 부호 정보 손실 및 이상치의 영향이라는 과제를 극복하기 위해 Adaptive Feature Retention (AFR) 을 적응시킵니다.
이 접근 방식은 비선형 분포 정렬을 위한 파워 변환, 부호 보존 점수 집계 및 백분위 기반 이상치 제거를 결합합니다. Llama-3-8B, Vicuna-v1.5-13B 및 LLaVA-v1.5-13B 에 대한 실험은该方法이 구조적 가지치기와 비교 가능한 정확도를 유지하면서 실제적인 추론 속도 향상을 달성함을 보여줍니다.
저자들은 이것이 구조적 가지치기가 비구조적 기법의 정확도 이점을 유지하면서도 구조적 희소성에 내재된 추론 효율성 이점을 제공하므로 중요하다고 간주합니다.