本論文は、大規模言語モデルのための改善された構造化プルーニング手法を提案する。これは、ヘテロジニアスなプルーニングスコア、符号情報の損失、外れ値の影響という課題に対処するために、Adaptive Feature Retention (AFR) を適応させる。

このアプローチは、非線形分布の整列のためのパワー変換、符号保持スコア集約、およびパーセンタイルベースの外れ値除去を組み合わせている。Llama-3-8B、Vicuna-v1.5-13B、LLaVA-v1.5-13B 上での実験により、本手法が構造化プルーニングと同等の精度を維持しつつ、実用的な推論速度の向上を実現することが示された。

著者らは、これが構造化プルーニングに、非構造化技法の精度メリットを保持しつつ、構造化スパシティに固有の推論効率の向上をもたらすため重要だと考えている。