Multiverseは、大規模言語モデルのプルーニングをイジングガラスにマッピングされた制約付き二値最適化問題として再構成する方法を詳述した論文を発表した。損失ヘッシアンから導出されたペアワイズ結合を持つスピンとしてトランスフォーマーブロックを扱うことで、この手法は反復的なベンチマークを必要とせずに最適なブロック除去構成を特定する。

  • この手法は、ブロック間の相互作用を捉えるために校正データセット上でヘッシアン行列を一度計算し、エネルギー計算をモデル品質の代理として利用可能にする。
  • 構成空間内で低エネルギー状態を見つけるために古典的および量子インスパイアードソルバーを利用し、数十億の組み合わせを効率的に探索することを可能にする。

Llama-3.3-70B-Instructにおいて50%圧縮時、本手法は最も競合するブロック除去ベースラインと比較してMMLUでほぼ23パーセントポイントの向上を実現した。

このアプローチはNVIDIA-Nemotron-3-Nano-30B-A3B-FP8のような異種アーキテクチャにも一般化され、非連続的な除去パターンを特定することでベースラインを上回る性能を示す。

著者らは、基底状態だけでなく低エネルギー励起状態を探索することが、ブロック間の相互作用が重要となる深い圧縮領域において特に優れたプルーニングモデルをもたらすと主張している。