研究者らは、Attention Head Reweighting (AHR) を提案した。これは、各注意ヘッドに対して単一のスカラーのみを学習することで、大規模言語モデルを新しいテキスト分類タスクに適応させるデータ効率的な手法である。このアプローチは、トレーニング可能なパラメータ数を劇的に削減し、モデルの総パラメータ数の約0.0001%のみを変更する。

  • AHRは、個々の注意ヘッドの機能的特化を活用して、最小限のデータでLLMを適応させる。
  • 多様なオープンソースのテキスト分類データセットでの実験により、AHRが限られたサンプルから学習する際、LoRAなどの標準的なベースラインを上回ることを示した。
  • この手法は、同等の適応技術と比較して、200〜1000倍少ないトレーニング可能なパラメータを必要とする。
  • 学習された重みは解釈可能であり、コンテキスト内学習能力に関与するメカニズムと注意ヘッドの分析を可能にする。

著者らは、ラベル付き例が希少なセキュリティなどのドメインにおいて、限られたデータからの効果的な学習という課題に対処するため、これを重要視している。