研究人员提出了注意力头重加权（AHR），这是一种数据高效的方法，通过仅学习每个注意力头的单个标量，将大型语言模型适配到新的文本分类任务中。这种方法大幅减少了可训练参数的数量，仅修改了模型总参数量约0.0001%。
- AHR利用单个注意力头的功能特异性，以最少的数据适配LLM。
- 在多样化的开源文本分类数据集上的实验表明，当从有限样本中学习时，AHR优于LoRA等标准基线方法。
- 该方法所需的可训练参数比类似的适配技术少200-1000倍。
- 学习到的权重具有可解释性，允许分析负责上下文学习能力的机制和注意力头。
作者认为这一点很重要，因为它解决了在安全等领域从有限数据中进行有效学习的挑战，而这些领域的标注样本非常稀缺。