연구자들은 Attention Head Reweighting (AHR)을 제안했습니다. 이는 각 주의 헤드당 단일 스칼라만 학습하여 대규모 언어 모델을 새로운 텍스트 분류 작업에 적응시키는 데이터 효율적인 방법입니다. 이 접근 방식은 훈련 가능한 파라미터 수를 극적으로 줄여 모델 총 파라미터의 약 0.0001%만 수정합니다.

  • AHR은 개별 주의 헤드의 기능적 특화를 활용하여 최소한의 데이터로 LLM을 적응시킵니다.
  • 다양한 오픈소스 텍스트 분류 데이터셋에 대한 실험 결과, 제한된 샘플에서 학습할 때 AHR이 LoRA와 같은 표준 베이스라인보다 우수함을 보여주었습니다.
  • 이 방법은 비교 가능한 적응 기술과 비교하여 200-1000배 적은 훈련 가능한 파라미터를 요구합니다.
  • 학습된 가중치는 해석 가능하여 컨텍스트 내 학습 능력에 관여하는 메커니즘과 주의 헤드를 분석할 수 있게 합니다.

저자들은 라벨링된 예시가 부족한 보안과 같은 도메인에서 제한된 데이터로부터 효과적인 학습이라는 과제를 해결하기 때문에 이를 중요하게 생각합니다.