RPAM: 언어 모델의 연관성을 평가하기 위한 원칙적인 지표

연구자들은 생성형 언어 모델을 위한 업스트림 평가 방법인 상대 확률 연관성 지표(RPAM)를 소개했습니다. 이는 임베딩 또는 계속 확률을 분석하여 잠재된 연관성을 평가합니다.

• RPAM은 변수로 생성된 텍스트에 의존하는 대신 근본적인 수준에서 모델을 검토함으로써 다운스트림 지표의 일반화 한계를 극복하도록 설계되었습니다.
• 이 지표는 WEAT-WS, Bellezza, WS-353, SST2 등의 데이터셋을 사용하여 Mistral-7B-Instruct, Mistral-7B, GPT-2에서 테스트되었습니다.
• 결과는 RPAM 측정값이 인간의 암묵적/명시적 연관성과 다운스트림 작업에서 측정된 편향과 강한 관계가 있음을 보여주며, 적용 가능한 경우 기존 최고 기록을 능가했습니다.

RPAM은 현실 세계의 연관성과 강한 관계를 드러내는 방법을 제공함으로써 업스트림 지표의 격차를 해소하고 다양한 언어 모델에 걸쳐 원칙적인 분석을 가능하게 합니다.