연구자들은 자연스러운 음성에 대한 뇌 활동의 정확한 제로샷 및 퓨샷 예측을 위해 설계된 컴팩트한 오디오-투-fMRI 인코더인 RABBiT를 소개했다. 여러 미시청 데이터셋에 걸쳐 324명의 참가자를 대상으로 평가한 결과, 이 모델은 현재 최첨단 파운데이션 모델과 그룹 평균 예측을 능가했다.
- RABBiT는 청각 및 언어 선택적 영역에서 fMRI 반응의 정확한 제로샷 예측을 가능하게 한다.
- 참가자별 데이터가 단 10분만 있어도 파라미터 효율적인 튜닝은 참가자별 선형 모델보다 훨씬 뛰어난 성능을 보인다.
- 성능은 학습된 영역별 어텐션과 뇌 반응을 공유 성분 및 개인별 구성 요소로 분해하는 것에 의존한다.
- 모델의 구조화된 표현은 해석 가능성을 지원하면서 광범위한 참가자별 데이터 피팅의 필요성을 제거한다.
인간 두뇌에서 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 함으로써, RABBiT는 다양한 실험 자극과 개인에 걸쳐 일반화되는 계산 모델을 구축하는 과제를 해결한다.