研究者らは、自然な音声に対する脳活動の正確なゼロショットおよびフューショット予測のために設計されたコンパクトなオーディオからfMRIへのエンコーダーであるRABBiTを紹介した。複数の未見データセットにわたる324人の参加者を対象に評価したところ、本モデルは現在の最先端基盤モデルやグループ平均予測を上回った。

  • RABBiTは、聴覚および言語選択的領域におけるfMRI応答の正確なゼロショット予測を可能にする。
  • 参加者固有のデータがわずか10分しかなくても、パラメータ効率的なチューニングは参加者ごとの線形モデルを大幅に上回る。
  • パフォーマンスは、学習された領域固有の注意機構と、脳応答を共有成分および被験者固有成分に分解することに依存している。
  • モデルの構造化表現は解釈可能性をサポートしつつ、広範な参加者ごとのデータフィッティングの必要性を排除する。

人間の大脳における言語のスケーラブルな集団レベル分析を可能にすることで、RABBiTは多様な実験刺激および個人にわたって一般化する計算モデルを構築するという課題に対処している。