本論文は、マルチモーダル大規模言語モデルにおける言語習得の構造が見落とされている課題に対処するため、潜在空間に順序幾何事前分布を課すプロトタイプベースの正則化器である潜在順序プロトタイプ整列（LOPA）を紹介します。凍結されたWhisperエンコーダからの適応的表現抽出を行うセマンティック・アンカー付きレイヤールーティング（SALR）と組み合わせることで、このフレームワークはRMSE 0.361を達成します。

  • LOPAは潜在空間に順序幾何事前分布を直接課す。
  • SALRは凍結されたWhisperエンコーダから多深度の表現を適応的に抽出する。
  • この手法は、LLMベースのファインチューニングを必要とせずに十億パラメータ規模のシステムに匹敵する性能を示す。
  • 分析により、SALRとLOPAが解釈可能で基準に整合した優先順位を提供することが示された。

本研究は、音声言語評価における現在のスケーリング中心モデルに対する、効率的かつ順序認識型のモデリング代替案を提供する。