研究者らは、根拠に基づくマルチモーダル比喩理解を評価するために設計された、人間による検証済み注釈を含む1,000の画像-テキストインスタンスからなる統合ベンチマークであるM$^3$R-Benchを導入した。このベンチマークは、比喩の発生、ターゲットとソースのマッピング、感情、および概念メタファー理論に基づく段階的な説明に対する共同注釈を提供する。
- M$^3$R-Benchは、根拠の特定、マッピングの確立、感情推論を要求することで、モデル間のモーダル横断的推論を評価する。
- 評価により、既存のモデルは視覚的根拠を見落とし、表面的なテキストの手がかりに依存することが多く、モーダル横断的な根拠とマッピングの不整合が露呈していることが示された。
- これに対処するため、著者らはキュリキュラムベースの推論監督とタスク対応強化学習を組み合わせるM$^3$R-Reasonerを提案した。
- 8BパラメータのM$^3$R-Reasonerは、より大規模な独自開発のMLLMを上回り、GPT-5.5に対して視覚的根拠と感情の正当化スコアそれぞれ28.45ポイントおよび30.11ポイント向上させた。
このベンチマークは、モデルが視覚的およびテキストの手がかりに基づいてマッピングを確立しているかどうかを評価することの難しさを浮き彫りにしており、提案された推論器は比喩解釈との整合性の向上を示した。