著者らは、Vision-Language Models (VLMs) の栄養推論と個別化健康アドバイスに関する評価のために、MM-Food-100K データセットから構築された包括的なベンチマークである OmniFood-Bench を導入する。粗粒度の分類に焦点を当てた以前のベンチマークとは異なり、この研究は3つの段階的な能力を評価する：食材と調理法の基本的な知覚、分量と栄養プロファイリングのための定量的推論、および疾患固有の推奨事項に関する安全性クリティカルな助言。

  • このベンチマークは、gpt-5.1、gemini-3-flash、qwen3-vl-8B を含む6つの最先端 VLMs を評価する。
  • 実験により、「意味論的-物理的ギャップ」が明らかになった。モデルは料理の名前付けにおいて人間に近い精度を達成するものの、質量推定において壊滅的に失敗する。
  • モデルは高リスクの糖尿病プロファイルに対して無害な助言を頻繁に幻覚し、公衆衛生アプリケーションにおける重大な信頼性の問題を浮き彫りにしている。

この研究は、これらの重要な推論の失敗を明らかにすることで、公衆衛生のために展開される自律型エージェントの信頼性に関する厳格な基準を確立する。