저자들은 MM-Food-100K 데이터셋에서 구축된 종합 벤치마크인 OmniFood-Bench를 도입하여 Vision-Language Models (VLMs) 의 영양 추론 및 개인화 건강 조언을 평가합니다. coarse-grained 분류에 중점을 둔 이전 벤치마크와 달리, 이 작업은 세 가지 점진적인 능력을 평가합니다: 재료 및 조리법의 기본 지각, 부분 크기 및 영양 프로파일링을 위한 정량적 추론, 그리고 질병 특권 권장 사항을 위한 안전-중요한 조언.

  • 이 벤치마크는 gpt-5.1, gemini-3-flash, qwen3-vl-8B 를 포함한 6개의 state-of-the-art VLMs 를 평가합니다.
  • 실험은 모델이 요리 이름을 지정하는 데 있어 인간 수준의 정확도를 달성하지만 질량 추정에서는 파국적으로 실패하는 "Semantic-Physical Gap" 을 드러냅니다.
  • 모델은 고위험 당뇨병 프로필에 대해 무해한 조언을 자주 환각하며, 이는 공중 보건 응용 프로그램에서 중요한 신뢰성 문제를 강조합니다.

이 작업은 이러한 중요한 추론 실패를 노출시킴으로써 공중 보건을 위해 배포된 자율 에이전트의 신뢰성에 대한 엄격한 기준을 확립합니다.