Авторы представляют OmniFood-Bench, комплексный бенчмарк, созданный на основе набора данных MM-Food-100K для оценки моделей Vision-Language Models (VLM) в задачах рассуждений о питательных веществах и персонализированных рекомендаций по здоровью. В отличие от предыдущих бенчмарков, ориентированных на классификацию грубого уровня, данная работа оценивает три прогрессивные способности: базовое восприятие ингредиентов и методов приготовления, количественные рассуждения о размере порции и нутрициологическом профиле, а также критически важные для безопасности рекомендации по конкретным заболеваниям.

  • Бенчмарк оценивает шесть современных VLM, включая gpt-5.1, gemini-3-flash и qwen3-vl-8B.
  • Эксперименты выявляют «семантическо-физический разрыв», при котором модели достигают точности, близкой к человеческой, в названии блюд, но терпят катастрофические неудачи в оценке массы.
  • Модели часто выдают галлюцинации с безвредными рекомендациями для пациентов с высоким риском диабета, что подчеркивает серьезные проблемы с надежностью в приложениях общественного здравоохранения.

Эта работа устанавливает строгий стандарт надежности автономных агентов, развернутых для общественного здравоохранения, выявляя эти критические ошибки рассуждений.