Les auteurs présentent OmniFood-Bench, un benchmark complet construit à partir du jeu de données MM-Food-100K pour évaluer les Vision-Language Models (VLMs) sur le raisonnement nutritionnel et les conseils de santé personnalisés. Contrairement aux benchmarks précédents axés sur la classification grossière, ce travail évalue trois capacités progressives : la perception de base des ingrédients et des méthodes de cuisson, le raisonnement quantitatif pour la taille des portions et le profilage nutritionnel, et les conseils critiques pour la sécurité concernant les recommandations spécifiques à une maladie.
- Le benchmark évalue six VLMs state-of-the-art, dont gpt-5.1, gemini-3-flash et qwen3-vl-8B.
- Les expériences révèlent un « Semantic-Physical Gap » où les modèles atteignent une précision proche de l'humain pour nommer les plats mais échouent catastrophiquement dans l'estimation de la masse.
- Les modèles hallucinent fréquemment des conseils bénins pour des profils diabétiques à haut risque, soulignant des problèmes de fiabilité significatifs dans les applications de santé publique.
Ce travail établit une norme rigoureuse pour la fiabilité des agents autonomes déployés pour la santé publique en exposant ces échecs de raisonnement critiques.