Para penulis memperkenalkan OmniFood-Bench, sebuah benchmark komprehensif yang dibangun dari dataset MM-Food-100K untuk mengevaluasi Vision-Language Models (VLMs) pada penalaran nutrisi dan saran kesehatan personal. Berbeda dengan benchmark sebelumnya yang berfokus pada klasifikasi coarse-grained, karya ini menilai tiga kemampuan progresif: persepsi dasar bahan dan metode memasak, penalaran kuantitatif untuk ukuran porsi dan pemprofilan nutrisi, serta advisori kritis keamanan untuk rekomendasi spesifik penyakit.
- Benchmark ini mengevaluasi enam VLMs state-of-the-art, termasuk gpt-5.1, gemini-3-flash, dan qwen3-vl-8B.
- Eksperimen mengungkap "Semantic-Physical Gap" di mana model mencapai akurasi mendekati manusia dalam menamai hidangan tetapi gagal secara katastrofik dalam estimasi massa.
- Model sering kali mengalami halusinasi saran yang tidak berbahaya untuk profil diabetes berisiko tinggi, menyoroti masalah keandalan yang signifikan dalam aplikasi kesehatan masyarakat.
Karya ini menetapkan standar ketat untuk keandalan agen otonom yang diterapkan untuk kesehatan masyarakat dengan mengekspos kegagalan penalaran kritis ini.