Artikel ini mengusulkan pengganti benchmark ukuran tetap yang kaku dengan kerangka kerja evaluasi adaptif berbasis pengujian berurutan untuk mengatasi inefisiensi metode evaluasi model saat ini.
- Kerangka kerja ini menggabungkan pengujian berurutan dengan kriteria penghentian yang disesuaikan untuk deteksi hasil yang menurun dan ukuran efek minimum yang dapat dideteksi.
- Ini memungkinkan tingkat kekuatan statistik yang bervariasi diperlukan untuk tujuan berbeda seperti peringkat atau pemilihan model.
- Demonstrasi pada Open VLM Leaderboard menunjukkan pengurangan biaya komputasi sebesar 80% dibandingkan evaluasi ukuran tetap sambil mempertahankan signifikansi statistik.
Pendekatan ini memberikan cara yang berprinsip untuk menavigasi trade-off antara efisiensi dan keandalan, mencegah biaya berlebihan atau keandalan yang terganggu.