本記事は、現在のモデル評価方法の非効率性に対処するため、硬直した固定サイズベンチマークに代わる逐次テストに基づく適応型評価フレームワークの導入を提案している。

  • このフレームワークは、逓減効果の検出と最小検出可能効果量向けに調整された停止基準と逐次テストを組み合わせている。
  • モデルのランキングや選択など、異なる目的に必要な統計的パワーのレベルを変化させることができる。
  • Open VLM Leaderboardでの実証により、固定サイズ評価と比較して計算コストが80%削減されながら、統計的有意性が維持されていることが示された。

このアプローチは、効率性と信頼性の間のトレードオフを原理的に解決する方法を提供し、過度なコストや信頼性の低下を防ぐ。