本文提出用基于顺序测试的自适应评估框架取代僵化的固定大小基准，以解决当前模型评估方法效率低下的问题。

  • 该框架将顺序测试与停止标准相结合，专门用于检测收益递减和最小可检测效应量。
  • 它允许根据模型排名或选择等不同目标使用不同水平的统计功效。
  • 在 Open VLM Leaderboard 上的演示表明，与固定大小评估相比，计算成本降低了 80%，同时保持了统计显著性。

这种方法提供了一种在效率和可靠性之间进行权衡的合理方法，防止成本过高或可靠性受损。