В статье предлагается заменить жесткие бенчмарки фиксированного размера на адаптивную систему оценки, основанную на последовательном тестировании, чтобы устранить неэффективность текущих методов оценки моделей.

  • Система сочетает последовательное тестирование с критериями остановки, адаптированными для обнаружения убывающей отдачи и минимального обнаруживаемого размера эффекта.
  • Она позволяет использовать различные уровни статистической мощности, необходимые для разных задач, таких как ранжирование или выбор моделей.
  • Демонстрации на Open VLM Leaderboard показывают сокращение вычислительных затрат на 80% по сравнению с оценкой фиксированного размера при сохранении статистической значимости.

Этот подход обеспечивает обоснованный способ управления компромиссом между эффективностью и надежностью, предотвращая чрезмерные затраты или снижение надежности.