본 기사는 현재 모델 평가 방법의 비효율성을 해결하기 위해 경직된 고정 크기 벤치마크 대신 순차적 테스트 기반 적응형 평가 프레임워크를 제안합니다.
- 이 프레임워크는 감소 효과 감지 및 최소 검출 가능 효과 크기에 맞춘 정지 기준과 순차적 테스트를 결합합니다.
- 모델 랭킹 또는 선택 등 다양한 목적에 필요한 통계적 힘의 수준을 유연하게 조정할 수 있습니다.
- Open VLM Leaderboard에서의 시연 결과, 고정 크기 평가 대비 계산 비용이 80% 절감되면서도 통계적 유의성이 유지되었습니다.
이 접근 방식은 효율성과 신뢰성 간의 균형을 원리적으로 관리하여 과도한 비용이나 신뢰성 저하를 방지합니다.