O artigo propõe substituir benchmarks rígidos de tamanho fixo por um framework de avaliação adaptativo baseado em testes sequenciais para abordar a ineficiência dos métodos atuais de avaliação de modelos.
- O framework combina testes sequenciais com critérios de parada adaptados para detecção de retornos decrescentes e tamanho mínimo do efeito detectável.
- Ele permite níveis variáveis de poder estatístico necessários para diferentes objetivos, como ranking ou seleção de modelos.
- Demonstrações no Open VLM Leaderboard mostram uma redução de 80% no custo computacional em comparação com a avaliação de tamanho fixo, mantendo a significância estatística.
Essa abordagem fornece uma maneira fundamentada de navegar o compromisso entre eficiência e confiabilidade, evitando custos excessivos ou confiabilidade comprometida.