Benchmark · multimodal
Video-MME
O Video-MME é um benchmark abrangente que avalia LLMs multimodais na compreensão de vídeo: curtos, médios e longos. O desempenho é dado como acurácia em questões de múltipla escolha, sobre 2.700 perguntas anotadas por humanos em 900 vídeos (254 horas) de seis domínios visuais.
Saiba mais
- Exemplo
- Um modelo assiste a um trecho de vídeo (opcionalmente com suas faixas de legenda e áudio) e responde a uma questão de múltipla escolha com quatro opções que exige raciocinar sobre o conteúdo visual ao longo do tempo — por exemplo, identificar a ordem em que os eventos acontecem em um clipe esportivo de duração média.
- Pontuação
- A métrica é a acurácia: a porcentagem de questões de quatro opções respondidas corretamente. Os resultados costumam ser relatados sem e com legendas, detalhados por duração do vídeo (curto/médio/longo) e por domínio, e então agregados em um número geral.
- Verificação
- A letra escolhida pelo modelo (A/B/C/D) é extraída de sua saída e comparada por correspondência exata com a resposta de referência anotada por especialistas; a fração de acertos é a acurácia. Todos os vídeos e perguntas são coletados e anotados manualmente para minimizar vazamento de dados, de modo que os números são comparáveis no ranking público.
- Por que importa
- Foi o primeiro benchmark abrangente a testar LLMs multimodais em vídeos reais de ampla variação de duração (até cerca de uma hora) e domínios diversos, usando múltiplas modalidades (quadros, legendas, áudio), revelando raciocínio temporal e de vídeo longo genuíno em vez de reconhecimento de um único quadro.
Exemplo resolvido
Tarefa
É fornecido um trecho de duração média (~10 min) do domínio «Conhecimento» junto com sua faixa de legendas. Pergunta: «Qual é o principal motivo que o apresentador dá para a ampla adoção da técnica descrita?» Opções: A) Era mais barata que as alternativas; B) Não exigia treinamento especial; C) Produzia resultados mais consistentes; D) Era exigida por lei. (Item ilustrativo no formato do benchmark.)
Solução
Combine as imagens na tela com a narração de legenda/áudio, elimine as três opções que o clipe não sustenta e escolha a que ele sustenta. Resposta final: C.
Explicação
As questões do Video-MME são de múltipla escolha de quatro opções com uma única correta, então exatamente uma opção (C) corresponde à evidência do clipe; a correção é a correspondência exata da letra com o rótulo de referência dos especialistas, pontuada como acurácia (acertos ÷ total).
Ainda não há pontuações verificadas para este benchmark.