Benchmark · multimodal
MMMU
O MMMU (Massive Multi-discipline Multimodal Understanding) avalia se um modelo consegue responder perguntas de nível universitário que combinam imagens e texto em muitas disciplinas acadêmicas. O resultado é informado como porcentagem de acertos (acurácia).
Saiba mais
- Exemplo
- Uma pergunta pode mostrar um diagrama de química, um gráfico ou uma imagem médica junto com texto e pedir que o modelo raciocine e escolha a resposta correta, como um item de prova universitária.
- Pontuação
- Cada pergunta é marcada como certa ou errada, e a pontuação é a porcentagem de perguntas respondidas corretamente (acurácia).
- Verificação
- As respostas são verificadas automaticamente por correspondência exata com a resposta de referência (em geral múltipla escolha, algumas respostas abertas curtas), sem necessidade de avaliação humana.
- Por que importa
- Ele mede o raciocínio especializado de nível universitário sobre imagens e texto em dezenas de matérias, sendo um teste exigente de compreensão multimodal real, e não apenas de habilidade com texto.
Exemplo resolvido
O MMMU (Massive Multi-discipline Multimodal Understanding) apresenta questões de nível universitário que combinam texto com uma imagem — um diagrama, um gráfico, uma estrutura química ou um exame médico — em seis disciplinas, de modo que o modelo precisa realmente ler a figura para responder. Um item representativo de Science: a figura em anexo mostra um circuito com uma bateria de 12 V ligada a dois resistores em série, rotulados R1 = 4 Ω e R2 = 2 Ω. Pergunta: «Qual é a corrente fornecida pela bateria?», com alternativas (A) 1 A, (B) 2 A, (C) 3 A, (D) 6 A. A resposta correta é (B) 2 A. Raciocínio: resistores em série se somam, então a resistência total é R = 4 Ω + 2 Ω = 6 Ω, e a lei de Ohm dá I = V / R = 12 V / 6 Ω = 2 A. O item é «multimodal» porque os valores dos resistores e seu arranjo em série só podem ser obtidos lendo o esquema, e não apenas o texto.
Ainda não há pontuações verificadas para este benchmark.