Levent Bulut atualizou a definição operacional de "viés de resumo" de uma descrição vaga para um constructo testável, estabelecendo um protocolo de pesquisa registrado com falsificadores pré-especificados. A nova definição caracteriza o viés como a tendência sistemática dos modelos de substituir a estrutura do modo mostrado por rótulos de resumo abstratos (modo contado), em vez de meramente remover detalhes.
- O constructo é definido como a substituição da estrutura mostrada e reconstrutível pelo rótulo de resumo abstrato que nomeia seu conteúdo, favorecendo especificamente declarações "contadas" sobre pistas físicas "mostradas".
- O protocolo exige 20 pares correspondidos de estímulos escritos por humanos e avaliação por pelo menos três famílias de modelos usando juízes LLM.
- Um falsificador-chave foi estabelecido: se os modelos não mostrarem preferência pelo modo contado em comparação com os humanos (Cohen’s h ≥ 0,3 ou OR ≥ 2), o constructo será retirado.
- Verificações de discriminância foram incluídas para garantir que o viés seja dissociado da verbosidade e da sicolância, reexecutando testes com pares desequilibrados em comprimento e enquadramentos variados.
Bulut busca críticas ao design, especificamente sobre se o pareamento por comprimento separa suficientemente isso do viés de verbosidade e se o Índice de Informação Suprimida é o instrumento correto para medir a carga inferencial.