Os autores introduzem o Epistemic Stance Flexibility Probing (ESFP), um benchmark comportamental projetado para medir quão bem os grandes modelos de linguagem distinguem entre prompts atribuídos externamente e aqueles autoatribuídos. O ESFP avalia essa capacidade em seis categorias epistêmicas usando 104 itens controlados, avaliando a autoatribuição léxica, a responsividade no nível de representação, a densidade do conteúdo da postura e a consistência entre condições.
- As avaliações de oito modelos de fronteira de cinco fornecedores mostram que a flexibilidade epistêmica é em grande parte ortogonal à capacidade geral do modelo.
- Um modelo de peso aberto de 27B igualou o desempenho dos sistemas proprietários mais fortes nesta métrica específica.
- O modelo principal de uma família teve desempenho inferior ao de sua contraparte leve, e os modelos otimizados para raciocínio não exibiram consistentemente maior flexibilidade.
- A densidade do conteúdo da postura forneceu o sinal mais forte para medir a flexibilidade, enquanto marcadores léxicos superficiais como 'eu acho' podem mudar sem deslocamentos correspondentes na postura expressa.
O ESFP mede a propensão de um modelo de adaptar sua postura epistêmica sob condições de atribuição em mudança, em vez de servir como uma medida geral de competência.