Um estudo desafia a suposição de que as respostas aos prompts refletem confiavelmente os valores de um modelo, comparando como os grandes modelos de linguagem lidam com consultas objetivas versus subjetivas. Os pesquisadores avaliaram quatro famílias de modelos ajustados por instrução em três conjuntos de dados objetivos (MMLU, ARC, CulturalBench) e três conjuntos de dados subjetivos (Political Compass Test, ValueBench, World Values Survey). Ao aplicar várias alterações de prompt a cada pergunta, eles mediram se os modelos mantinham respostas consistentes entre as variantes.
- Efeitos significativos foram encontrados para o modelo, o conjunto de dados, a categoria do prompt e suas interações usando equações generalizadas de estimação binomial.
- A interação entre o tipo de conjunto de dados e a categoria do prompt foi particularmente grande, indicando que a robustez varia significativamente com base na natureza da pergunta.
- Os resultados demonstram que a robustez do prompt não é uniforme, mas depende fortemente do tipo específico de pergunta, do tipo de alteração de prompt aplicada e da arquitetura do modelo.
Esses achados sugerem que avaliações no estilo de pesquisa que tratam as respostas como evidência de valores políticos ou atitudes sociais são frágeis, pois a consistência não pode ser assumida entre diferentes tipos de perguntas.