Um estudo controlado com 162 participantes demonstra que as avaliações dos usuários de modelos de linguagem grandes são impulsionadas principalmente pelo enquadramento pré-interação, em vez da verdadeira capacidade do modelo. Os participantes foram informados de que seu modelo era de ponta, mais antigo ou mais fraco do que realmente era, o que deslocou significativamente suas opiniões e comportamentos de interação apesar do desempenho subjacente idêntico.
- Usuários superestimados avaliaram o modelo de forma mais favorável e usaram prompting mais diretivo.
- Usuários subestimados escreveram prompts mais longos e mais colaborativos.
- A qualidade da saída co-criada dependeu apenas da verdadeira capacidade do modelo, não do que foi dito aos usuários.
- As mudanças nas impressões dos usuários foram previstas por se o modelo atendeu às expectativas e à confiança do usuário, não pelo desempenho da tarefa.
Os achados sugerem que as avaliações de LLM solicitadas pelo usuário, incluindo dados de preferência usados para leaderboards públicos, medem a gestão de expectativas tanto quanto o próprio modelo.