Um estudo revela que juízes baseados em grandes modelos de linguagem (LLM) tendem a ser excessivamente generosos ao avaliar respostas abertas em configurações sem referência, onde nenhuma resposta verdadeira é fornecida. A pesquisa demonstra que esses modelos frequentemente credenciam incorretamente respostas erradas e que seus julgamentos são altamente sensíveis à presença de informações de referência.
- Experimentos de calibração avaliaram o conhecimento do modelo juiz sobre a tarefa que estava sendo avaliada.
- Experimentos de sensibilidade mediram como o desempenho mudou com base na presença e posicionamento das respostas de referência.
- Em três idiomas, adicionar informações de resposta de referência inverteu decisões corretas/incorretas em até 85% em algumas configurações.
- Essas mudanças dirigidas por referências geralmente se alinharam com anotações humanas quando comparadas a um subconjunto delas.
Os autores enfatizam a necessidade de calibrar juízes LLM com amostras de avaliação conscientes da referência antes de usá-los de forma confiável em configurações sem referência.