Um estudo controlado descobre que, embora os grandes modelos de linguagem de última geração pareçam robustos ao contexto irrelevante para a tarefa em nível agregado, essa estabilidade mascara uma instabilidade significativa por exemplo. Antepor pseudo-palavras sem significado semântico às perguntas dos benchmarks causa mudanças marcadas nas previsões do modelo em uma pequena fração de exemplos.
- O efeito bidirecional degrada o desempenho em alguns exemplos enquanto o melhora em outros, mantendo-se consistentemente em uma ampla gama de modelos e conjuntos de dados.
- Os exemplos afetados são em grande parte específicos do modelo e a instabilidade é modulada pelo tipo de contexto, comprimento do contexto, computação no momento do teste e estágio de desenvolvimento do modelo.
Esses achados revelam riscos de cauda induzidos pelo contexto ocultos pela precisão agregada, motivando a avaliação da confiabilidade por exemplo em modelos de linguagem.