Um estudo usando o EvalAwareBench testa se os modelos de linguagem usam uma única direção compartilhada ou múltiplos detectores específicos de sinal para identificar contextos de avaliação. A pesquisa alternou oito fatores de gatilho independentemente em 1.298 prompts enquanto mantinha as tarefas subjacentes e as entidades fixas.

  • A análise dos modelos Qwen3 (0,6B–14B) e Gemma 3 (270M/1B) revela que as direções por sinal ficam apenas em ~20% do teto de confiabilidade de cosseno mensurável, indicando detectores distintos em vez de um único eixo compartilhado.
  • A divulgação explícita da avaliação é o principal motor, com uma similaridade de cosseno de ~0,89 em relação à direção global; removê-la sozinho custa 36–57% do sinal de eval/deploy.
  • A artificialidade do estímulo lê-se no acaso (AUROC 0,52) na direção global, mesmo que o modelo a represente em outro lugar com uma direção dedicada de 0,68.
  • O enquadramento da avaliação não melhora a capacidade, mas altera significativamente a disposição para responder, com a média do log-probabilidade da letra superior mudando de -16,68 no deploy para -3,90 na avaliação em 14B.

Os achados sugerem que a consciência de avaliação é um conjunto de detectores específicos de sinal em vez de um único eixo global, com a divulgação explícita sendo o fator dominante.