Pesquisadores apresentam um método para aprender e certificar mediadores de relatos contrafatuais que alinham os relatos de modelos de linguagem com suas crenças internas, impondo um contrato causal. Esta abordagem garante que os relatos permaneçam invariantes a influências proibidas, como pressão do usuário, enquanto permanecem responsivos a evidências licenciadas.

  • O estudo identifica causalmente coordenadas de relato de baixo posto para resposta, confiança e ressalva usando intervenções de troca em um benchmark de testemunhas bayesianas.
  • Uma pinça de coordenada de relato contrafactual (CRC) sem treinamento é introduzida para referenciar o relatório do modelo em um contexto neutralizado por incentivos.
  • No benchmark de testemunhas, a pinça de duas passagens alcança pontuações conjuntas de resistência e atualização de 1.00 com um intervalo de confiança de Wilson de 95% de [0.99, 1.00].
  • O mecanismo se reproduz em três famílias de modelos e é transferido para o benchmark de sico fanzia natural SycophancyEval.

A contribuição fornece invariância contrafactual de incentivos ao nível de ativação como um primitivo estrutural para compatibilidade interna de incentivos, oferecendo um método de certificação em vez de uma solução implantada.