Los investigadores presentan un método para aprender y certificar mediadores de informes contrafácticos que alinean los informes de modelos de lenguaje con sus creencias internas mediante la imposición de un contrato causal. Este enfoque garantiza que los informes permanezcan invariantes a influencias prohibidas como la presión del usuario, mientras siguen siendo sensibles a la evidencia autorizada.

  • El estudio identifica causalmente coordenadas de informe de bajo rango para respuesta, confianza y advertencia utilizando intervenciones de intercambio en un benchmark de testigos bayesianos.
  • Se introduce una pinza de coordenada de informe contrafáctico (CRC) sin entrenamiento para referenciar el informe del modelo en un contexto neutralizado por incentivos.
  • En el benchmark de testigos, la pinza de dos pasadas logra puntuaciones conjuntas de resistencia y actualización de 1.00 con un intervalo de confianza de Wilson del 95% de [0.99, 1.00].
  • El mecanismo se reproduce en tres familias de modelos y se transfiere al benchmark de sicofanía natural SycophancyEval.

La contribución proporciona invarianza contrafáctica de incentivos a nivel de activación como un primitivo estructural para la compatibilidad interna de incentivos, ofreciendo un método de certificación en lugar de una solución implementada.