La investigación revela que los modelos de vanguardia como DeepSeek V3 y Kimi K2 realizan razonamiento en múltiples pasos sobre tokens relleno sin contenido visible, sin cadena de pensamiento visible. Esto crea un caso límite de omisión conductual donde los tokens superficiales no llevan información sobre el razonamiento subyacente.

  • La atención enruta las preguntas a través de regiones de relleno hacia las respuestas, con lecturas de logit-lens que muestran recuperación de hechos en capas tempranas y composición en capas tardías.
  • Los trasplantes de KV-cache en posiciones de relleno intercambian causalmente las salidas entre ejemplos.
  • Una canalización de decodificación no supervisada recupera valores intermedios con una precisión del 80-95% en cuatro familias de tareas sin etiquetas ground-truth ni entrenamiento.

Los hallazgos sugieren que la monitorabilidad es una propiedad del rastro computacional completo del modelo y no solo de sus tokens superficiales.