Pesquisas revelam que modelos de ponta como DeepSeek V3 e Kimi K2 realizam raciocínio em múltiplos passos sobre tokens de preenchimento sem conteúdo, sem corrente de pensamento visível. Isso cria um caso limite de supervisão comportamental onde os tokens superficiais não carregam informação sobre o raciocínio subjacente.

  • A atenção roteia perguntas através de regiões de preenchimento para respostas, com leituras de logit-lens mostrando recuperação de fatos em camadas iniciais e composição em camadas finais.
  • Transplantes de KV-cache em posições de preenchimento trocam causalmente as saídas entre exemplos.
  • Um pipeline de decodificação não supervisionado recupera valores intermediários com precisão de 80-95% em quatro famílias de tarefas sem rótulos ground-truth ou treinamento.

As descobertas sugerem que a monitorabilidade é uma propriedade do rastro computacional completo do modelo, e não apenas de seus tokens superficiais.