Um estudo demonstra que modelos de linguagem de fronteira podem realizar computação consequential usando tokens de preenchimento semanticamente irrelevantes, criando um modo de falha em que o raciocínio não é visível na cadeia de pensamento de saída. A pesquisa avaliou 13 modelos em três tarefas e descobriu que muitos se beneficiam significativamente desses tokens, com melhorias de precisão de até 13 pontos percentuais.

  • Tokens de preenchimento permitem que o Claude Opus 4.5 satisfaça restrições de aritmética modular ocultas sem sacrificar a precisão da tarefa principal.
  • O aprendizado por reforço dá ao Qwen3-235B fortes preferências por conteúdo específico de tokens de preenchimento, mas nem o RL nem o ajuste fino supervisionado produzem benefícios que persistem no momento do teste.
  • O benefício de desempenho depende de quais tokens são usados e varia entre diferentes modelos.

Esses resultados indicam que os modelos de fronteira já realizam computação sem um traço interpretável em seus tokens de saída, demonstrando que o raciocínio invisível pode servir a objetivos totalmente invisíveis à monitoração da cadeia de pensamento.