Исследования показывают, что передовые модели, такие как DeepSeek V3 и Kimi K2, выполняют многоступенчатое рассуждение над лишенными смысла заполняющими токенами без видимого цепочечного мышления. Это создает предельный случай поведенческого упущения, когда поверхностные токены не несут информации о лежащем в основе процессе рассуждения.

  • Внимание маршрутизирует вопросы через области заполнения к ответам, при этом считывания logit-lens показывают извлечение фактов на ранних слоях и композицию на поздних слоях.
  • Трансплантация KV-cache в позициях заполнения причинно меняет местами выводы между примерами.
  • Ненадзорный конвейер декодирования восстанавливает промежуточные значения с точностью 80-95% для четырех семейств задач без меток ground-truth или обучения.

Полученные результаты указывают на то, что наблюдаемость является свойством полного вычислительного следа модели, а не только ее поверхностных токенов.