Новый препринт анализирует динамику скрытых состояний в восьми локально проинструментированных небольших открытых трансформерных моделях, чтобы определить, следуют ли внутренние репрезентации структурированной прогрессии во время вывода. Исследование проводит различие между изменениями, происходящими по глубине модели, и теми, которые развиваются во времени авторегрессионной генерации.

  • Локальная упорядоченность по глубине модели была значительно более структурированной, чем случайные перестановки (p = 0.00019996), и сохранялась во всех проверках с исключением одной модели.
  • Профили глубины между моделями показали высокую согласованность со средней корреляцией около r = 0.789.
  • Функционально помеченные события статистически ассоциировались с нормализованной глубиной слоя (p = 0.0024).
  • Ранее наблюдаемый общий временной паттерн не удалось воспроизвести в расширенной панели, выдержав 0/8 проверок с исключением одной модели.
  • Модели со схожими функциональными результатами или из одного семейства архитектур не показали значительного структурного сходства.

Результаты указывают на то, что вывод трансформеров содержит воспроизводимую структуру вдоль глубины, оставаясь при этом сильно условным во времени и поведению, что ставит под сомнение идею универсальной временной динамики.