Экспериментальная система отображает траекторию скрытых состояний в TinyLlama во время генерации для создания инструмента наблюдаемости во время выполнения. Путем кластеризации таких метрик, как норма, кривизна и энтропия, система выявляет повторяющиеся динамические области, а не семантическое содержание.
- Карта аттракторов отслеживает, где траектории проводят время и как они переходят между режимами.
- Сегментация траекторий автоматически обнаруживает изменения в динамике выполнения без предположения о фиксированных этапах рассуждений.
- Экспериментальные вмешательства, такие как ортогональные вращения и коррекции, направленные DTW, успешно изменяют статистику траекторий.
- Однако изменение геометрии не гарантирует улучшения рассуждений или семантической корректности.
Работа приходит к выводу, что, хотя наблюдение за динамикой скрытых состояний осуществимо, их контроль остается открытой проблемой, поскольку стабильность во время выполнения не означает правильных ответов.