Независимый исследовательский проект LIMEN анализирует внутреннюю динамику семи моделей Transformer с открытым исходным кодом, выявляя, что семантическая неоднозначность изменяет геометрию траектории и обнаруживая универсальную динамическую грамматику во всех архитектурах.
- Неоднозначность существенно изменяет кривизну траектории и косинусное сходство, но не увеличивает глобальный хаос; вместо этого современные модели, такие как Phi-1.5 и Llama-3.2, откладывают принятие решений.
- Во всех протестированных моделях была выявлена универсальная грамматика из семи мотивов переходов, следующая схеме: Исследование (B) → Стабилизация/Обработка (A) → Решение (D).
Состояние A действует как сильный аттрактор с вероятностью самоперехода около 0.91, в то время как Phi-1.5 уникально поддерживает сложные осцилляции B↔A на протяжении всей глубины.
Эти выводы предполагают, что интеллект Transformer опирается на ограниченную геометрическую навигацию, подразумевая, что нарушения этой грамматики могут указывать на галлюцинации и позволять более точное динамическое управление.