Полное исследование показывает, что синусоидальные позиционные коды сохраняют функциональную эквивалентность в трансформерах, в то время как вращательные позиционные коды снижают симметрию, повышая выразительность. Исследование показывает, что позиционные коды критически влияют на линейную связность режима, и эмпирические результаты демонстрируют вариабельность в связности в зависимости от используемого кода.
Функциональная эквивалентность в внимании с позиционными кодами
Переведено с English → Русский