В данном исследовании представлены трансформеры на основе энергии в качестве новой меры для прогнозирования сложности чтения человеком, устанавливающей формальную связь между моделями трансформеров и литературой по ассоциативной памяти, такой как сети Хопфилда.
- Оценка проводилась на корпусах Natural Stories, UCL eye-tracking и UCL self-paced reading; мера энергии обеспечивает значимое улучшение аппроксимации по сравнению с мерой неожиданности (surprisal) во всех трёх наборах данных.
- В контролируемом эксперименте по обработке придаточных определительных мера энергии на одном слое фиксирует хорошо известную асимметрию между объектом и подлежащим.
- Имеются доказательства того, что мера энергии охватывает эффекты, обусловленные как энтропией внимания, так и мерой неожиданности (surprisal), что потенциально позволяет использовать её в качестве унифицированного предиктора.
Авторы считают это важным, поскольку предлагаемый подход даёт единый унифицированный предиктор сложности чтения, тогда как ранее требовалось несколько дополнительных взаимодополняющих мер.