Исследователи представляют Графовое свёрточное внимание (GCA), механизм, который устраняет ограничения линейного внимания в задаче очистки графов за счёт использования спектра входного графа. В работе показано, что стандартное линейное внимание является неоптимальным, поскольку оно способно выучить лишь усреднённый спектральный фильтр очистки, что оказывается недостаточным при изменении спектра графов в рамках распределения.
- GCA реализует спектральную очистку с помощью фильтрованных по графу запросов и ключей, доказуемо превосходя линейное внимание на величину, определяемую спектральным разнообразием.
- Для стохастических блочных моделей GCA доказуемо совпадает с идеализированным механизмом Spectral Attention.
- Операция softmax в GCA обеспечивает дополнительную очистку за счёт приблизительно проективного преобразования зашумлённых собственных векторов на чистое собственное подпространство.
- Замена линейного внимания на GCA последовательно улучшает очистку графов и диффузию на синтетических и реальных наборах данных.
- В DiGress GCA достигает производительности стандартного graph-transformer без вычисления дорогостоящих структурных признаков.
- В сочетании с позиционными кодировками PEARL GCA избегает явных вычислений собственноразложения, что приводит к более быстрому выводу без ухудшения качества.
Авторы считают это важным, поскольку подход обеспечивает принципиально обоснованное понимание внимания для очистки графов и предлагает практическую реализацию, которая повышает производительность при одновременном снижении вычислительных затрат.