연구자들은 입력 그래프 스펙트럼을 활용하여 그래프 디노이징에서 선형 어텐션의 한계를 해결하는 메커니즘인 Graph Convolutional Attention (GCA)를 소개한다. 본 연구는 표준 선형 어텐션이 평균 스펙트럴 디노이징 필터만 학습할 수 있어 최적이지 않으며, 그래프가 분포 전반에 걸쳐 스펙트럴 특성이 변할 때 실패함을 보여준다.

  • GCA는 그래프 필터링된 쿼리와 키를 통해 스펙트럴 디노이징을 구현하며, 스펙트럴 다양성에 의해 결정되는 마진으로 선형 어텐션을 이론적으로 상회한다.
  • 확률적 블록 모델(stochastic block models)에서 GCA는 이상화된 Spectral Attention 메커니즘과 이론적으로 일치한다.
  • GCA의 softmax 연산은 노이즈 있는 고유 벡터를 깨끗한 고유 공간에 근사 투영하여 추가적인 디노이징을 제공한다.
  • 선형 어텐션을 GCA로 교체하는 것은 합성 및 실제 데이터셋 모두에서 그래프 디노이징과 확산 성능을 일관되게 향상시킨다.
  • DiGress에서 GCA는 비싼 구조적 특징량을 계산하지 않고도 표준 graph-transformer 성능에 맞먹는다.
  • PEARL 위치 인코딩과 결합하면 GCA는 명시적인 고유분해 계산을 피하여 품질 저하 없이 더 빠른 추론을 가능하게 한다.

저자들은 이것이 중요하다고 보는데, 이는 어텐션 기반 그래프 디노이징에 대한 원리적이고 이론적인 이해를 제공하고 성능을 향상시키면서 계산 비용을 줄이는 실용적인 구현을 제공하기 때문이다.