Les chercheurs introduisent Graph Convolutional Attention (GCA), un mécanisme qui comble les limites de l'attention linéaire dans le débruitage de graphes en exploitant le spectre du graphe d'entrée. L'étude démontre que l'attention linéaire standard est sous-optimale car elle ne peut apprendre qu'un filtre de débruitage spectral moyen, ce qui échoue lorsque les graphes varient spectralement au sein d'une distribution.
- GCA implémente le débruitage spectral via des requêtes et des clés filtrées par graphe, surperformant théoriquement l'attention linéaire d'une marge gouvernée par la diversité spectrale.
- Pour les modèles de blocs stochastiques, GCA correspond théoriquement au mécanisme Spectral Attention idéalisé.
- L'opération softmax dans GCA fournit un débruitage supplémentaire en projetant approximativement les vecteurs propres bruités sur l'espace propre propre.
- Le remplacement de l'attention linéaire par GCA améliore constamment le débruitage et la diffusion des graphes sur les ensembles de données synthétiques et réels.
- Dans DiGress, GCA égale la performance du graph-transformer standard sans calculer de caractéristiques structurelles coûteuses.
- Combiné aux encodages positionnels PEARL, GCA évite les calculs explicites de décomposition en valeurs propres, résultant en une inférence plus rapide sans dégradation de la qualité.
Les auteurs considèrent cela important car cela fournit une compréhension principielle du débruitage de graphes basé sur l'attention et offre une réalisation pratique qui améliore les performances tout en réduisant les coûts computationnels.