Los investigadores presentan Graph Convolutional Attention (GCA), un mecanismo que aborda las limitaciones de la atención lineal en la eliminación de ruido en grafos al utilizar el espectro del grafo de entrada. El estudio demuestra que la atención lineal estándar es subóptima porque solo puede aprender un filtro de eliminación de ruido espectral promedio, lo cual falla cuando los grafos varían espectralmente a lo largo de una distribución.
- GCA implementa la eliminación de ruido espectral mediante consultas y claves filtradas por grafo, superando demostrablemente a la atención lineal en un margen gobernado por la diversidad espectral.
- Para modelos de bloques estocásticos, GCA coincide demostradamente con el mecanismo idealizado de Atención Espectral.
- La operación softmax en GCA proporciona eliminación adicional de ruido al proyectar aproximadamente los autovectores ruidosos sobre el espacio propio limpio.
- Reemplazar la atención lineal con GCA mejora consistentemente la eliminación de ruido y la difusión en grafos en conjuntos de datos sintéticos y reales.
- En DiGress, GCA iguala el rendimiento estándar del graph-transformer sin calcular características estructurales costosas.
- Combinado con codificaciones posicionales PEARL, GCA evita cálculos explícitos de descomposición espectral, lo que resulta en una inferencia más rápida sin degradar la calidad.
Los autores consideran esto importante porque proporciona una comprensión fundamentada de la eliminación de ruido en grafos basada en atención y ofrece una realización práctica que mejora el rendimiento mientras reduce los costos computacionales.