Pesquisadores introduzem a Atenção de Convolução em Grafos (GCA), um mecanismo que aborda as limitações da atenção linear na remoção de ruído em grafos ao utilizar o espectro do grafo de entrada. O estudo demonstra que a atenção linear padrão é subótima porque só pode aprender um filtro de remoção de ruído espectral médio, o que falha quando os grafos variam espectralmente ao longo de uma distribuição.
- A GCA implementa a remoção de ruído espectral por meio de consultas e chaves filtradas por grafo, superando provadamente a atenção linear por uma margem governada pela diversidade espectral.
- Para modelos de bloco estocástico, a GCA provadamente corresponde ao mecanismo idealizado de Atenção Espectral.
- A operação softmax na GCA fornece remoção adicional de ruído ao projetar aproximadamente autovetores ruidosos no espaço próprio limpo.
- Substituir a atenção linear pela GCA melhora consistentemente a remoção de ruído em grafos e a difusão em conjuntos de dados sintéticos e reais.
- No DiGress, a GCA iguala o desempenho do grafo-transformer padrão sem calcular características estruturais custosas.
- Combinada com codificações posicionais PEARL, a GCA evita cálculos explícitos de decomposição espectral, resultando em inferência mais rápida sem degradar a qualidade.
Os autores consideram isso importante porque fornece uma compreensão fundamentada da remoção de ruído em grafos baseada em atenção e oferece uma realização prática que melhora o desempenho enquanto reduz os custos computacionais.