研究人员引入了图卷积注意力（GCA），这是一种利用输入图谱来解决图去噪中线性注意力局限性的机制。研究表明，标准线性注意力次优，因为它只能学习平均谱去噪滤波器，当图在分布上具有不同的谱特性时，该滤波器会失效。

  • GCA 通过图滤波查询和键实现谱去噪，其性能以由谱多样性决定的优势超越线性注意力。
  • 对于随机块模型，GCA 可证明地匹配理想化的谱注意力机制。
  • GCA 中的 softmax 操作通过将噪声特征向量近似投影到干净的特征空间，提供额外的去噪效果。
  • 用 GCA 替换线性注意力在合成和真实数据集上持续改善图去噪和扩散效果。
  • 在 DiGress 中，GCA 在不计算昂贵结构特征的情况下达到标准图变换器的性能。
  • 与 PEARL 位置编码结合使用时，GCA 避免了显式的特征分解计算，从而在不降低质量的前提下实现更快的推理。

作者认为这很重要，因为它提供了基于注意力的图去噪的原理性理解，并提供了在提升性能的同时降低计算成本的实用实现。