关键词:
图变分自编码器
图嵌入
网络表示
摘要:
图数据结构是一种通过节点建模数据点和通过边建模节点之间的关系的数据结构,是一种非欧几里得数据,广泛应用于现实生活中,如社交网络、知识地图、复杂文件系统、生物分子网络等。随着图神经网络(GNNs)在非欧几里得数据上的成功,一些基于GNN的网络表示学习方法蓬勃发展。图网络表示学习方法的兴起同时又促进了图嵌入技术的发展,图嵌入技术旨在将网络中的节点表示成低维、实值、稠密的向量形式,使得得到的向量形式可以在向量空间中具有表示以及推理的能力。传统的图嵌入方法是基于监督学习的,由于现实生活中的图数据结构的复杂性,以及许多数据标签往往具有较高的采集阈值,因此研究图数据结构中的无监督学习方法具有重要的现实意义。图自编码器(GAE)和图变分自编码器(VGAE)是一种广泛用于学习基于图数据结构的网络表示的无监督学习框架,它充分结合了贝叶斯方法和神经网络以至于获得巨大成功。图嵌入技术所生成的低维度向量在图变分自编码器中也可以被称作潜在嵌入。潜在嵌入可以代表原始图的网络表示,主要包括潜在嵌入的节点拓扑表示和潜在嵌入的节点特征表示,也就是代表原始图的邻接矩阵和节点特征。潜在嵌入可以被用做机器模型的输入运用到实际应用中,如链路预测、节点聚类、可视化等。尽管图变分自编码器展示出了良好的性能,但是其在网络表示应用上的性能和扩展性都有很大的提升空间,本文从网络表示优化的角度出发对图变分自编码器进行改进,主要工作包含以下内容:
1)针对节点拓扑表示的优化,本文提出了一种基于对抗性学习的残差归一化图变分自编码器(ARVGNA),本模型从提升节点潜在嵌入表示和模型鲁棒性的角度出发,首先引入了一个残差网络来增强原始数据的信息传递,解决原始数据表示较弱的问题,使用2归一化的方式可以缓解可能存在孤立节点的问题,并添加了对抗网络和对抗训练模块来增强模型鲁棒性。实验结果表明在拓扑表示相关任务中表现优异,同时在鲁棒性抗干扰能力上性能优异。
2)针对节点特征表示的优化,本文提出了一种基于对抗性网络和双解码器的频率自适应图变分自编码器(ADFGA),本文首先从优化解码器的角度出发,不同于其他任务的单解码器只能利用到潜在嵌入所隐含的拓扑表示重构原始图邻接矩阵,本文使用双解码器联合优化,双编码器不仅可以利用拓扑表示,还可以利用到潜在嵌入所隐含的特征表示重构原始图节点特征,可以更加充分地挖掘原始图信息,使得得到的潜在嵌入表示能力更强,同时双解码器还具有更好的泛化性和容错性等优势。大多数VGAE变体的编码器只关注于低频信息,针对这一特点,我们增加了频率自适应模块,可以在消息传递过程中自适应地集成不同频率的信号以增强潜在嵌入表示,相比于ARVGNA,我们只使用了对抗网络模块来增强模型鲁棒性。实验结果表明在特征表示相关任务中表现优异。