南京大学学报(自然科学), 2024, 60(3): 383-395 doi: 10.13232/j.cnki.jnju.2024.03.003

基于多视图对比学习的动态图链接预测方法

焦鹏飞1, 吴子安2, 刘欢2, 张纪林,3, 万健4

1.杭州电子科技大学网络安全学院,杭州,310018

2.杭州电子科技大学计算机学院,杭州,310018

3.数据安全治理浙江省工程研究中心,杭州,310018

4.浙江科技学院,杭州,310023

Dynamic graph link prediction based on multi⁃view contrastive learning

Jiao Pengfei1, Wu Zian2, Liu Huan2, Zhang Jilin,3, Wan Jian4

1.School of Cyberspace, Hangzhou Dianzi University, Hangzhou, 310018, China

2.School of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou, 310018, China

3.Data Security Governance" Provincial Engineering Research Center, Hangzhou, 310018, China

4.Zhejiang University of Science and Technology, Hangzhou, 310023, China

通讯作者: E⁃mail:jilin.zhang@hdu.edu.cn

收稿日期: 2023-09-27  

基金资助: 国家自然科学基金.  62372146
浙江省属高校基本科研业务费专项.  GK229909299001⁃008
之江实验室开放课题.  K2022QA0AB01
广东省哲学社会科学规划2020年度青年项目.  GD20YGL15

Received: 2023-09-27  

摘要

链接预测旨在推断网络中缺失的边或预测未来可能出现的边.先前的链接预测研究主要集中在处理静态网络上,其目标是预测已知网络中缺失的边,然而,现实世界中许多复杂网络通常是动态变化的,使得动态网络中的链接预测任务往往比静态网络中更为复杂和困难.近年来,基于动态图表示学习的链接预测方法已经展现较好的结果,这类方法利用动态图表示学习方法学习节点的嵌入表示,以捕捉网络的结构和演化信息,从而在动态网络中实现有效的链接预测.现有方法主要采用循环神经网络或自注意力机制作为神经网络架构的组件,通过时间序列网络学习动态网络的演化信息,然而,动态网络的多样性和演化模式的可变性对基于复杂时序网络的方法提出挑战.这些方法可能很难适应不同动态网络中不断发展的演化模式,同时,在图表示学习领域,图对比学习因为其强大的自监督学习能力受到广泛关注,但是现有方法大多针对静态图,对于动态图的研究较少.为了解决上述问题,提出一种动态网络多视图对比学习的链接预测方法,不依赖额外的时序网络参数,实现动态网络的表示学习和链接预测.该方法将动态网络快照视为网络的多个视图,摆脱对比学习对数据增强的依赖.通过构建包含网络结构、节点演化以及拓扑演化三个视图的对比学习目标函数,挖掘快照内网络结构、快照间节点和网络高阶结构的演化模式学习节点表示,实现链接预测任务.最后,在多个真实数据集上进行了多类动态链接预测实验,实验结果显著优于所有基线方法,验证了所提方法的有效性.

关键词: 链接预测 ; 对比学习 ; 图表示学习 ; 动态网络 ; 动态图嵌入

Abstract

Link prediction aims to infer missing edges in the network or predict possible future edges. Previous research on link prediction has mainly focused on dealing with static networks,to predict missing edges in known networks. However,most complex networks in the real world are dynamically changing,which often makes its link prediction more complex and difficult. In recent years,methods in link prediction based on dynamic graph representation learning have shown promising results. Such methods utilize dynamic graph representation learning methods to learn node representations to capture the structure and evolution information of the network for efficient link prediction. Existing methods mainly adopt recurrent neural network (RNN) or self⁃attention mechanism (SAM) as the components of neural network architecture,and learn the evolution information of dynamic networks through temporal networks. However,the diversity of dynamic networks and the variability of evolution patterns pose challenges to the methods based on complex temporal networks. It is difficult for these methods to adapt to the evolving evolutionary patterns in different dynamic networks. At the same time,in graph representation learning,contrastive learning has attracted extensive attention because of its powerful self⁃supervised learning ability. However,most existing methods are focused on static graphs,and few studies on dynamic graphs. To solve the above problems,this paper proposes a link prediction method based on multi⁃view contrastive learning for dynamic networks,which realizes representation learning and link prediction of dynamic networks without relying on additional temporal network parameters. Specifically,the method treats dynamic network snapshots as multiple views of the network,thereby getting rid of the dependence of contrastive learning on data augmentation. Then,we construct contrastive learning objectives including three views of network structure,node evolution,and topology evolution to mine network structure,the evolution patterns of nodes and high⁃level structure to learn node representations,ultimately realizing link prediction tasks. Finally,we conduct dynamic link prediction experiments on multiple real datasets,and the experimental results significantly outperform all the baseline methods,verifying the effectiveness of the proposed method.

Keywords: link prediction ; contrastive learning ; graph representation learning ; dynamic networks ; dynamic graph embedding

PDF (949KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

焦鹏飞, 吴子安, 刘欢, 张纪林, 万健. 基于多视图对比学习的动态图链接预测方法. 南京大学学报(自然科学)[J], 2024, 60(3): 383-395 doi:10.13232/j.cnki.jnju.2024.03.003

Jiao Pengfei, Wu Zian, Liu Huan, Zhang Jilin, Wan Jian. Dynamic graph link prediction based on multi⁃view contrastive learning. Journal of nanjing University[J], 2024, 60(3): 383-395 doi:10.13232/j.cnki.jnju.2024.03.003

链接预测1-3是网络中的一项基本任务,根据已知的网络拓扑结构和节点属性信息,预测网络中缺失的边或未来出现边的可能性.通过链接预测,研究者可以推断网络中节点之间的潜在连接关系,挖掘网络拓扑的结构模式,进一步探索网络结构的演化规律.因此,链接预测在不同领域得到广泛的应用,例如预测社交网络中用户之间的关系4-5、推断蛋白质网络的相互作用关系6-8、发现推荐系统中用户的商品倾向等具体应用9.以往的链接预测相关研究主要集中在处理静态网络中的链接预测810,即预测已知网络中缺失的边.然而,现实世界中大多数复杂网络,例如社交网络,都是动态变化的,会随着时间的推移不断发展,动态网络中的节点和边会随时间出现或消失,这些变化被定期记录为独立的网络快照.由于动态网络在演化信息学习方面的挑战,动态网络中的链接预测比静态网络中更为困难.同时,由于动态网络具有时间特征,链接预测在该类网络中呈现更加复杂的情况.根据实际需求的不同,动态网络链接预测任务可分为三种主要类型11,包括已知边检测、未知边预测和新边发现.已知边检测任务旨在基于部分当前网络快照中的边信息预测当前网络快照中缺失的边.未知边预测任务则是针对下一个网络快照,根据历史网络的信息预测未知网络快照中的边.新边发现任务旨在识别当前网络快照中不存在的且在下一个快照中生成的新边.已知边检测、未知边预测和新边发现三类任务针对不同的研究目标和应用需求,为动态网络链接预测问题提供了具体的任务定义和解决方法.

学术界已经对动态网络链接预测进行了一定的研究,其中基于动态图表示学习的方法取得了较好的结果11-14,受到广泛关注.这类方法利用动态图表示学习方法学习节点和边的嵌入表示,以捕捉网络的结构和演化信息,实现链接预测任务.通常,这类方法基于图神经网络(Graph Neural Networks,GNNs)或其变体,通过将动态网络建模为多个网络快照,并使用图嵌入方法学习每个快照上节点的表示.现有的工作主要基于两类时序网络建模方法作为模型组件来设计神经网络架构.第一类方法是基于循环神经网络(Recurrent Neural Networks,RNN)15-16.RNN是一种用于处理序列数据的神经网络模型,通过在网络的隐藏层之间传递信息以建立记忆和上下文关系,网络可以捕捉序列数据中的时间依赖关系.这类方法主要采用静态图嵌入模型学习每个快照上节点的初始表示,保留当前快照的网络拓扑和语义信息,然后将同一节点在多个快照上的表示作为RNN模型的输入,或者用RNN模型更新模型的部分参数,得到最终的节点表示进行链接预测.然而,由于RNN模型本身的限制,这类方法无法有效捕获动态网络中的长时间依赖关系.第二类方法是采用自注意力机制(Self⁃Attention Mechanism,SAM)17来捕获时序信息.自注意力机制使模型能考虑同一节点在所有快照中的表示,并根据节点表示之间的相关性分配权重,在捕捉长距离依赖关系的同时,学习历史时间序列中节点表示对当前节点的重要性.这两类方法都采用了神经网络来学习动态网络的演化过程,使用大量可学习的参数来拟合网络快照间节点表示的变化.然而,在现实世界中,不同复杂网络系统的演化模式往往是多样的,并且演化模式会随着时间发生变化.这需要RNN或SAM在训练过程中不断学习和发现各类复杂动态网络中变化的时间依赖关系,这样的要求相对苛刻.不同的时序网络架构设计可能对具有特定规律的节点变化更加敏感.然而,将这些方法应用于其他演化模式的动态网络时,由于可能无法准确捕捉时间依赖关系,模型性能下降.

近年来,图表示学习领域图对比学习18强大的自监督学习能力受到研究人员的广泛关注,将图对比学习运用于动态图链接预测是非常有潜力的研究方向.图对比学习采用一种或者多种数据增强策略,例如删除或者增加部分边、遮盖部分节点特征等方式,构建同一网络的多个视图.然后,基于多个网络视图选择正样本对和负样本对,在嵌入空间中拉近正样本,推远负样本,从而挖掘图数据中丰富的语义信息和相互关联.但是,现有的研究主要集中在静态图上,对于动态图的相关研究较少.同时,图对比学习方法高度依赖于生成视图的质量,数据增强策略的选择会对节点表示的质量产生很大的影响.

综上,目前的方法存在以下问题:(1)现有基于动态图表示学习的链接预测方法依赖复杂时序网络学习时间信息,无法有效地学习各类动态网络中多变的演化模式;(2)现有的图对比学习方法主要集中在静态图,对动态图的研究较少.为了解决这两个问题,本文提出一种多视图对比学习的动态网络链接预测方法,实现了不借助额外的时序网络参数,仅利用动态网络数据自身特性,学习动态网络节点表示,实现链接预测.首先,将动态网络快照视为网络的多个视图,摆脱对比学习对数据增强的依赖;然后从节点级、快照间及快照间高阶结构三个角度构建对比学习目标函数,拉近多个视图的正样本,推远负样本,以此学习节点表示.该模型用对比学习代替RNN或者SAM等方法学习时间依赖关系,避免了练时序神经网络学习网络演化模式,降低了复杂网络演化模式复杂性和可变性的影响,以更直观的方法捕获动态网络时间依赖关系.具体地,对于每个快照,该模型采用两层图卷积神经网络(Graph Convolutional Network,GCN)作为编码器学习节点表示,将相邻节点作为正样本,随机采样节点作为负样本,学习快照内部的网络结构信息和节点的语义信息.其次,将在多个快照的同一节点作为正样本,其他节点为负样本,对齐多个快照中节点的表示,学习节点的时间信息.为了挖掘动态网络高阶结构的演化规律,采样聚类算法发现每个快照网络社区,生成节点伪标签.然后,节点在每个网络快照社区的中心向量作为正样本对,其余社区的中心向量作为负样本对,学习社区演化规律和节点与社区之间的作用关系.最后将三个对比损失相加,联合优化训练模型.基于训练完成后的节点表示,实现链接预测任务.在多个真实数据集中进行三类链接预测任务,实验结果证明本文提出的模型可行且有效.本文的贡献如下.

(1)提出面向动态网络的对比学习方法学习时序信息,避免用额外的参数去学习动态演化过程,通过设计网络快照间节点级别和高阶结构的对比学习方法挖掘动态网络演化规律.

(2)提出一种基于多视图对比学习的动态网络链接预测方法,学习快照内网络拓扑信息和节点语义特征,通过挖掘网络节点和社区结构演化关系以及节点与社区结构关系,实现模型预测性能的提升.

(3)在多个真实数据集中进行三类动态网络链接预测任务,实验结果表示本文提出的模型可以有效地提高任务性能.

1 相关工作

本文主要介绍基于动态图表示学习的链接预测的研究工作,根据建模时序关系技术不同,主要分为基于RNN和SAM的方法,并且将对比学习的研究现状进行介绍和总结.

1.1 基于动态网络图学习的链接预测方法

基于动态图表示学习的链接预测方法通过动态图表示学习技术,学习节点在不同时间步或状态下的表示预测网络中节点之间的链接.该方法融合了图表示学习和时间序列分析的思想,能够有效地捕捉网络结构的时序演化和动态变化.具体地,首先将网络建模为动态网络快照,通过图神经网络学习节点在每个快照上的低维表示,同一节点在多个网络快照上的不同表示代表在时间维度上的演化,然后利用时序网络模型对节点的演化特征进行学习和抽取,以捕捉节点之间的时序依赖关系.根据如何建模动态网络时序信息,现有研究主要为基于RNN和SAM的方法.基于RNN的方法利用循环结构来捕捉节点之间的时序关系,通过对节点的历史状态进行建模,预测未来的链接,RNN可以自适应地学习节点的演化模式和链接出现的规律.GCRN (Graph Convolutional Recurrent Network)19结合LSTM (Long Short⁃Term Memory)和卷积操作学习节点表示,有两种变体:堆叠型和图卷积型.堆叠型将CNN层和LSTM层堆叠,分别用于提取快照内的节点特征和捕获节点随时间变化的行为.图卷积型使用图卷积运算替代LSTM15中的矩阵乘积运算.Dyngraph2vec14采用自编码器架构,在编码和解码过程中结合LSTM学习网络演化信息,通过解码器来预测未来网络快照.为了建模动态网络在演化过程中节点的不确定性,VGRNN11引入变分图自编码器来学习节点表示的分布,通过GCRN根据历史信息获取节点在时间维度的潜在表示,生成当前网络节点的先验分布.VGRNN假设生成的分布服从高斯分布,然而复杂动态图的分布通常没有明确的函数形式.VGRNN结合随机状态来更新迭代过程中的确定性状态,噪声信息在一定程度上影响学习的确定性状态.为了解决上述问题,SGRNN20将随机状态和确定性状态进行解耦,抑制迭代过程中两者之间的相互推断,通过将先验分布和后验分布设置为半隐式分布,提高潜在变量的灵活性.上述方法通常是先学习节点嵌入并使用RNN来调节嵌入和学习网络动态信息,需要节点在整个时间跨度内的信息(包括训练集和测试集),这对节点集频繁变化的情况不太适用.在一些极端情况下,不同时间段的节点集可能完全不同.为了解决这个问题,EvolveGCN13使用RNN演化GCN的参数,以捕获图序列的动态信息,避免了模型无法学习动态网络中消失或出现的节点的问题.由于RNN在学习历史信息的过程中,只能维持有限的历史信息,并且存在顺序依赖,较早时间步的信息会逐渐被淡忘,模型难以捕捉较远的上下文依赖,限制了基于RNN的方法在链接预测任务中的性能.

为了解决上述问题,部分方法提出通过SAM学习历史信息,SAM可以从所有过去的图快照中提取上下文,充分考虑同一节点在多个动态网络快照中的关系和重要性,灵活地适应不同数据特征和演化模式,有效地捕获节点长距离的时间依赖关系.DySAT12通过在邻域结构和时间动态两个维度的联合注意力机制来学习动态网络表示,结构注意力通过自注意力聚合机制从每个快照中的本地节点邻域中提取特征,而时间注意力通过灵活地加权历史表示来捕获多个时间步上的图演化.Huang et al21认为大多数图表示学习方法无法利用节点的高阶邻近性来捕获网络拓扑的重要属性,同时处理时间信息时粒度太细使得模型容易受到噪声的影响,因此提出了增强型超图神经网络框架HyperDNE,引入线图神经网络,展现了集群感知的高阶接近度,在节点级和超边级使用多重注意力机制,实现了对不同潜在子空间的联合关注,并且保持了动态网络的一致性,实现了基于超图建模的网络表示在动态链接预测任务中性能的提升.Zhang et al22认为网络在演化过程中时空分布会随时间发生变化,提出基于解耦干预的动态图注意网络DIDA,通过发现和利用不变模式(即在分布变化中稳定的结构和特征)来处理动态图中的时空分布变化.具体地,DIDA使用注意力网络来解耦动态网络中不变和变化模式,然后提出时空干预机制,通过跨邻域和时间戳采样和重新组装变化模式来创建多个干预分布,消除变化模式造成的负面影响,最后,通过不变性正则化项来最小化干预分布中的预测方差,实现基于具有稳定预测能力的不变模式进行预测.此外,HTGN23同时使用RNN和SAM来学习动态网络顺序依赖和长距离依赖,它在双曲空间中通过SAM学习历史信息生成上下文,通过RNN模块接收当前时刻的顺序输入和SAM获得的隐状态输入,最终得到当前时刻的节点表示.

现有方法旨在通过复杂的时序网络来挖掘动态网络中节点的时间依赖关系.然而,在现实生活中,不同的动态网络呈现出各种演化模式,并且这些演化模式会随着时间的推移不断发展.因此,动态网络的多样性和演化模式的可变性可能导致现有方法无法有效捕捉网络的演化信息,导致链接预测的不准确性.

1.2 图对比学习

图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI24是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL25通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE18挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失26,因此,Zhu et al27对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al28提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al29对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al30认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al31通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al32在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al33提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al34通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展33,对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC34将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能.

2 相关定义和问题描述

本节主要对基本概念及问题定义进行梳理,并给出了基于动态图表示学习的链接预测形式化描述.表1是对本文常用的符号表示及其意义进行的汇总,并作简要说明.

表1   符号与解释

Table 1  Notations and definitions

符号含义
G动态网络
Gtt时刻的动态网络快照
Vt,Ett时刻节点和边的集合
N节点数
Mtt时刻边的数量
T快照数
Att时刻的邻接矩阵
Xtt时刻的特征矩阵
d嵌入维度
Ztt时刻的节点表示矩阵
Ctt时刻的社区中心矩阵
K社区数量

新窗口打开| 下载CSV


动态图网络可以被描述为一个快照序列𝒢=G1,G2,,GT,其中Gt=Vt,Et,表示时间t的快照,动态网络𝒢的快照数量为T,节点数为N.每个快照Gt包含节点集合Vt和边集合Et,t时刻边的数量记为Mt.在每个时间步t,网络的拓扑结构由邻接矩阵At表示,Aijtt时刻节点i和节点j之间存在边.动态图网络还包含节点的特征信息,Xt表示网络中节点在时间t的特征矩阵.Xt的每一行对应网络中的一个节点,每一列代表一个具体的属性.在动态图网络中,网络拓扑结构以及节点的特征都会随着时间的推移而发生变化.

动态图表示学习旨在构造一个映射函数,将高维的动态图数据映射到低维空间中.该函数接收高维的动态图数据𝒢作为输入,充分利用每个快照中的网络信息和动态演化信息来学习节点的低维节点表示Z,学习到的节点表示可以揭示动态网络中节点的时空特征和演化规律,进而在动态网络中进行链接预测、社区发现、节点分类等任务,深入理解网络的演化过程和节点的行为模式.具体地,给定一个动态图网络𝒢,通过映射函数f:GRN×d,将动态网络映射到低维空间中,学习节点的低维表示ZRN×d,其中d表示节点嵌入的维度.

基于动态图表示学习的链接预测是利用动态图表示学习方法来预测动态网络中缺失的边或者预测未来可能出现的边.首先,通过动态图表示学习方法捕捉网络的结构信息和时间依赖关系以及节点之间的相似性和关联信息.根据学习到动态网络T时刻节点表示矩阵ZT,训练一个判别模型进行链接预测.对于任意两个节点i和节点j,通过节点表示ziTzjT得到边的嵌入,输入判别模型中预测它们之间是否存在边.

3 模型

本文模型的总体框架如图1所示,主体部分由三个模块构成,分别是编码模块、对比模块和链接预测模块.首先,动态网络的每个快照作为输入,在编码模块通过两层GCN学习节点的嵌入,在对比模块中,根据网络结构、节点演化和社区结构演化三个视图构建对比损失函数,学习动态网络节点嵌入,最后基于节点嵌入实现动态网络链接预测.

图1

图1   模型框架图

Fig.1   The framework of the proposed model


3.1 编码模块

编码模块的目标是学习节点的表示,将节点的高维特征映射到低维空间中,主要由两层GCN和ReLU激活函数组成,计算如下:

GCNlX,A=D^-12A^D^-12XWlenc
Zt=GCN2σencGCN1φxXt,At,At

其中,A^=A+I表示添加自环的邻接矩阵,D是对角度矩阵,D^=iAi^.Wlenc代表对应层可训练的权重参数.σenc是一个非线性激活函数,本文使用的是ReLU·=max0,·.φx由全连接层和PReLU激活函数组成,用于将节点特征矩阵Xt映射到低维空间中.

对学习到的节点表示进行L2范数归一化处理,计算如下:

Zt=ZtZt2,t1,2,,T

由此,可以得到动态网络每个快照上的节点表示矩阵.

3.2 对比模块

对比模块是基于网络结构、节点演化和高阶结构演化三个视图,通过构建对比学习机制挖掘动态网络中的信息.该模块的目标是学习动态网络快照的结构信息、节点的时间依赖关系以及高阶结构的演化模式.通过这种对比学习的方式,可以有效地捕捉动态网络的变化和演化特征,学习动态网络的节点表示.

3.2.1 结构对比

在现实世界中,许多复杂网络表现出网络同质性的现象,节点倾向于和具有相似特征或属性的节点产生链接,网络的连接模式会反映出节点之间的相似性.因此,通过图的邻域结构信息生成对比学习的增强视图.具体地,将网络快照中相邻的两个节点作为正样本对.为了构造负样本对,保留源节点,通过随机采样获取固定数量的网络节点和源节点构成负样本对,正负样本节点表示的集合记为Sut.采用InfoNCE作为对比学习最小化目标,对于t时刻给定的正样本对i,jEt,其对比目标函数定义如下:

linzit,zjt=-lgexpzitzjt/τzktSutexpzitzjt/τ

其中,zit表示在t时刻第i个节点的低维表示.τ是温度超参数,在本文中设置为0.4.

通过上述函数计算每个快照的所有已知边,最大化的对比目标被定义为所有正对的平均值.因此,网络快照内损失可以正式定义为:

in=t=1T1Mti,jEtlinzit,zjt

3.2.2 节点演化对比

在动态网络演化过程中,节点的网络结构和属性特征可能会发生变化,然而这种变化通常是平稳的,在一定时间跨度范围内观察到节点的边在其连接模式方面提供了节点的相似且相关的时间视图.因此,可以天然的将网络快照视为动态网络的多个视图,不需要额外的参数学习网络的演化模式,同时避免了对比学习对数据增强策略的依赖.

基于节点表示的一致性,从节点演化视图设计对比目标函数,学习动态网络节点的演化模式.具体地,在相邻的网络快照中,在t时刻快照Gt中得到的节点表示zit被视为锚节点,其在上一个快照Gt-1中生成的节点表示zit-1作为正样本,其他节点的表示视为负样本.对于目标节点i,其目标函数定义如下:

ldnzit,zit-1=-lgexpzitzit-1/τj=1Nexpzitzjt-1/τ

基于节点演化的对比目标函数定义如下:

dn=1Nt=2Ti=1Nldnzit,zit-1

3.2.3 社区演化对比

现有方法更多关注节点级别的时间依赖和快照内网络的高阶结构信息,忽略了高阶结构的演化信息,网络高阶结构的发展往往会影响节点的行为模式.因此,提出一种基于社区演化的对比学习方法,通过挖掘在不同网络快照中节点所在社区的关系来学习网络社区的演化规律.具体地,首先在t时刻,网络快照Gt中的节点表示Zt借助K⁃means聚类算法,将节点分为K组,随机选取K个对象作为初始的聚类中心,然后计算每个对象与各个种子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心.通过多次迭代将网络拆分成多个互不相交的网络社区,得到社区的簇中心向量矩阵Ct.根据锚节点在相邻快照所在的社区,将对应的簇中心相邻作为正样本对,其余簇中心作为负样本对.对于目标节点i,对比目标函数定义如下:

ldsz^it,z^it-1=-lgexpz^itz^it-1/τj=1Kexpz^itcjt-1/τ

其中,z^it代表t时刻节点i所在社区的簇中心向量,cjt-1代表t-1时刻第j个社区的簇中心向量.

基于社区结构演化的对比目标函数定义如下:

ds=1N1T-1t=2Ti=1Nldsz^it,z^it-1

上述对比损失项捕获了动态网络拓扑结构、节点演化和社区结构演化信息.通过将三个对比损失项相加迭代来优化我们的方法:

L=in+dn+ds

3.3 链接预测模块

在链接预测模块中,将训练完成后得到的节点表示作为逻辑回归模型的输入,并使用训练集对该模型进行训练.对于给定的两个节点,通过节点之间的相似性来预测它们之间是否存在链接.一般地,两个节点越相似,链接存在的可能性越高.首先,将这两个节点的表示进行拼接,然后将其作为输入传递给逻辑回归模型.最终,可以得到两个节点之间存在链接的可能性.

pi,j=σpreW2W1zitzjt+b1+b2

其中,σpre表示Sigmoid激活函数,||代表拼接操作,W1W2b1b2代表可训练参数.

4 实验与分析

在多个数据集上,将本文提出的模型与先进的基准方法进行比较,验证其在动态链接预测任务中的有效性.

4.1 数据集

使用多个公开的动态网络数据集.对每个数据集输入模型进行训练,学习最新网络快照的节点表示,最后基于节点表示进行动态链接预测任务.实验数据的统计信息如表2所示.其中,T表示数据集快照数量,N¯表示快照的平均节点数量,M¯表示快照的平均边的数量.

表2   实验所用数据集的统计信息

Table 2  Statistics of datasets in experiments

数据集TN¯M¯
DBLP10315255
Facebook96631300
Workplace892175
Primary62422977
HS117126424
HS128180538
High School932720945

新窗口打开| 下载CSV


4.2 基准方法

为了验证本文提出模型的有效性和先进性,与现有的七种方法进行比较,其中包括两种静态方法和五类动态方法.

GAE,VGAE35:是用于图结构数据的自编码器模型.GAE通过两层GCN作为编码器学习节点嵌入,通过解码器重构邻接矩阵.VGAE模型在GAE的基础上引入变分自编码器的思想,能更好地建模潜在空间的分布.VGAE模型假设潜在空间中的节点表示遵循高斯分布,通过编码器近似节点的潜在分布.

GCRN19:是一种用于图数据的时空建模的深度学习模型,它结合了图卷积神经网络(GCN)和循环神经网络(RNN)的思想,能够对图数据进行动态的时空建模和预测.

VGRNN11:是一种动态图表示学习方法,通过将VGAE拓展到动态网络来学习每个快照上节点的潜在分布,通过GCRN学习历史信息,生成节点的先验分布.

EvolovGCN (EGCN)13:是一种动态图表示学习方法,用GCN学习每个快照的网络结构和节点特征信息,通过RNN更新GCN的参数来捕获动态网络演化规律.

DySAT12:是一种动态表示学习方法,通过在邻域结构和时间动态上使用自注意力机制来学习节点表示.

DGCN33:是一种动态图对比学习方法,将DGI应用于每个快照来挖掘局部结构与全局的关系信息,并且利用RNN来更新GCN的参数模型,学习动态网络演化规律.

4.3 实验设置

本文基于Pytorch框架实现了提出的方法模型.基准实验中,为了准确对比各个模型的性能,将数据集的快照划分为训练集、验证集以及测试集,验证集取倒数第三个快照,取最后两个快照作为测试集,其余为训练集,每个模型使用同样的数据划分.对于各个模型相同的训练参数,设置相同的值,其中模型训练迭代epoch数量设为500,优化器使用Adam,模型输出embedding维度设为16,学习率设为0.01.在验证集使用早停机制,即如果连续训练50个轮次,模型的评估值没有增加,则提前终止训练.本文使用的社区数量为10,20,30,40,50,基准方法的其他超参数均保留源代码提供的值.

实验中首先使用训练集作为模型的输入,所有方法均通过自监督的方式进行训练,然后根据不同动态链接预测任务获取节点的表示.验证集和测试集中,将有的边作为正边,采样同等数量没有链接的顶点对作为负边,将链接预测问题转化为二分类问题.每个快照的正负边随机取50%训练逻辑回归模型,最后通过训练好的逻辑回归模型判断其余50%的边是真假边的概率.选择AUC (Area under Curve)和AP(Average Precision)作为评估模型链接预测性能的指标,实验结果取10次实验的平均值.本文所提模型在三个数据集上都取得了最优的实验结果.

4.4 实验结果分析

现有的动态链接预测任务主要分三类,即已知边检测任务、未知边预测任务和新边发现任务.在三类链接预测任务中进行实验.已知边检测任务即静态图链接预测,要求模型根据部分当前网络快照中的边信息检测当前网络快照中缺失的边.在模型训练完成后,将测试集快照中70%的边作为输入,基于模型输出节点的表示检测当前快照网络缺失的边.对比结果如表3,表中黑体字表示在该数据集中结果最优,下划线表示在该数据集中结果次优.由表可见,本文提出的方法在大部分数据集上都达到了最好的效果.基准方法主要通过RNN或SAM来捕获动态演化模式,在部分数据集中实验结果明显低于静态图方法,表明这类方法不能很好地捕获动态网络演化模式,限制了模型在已知边检测任务中的性能.本文提出的方法将快照视为动态网络的多个视图,从节点演化和社区演化视图来学习动态网络的时间依赖,避免复杂时序网络对特定动态网络演化模式的依赖.因此,本文方法在大部分的数据集上取得了较好的实验结果.

表3   已知边检测实验结果

Table 3  Experimental results of inductive dynamic link detection

DBLPFacebookWorkplacePrimaryHS11HS12High School
AUC
GAE86.16%±2.41%86.31%±0.67%83.17%±1.60%84.38%±1.28%89.59%±1.40%85.81%±1.17%94.16%±0.76%
VGAE89.20%±1.60%87.96%±1.02%82.56%±2.07%84.29%±2.38%89.40%±1.10%85.01%±0.82%94.27%±2.15%
GCRN86.64%±1.80%87.27%±0.66%84.09%±1.08%78.93%±2.37%87.88%±5.34%87.68%±0.79%92.66%±0.71%
VGRNN88.28%±1.39%88.41%±0.84%84.00%±6.22%83.57%±2.64%86.94%±2.26%87.32 %±0.64%94.63%±0.70%
EGCN81.14%±2.95%85.00%±0.98%81.09%±2.94%83.02%±1.62%81.73%±3.75%86.23 %±0.72%93.82%±0.72%
DySAT84.46%±1.86%90.17%±0.49%83.06%±2.03%83.44%±1.39%88.11%±1.00%86.66 %±0.94%94.83%±0.39%
DGCN66.72%±0.99%74.31%±1.85%65.60%±4.35%72.21%±5.12%75.56%±4.77%73.66 %±2.25%66.90%±3.80%
OURS93.73%±0.54%91.06%±0.82%88.03%±0.92%88.92%±0.83%91.76%±1.05%89.05%±0.59%94.98%±0.34%
AP
GAE86.76%±2.49%82.95%±1.11%82.13%±2.53%81.18%±1.13%85.30%±2.22%82.30%±1.66%92.65%±1.09%
VGAE89.75%±1.55%85.92%±1.23%81.91%±3.36%80.69%±2.57%86.52%±1.99%82.17%±1.03%93.20%±2.99%
GCRN87.51%±1.64%85.57%±0.72%86.44%±0.82%75.89%±2.95%86.66%±5.89%87.08%±0.93%91.58%±0.72%
VGRNN88.69%±1.76%86.42%±1.17%84.81%±7.23%80.63%±2.64%85.50%±2.18%83.39%±0.84%92.95%±1.31%
EGCN80.71%±3.27%81.98%±1.10%79.86%±2.59%78.81%±1.85%76.87%±5.51%84.33%±0.91%92.37%±0.84%
DySAT85.50%±1.78%88.43%±0.87%83.35%±1.40%82.93%±1.48%84.12%±0.81%84.96%±0.73%94.01%±0.61%
DGCN68.12%±1.67%71.93%±2.36%64.12%±5.16%69.50%±5.17%72.20%±7.16%71.53%±3.81%62.30%±4.97%
OURS94.59%±0.51%90.09%±1.01%87.13%±2.31%88.47%±1.08%90.06%±1.87%87.19%±1.70%93.45%±0.71%

新窗口打开| 下载CSV


未知边预测任务和新边发现任务是链接预测任务在动态图中的扩展.未知边预测任务旨在根据历史网络的信息预测未来网络快照.新边发现任务旨在发现快照中生成的新边,这些边在当前网络中不存在.表4表5展示了未知边预测和新边发现任务的实验结果,表中黑体字表示实验结果最优,下划线表示实验结果次优.由表可见,本文方法在所有数据集中都得到了最优或次优的实验结果.DySAT通过自注意力机制学习网络邻域结构和时间动态信息,在未知边预测实验中得到了较好的实验结果,证明自注意力机制和循环神经网络相比,能更好地捕获网络的复杂演化模式.然而,在新边发现任务中,DySAT在少部分数据集中,例如HS12,实验结果低于基于RNN的方法,甚至低于静态方法,说明基于RNN和SAM的方法可能对不同的动态演化模式更敏感.而本文方法在所有数据集中都保持较好的实验结果,说明通过节点级别和高阶结构的对比学习能有效地捕获动态网络的时间依赖.

表4   未知边预测实验结果

Table 4  Experimental results of dynamic link prediction

DBLPFacebookWorkplacePrimaryHS11HS12High School
AUC
GAE83.89%±1.22%84.91%±0.66%77.91%±1.19%79.41%±0.87%76.38%±0.97%83.59%±0.72%90.62%±0.66%
VGAE85.23%±0.80%86.39%±0.49%77.75%±1.20%77.80%±0.81%77.83%±0.92%83.93%±0.60%91.32%±0.35%
GCRN87.03%±1.17%86.23%±1.06%80.99%±0.72%72.51%±3.49%80.75%±1.57%85.31%±0.65%90.61%±1.31%
VGRNN82.12%±0.99%86.07%±0.85%71.46%±3.95%76.62%±4.80%74.05%±2.93%84.23%±1.15%89.70%±1.32%
EGCN83.96%±0.82%86.94%±0.59%74.30%±5.13%79.04%±1.39%76.83%±1.37%82.15%±1.41%90.12%±0.52%
DySAT86.08%±1.42%89.51%±0.36%79.61%±0.84%80.81%±0.77%79.54%±0.54%86.16%±0.41%92.62%±0.15%
DGCN70.70%±1.56%70.71%±0.89%63.61%±4.27%69.36%±3.76%69.33%±1.99%70.83%±2.33%66.52%±3.30%
OURS87.77%±0.95%89.42%±0.55%82.33%±1.37%83.05%±0.83%82.85%±0.62%86.73%±0.73%91.87%±0.47%
AP
GAE85.10%±1.41%82.80%±0.90%77.25%±1.02%79.42%±0.98%73.88%±1.40%81.82%±1.08%88.40%±1.17%
VGAE86.76%±1.14%85.09%±0.62%76.24%±1.27%78.16%±1.30%74.00%±1.44%81.96%±0.98%89.39%±0.53%
GCRN88.87%±0.84%86.23%±1.06%82.74%±0.94%70.83%±3.34%76.67%±1.75%83.68%±0.88%89.12%±1.42%
VGRNN84.19%±1.16%84.51%±0.74%73.47%±4.02%76.97%±5.18%72.58%±2.46%83.78%±1.09%88.42%±1.90%
EGCN86.57%±0.69%85.90%±0.83%74.96%±4.79%79.10%±1.27%73.32%±1.29%80.74%±1.21%89.29%±0.52%
DySAT87.65%±1.19%88.15%±0.41%80.01%±0.79%81.44%±0.92%76.81%±0.77%85.05%±0.36%91.59%±0.42%
DGCN68.00%±2.64%69.49%±1.57%60.28%±5.52%67.49%±4.82%64.82%±2.84%70.41%±4.24%65.19%±4.61%
OURS89.37%±0.84%88.46%±0.82%82.28%±0.85%83.57%±0.76%80.38%±1.16%84.88%±0.95%89.93%±0.65%

新窗口打开| 下载CSV


表5   新边发现实验结果

Table 5  Experimental results of dynamic new link prediction

DBLPFacebookWorkplacePrimaryHS11HS12High School
AUC
GAE78.22%±1.18%85.01%±0.44%72.37%±1.52%71.25%±1.12%73.53%±1.52%78.95%±0.76%87.18%±0.61%
VGAE80.06%±1.88%86.07%±0.41%72.11%±1.20%68.83%±1.17%74.89%±1.21%79.26%±0.72%87.83%±0.39%
GCRN85.31%±1.20%88.04%±0.91%73.56%±0.90%65.30%±2.89%76.96%±1.64%79.21%±0.81%88.14%±1.27%
VGRNN76.40%±1.41%85.66%±0.71%66.95%±3.64%69.98%±4.55%72.23%±2.67%78.72%±1.66%86.26%±1.15%
EGCN83.20%±1.58%89.32%±0.67%67.44%±5.12%69.97%±1.59%72.09%±2.20%75.62%±1.90%89.25%±0.50%
DySAT83.79%±0.60%90.15%±0.52%71.93%±0.64%72.48%±1.71%76.05%±1.22%78.89%±1.39%89.91%±0.38%
DGCN69.84%±0.83%69.50%±0.96%61.04%±3.35%72.67%±4.25%66.06%±4.34%66.48%±2.63%63.71%±1.87%
OURS87.82%±1.13%91.25%±0.42%75.40%±2.33%74.35%±1.29%77.96%±1.41%81.70%±1.00%90.74%±0.37%
AP
GAE78.81%±1.69%82.10%±0.29%70.75%±2.35%70.53%±0.77%70.94%±2.01%75.68%±1.08%84.90%±0.92%
VGAE81.10%±1.99%83.75%±0.38%69.69%±1.80%68.72%±0.98%71.49%±1.20%75.50%±0.81%85.77%±0.54%
GCRN86.33%±1.38%86.18%±1.13%75.20%±0.91%64.46%±2.53%70.81%±1.63%76.96%±0.65%86.64%±1.42%
VGRNN78.71%±1.34%83.31%±0.59%68.53%±3.60%69.61%±3.84%69.20%±2.50%77.52%±1.61%85.27%±1.83%
EGCN84.31%±1.73%87.85%±0.83%67.43%± 5.31%69.50%±1.36%67.61%±1.96%73.11%±1.64%87.75%±0.57%
DySAT85.07%±0.56%88.18%±0.59%73.72%±0.90%73.53%±1.20%72.03%±0.58%76.88%±1.32%88.25%±0.35%
DGCN68.13%±1.49%68.97%±1.10%58.28%±4.17%69.80%±5.29%63.10%±4.85%65.89%±4.44%63.64%±2.98%
OURS89.13%±1.10%90.15%±0.31%74.62%±1.76%73.83%±1.18%74.23%±1.00%79.84%±0.97%87.94%±0.51%

新窗口打开| 下载CSV


4.5 消融实验

通过消融实验检验本文方法中多视图对比模块的有效性.在未知边预测任务中选择DBLP,Facebook和Workplace数据集进行实验,结果如表6所示,表中黑体字表示结果最优.Mo1代表在对比模块中只使用邻域结构学习节点表示,Mo2只考虑节点级的演化模式和快照内邻域结构信息,Mo3只考虑高阶结构的演化模式和快照内邻域结构信息.Mo1Mo2的实验结果证明了通过节点级的对比学习能挖掘节点在时间上的信息,提高模型的性能.Mo1Mo3的实验结果表明社区结构的演化信息能够帮助模型学习网络的发展规律,但在数据集Facebook中,高阶结构演化的对比对模型的性能产生消极影响,可能的原因是缺乏网络节点一致性的限制,使得在训练模型的过程中模型过分注意于社区结构的演化,节点表示无法刻画除了社区之外的动态规律,导致无法准确地进行未知边预测.因此,基于节点演化的对比是有必要的,帮助模型学习节点级别的演化规律,有利于模型获得更准确的预测.

表6   消融实验

Table 6  Ablation study

DBLPFacebookWorkplace
Mo184.2485.7979.60
Mo285.8887.5280.01
Mo385.9083.6280.63
OURS87.7789.4282.33

新窗口打开| 下载CSV


4.6 超参数性能影响

为了评估社区数量K对模型性能的影响,在所有数据集上进行未知边预测任务,实验结果如图2所示.由图可知,本文提出的模型对社区数量的变化表现出较强的鲁棒性.不论社区数量是增加还是减少,模型始终保持较优的性能,证明本文所提模型的稳健性.

图2

图2   超参数性能影响

Fig.2   Hyperparameter experiment


5 结论

本文围绕动态链接预测提出一种动态网络多视图对比学习的链接预测方法.该方法不依赖额外的时序网络参数,通过将动态网络快照视为网络的多个视图,挖掘动态网络节点和社区结构的演化模式.本文构建了包含网络结构、节点演化和拓扑演化三个视图的对比学习目标函数,用于学习节点表示并实现链接预测.最后,在多个真实数据集上进行三种动态网络链接预测任务,实验结果表明该方法优于代表性的基准方法.

参考文献

L YPan L MZhou Tet al.

Toward link predictability of complex networks

Proceedings of the National Academy of Sciences,2015112(8):2325-2330.

[本文引用: 1]

Yu W CCheng WAggarwal C Cet al.

Link prediction with spatial and temporal consistency in dynamic networks

Proceedings of the 26th International Joint Conference on Artificial Intelligence. Melbourne,AustraliaAAAI Press20173343-3349.

Goyal PKamra NHe X Ret al.

DynGEM:Deep embedding method for dynamic graphs

2018,arXiv:.

[本文引用: 1]

Newman M E JGirvan M.

Finding and evaluating community structure in networks

Physical Review E,200469(2):026113.

[本文引用: 1]

Zhang JTan LTao X H.

On relational learning and discovery in social networks:A survey

International Journal of Machine Learning and Cybernetics,201910(8):2085-2102.

[本文引用: 1]

Palla GDerényi IFarkas Iet al.

Uncovering the overlapping community structure of complex networks in nature and society

Nature,2005435(7043):814-818.

[本文引用: 1]

Fout AByrd JShariat Bet al.

Protein interface prediction using graph convolutional networks

Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach,CA,USACurran Associates Inc.20176533-6542.

Grover ALeskovec J.

Node2vec:Scalable feature learning for networks

Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco,CA,USAACM2016855-864.

[本文引用: 2]

Gao CWang XHe X Net al.

Graph neural networks for recommender system

Proceedings of the 15th ACM International Conference on Web Search and Data Mining. Virtual Event,AZ,USAACM20221623-1625.

[本文引用: 1]

Zhang M HChen Y X.

Link prediction based on graph neural networks

Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal,CanadaCurran Associates Inc.20185171-5181.

[本文引用: 1]

Hajiramezanali E, Hasanzadeh A, Duffield N, et al.

Variational graph recurrent neural networks

Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver,CanadaACM,Article No.9602019.

[本文引用: 4]

Sankar AWu Y HGou Let al.

DySAT:Deep neural representation learning on dynamic graphs via self⁃attention networks

Proceedings of the 13th International Conference on Web Search and Data Mining. Houston,TX,USAACM2020519-527.

[本文引用: 2]

Pareja ADomeniconi GChen Jet al.

EvolveGCN:Evolving graph convolutional networks for dynamic graphs

Proceedings of the 34th AAAI Conference on Artificial Intelligence. New York,NY,USAAAAI202034(4):5363-5370.

[本文引用: 2]

Goyal PChhetri S RCanedo A.

Dyngraph2vec:Capturing network dynamics using dynamic graph representation learning

Knowledge⁃Based Systems,2020187104816.

[本文引用: 2]

Hochreiter SSchmidhuber J.

Long short⁃term memory

Neural Computation,19979(8):1735-1780.

[本文引用: 2]

Cho KVan Merriënboer BGulcehre Cet al.

Learning phrase representations using RNN encoder⁃decoder for statistical machine translation

Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Doha,QatarAssociation for Computational Linguistics20141724-1734.

[本文引用: 1]

Vaswani AShazeer NParmar Net al.

Attention is all you need. Advances in neural information processing systems

Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach,CA,USACurran Associates Inc.20176000-6010.

[本文引用: 1]

You Y NChen T LSui Y Det al.

Graph contrastive learning with augmentations

Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver,CanadaCurran Associates Inc.20205812-5823.

[本文引用: 2]

Seo YDefferrard MVandergheynst Pet al.

Structured sequence modeling with graph convolutional recurrent networks

The 25th International Conference on Neural Information Processing. Springer Siem Reap,Cambodia,2018362-373.

[本文引用: 2]

Yan T JZhang H WLi Z Ret al.

Stochastic graph recurrent neural network

Neurocomputing,20225001003-1015.

[本文引用: 1]

Huang JLu TZhou X Bet al.

HyperDNE:Enhanced hypergraph neural network for dynamic network embedding

Neurocomputing,2023527155-166.

[本文引用: 1]

Zhang Z YWang XZhang Z Wet al.

Dynamic graph neural networks under spatio⁃temporal distribution shift

Advances in Neural Information Processing Systems 35. New Orleans,LA,USANeurIPS20226074-6089.

[本文引用: 1]

Yang M LZhou MKalander Met al.

Discrete⁃time temporal network embedding via implicit hierarchical learning in hyperbolic space

Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. Virtual Event,SingaporeACM20211975-1985.

[本文引用: 1]

Veličković PFedus WHamilton W Let al.

Deep graph infomax

2018,arXiv:.

[本文引用: 1]

Hassani KKhasahmadi A H.

Contrastive multi⁃view representation learning on graphs

Proceedings of the 37th International Conference on Machine Learning. NY,USAPMLR,20201194116-4126.

[本文引用: 1]

Barros C D TMendonça M R FVieira A Bet al.

A survey on embedding dynamic graphs

ACM Computing Surveys,202355(1):10.

[本文引用: 1]

Zhu Y QXu Y CYu Fet al.

Graph contrastive learning with adaptive augmentation

Proceedings of the Web Conference. Ljubljana,SloveniaACM20212069-2080.

[本文引用: 1]

You Y NChen T LShen Yet al.

Graph contrastive learning automated

Proceedings of the 38th International Conference on Machine Learning.NY,USAPMLR20211394116-4126.

[本文引用: 1]

Xia JWu L RWang Get al.

ProGCL:Rethinking hard negative mining in graph contrastive learning

Proceedings of the 39th International Conference on Machine Learning. NY,USAPMLR202216224332-24346.

[本文引用: 1]

Thakoor STallec CAzar M Get al.

Large⁃scale representation learning on graphs via bootstrapping

2021,arXiv:.

[本文引用: 1]

Liu YYang X HZhou S Het al.

Hard sample aware network for contrastive deep graph clustering

The 37th AAAI Conference on Artificial Intelligence. Washington DC,USAAAAI202237(7):8914-8922.

[本文引用: 1]

Lee N, Lee J, Park C.

Augmentation⁃free self⁃supervised learning on graphs

2021,arXiv:.

[本文引用: 1]

Gao CZhu J YZhang Fet al.

A novel representation learning for dynamic graphs based on graph convolutional networks

IEEE Transactions on Cybernetics,202353(6):3599-3612.

[本文引用: 3]

Park NRossi RKoh Eet al.

CGC:Contrastive graph clustering forcommunity detection and tracking

Proceedings of the ACM Web Conference. Lyon,FranceACM20221115-1126.

[本文引用: 2]

Kipf T NWelling M.

Variational graph auto⁃encoders

2016,arXiv:.

[本文引用: 1]

/