Link prediction aims to infer missing edges in the network or predict possible future edges. Previous research on link prediction has mainly focused on dealing with static networks,to predict missing edges in known networks. However,most complex networks in the real world are dynamically changing,which often makes its link prediction more complex and difficult. In recent years,methods in link prediction based on dynamic graph representation learning have shown promising results. Such methods utilize dynamic graph representation learning methods to learn node representations to capture the structure and evolution information of the network for efficient link prediction. Existing methods mainly adopt recurrent neural network (RNN) or self⁃attention mechanism (SAM) as the components of neural network architecture,and learn the evolution information of dynamic networks through temporal networks. However,the diversity of dynamic networks and the variability of evolution patterns pose challenges to the methods based on complex temporal networks. It is difficult for these methods to adapt to the evolving evolutionary patterns in different dynamic networks. At the same time,in graph representation learning,contrastive learning has attracted extensive attention because of its powerful self⁃supervised learning ability. However,most existing methods are focused on static graphs,and few studies on dynamic graphs. To solve the above problems,this paper proposes a link prediction method based on multi⁃view contrastive learning for dynamic networks,which realizes representation learning and link prediction of dynamic networks without relying on additional temporal network parameters. Specifically,the method treats dynamic network snapshots as multiple views of the network,thereby getting rid of the dependence of contrastive learning on data augmentation. Then,we construct contrastive learning objectives including three views of network structure,node evolution,and topology evolution to mine network structure,the evolution patterns of nodes and high⁃level structure to learn node representations,ultimately realizing link prediction tasks. Finally,we conduct dynamic link prediction experiments on multiple real datasets,and the experimental results significantly outperform all the baseline methods,verifying the effectiveness of the proposed method.
Jiao Pengfei, Wu Zian, Liu Huan, Zhang Jilin, Wan Jian. Dynamic graph link prediction based on multi⁃view contrastive learning. Journal of nanjing University[J], 2024, 60(3): 383-395 doi:10.13232/j.cnki.jnju.2024.03.003
为了解决上述问题,部分方法提出通过SAM学习历史信息,SAM可以从所有过去的图快照中提取上下文,充分考虑同一节点在多个动态网络快照中的关系和重要性,灵活地适应不同数据特征和演化模式,有效地捕获节点长距离的时间依赖关系.DySAT[12]通过在邻域结构和时间动态两个维度的联合注意力机制来学习动态网络表示,结构注意力通过自注意力聚合机制从每个快照中的本地节点邻域中提取特征,而时间注意力通过灵活地加权历史表示来捕获多个时间步上的图演化.Huang et al[21]认为大多数图表示学习方法无法利用节点的高阶邻近性来捕获网络拓扑的重要属性,同时处理时间信息时粒度太细使得模型容易受到噪声的影响,因此提出了增强型超图神经网络框架HyperDNE,引入线图神经网络,展现了集群感知的高阶接近度,在节点级和超边级使用多重注意力机制,实现了对不同潜在子空间的联合关注,并且保持了动态网络的一致性,实现了基于超图建模的网络表示在动态链接预测任务中性能的提升.Zhang et al[22]认为网络在演化过程中时空分布会随时间发生变化,提出基于解耦干预的动态图注意网络DIDA,通过发现和利用不变模式(即在分布变化中稳定的结构和特征)来处理动态图中的时空分布变化.具体地,DIDA使用注意力网络来解耦动态网络中不变和变化模式,然后提出时空干预机制,通过跨邻域和时间戳采样和重新组装变化模式来创建多个干预分布,消除变化模式造成的负面影响,最后,通过不变性正则化项来最小化干预分布中的预测方差,实现基于具有稳定预测能力的不变模式进行预测.此外,HTGN[23]同时使用RNN和SAM来学习动态网络顺序依赖和长距离依赖,它在双曲空间中通过SAM学习历史信息生成上下文,通过RNN模块接收当前时刻的顺序输入和SAM获得的隐状态输入,最终得到当前时刻的节点表示.
图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能.
实验中首先使用训练集作为模型的输入,所有方法均通过自监督的方式进行训练,然后根据不同动态链接预测任务获取节点的表示.验证集和测试集中,将有的边作为正边,采样同等数量没有链接的顶点对作为负边,将链接预测问题转化为二分类问题.每个快照的正负边随机取50%训练逻辑回归模型,最后通过训练好的逻辑回归模型判断其余50%的边是真假边的概率.选择 (Area under Curve)和(Average Precision)作为评估模型链接预测性能的指标,实验结果取10次实验的平均值.本文所提模型在三个数据集上都取得了最优的实验结果.
Learning phrase representations using RNN encoder⁃decoder for statistical machine translation
∥Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Doha,Qatar:Association for Computational Linguistics,2014:1724-1734.
DySAT:Deep neural representation learning on dynamic graphs via self?attention networks
2
2020
... 为了解决上述问题,部分方法提出通过SAM学习历史信息,SAM可以从所有过去的图快照中提取上下文,充分考虑同一节点在多个动态网络快照中的关系和重要性,灵活地适应不同数据特征和演化模式,有效地捕获节点长距离的时间依赖关系.DySAT[12]通过在邻域结构和时间动态两个维度的联合注意力机制来学习动态网络表示,结构注意力通过自注意力聚合机制从每个快照中的本地节点邻域中提取特征,而时间注意力通过灵活地加权历史表示来捕获多个时间步上的图演化.Huang et al[21]认为大多数图表示学习方法无法利用节点的高阶邻近性来捕获网络拓扑的重要属性,同时处理时间信息时粒度太细使得模型容易受到噪声的影响,因此提出了增强型超图神经网络框架HyperDNE,引入线图神经网络,展现了集群感知的高阶接近度,在节点级和超边级使用多重注意力机制,实现了对不同潜在子空间的联合关注,并且保持了动态网络的一致性,实现了基于超图建模的网络表示在动态链接预测任务中性能的提升.Zhang et al[22]认为网络在演化过程中时空分布会随时间发生变化,提出基于解耦干预的动态图注意网络DIDA,通过发现和利用不变模式(即在分布变化中稳定的结构和特征)来处理动态图中的时空分布变化.具体地,DIDA使用注意力网络来解耦动态网络中不变和变化模式,然后提出时空干预机制,通过跨邻域和时间戳采样和重新组装变化模式来创建多个干预分布,消除变化模式造成的负面影响,最后,通过不变性正则化项来最小化干预分布中的预测方差,实现基于具有稳定预测能力的不变模式进行预测.此外,HTGN[23]同时使用RNN和SAM来学习动态网络顺序依赖和长距离依赖,它在双曲空间中通过SAM学习历史信息生成上下文,通过RNN模块接收当前时刻的顺序输入和SAM获得的隐状态输入,最终得到当前时刻的节点表示. ...
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
Structured sequence modeling with graph convolutional recurrent networks
HyperDNE:Enhanced hypergraph neural network for dynamic network embedding
1
2023
... 为了解决上述问题,部分方法提出通过SAM学习历史信息,SAM可以从所有过去的图快照中提取上下文,充分考虑同一节点在多个动态网络快照中的关系和重要性,灵活地适应不同数据特征和演化模式,有效地捕获节点长距离的时间依赖关系.DySAT[12]通过在邻域结构和时间动态两个维度的联合注意力机制来学习动态网络表示,结构注意力通过自注意力聚合机制从每个快照中的本地节点邻域中提取特征,而时间注意力通过灵活地加权历史表示来捕获多个时间步上的图演化.Huang et al[21]认为大多数图表示学习方法无法利用节点的高阶邻近性来捕获网络拓扑的重要属性,同时处理时间信息时粒度太细使得模型容易受到噪声的影响,因此提出了增强型超图神经网络框架HyperDNE,引入线图神经网络,展现了集群感知的高阶接近度,在节点级和超边级使用多重注意力机制,实现了对不同潜在子空间的联合关注,并且保持了动态网络的一致性,实现了基于超图建模的网络表示在动态链接预测任务中性能的提升.Zhang et al[22]认为网络在演化过程中时空分布会随时间发生变化,提出基于解耦干预的动态图注意网络DIDA,通过发现和利用不变模式(即在分布变化中稳定的结构和特征)来处理动态图中的时空分布变化.具体地,DIDA使用注意力网络来解耦动态网络中不变和变化模式,然后提出时空干预机制,通过跨邻域和时间戳采样和重新组装变化模式来创建多个干预分布,消除变化模式造成的负面影响,最后,通过不变性正则化项来最小化干预分布中的预测方差,实现基于具有稳定预测能力的不变模式进行预测.此外,HTGN[23]同时使用RNN和SAM来学习动态网络顺序依赖和长距离依赖,它在双曲空间中通过SAM学习历史信息生成上下文,通过RNN模块接收当前时刻的顺序输入和SAM获得的隐状态输入,最终得到当前时刻的节点表示. ...
Dynamic graph neural networks under spatio?temporal distribution shift
1
2022
... 为了解决上述问题,部分方法提出通过SAM学习历史信息,SAM可以从所有过去的图快照中提取上下文,充分考虑同一节点在多个动态网络快照中的关系和重要性,灵活地适应不同数据特征和演化模式,有效地捕获节点长距离的时间依赖关系.DySAT[12]通过在邻域结构和时间动态两个维度的联合注意力机制来学习动态网络表示,结构注意力通过自注意力聚合机制从每个快照中的本地节点邻域中提取特征,而时间注意力通过灵活地加权历史表示来捕获多个时间步上的图演化.Huang et al[21]认为大多数图表示学习方法无法利用节点的高阶邻近性来捕获网络拓扑的重要属性,同时处理时间信息时粒度太细使得模型容易受到噪声的影响,因此提出了增强型超图神经网络框架HyperDNE,引入线图神经网络,展现了集群感知的高阶接近度,在节点级和超边级使用多重注意力机制,实现了对不同潜在子空间的联合关注,并且保持了动态网络的一致性,实现了基于超图建模的网络表示在动态链接预测任务中性能的提升.Zhang et al[22]认为网络在演化过程中时空分布会随时间发生变化,提出基于解耦干预的动态图注意网络DIDA,通过发现和利用不变模式(即在分布变化中稳定的结构和特征)来处理动态图中的时空分布变化.具体地,DIDA使用注意力网络来解耦动态网络中不变和变化模式,然后提出时空干预机制,通过跨邻域和时间戳采样和重新组装变化模式来创建多个干预分布,消除变化模式造成的负面影响,最后,通过不变性正则化项来最小化干预分布中的预测方差,实现基于具有稳定预测能力的不变模式进行预测.此外,HTGN[23]同时使用RNN和SAM来学习动态网络顺序依赖和长距离依赖,它在双曲空间中通过SAM学习历史信息生成上下文,通过RNN模块接收当前时刻的顺序输入和SAM获得的隐状态输入,最终得到当前时刻的节点表示. ...
Discrete?time temporal network embedding via implicit hierarchical learning in hyperbolic space
1
... 为了解决上述问题,部分方法提出通过SAM学习历史信息,SAM可以从所有过去的图快照中提取上下文,充分考虑同一节点在多个动态网络快照中的关系和重要性,灵活地适应不同数据特征和演化模式,有效地捕获节点长距离的时间依赖关系.DySAT[12]通过在邻域结构和时间动态两个维度的联合注意力机制来学习动态网络表示,结构注意力通过自注意力聚合机制从每个快照中的本地节点邻域中提取特征,而时间注意力通过灵活地加权历史表示来捕获多个时间步上的图演化.Huang et al[21]认为大多数图表示学习方法无法利用节点的高阶邻近性来捕获网络拓扑的重要属性,同时处理时间信息时粒度太细使得模型容易受到噪声的影响,因此提出了增强型超图神经网络框架HyperDNE,引入线图神经网络,展现了集群感知的高阶接近度,在节点级和超边级使用多重注意力机制,实现了对不同潜在子空间的联合关注,并且保持了动态网络的一致性,实现了基于超图建模的网络表示在动态链接预测任务中性能的提升.Zhang et al[22]认为网络在演化过程中时空分布会随时间发生变化,提出基于解耦干预的动态图注意网络DIDA,通过发现和利用不变模式(即在分布变化中稳定的结构和特征)来处理动态图中的时空分布变化.具体地,DIDA使用注意力网络来解耦动态网络中不变和变化模式,然后提出时空干预机制,通过跨邻域和时间戳采样和重新组装变化模式来创建多个干预分布,消除变化模式造成的负面影响,最后,通过不变性正则化项来最小化干预分布中的预测方差,实现基于具有稳定预测能力的不变模式进行预测.此外,HTGN[23]同时使用RNN和SAM来学习动态网络顺序依赖和长距离依赖,它在双曲空间中通过SAM学习历史信息生成上下文,通过RNN模块接收当前时刻的顺序输入和SAM获得的隐状态输入,最终得到当前时刻的节点表示. ...
Deep graph infomax
1
2018
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
Contrastive multi?view representation learning on graphs
1
2020
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
A survey on embedding dynamic graphs
1
2023
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
Graph contrastive learning with adaptive augmentation
1
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
Graph contrastive learning automated
1
2021
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
ProGCL:Rethinking hard negative mining in graph contrastive learning
1
2022
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
Large?scale representation learning on graphs via bootstrapping
1
2021
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
Hard sample aware network for contrastive deep graph clustering
1
2022
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
Augmentation?free self?supervised learning on graphs
1
2021
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
A novel representation learning for dynamic graphs based on graph convolutional networks
3
2023
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...
CGC:Contrastive graph clustering forcommunity detection and tracking
2
2022
... 图对比学习作为一种自监督学习方法,旨在通过最大化正样本对的互信息和最小化负样本对的互信息来学习图表示.对比学习最早在计算机视觉领域被提出.DGI[24]是最早将对比学习应用于图表示学习的方法之一,该方法通过最大化局部与全局的互信息来学习节点表示.在此基础上,MVGCL[25]通过图扩散等数据增强技术构建多个视图来学习节点表示.DGI和MVGRL着重于挖掘局部与全局的关系.GRACE[18]挖掘节点级别的关系学习节点表示,随机删除网络中的部分边和节点特征得到两个视图,通过最大化这两个视图中节点表示的一致性来学习节点表示.然而,随机增强可能会导致网络结构的破坏和信息的丢失[26],因此,Zhu et al[27]对数据增强进行探索,他们认为应该保留图的内在结构和属性,使模型能学习对不重要节点和边的扰动不敏感的表示,提出一种具有自适应增强功能的新型图对比表示学习方法GCA.GCA通过网络中心性度量来识别网络中边和特征维度的重要性,在拓扑级别上通过增加删除重要性较低的边的概率,以强制模型识别网络连接模式,在节点属性级别,通过在重要性较低的特征维度上添加更多噪声来破坏属性,以强调底层语义信息.由于网络的多样性,在图对比学习过程中需要不同数据增强策略以达到较好的实验性能,然而数据增强策略的选择需要通过经验法或试错法针对每个数据集手动选择.因此,You et al[28]提出联合增强优化方法(JOAO),对特定图数据自动、自适应和动态地选择数据增强策略.Xia et al[29]对正负样本的选择进行研究,通过挖掘困难负样本,计算负样本真伪的概率,提高模型的学习能力.上述方法主要通过数据增强构建多个视图,通过先验和计算构建正负样本对,最后通过拉近正样本,推远负样本学习网络节点的表示.Thakoor et al[30]认为对比学习受到负样本的影响,增加负样本的数量能够有效提高模型的性能,但会对计算和内存成本带来一定的挑战.因此,提出一种完全不依赖负样本的图表示学习方法BGRL,通过使用两个单独的编码器对图的两个增强视图进行编码来学习节点表示,一个编码器通过最小化两个编码器生成的表示之间的余弦损失进行训练,另一个编码器则通过第一个编码器的指数移动平均值进行更新,避免了负样本选择对模型的影响.Liu et al[31]通过孪生编码器,即相同架构但不共享参数的编码器,来代替数据增强,避免数据漂移问题.Lee et al[32]在BGRL的基础上不使用数据增强策略,而是通过发现与图共享局部结构信息和全局语义的节点来生成图的替代视图,避免数据增强可能出现的数据漂移问题.目前,大部分研究主要关注静态图,然而大多复杂网络都会随时间发展,因此更多的研究人员开始关注动态图对比学习.Gao et al[33]提出一种动态图对比学习方法DGCN,在每个快照上构建局部与全局的对比挖掘快照网络拓扑信息,通过RNN更新编码器的参数来捕获动态网络演化信息.Park et al[34]通过节点特征、邻域结构、层次社区和演化信息等多个层次选择正负样本构建对比损失,联合学习节点嵌入和聚类结构.动态图对比学习的研究较少,大多数研究是基于静态图对比学习的拓展[33],对每个网络快照进行对比学习得到节点的初步表示,用RNN或者SAM学习动态网络的演化特征,并更新节点表示.CGC[34]将网络快照视为网络的多个视图,用对比学习代替复杂时序网络,挖掘动态网络演化模型.但是CGC只关注节点在动态网络中的时间依赖关系,忽略了网络高阶结构的演化对节点的影响,限制了模型的性能. ...