In heterogeneous information network,heterogeneous nodes have multiple relations which can form heterogeneous multi⁃edge information network. Knowledge graph⁃based representation aims to embed object entities and relations into a low⁃dimensional vector space which can be used to learn the multiple relations between entities in heterogeneous multi⁃edge information network. In this paper,we first leverage fused representation of multiple relations for heterogeneous multi⁃edge information network in terms of attention mechanism. Then,projected matrices are adopted to map the types of heterogeneous nodes into fused spaces of multiple relations. More,in the fusion representation space of multiple relations,translation⁃based heterogeneous multi⁃edge embedding model is proposed to learn the link relations among heterogeneous nodes. Finally,link prediction experiments of heterogeneous multi⁃edge relations are carried out on MovieLens100k dataset. The experimental results demonstrate that the novel translation model is superior to traditional knowledge representation methods at the aspect of link prediction performance,which can effectively improve the accuracy of link prediction.
Keywords:heterogeneous multi⁃edge information network
;
link prediction
;
translation model
;
representation learning
Zheng Jianxing, Li Qinwen, Wang Suge, Li Deyu. Research of link prediction based on translation model in heterogeneous multi⁃edge information network. Journal of nanjing University[J], 2020, 56(4): 541-548 doi:10.13232/j.cnki.jnju.2020.04.012
社交媒体的发展,使用户可以随时随地发布自己感兴趣的内容[1].用户兴趣内容的发布提升了用户的社交活跃度,增强了用户的社交关系,形成了复杂的社交网络[2].电子商务的快速发展使用户与商品之间的交互也越来越频繁,庞大的用户群体与众多的商品构成了复杂的电商网络.社交网络、电商网络中具有多种类型的交互对象,交互对象间具有不同的关系,形成了异质信息网络(Heterogeneous Information Network,HIN).基于异质信息网络来预测对象之间的关系已成为当今社交网络和电子商务平台链路预测、推荐系统的热点研究方向[3].
在复杂的异质信息网络中,任意节点对象之间的关系可能有多种,比如,社交网络用户与微博的行为关系可以体现在@、发布、转发等形式;电商网站中用户对产品的行为关系可以体现在浏览、评论、购买等方式.这种多类型的行为活动使对象之间的联系更加紧密,对象之间可能形成多元化的关系[4].也即,在异质信息网络中,每个节点对象可能具有多重类型,任意两个节点对象可能具有多重关系边,形成一种特殊的网络,即异质重边信息网络(Heterogeneous Multi⁃edge Information Network,HMIN).如图1的IMDB异质重边信息网络实例所示,导演D1可能既导演了电影M1,也主演了M1,D1与M1具有多种关系;用户U4既可能观看了M3,也可能评价了M3,U4与M3具有多种行为关系.基于异质重边信息网络中节点的重边结构可以挖掘对象之间深层次的关系,对于预测社交网络链路、提高电商推荐系统的精准性有重要的意义.
传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示.
知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响.
... 社交媒体的发展,使用户可以随时随地发布自己感兴趣的内容[1].用户兴趣内容的发布提升了用户的社交活跃度,增强了用户的社交关系,形成了复杂的社交网络[2].电子商务的快速发展使用户与商品之间的交互也越来越频繁,庞大的用户群体与众多的商品构成了复杂的电商网络.社交网络、电商网络中具有多种类型的交互对象,交互对象间具有不同的关系,形成了异质信息网络(Heterogeneous Information Network,HIN).基于异质信息网络来预测对象之间的关系已成为当今社交网络和电子商务平台链路预测、推荐系统的热点研究方向[3]. ...
大数据与推荐系统
1
2015
... 社交媒体的发展,使用户可以随时随地发布自己感兴趣的内容[1].用户兴趣内容的发布提升了用户的社交活跃度,增强了用户的社交关系,形成了复杂的社交网络[2].电子商务的快速发展使用户与商品之间的交互也越来越频繁,庞大的用户群体与众多的商品构成了复杂的电商网络.社交网络、电商网络中具有多种类型的交互对象,交互对象间具有不同的关系,形成了异质信息网络(Heterogeneous Information Network,HIN).基于异质信息网络来预测对象之间的关系已成为当今社交网络和电子商务平台链路预测、推荐系统的热点研究方向[3]. ...
Representation learning of large?scale complex information network:concepts,methods and challenges
1
2018
... 社交媒体的发展,使用户可以随时随地发布自己感兴趣的内容[1].用户兴趣内容的发布提升了用户的社交活跃度,增强了用户的社交关系,形成了复杂的社交网络[2].电子商务的快速发展使用户与商品之间的交互也越来越频繁,庞大的用户群体与众多的商品构成了复杂的电商网络.社交网络、电商网络中具有多种类型的交互对象,交互对象间具有不同的关系,形成了异质信息网络(Heterogeneous Information Network,HIN).基于异质信息网络来预测对象之间的关系已成为当今社交网络和电子商务平台链路预测、推荐系统的热点研究方向[3]. ...
Representation learning of large?scale complex information network:concepts,methods and challenges
1
2018
... 社交媒体的发展,使用户可以随时随地发布自己感兴趣的内容[1].用户兴趣内容的发布提升了用户的社交活跃度,增强了用户的社交关系,形成了复杂的社交网络[2].电子商务的快速发展使用户与商品之间的交互也越来越频繁,庞大的用户群体与众多的商品构成了复杂的电商网络.社交网络、电商网络中具有多种类型的交互对象,交互对象间具有不同的关系,形成了异质信息网络(Heterogeneous Information Network,HIN).基于异质信息网络来预测对象之间的关系已成为当今社交网络和电子商务平台链路预测、推荐系统的热点研究方向[3]. ...
基于网络表示学习的个性化商品推荐
1
2019
... 社交媒体的发展,使用户可以随时随地发布自己感兴趣的内容[1].用户兴趣内容的发布提升了用户的社交活跃度,增强了用户的社交关系,形成了复杂的社交网络[2].电子商务的快速发展使用户与商品之间的交互也越来越频繁,庞大的用户群体与众多的商品构成了复杂的电商网络.社交网络、电商网络中具有多种类型的交互对象,交互对象间具有不同的关系,形成了异质信息网络(Heterogeneous Information Network,HIN).基于异质信息网络来预测对象之间的关系已成为当今社交网络和电子商务平台链路预测、推荐系统的热点研究方向[3]. ...
基于网络表示学习的个性化商品推荐
1
2019
... 社交媒体的发展,使用户可以随时随地发布自己感兴趣的内容[1].用户兴趣内容的发布提升了用户的社交活跃度,增强了用户的社交关系,形成了复杂的社交网络[2].电子商务的快速发展使用户与商品之间的交互也越来越频繁,庞大的用户群体与众多的商品构成了复杂的电商网络.社交网络、电商网络中具有多种类型的交互对象,交互对象间具有不同的关系,形成了异质信息网络(Heterogeneous Information Network,HIN).基于异质信息网络来预测对象之间的关系已成为当今社交网络和电子商务平台链路预测、推荐系统的热点研究方向[3]. ...
Personalized recommendation based on hierarchical interest overlapping community
1
2019
... 在复杂的异质信息网络中,任意节点对象之间的关系可能有多种,比如,社交网络用户与微博的行为关系可以体现在@、发布、转发等形式;电商网站中用户对产品的行为关系可以体现在浏览、评论、购买等方式.这种多类型的行为活动使对象之间的联系更加紧密,对象之间可能形成多元化的关系[4].也即,在异质信息网络中,每个节点对象可能具有多重类型,任意两个节点对象可能具有多重关系边,形成一种特殊的网络,即异质重边信息网络(Heterogeneous Multi⁃edge Information Network,HMIN).如图1的IMDB异质重边信息网络实例所示,导演D1可能既导演了电影M1,也主演了M1,D1与M1具有多种关系;用户U4既可能观看了M3,也可能评价了M3,U4与M3具有多种行为关系.基于异质重边信息网络中节点的重边结构可以挖掘对象之间深层次的关系,对于预测社交网络链路、提高电商推荐系统的精准性有重要的意义. ...
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...
Translating embeddings for modeling multi?relational data
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...
... TransE[7]:将关系看作头实体到尾实体的翻译,学习实体的知识嵌入. ...
Knowledge graph embedding via dynamic mapping matrix
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...
... TransH[9]:将头尾实体在超平面上进行投影,学习实体的知识嵌入. ...
Learning entity and relation embeddings for knowledge graph completion
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...
Graph embedding techniques,applications and performance:a survey
1
2018
... 传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示. ...
Nonlinear dimensionality reduction by locally linear embedding
1
2000
... 传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示. ...
Cauchy graph embedding
1
2011
... 传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示. ...
Deepwalk:online learning of social representations
1
2014
... 传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示. ...
Max?margin deepwalk:discriminative learning of network representation
1
2016
... 传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示. ...
Node2vec:scalable feature learning for networks
1
2016
... 传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示. ...
Line:large?scale information network embedding
1
2015
... 传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示. ...
Structural deep network embedding
1
2016
... 传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示. ...
Metapath2vec:scalable representation learning for heterogeneous networks
1
2017
... 传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示. ...
Heterogeneous graph attention network
1
2019
... 传统的网络表示方法主要借助矩阵表示顶点之间的链接关系,进而通过分解矩阵获得顶点的向量表示,常见的有邻接矩阵、拉普拉斯矩阵、转移概率矩阵、相似度矩阵等类型[12].早期的Locally Linear Embedding(LLE)[13]认为节点是邻居节点在低维空间的一种线性加权组合;拉普拉斯特征映射旨在尽可能接近地保留相邻节点对嵌入之间的距离[14].近年来,随着自然语言处理词嵌入技术的发展,基于随机游走的DeepWalk[15]算法被提出学习节点的向量表示.在此基础上,Tu et al[16]提出Max⁃Margin DeepWalk学习包含网络结构的节点表示向量.Node2vec[17]在DeepWalk的基础上,引入了一个偏向的随机游走程序,生成节点序列,获取网络嵌入.Tang et al[18]通过保持局部和全局的网络结构,提出Line的网络表示学习方法.Wang et al[19]结合一阶估计与二阶估计的优点,提出SDNE半监督学习模型来计算不同节点相邻结构的相似程度,有效解决了网络稀疏的向量表示问题.上述研究成果主要针对同质网络中的节点表示进行研究,而异质信息网络中节点和关系具有不同的类型,同构网络的表示学习难以直接学习节点的异质信息.Metapath2vec[20]基于元路径的随机游走来构造节点的异构邻居,捕获不同类型节点之间的关系,学习节点的嵌入.图神经网络可以学习网络结构中的节点关系和语义知识,Wang et al[21]考虑节点级别和语义级别的影响,提出一种异构图神经网络分层注意力机制方法,解决了只考虑单一元路径结构信息的不足.在异质重边信息网络中,节点之间具有多种类型的关系,基于多元化类型关系可以增强节点的表示. ...
TransG:A generative model for knowledge graph embedding
1
2016
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...
Learning to represent knowledge graphs with gaussian embedding
1
2015
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...
Transnet:translation?based network representation learning for social relation extraction
1
2017
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...
Explainable reasoning over knowledge graphs for recommendation
1
2019
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...
RippleNet:Propagating user preferences on the knowledge graph for recommender systems
1
2018
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...
Ef?cient heterogeneous collaborative filtering without negative sampling for recommendation
1
2020
... 知识图谱的语义表示学习主要将语义网络中的实体在低维稠密向量空间中表示,进而广泛应用在链路预测、情感分析、推荐系统、语义推理等多个方面[6].比较代表性的TransE[7]是基于词向量的平移不变现象提出将实体和关系嵌入到低维向量空间的方法.在此基础上,一系列翻译模型被提出,如TransD[8],TransH[9],TransR[10],TransG[22],KG2E[23]等,主要针对头尾实体三元组不同类型的关系和映射矩阵的稀疏性进行研究.针对网络中实体间的多元关系,Tu et al[24]基于自编码技术学习多标签关系的表示,进而提出TransNet模型实现多元关系的预测.基于翻译模型的实体嵌入考虑了关系的类型,忽略了对网络中关系路径的描述,无法发现关系路径的语义.Wang et al[25]考虑实体和关系的类型语义生成路径的表示,通过分析路径上不同类型的语义重要性来学习用户与项目的交互关系.Wang et al[26]基于知识图谱路径迭代更新用户的兴趣,提出端到端的RippleNet模型,学习用户对项目的不同预测概率.针对异质信息网络中反馈信息的多样性,Chen et al[27]提出异质信息中的负采样策略,尽可能保持异质类型的信息,建模细粒度的用户⁃项目关系,实现Top⁃N推荐.在异质重边信息网络中,节点三元组对的头实体、尾实体具有不同的类型,如何将实体类型的信息融合到知识表示模型,对于不同类型实体的嵌入性能的改进,头尾实体的链路预测精度的提升,具有重要的影响. ...