基于用户长短期历史的多兴趣召回算法

doi:10.13232/j.cnki.jnju.2024.01.002

基于用户长短期历史的多兴趣召回算法

张旭, 欧中洪^,, 宋美娜

北京邮电大学计算机学院，北京，100876

Multi⁃interest recall algorithm based on users' long and short⁃term history

Zhang Xu, Ou Zhonghong^,, Song Meina

College of Computer Science，Beijing University of Posts and Telecommunications，Beijing，100876，China

通讯作者: E⁃mail：zhonghong.ou@bupt.edu.cn

收稿日期: 2023-10-27

基金资助:

国家自然科学基金. 62076035

Received: 2023-10-27

摘要

随着互联网时代的高速发展，用户面临信息过载问题，推荐系统应运而生.推荐系统一般分两个阶段，即推荐召回和推荐排序，推荐召回阶段主要用来筛选出一部分候选集以减小推荐排序阶段的计算压力.多兴趣个性化推荐系统对于每一个用户，算法能学习到用户的多种不同的兴趣偏好，然而目前的多兴趣召回算法只考虑了用户短期历史纪录，忽视了用户长期历史纪录中蕴含的丰富信息.针对这一问题，提出一种基于用户长短期历史的多兴趣召回算法，通过不同的神经网络模型结构分别建模用户长短期兴趣偏好，并通过门控融合网络融合用户长短期兴趣偏好，最终得到用户的多个兴趣偏好，实现了个性化推荐召回.在两个公开数据集上的实验证明了模型的有效性.

关键词： 推荐系统 ; 序列推荐 ; 多兴趣 ; 长短期历史 ; 图神经网络

Abstract

With the rapid development of the internet era，users are facing the problem of information overload，and recommendation systems have emerged. Recommendation systems are generally divided into two stages: the recommendation recall stage and the recommendation ranking stage，with the main purpose of the recommendation recall stage being to select a part of the candidate set to reduce the computing load in the recommendation ranking stage. A multi⁃interest personalized recommendation system learns various users' interest preferences for each user. However，current multi⁃interest recall algorithms only consider users' short⁃term history and ignore the rich information contained in users' long⁃term history. To address this issue，this paper proposes a multi⁃interest recall algorithm based on users' long and short⁃term history. The algorithm models users' long and short⁃term interest preferences through different neural network model structures and uses a gate fusion network to fuse users' long and short⁃term interest preferences to ultimately obtain users' multiple interest preferences，achieving personalized recommendation recall. The effectiveness of the model is demonstrated through experiments on two public datasets.

Keywords： recommendation system ; sequential recommendation ; multi⁃interest ; long and short⁃term history ; graph neural network

PDF (424KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

张旭, 欧中洪, 宋美娜. 基于用户长短期历史的多兴趣召回算法. 南京大学学报（自然科学）[J], 2024, 60(1): 12-17 doi:10.13232/j.cnki.jnju.2024.01.002

Zhang Xu, Ou Zhonghong, Song Meina. Multi⁃interest recall algorithm based on users' long and short⁃term history. Journal of nanjing University[J], 2024, 60(1): 12-17 doi:10.13232/j.cnki.jnju.2024.01.002

目前推荐系统多兴趣召回领域的研究主要聚焦于针对用户短期历史行为记录的建模，忽视了用户长期历史行为记录中隐含的用户长期兴趣偏好以及建立用户短期和长期兴趣偏好间的关联关系等问题.同时，在推荐系统用户长行为序列建模领域中，主流研究往往采用单个全局用户嵌入向量来表示用户的兴趣偏好，但这样会使用户多个兴趣的不同信息混合在一起，导致召回阶段的物品检测不准确.本文定义并构造了一种基于用户长短期历史的多兴趣召回算法模型，通过在两个开源数据集上进行的实验和对比分析，验证了提出的算法模型的有效性.

本文的主要贡献如下.

（1）提出一种基于用户长短期历史的多兴趣召回算法LSMNet （Long and Short Multi⁃Interest Network），成功建模用户长历史纪录下的多个不同兴趣偏好.

（2）通过使用图神经网络对用户短期历史表征进行增强，并利用结构化自注意力机制提取用户多个短期兴趣偏好.对于用户长期兴趣偏好，使用Transformer结构进行建模.最后，利用门控融合网络对长短期偏好进行融合，得到用户的最终兴趣偏好.

（3）在不同的公开数据集上进行了实验，结果证明LSMNet模型可以有效地捕捉用户长期历史中的兴趣偏好.

1 相关工作

在推荐系统的早期研究阶段，召回算法主要分两大类，即基于内容的推荐算法和基于协同过滤的推荐算法.基于协同过滤的算法主要分两类，即基于模型的协同过滤算法^［1-3］和基于记忆的协同过滤算法^［4-6］.

召回算法按照使用几个向量代表用户兴趣偏好分为单兴趣召回算法和多兴趣召回算法.多兴趣召回算法（如Octopus^［7］模型）与经典单兴趣召回算法（如Youtube DNN^［8］和FAT模型^［9］）相比，使用了更复杂的模型结构，并用多个高维稠密向量来代表用户潜在的兴趣偏好.和单兴趣召回算法相比，多兴趣召回算法避免将用户的多个兴趣混合在一起，提高了召回阶段候选集的准确性，实现了千人万面效果.然而，目前的主流研究都忽视了用户长期历史行为记录中蕴含的潜在信息，没有将用户的长期历史和短期历史综合考虑.

另一方面，召回算法按照模型输入的用户历史行为记录长度分为短期历史召回算法和长短期历史召回算法.如Youtube DNN，MIND和FAT等模型均为短期历史召回算法模型，只基于用户最近的历史行为记录建模.长短期历史召回算法对用户长期历史和短期历史使用不同的模型进行建模，并将得到的用户长期兴趣偏好和短期兴趣偏好进行融合.如SHAN模型^［10］使用两层注意力网络建模用户长期偏好并与用户短期历史进行融合.ADNNet模型^［11］使用卷积神经网络建模用户短期偏好，利用门控循环单元建模用户长期偏好，通过自注意力机制将两者进行融合.

2 基于用户长短期历史的多兴趣召回算法

本节介绍基于用户长短期历史的多兴趣召回算法的模型结构，模型结构如图1所示．

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 LSMNet的整体架构图

Fig.1 The overall architecture of LSMNet

2.1　嵌入层

在召回任务中，输入数据由物品的ID组成，但神经网络无法直接处理ID类特征，一种常用的做法是借助嵌入变换用一个低维度稠密向量表示物品.具体计算如下：

e_{i} = W_{i t e m} x_{i}

（1）

其中， $x_{i}$ 表示用户在第 $i$ 个位置上点击的物品对应的ID， $W_{i t e m}$ 代表物品嵌入矩阵， $e_{i}$ 表示用户在第 $i$ 个位置上点击的物品对应的嵌入向量.

因为Transformer结构和图神经网络中不能区分物品的先后顺序，所以为每个位置加上对应的嵌入向量.最终用户的物品嵌入向量如下：

E = [e_{1} + p_{1}, e_{2} + p_{2}, \dots, e_{n} + p_{n}]

(2)

其中， $E$ 表示用户历史嵌入向量， $p_{i}$ 表示第 $i$ 个位置对应的嵌入向量.

2.2　长期兴趣偏好提取模块

对于物品嵌入 $E$ ，将其输入2.1中的Transformer编码器来提取用户的长期兴趣偏好.具体的计算过程如下：

h e a d_{i} = A t t e n t i o n (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})

(3)

Z = C o n c a t (h e a d_{1}, \dots, h e a d_{h}) W^{O}

(4)

A t t e n t i o n (Q, K, V) = S o f t m a x (\frac{Q K^{T}}{\sqrt[]{d_{k}}}) V

(5)

其中， $W_{i}^{Q}, W_{i}^{K}, W_{i}^{V}$ 为多头注意力映射权重矩阵， $W^{O}$ 表示输出映射权重矩阵， $Q$ ， $K$ 和 $V$ 为自注意力层的输入.之后，将中间表示 $Z$ 输入前馈网络层，具体计算如下：

X = L a y e r N o r m (Z) + V

(6)

X_{F N N} = m a x (0, X W_{1} + b_{1}) W_{2} + b_{2}

(7)

Y = L a y e r N o r m (X_{F N N}) + X

(8)

其中， $L a y e r N o r m$ 表示层级归一化， $W_{1}$ 和 $W_{2}$ 表示前馈网络层的权重参数， $b_{1}$ 和 $b_{2}$ 表示前馈网络层的偏置项， $m a x$ 表示取最大值， $V$ 为自注意力层的输入， $Y$ 为物品嵌入 $E$ 经过一层Transformer编码器编码后的向量.通过堆叠上述Transformer编码器，并将每一层编码器的输出输入至下一层，最终得到用户长期兴趣偏好 $I^{l o n g}$ .

2.3　短期兴趣偏好提取模块

短期兴趣偏好提取模块由两个子模块组成，即图交互子模块和结构化自注意力子模块.图交互子模块负责将用户短期历史序列在图视角下进行交互计算，结构化自注意力子模块将经由图交互子模块的物品嵌入转换为多个用户短期兴趣偏好.

2.3.1　图交互子模块

图交互子模块以用户历史交互物品嵌入 $E$ 为输入，重新记为 $E^{0}$ ，上标表示在图交互子模块中的迭代次数， $0$ 表示原始输入.使用对应的小写字母代表某个物品，用小标表示该物品所处的位置，如 $e_{r}^{2}$ 表示两轮图算法迭代后第 $r$ 个位置的物品的嵌入.

首先构建一张线性图，以物品作为图节点，为相邻的历史物品间添加一条有向边，有向边的方向从较远交互物品指向较近交互物品.在图上新构建一个节点 $C$ ，为该节点与用户所有输入历史物品间添加一条无向边，并初始化节点 $C$ 的嵌入 $c^{0}$ 为所有历史物品嵌入的平均值.具体计算如下：

c^{0} = a v e r a g e (E^{0})

(9)

为了使物品信息能在图结构上进行传播，将节点更新过程分为两步并不断重复 $L$ 次， $L$ 为超参数.第一步更新所有物品节点的嵌入，第二步更新新增节点 $c$ 的嵌入.

(1)第一步，以第 $l$ 次迭代为例，第 $r$ 个物品节点具体的更新计算如下：

g_{r}^{l} = c o n c a t [e_{r - 1}^{l - 1}; c^{l - 1}; e_{r}^{l - 1}; e_{r}^{0}]

(10)

e_{r}^{l} = M u l t i H e a d (Q = e_{r}^{l - 1}, K = g_{r}^{l}, V = g_{r}^{l})

(11)

其中， $M u l t i H e a d$ 表示多头自注意力层，详细计算参考式（5）； $e_{r}^{0}$ 表示第 $r$ 个物品的初始嵌入， $e_{r}^{l - 1}$ 表示第 $r$ 个物品上一轮中的嵌入， $e_{r - 1}^{l - 1}$ 表示前一个物品上一轮中的嵌入； $c^{l - 1}$ 表示节点 $C$ 上一轮中的嵌入； $g_{r}^{l}$ 为第 $l$ 次迭代第 $r$ 个物品临时向量；输出 $e_{r}^{l}$ 表示第 $r$ 个物品第 $l$ 次迭代后的嵌入.对每个物品节点按上述公式同时进行更新，得到第 $l$ 次迭代后所有物品嵌入 $E^{l}$ .

(2)第二步，以第 $l$ 次迭代为例，节点 $C$ 的更新过程如下：

q^{l} = c o n c a t [c^{l - 1}; E^{l}]

(12)

c^{l} = M u l t i A t t (Q = c^{l - 1}, K = q^{l}, V = q^{l})

(13)

其中， $E^{l}$ 表示第一步计算得到的第 $l$ 轮迭代后的所有物品嵌入， $c^{l - 1}$ 表示节点 $C$ 在第 $l - 1$ 轮迭代后的嵌入， $q^{l}$ 为第 $l$ 轮迭代中临时向量， $c^{l}$ 表示节点 $C$ 在第 $l$ 轮迭代后的嵌入.

经过两步 $L$ 轮迭代后，得到最终物品嵌入 $E^{L}$ ，并将其输入结构化自注意力子模块中.

2.3.2　结构化自注意力子模块

对于图交互子模块的输出物品嵌入 $E^{L}$ ，重新用 $H$ 标记，使用结构化自注意力机制从中提取用户多个短期兴趣偏好.具体计算如下：

A = S o f t m a x (W_{s 2} t a n h (W_{s 1} H^{T}))

(14)

I^{s h o r t} = A H

（15）

其中， $S o f t m a x$ 表示归一化指数函数， $W_{s 1} \in R^{K \times 4 d}$ 和 $W_{s 2} \in R^{4 d \times 4}$ 表示权重矩阵， $K$ 表示用户兴趣偏好数量， $d$ 表示隐藏层维度， $t a n h$ 表示双曲正切函数， $H^{T}$ 表示物品嵌入 $H$ 的转置， $I^{s h o r t} \in R^{K \times d}$ 表示用户多个短期兴趣偏好， $A$ 为计算过程中的临时变量.

2.4　兴趣融合模块

通过长期兴趣偏好提取模块和短期兴趣偏好提取模块分别得到用户的长期兴趣偏好 $I^{l o n g}$ 和短期兴趣偏好 $I^{s h o r t}$ ，使用兴趣融合模块对长短期兴趣偏好进行融合.兴趣融合模块由门控融合网络组成，对于每一个短期兴趣偏好，使用门控融合网络计算其与长期兴趣偏好的权重值并加权求和.例如，对第 $j$ 个短期兴趣偏好，具体的计算流程如下：

G_{j} = s i g m o i d (W^{1} I_{j}^{s h o r t} + W^{2} I^{l o n g} + b)

(16)

V_{j} = (1 - G_{j}) ⊙ I_{j}^{s h o r t} + G_{j} ⊙ I^{l o n g}

(17)

其中， $W^{1}$ 和 $W^{2}$ 为可学习的权重映射矩阵， $b$ 为偏置项， $G_{j}$ 为第 $j$ 个兴趣偏好计算过程中长期兴趣偏好的权重， $V_{j}$ 表示用户的第 $j$ 个融合兴趣偏好.将用户的所有兴趣偏好进行拼接，得到用户最终的兴趣偏好 $V$ ：

V = [V_{1}, V_{2}, \dots, V_{K}]

(18)

3 模型训练推理

在得到用户最终兴趣偏好 $V$ 后，对于某一个交互物品 $i$ ，可以找到与物品嵌入 $e_{i}$ 最相似的用户兴趣向量，如下所示：

v = V [:, a r g m a x (V^{T} e_{i})]

(19)

其中， $a r g m a x$ 表示取最大值所对应的小标， $v$ 表示与物品嵌入 $e_{i}$ 最相似的用户兴趣偏好， $V^{T}$ 表示 $V$ 的转置.

给定训练样本 $(u, i)$ ，通过上述步骤得到 $e_{i}$ 和 $v$ ，可以计算用户 $u$ 点击物品 $i$ 的可能性：

P_{θ} (i| u) = \frac{e x p (v_{U}^{T} e_{i})}{\sum_{k \in ℐ} e x p (v_{U}^{T} e_{k})}

（20）

其中， $ℐ$ 表示物品集.

模型训练时的损失函数为最小化负对数似然，具体计算如下：

l o s s = \sum_{u \in 𝒰} \sum_{i \in ℐ_{u}} - l g P_{θ} (i| u)

(21)

其中， $𝒰$ 表示所有用户， $ℐ_{u}$ 表示用户 $u$ 的交互物品集.

模型推理时，根据目标用户的多个兴趣偏好，每个兴趣偏好召回一定数量的候选物品集，将这些候选物品集合按点积相似度从大到小排序，取前Top⁃K个物品作为目标用户召回物品候选集.

4 实验与结果

4.1　数据集介绍

MovieLens数据集由用户对电影的评分信息和时间戳组成，同时包含了电影和用户的部分元数据特征.用户特征含有用户的性别、年龄和所在地，物品特征含有电影标题和电影类型.

MovieLens提供了多种大小的数据集，本文选择MovieLens⁃1M数据集来衡量召回阶段的相关性能.MovieLens⁃1M数据集共包含2000年4月25日至2002年2月28日6040名用户对3952部电影的1000209条评分，评分范围为1~5的整数.

Taobao数据集^［12］是阿里巴巴提供的一个淘宝用户行为数据集，可用于隐式反馈推荐问题的研究.Taobao数据集包含2017年11月25日至2017年12月3日987994名有行为的用户在4162024件物品上的100150807条行为.行为包括点击、喜欢、购买、加购，额外特征只包含商品类目特征.

对于两个数据集，首先去除出现次数小于五次的冷门物品，再去除历史行为少于五次的不活跃用户.对于每个用户的历史行为记录，参考SDM （Sequential Deep Matching）^［13］的方法进行处理，并将所有用户的倒数第二件物品作为验证集，将所有用户的倒数第一件物品作为测试集.

4.2　评估指标介绍

命中率（Hit Rate，HR）^［14］对所有的用户整体考虑推荐预测结果的准确性，表示有多少比例的用户的预测物品结果中至少包含一件与用户有交互的物品.

归一化折损累积增益（Normalized Discounted Cumulative Gain，NDCG）^［14］主要用来衡量和评价搜索算法，也适用于推荐系统评估.在推荐系统领域中，根据测试集和推荐的预测结果顺序，依次计算累计增益（Cumulative Gain，CG）、折损累计增益（Discounted Cumulative Gain，DCG）、理想折损累计增益（Ideal Discounted Cumulative Gain，IDCG）.归一化折损累积增益定义为折损累计增益经过理想折损累计增益归一化后的结果.

4.3　实验对比模型

选取六种主流的推荐召回算法作为基线算法，与提出的算法进行对比研究.

（1） MIND^［15］：是深度学习多兴趣召回经典算法之一，使用共享权重的胶囊神经网络建模用户多个兴趣偏好.

（2） Comirec⁃SA^［14］：使用自注意力层从用户历史行为中提取用户多个兴趣偏好.

（3） Comirec⁃DR^［14］：同样使用胶囊神经网络建模用户多个兴趣偏好.和MIND相比，Comirec⁃DR使用独享权重的胶囊神经网络，即不同的低层胶囊和不同的高层胶囊使用不同的参数.

（4） Transformers4Rec^［16］：利用Transformer结构建模用户兴趣偏好，用户最近行为对应的向量代表用户兴趣偏好.

（5） SHAN^［10］：首先通过一层注意力网络建模用户的长期兴趣偏好，再利用一层注意力网络联合用户的长期兴趣偏好和短期兴趣偏好来计算最终的用户兴趣偏好.

（6） SDM^［13］：通过带残差的LSTM （Long⁃Short Term Memory）加自注意力机制的复杂模型对用户短期兴趣进行建模，利用注意力机制对用户长期兴趣进行建模，最终通过门控神经网络融合用户长期兴趣和用户短期兴趣.

所有模型使用Tensorflow^［17］实现，并使用Adam^［18］优化器对模型进行优化学习.

4.4　实验结果

对比实验的结果如表1所示，表中黑体字表示性能最优.

表1 不同召回模型的性能对比

Table 1 Performance of different recall models

模型	MovieLens		Taobao
模型	HR@50	NDCG@100	HR@100	NDCG@100
LSMNet	46.33	18.28	23.71	9.20
MIND	34.42	12.90	20.68	7.60
Comirec⁃SA	36.78	12.48	18.69	7.36
Comirec⁃DR	35.53	14.10	19.95	7.61
Transformers4Rec	41.34	16.64	18.01	6.43
SHAN	33.99	12.33	14.55	4.90
SDM	44.34	17.87	21.84	8.71

新窗口打开| 下载CSV

由表可见，LSMNet的表现均优于其他基线模型.具体地，在MovieLens数据集上，LSMNet的HR@50和NDCG@100分别提升4.49%和2.31%；在Taobao数据集上，LSMNet的HR@100和NDCG@100分别提升8.55%和5.68%.实验结果充分证明了该算法的有效性.

虽然和MIND相比，Comirec⁃DR去除了共享参数，理论上应该有更大的模型容量，但其在两个数据集上的表现却各有优劣，可能因为和Movie⁃Lens数据集相比，Taobao数据集含有更多噪声.

虽然SHAN考虑了用户长期历史行为，但是因为其模型结构比较简单，表现不佳.和SHAN相比，SDM的模型结构更复杂，所以SDM在两个数据集上都获得了次优表现.

4.5　消融实验对比

定义LSMNet去除长期兴趣偏好提取模块的模型为LSMNet⁃L，去除图神经网络的模型为LSMNet⁃G.表2展示了LSM⁃Net模型去掉部分模块后的性能表现.由表可见，去除长期历史建模模块或图神经网络后，模型的性能明显下降，而且去除长期历史建模模块后，模型性能的下降更明显.充分证明了建模用户长期历史和图神经网络的有效性.

表2 模型各模块的消融实验结果对比

Table 2 Performance of each module of LSMNet in ablation experiments

模型	MovieLens		Taobao
模型	HR@50	NDCG@100	HR@100	NDCG@100
LSMNet⁃L	38.278	13.074	21.915	8.731
LSMNet⁃G	44.288	17.105	22.116	8.507
LSMNet	46.334	18.280	23.708	9.203

新窗口打开| 下载CSV

5 结论

本文提出一种基于用户长短期历史的多兴趣召回算法，利用图神经网络和结构化自注意力捕捉用户短期兴趣偏好，利用Transformer架构捕捉用户长期兴趣偏好，并通过门控融合网络融合用户长短期兴趣偏好得到最终用户兴趣偏好.实验结果表明，本文提出的基于用户长短期历史的多兴趣召回算法，其性能表现优于许多已有的召回算法.该算法是可行且高效的.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

岳小琛

. 推荐系统中基于模型的协同过滤算法研究. 硕士学位论文.烟台：烟台大学，2022.