结合兴趣点类别周期属性和用户短期偏好特征的推荐模型

图1 用户的行动轨迹

Fig.1 Diagram of a user's action trajectory

受上述工作的启发，本文提出结合类别的周期性和短期兴趣相结合的下一个兴趣点推荐模型（Combining Periodic and Spatio⁃Temporal Intervals' Network，CPSTIN），旨在联合学习高阶关联的短期兴趣和结合兴趣点类别的周期兴趣以提高推荐的准确性.首先，在周期兴趣提取模块中将用户的历史签到轨迹按每周划分为为片段后再按小时段嵌入，通过激活函数实现非线性激活来放大并突出用户按小时模式签到的语义.其次，将签到表示向量通过前馈层和多头自注意力层，每个自注意力头从自己的角度挖掘语义信息，在计算过程中使用残差模块来避免梯度消失问题.然后在短期兴趣挖掘模块中构造一个时空间隔矩阵，使用线性插值法嵌入非连续的时空间隔信息，四个可学习的转移矩阵在计算过程中将时空间隔映射到语义空间，得到用户的短期兴趣表示.最后设计了注意力查询公式，在注意力查询模块中基于用户短期兴趣和用户结合类别的周期性偏好来推荐下一个兴趣点.本文的主要贡献如下.

（1）提出一个结合兴趣点类别的周期兴趣提取模块，该模块可以将用户的签到记录按小时段模式嵌入时间窗口，并使用多头自注意力机制提取用户结合类别的周期性偏好.

（2）提出一个短期兴趣提取模块，可以在一个时间窗口内结合时空间隔信息来挖掘用户的高阶关联性短期兴趣.

（3）为了推荐下一个兴趣点，使用一种基于结合类别的周期性和短期兴趣的注意力查询兴趣点方式，并在两个真实数据集上进行实验来验证模型的有效性.

1 问题描述

随着用户访问POI的历史轨迹越来越多，有必要将其分成连续的访问片段，由此，本文引入了签到轨迹等概念.简单地说，本文的任务是给定用户历史访问记录，预测用户在下一个时间点会访问的兴趣点.以下是相关定义.

定义1

用户、兴趣点和兴趣点类别设长度为 $M$ 的用户集 $U = \{u_{1}, u_{2}, \dots, u_{M}\}$ ，长度为 $N$ 的兴趣点集 $V = \{v_{1}, v_{2}, \dots, v_{N}\}$ ，长度为 $K$ 的兴趣点类别集 $C = \{c_{1}, c_{2}, \dots, c_{K}\}$ .

定义2

用户的签到活动一个用户的签到是一个四元组 $c h_{t_{k}}^{u} = (u, v_{t_{k}}^{u}, c_{k}, t_{k})$ ，表示用户 $u$ 在时间 $t_{k}$ 签到了类别为 $c_{k}$ 的兴趣点 $v_{t_{k}}^{u}$ .

定义3

签到序列设用户 $u$ 签到序列为 $s_{u} = \{c h_{t_{1}}^{u}, c h_{t_{2}}^{u}, \dots, c h_{t_{|u|}}^{u}\}$ ，表示用户 $u$ 的所有签到活动都按时间升序排列，进而可以得到所有用户的签到序列集为 $S^{U} = \{s_{u_{1}}, s_{u_{2}}, \dots, s_{u_{M}}\}$ .

定义4

签到轨迹设用户 $u$ 的第 $k$ 条用户签到轨迹为 $t r a j_{k}^{u} = \{c h_{t_{k}}^{u}, c h_{t_{k + 1}}^{u}, \dots, c h_{t_{k + w - 1}}^{u}\}$ ，是签到序列中长度为 $w$ 的连续子序列，用户 $u$ 的签到轨迹集为 $t r a j^{u} = \{t r a j_{1}^{u}, t r a j_{2}^{u}, \dots, t r a j_{t_{|u|} - w + 1}^{u}\}$ ，所有用户的签到顺序集为 $t r a j^{U} = \{t r a j^{u_{1}}, t r a j^{u_{2}}, \dots, t r a j^{u_{M}}\}$ .

定义5

签到时空间隔设用户 $u$ 的第 $k$ 个签到时空间隔矩阵分别为 $Δ_{k}^{T, u}$ 和 $Δ_{k}^{L, u}$ ，具体的计算方式如式（1）和式（2）所示：

Δ_{k}^{T, u} = [\begin{matrix} t_{k + 1} - t_{k} & t_{k + 2} - t_{k} & \dots & t_{w + k} - t_{k} \\ 0 & t_{k + 2} - t_{k + 1} & \dots & t_{w + k} - t_{k + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & t_{w + k} - t_{w + k - 1} \end{matrix}]

(1)

Δ_{k}^{L, u} = [\begin{matrix} d i s (v_{k + 1}, v_{k}) & d i s (v_{k + 2}, v_{k})) & \dots & d i s (v_{w + k}, v_{k}) \\ 0 & d i s (v_{k + 2}, v_{k + 1}) & \dots & d i s (v_{w + k}, v_{k + 1}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & d i s (v_{w + k}, v_{w + k - 1}) \end{matrix}]

(2)

其中， $d i s (v_{i}, v_{j})$ 表示兴趣点 $v_{i}$ 和兴趣点 $v_{j}$ 之间的空间距离， $(Δ_{k}^{T, u}, Δ_{k}^{L, u})$ 对应定义4中的签到轨迹 $t r a j_{k}^{u}$ .，此外，可以得到用户 $u$ 的时间间隔矩阵集合 $Δ^{T, u} = \{Δ_{1}^{T, u}, Δ_{2}^{T, u}, \dots, Δ_{t_{|u|} - w + 1}^{T, u}\}$ 以及空间间隔矩阵集合为 $Δ^{L, u} = \{Δ_{1}^{L, u}, Δ_{2}^{L, u}, \dots, Δ_{t_{|u|} - w + 1}^{L, u}\}$ .进而得到所有用户的时间间隔矩阵集合为 $Δ^{T, U} = \{Δ^{T, u_{1}}, Δ^{T, u_{2}}, \dots, Δ^{T, u_{M}}\}$ 以及所有用户的空间间隔矩阵集合 $Δ^{L, U} = \{Δ^{L, u_{1}}, Δ^{L, u_{2}}, \dots, Δ^{L, u_{M}}\}$ .

定义6

下一个兴趣点预测任务给定第 $k$ 个用户轨迹 $t r a j_{k}^{u}$ 、时空间隔矩阵 $Δ_{k}^{u}$ 以及所有候选兴趣点集 $V$ ，将其输入模型后，输出一个长度为 $N$ 的概率分布.最大概率对应的兴趣点就是模型输出的用户最有可能去的下一个兴趣点.

2 模型结构

CPSTIN模型分三个部分：结合兴趣点类别的周期兴趣提取模块、短期兴趣提取模块和注意力查询模块，模型结构如图2所示.

图2

图2 CPSTIN的结构图

Fig.2 The structure diagram of CPSTIN model

2.1　结合兴趣点类别的周期兴趣提取模块

模型利用每周小时模式处理后的时间戳信息来提取用户的周期兴趣，再使用多头自注意力机制来挖掘用户多视角结合类别的周期性偏好.

模型的周期划分采取两层时间分隔，即以每周划分为时间片段^{［13，15］}后，再将一周中每小时作为划分粒度进行周期提取.现实中大量用户都是以一周为长度实行每周的工作任务，即周一到周五工作学习，周六周日放松休息；同样，以每日作为长度实行工作计划也是符合用户工作特点的；而以每月作为时间长度，更符合用户长期的生活习惯和规律.此外，第二个划分中对于更细粒度划分的任务规划，以每小时划分是合适的，但以每12小时划分则更符合实际情况.

CPSTIN模型需要将用户签到轨迹，即 $t r a j_{k}^{u}$ 送入多模态嵌入层来学习密集向量表示.为了获取用户的小时模式，首先要将连续的时间戳划分成7×24小时的时隙表示，即0~167表示每周的某个小时，例如，0表示星期一的凌晨0点到1点.由此可得用户、兴趣点和签到时间的向量表达式为 $e_{i}^{u} \in ℝ^{e m b}$ ， $e_{i}^{c} \in ℝ^{e m b}$ 和 $e_{i}^{t} \in ℝ^{e m b}$ .然后，模型采取向量相加得到每个用户签到的表达向量，如式（3）所示，在某些情况下还可以考虑向量拼接.

j o i n t_{i} = e_{i}^{u} + e_{i}^{v} + e_{i}^{c} + e_{i}^{t}, j o i n t_{i} \in ℝ^{e m b}

(3)

接着，将签到表达向量放入激活函数中，如式（4）所示，用来挖掘用户的周期小时模式.

C = S o f t s i g n (j o i n t) = \frac{j o i n t}{1 + |j o i n t|}

(4)

$S o f t s i g n$ 函数是 $t a n h$ 函数的替代品，但为梯度下降问题提供了比 $t a n h$ 函数更好的解决方案.

CPSTIN模型希望从用户的历史签到表示向量中得到用户多角度结合类别的周期性偏好，例如，用户可以在特定时间访问特定的POI，或在特定时间访问特定类型的POI.众所周知，多头自注意力机制来源于机器翻译模型Transformer^［22］，自注意力机制的不足之处在于它在对当前情况编码时会过于关注自己所在的位置，而多头自注意力机制允许每个自注意力头从自己角度分别学习语义.与一般Transformer中的编码器不同，CPSTIN模型不采用位置编码，因为在这个模块中不强调位置序列顺序，而是从每个嵌入中提取周期性.基于这种考虑，CPSTIN模型采用不加位置编码的多头自注意力，从多个角度提取用户签到的语义信息，以便从不同角度收集用户的周期性兴趣偏好.语义模型可以从原文本中以不同的程度和角度提取语义信息，多头自注意力机制模块通过对多个头计算结果进行拼接操作得到多语义表示向量.这里希望模型的每个自注意力头都能从自己的角度获取用户的周期性偏好信息，在计算过程中，一个注意力头需要三个可训练矩阵，再对用户签到表示向量进行线性变换得到查询 $Q$ 、键值对 $K$ 和 $V$ .具体的相关公式如下：

P = C o n c a t (h e a d_{1}, h e a d_{2}, \dots, h e a d_{h}) W^{O}

(5)

h e a d_{i} = A t t e n t i o n (C W_{i}^{Q}, C W_{i}^{K}, C W_{i}^{V})

(6)

A t t e n t i o n (Q, K, V) = S o f t m a x (\frac{Q K^{T}}{\sqrt[]{d_{k}}})

(7)

其中， $C$ 是用户签到表示向量， $W^{Q}$ ， $W^{V}$ 和 $W^{K}$ 是 $C$ 进行线性变换的可训练矩阵， $d_{k}$ 是 $W^{Q}$ ， $W^{V}$ 和 $W^{K}$ 的嵌入维度.计算时，将输入 $C$ 和可学习矩阵 $W^{Q}$ ， $W^{V}$ 和 $W^{K}$ 进行线性运算得到 $K$ ， $Q$ 和 $V$ ，然后 $K$ 和 $Q$ 进行点积运算得到注意力分数矩阵.向量的重要程度越高，注意力分数值越大.为了防止梯度消失，需要在得到注意力分数矩阵后除以 $\sqrt[]{d_{k}}$ .

F F N (P) = L e a k y R e L U (P W_{1} + b_{1}) W_{2} + b_{2}

(8)

P e r i o d (U) = F (x) + x

(9)

其中， $W_{1}$ ， $W_{2}$ ， $b_{1}$ 和 $b_{2}$ 是可学习参数； $L e a k y R e L U$ 是非线性激活函数，即上文介绍的多头自注意力机制的计算和前馈神经网络计算，所以这里计算了两次残差操作.

尽管多头自注意力方法从各个角度获取了用户结合类别的周期性偏好，但本质上仍然是在进行线性计算，多角度的偏好信息没有融合，输入和输出的维度不一致.在多头自注意力机制之后，将Encoder模块的前馈神经网络（Feed Forward Networks，FFN）放置在模型中，可以更好地处理上述问题，如式（8）所示.使用 $L e a k y R e L U$ 来代替 $R e L U$ ，其优点是在不丢失关键信息的情况下为负输入值提供计算.此外，基于深度学习的模型在训练过程中可能会出现梯度消失和权重矩阵退化的问题，为了解决这个问题，需要在多头注意力计算和前馈神经网络计算过程中加入残差机制.

2.2　短期兴趣提取模块

短期时间内的时空间隔信息反映了用户访问兴趣点的短期兴趣和日常习惯.另一方面，时空间隔是一组连续的数值，如果将连续的时空间隔直接用于模型训练，训练可能有困难.常用的连续数值嵌入方法，如分桶法，其阈值范围必须手动选择，阈值的合理性直接影响模型的表达能力.因此，模型需要利用一种能够非线性地捕获特征信息并适用于时空嵌入场景的策略.受文献［6，15］的启发，本文使用一种简单的线性插值方法在时间和空间维度中嵌入时空间隔数值，时空转移矩阵也被添加到模型架构中，以便非线性地提取特征信息，从而提高时空预测性能.首先，根据用户 $u$ 的访问轨迹可以获取其第 $k$ 个签到时空间隔矩阵 $(Δ_{k}^{T, u}, Δ_{k}^{L, u})$ .其次，对所有用户的时空间隔集合取最大和最小值，其中时间间隔的最大最小值分别为 $U p p e r (Δ^{T, U})$ 和 $L o w e r (Δ^{T, U})$ ，空间间隔分别为 $U p p e r (Δ^{L, U})$ 和 $L o w e r (Δ^{L, U})$ .最后通过线性插值法计算后进行向量相加，得到用户的短期偏好表示，如式(10)~(12)所示：

e_{i}^{Δ^{T}} = L I T (Δ_{k}^{T, u}) = \frac{T_{Δ^{T}}^{U} (U p p e r (Δ^{T, U}) - Δ_{k}^{T, u}) + T_{Δ^{T}}^{L} (Δ_{k}^{T, u} - L o w e r (Δ^{T, U}))}{U p p e r (Δ^{T, U}) - L o w e r (Δ^{T, U})}

(10)

e_{i}^{Δ^{L}} = L I T (Δ_{k}^{L, u}) = \frac{T_{Δ^{L}}^{U} (U p p e r (Δ^{L, U}) - Δ_{k}^{L, u}) + T_{Δ^{L}}^{L} (Δ_{k}^{L, u} - L o w e r (Δ^{L, U}))}{U p p e r (Δ^{L, U}) - L o w e r (Δ^{L, U})}

(11)

e_{i}^{Δ} = e_{i}^{Δ^{T}} + e_{i}^{Δ^{L}}

(12)

其中， $U p p e r (Δ^{T})$ 和 $L o w e r (Δ^{T})$ 以及 $U p p e r (Δ^{L})$ 和 $L o w e r (Δ^{L})$ 分别为时间和空间间隔的最大和最小值， $T Δ^{T}$ 和 $T Δ^{L}$ 分别是时间和空间间隔的可学习矩阵.

2.3　注意力查询模块

在模型中嵌入所有兴趣点，得到兴趣点嵌入向量表示 $c a n d i d a t e (P O I) =$

$\{e_{1}^{v}, e_{2}^{v}, \dots, e_{1}^{N}\}$ ，其中，候选兴趣点的嵌入与多模态嵌入层兴趣点的嵌入共享相同的向量空间.注意力查询的计算如式（13）和式（14）所示：

p r o b = Q u e r y (c a n d i d a t e (P O I), P e r i o d (U), e_{i}^{Δ})

(13)

Q u e r y (Q, K, V) = S o f t m a x (Q K^{T}) V

(14)

此外，在训练过程中，模型会遇到严重的样本偏斜问题.此时，对于每个正样本，需要计算 $L - 1$ 个阴性样本，因此损失对推动正确预测的动量的权重很小.这里模型使用随机负采样算法生成负样本来进行模型训练，即可以随机地将交叉熵损失函数中使用的负样本数量设置为超参数 $|n e g|$ ，此举有效地增强了正样本对于参数训练的正向影响，具体计算损失值的损失函数如式（15）所示：

\begin{array}{l} L = - \sum_{i = 1}^{|n e g| + 1} y_{i} \cdot l g (p r o b (y_{i})) + \\ (1 - y_{i}) \cdot l g (1 - p r o b (y_{i})) \end{array}

(15)

3 实验

在NYC和TKY数据集上，从三方面对CPSTIN模型的有效性进行验证.

RQ1：CPSTIN是否优于其他基于注意力机制的模型？

RQ2：CPSTIN是否优于其他基于地理位置的模型？

RQ3：CPSTIN能否捕获用户结合类别的周期性兴趣以及他们的短期兴趣？

3.1　实验设置

3.1.1　数据集

使用2012年4月至2013年2月在Foursquare上收集的两个真实数据集NYC（纽约）和TKY（东京），表1给出了两个数据集的统计情况，其中，NYC数据集有1083个用户和5135个兴趣点，用户的总签到次数为147938次，产生轨迹115509条，数据的稀疏度为97.3398%.原始数据集中的每条数据包含用户ID、类别、经纬度、用户签到时间等，因此兴趣点类别数据由原始数据集提供.采用词袋模型按照兴趣点的类别，将数据类别划分为 $0 ~ k$ ，如表1所示，NYC和TKY数据集的类别数分别为209和190.

表1 实验使用的数据集的统计数据

Table 1 Statistical description of datastes used in experiments

数据集	用户	POI	类别	签到	轨迹	稀疏度
NYC	1083	5135	209	147938	115509	97.33%
TKY	2293	7873	190	447570	378825	99.31%

新窗口打开| 下载CSV

NYC和TKY数据集中的兴趣点分布如图3所示，删除兴趣点访问次数少于10次和用户访问次数少于10次的用户签到.如图4所示，数据集显示用户对于兴趣点的签到频率约为每天一次，但显然用户一天内不会只访问一个兴趣点，这意味着数据集没有记录用户的每一次兴趣点访问.此外，表1所示的兴趣点个数远大于类别数量，意味着由于数据的缺失将大量兴趣点ID转换为固定维度的向量空间会导致信息丢失，而融入类别特征能够很好地缓解这个问题.

图3

图3 两个数据集中兴趣点的分布情况

Fig.3 The distribution of POI in two datasets

图4

图4 签到次数对应的时间长度的折线图(a)和箱线图(b)

Fig.4 Line (a) and box (b) charts of check⁃in times

3.1.2　评估方法

使用 $R e c a l l @ K$ 和 $M R R @ K$ 作为模型的评估指标. $R e c a l l @ K$ 为推荐的相关结果占真实结果的比例，因为本文的任务为下一个兴趣点推荐，即 $R e c a l l @ K$ 与 $H i t @ K$ 相同.另一方面， $M R R @ K$ 重视“顺序性”，即模型推荐的兴趣点以更突出的位置呈现给用户. $R e c a l l @ K$ 和 $M R R @ K$ 的提高代表模型性能的提高，计算如下：

R e c a l l @ K = \frac{1}{|U|} \sum_{u \in U} \frac{|V_{u}^{T} ⋂ V_{u}^{P}|}{V_{u}^{T}}

(16)

M R R @ K = \frac{1}{|U|} \sum_{u \in U} \frac{1}{p_{u}}

(17)

3.1.3　基准模型

将CPSTIN与以下基准模型进行比较实验，实验结果如表2所示.

表2 CPSTIN与几种基准模型在NYC和TKY数据集上的对比实验结果

Table 2 Experimental results of CPSTIN and benchmark models on the NYC and TKY datasets

	NYC				TKY
	$R e c a l l @ 5$	$R e c a l l @ 10$	$M R R @ 5$	$M R R @ 10$	$R e c a l l @ 5$	$R e c a l l @ 10$	$M R R @ 5$	$M R R @ 10$
OURS	0.6996	0.7491	0.5643	0.5710	0.6435	0.7065	0.5053	0.5138
NSSR	0.2446	0.2566	0.2162	0.2179	0.1936	0.2123	0.1677	0.1702
FPMC	0.3727	0.5392	0.2192	0.2377	0.1528	0.2155	0.0967	0.1049
ATSTLSTM	0.2923	0.3951	0.1859	0.1996	0.3165	0.4330	0.1894	0.2050
PLSPL	0.3221	0.3962	0.2117	0.2218	0.3438	0.4207	0.2271	0.2374
STAN	0.3634	0.5146	0.1988	0.2189	0.2500	0.3300	0.1645	0.1756
CORE	0.5226	0.5991	0.3738	0.3833	0.4208	0.4771	0.2975	0.3053
LSTM	0.5024	0.5986	0.3311	0.3437	0.4219	0.5108	0.2824	0.2944
LightSANs	0.5125	0.5771	0.3511	0.3600	0.4566	0.5556	0.3020	0.3155
HST⁃LSTM	0.5304	0.6230	0.3679	0.3807	0.4105	0.4873	0.2906	0.3009
GeoSAN	0.4297	0.5841	0.2592	0.2794	0.5629	0.6942	0.3626	0.3798
DeepMove	0.5782	0.6857	0.3847	0.3994	0.5032	0.6004	0.3358	0.3489
LSTPM	0.5993	0.7084	0.4184	0.4335	0.5031	0.5877	0.3564	0.3679

新窗口打开| 下载CSV

LSTM^［23］：长短期记忆网络，是比较著名的循环神经网络之一.

FPMC^［24］：是基于马尔可夫链和矩阵分解的序列推荐模型.

PLSPL^［25］：将长短期模块分别用于捕捉用户个性化的长期兴趣和短期兴趣，在技术层面加入了LSTM模块和注意力机制.

STAN^［15］：是利用非连续时空间隔信息和注意力机制的先进的下一个兴趣点推荐模型.

NSSR^［26］：是一种使用自注意力机制的先进的序列推荐模型.

LSTPM^［8］：是考虑经纬度地理坐标以获得用户长短期兴趣的基于LSTM的模型.

DeepMove^［14］：是采用递归神经网络和注意力机制的先进的兴趣点预测模型.

ATSTLSTM^［19］：是融合了时空间隔和注意力机制的基于LSTM的兴趣点推荐模型.

GeoSAN^［11］：是一种使用GPS网格嵌入而没有使用空间间隔的自注意力机制的先进的模型.

HST⁃LSTM^［7］：是一种将时空效应纳入LSTM模型来缓解兴趣点预测问题中的数据稀疏性问题的模型.

CORE^［27］：是一个简单有效的session推荐模型，可以统一编码和解码过程的表示空间.

LightSANs^［28］：是一个先进的基于图神经网络的序列推荐模型，通过低秩分解的自注意机制对上下文感知表示进行了更有效和精确的建模.

在NYC数据集上，CPSTIN的 $R e c a l l @ K$ 优于FPMC大约20%；在TKY数据集上，由于签到数据更复杂，所以CPSTIN的效果更好.FPMC等基于马尔可夫链的模型在挖掘连续序列相关性上有优异的表现，但不擅长捕捉非连续签到的规律，而STAN善于挖掘这种非连续访问的规律，所以其 $R e c a l l @ K$ 和 $M R R @ K$ 优于FPMC.高阶时空相关性反映了用户历史签到活动的时空特征对下一步行动的影响，一定程度上反映了用户的短期兴趣，因此基于时空特性的模型（如ATST⁃LSTM，LSTPM和HST⁃LSTM），其评价指标都优于FPMC.历史轨迹中的时空相关性反映了时空特征对下一步行动的影响，以LSTPM为例，利用LSTM来挖掘用户的长短期兴趣，同时也考虑非连续序列位置，因此其效果优于经典模型.与LSTPM相比，CPSTIN还考虑了时空间隔的影响，所以其 $R e c a l l @ K$ 和 $M R R @ K$ 表现更好.

因为注意力机制能挖掘用户历史轨迹对当前状态的影响，因此，基于注意力机制的模型（如PLSPL，GeoSAN和DeepMove），其评价指标通常优于仅基于RNN的模型.此外，DeepMove利用GRU结合注意力模块挖掘用户的周期性偏好和短期序列规律性.GeoSAN使用一种对地理位置网格建模的方式与自注意力机制相结合，在两个数据集上的 $R e c a l l @ 10$ 都达到了60%~70%.所以，将包含时间因素的DeepMove与GeoSAN进行比较，能处理时间信息的模型DeepMove的性能略胜一筹.

CPSTIN挖掘用户结合类别的周期性偏好和高阶关联性短期兴趣，其 $R e c a l l @ K$ 比LSTPM和DeepMove领先10%~15%；与先进的图神经网络模型LightSANs相比， $R e c a l l @ K$ 领先约18%；与先进的session推荐模型CORE相比， $R e c a l l @ K$ 领先约25%.

3.1.4　基参数设置

训练开始前需要在CPSTIN模型中设置多头自注意力机制的“头数”，本文取值为8；时间窗口设置为30；时间戳的嵌入设置为168对应每周的小时跨度.使用Adam优化器优化模型，学习率为0.003.模型的收敛情况如图5所示.

图5

图5 训练收敛情况

Fig.5 Training convergence situation

3.2　时间周期长度研究

为了研究两层时间分隔给提取周期偏好带来的影响，设计了如下模型进行对比实验.

TD1：以每天为时间片段划分后，计算当前时间为这天的第几小时.

TW1：以每周为时间片段划分后，计算当前时间为这周的第几小时，是实验的默认设置.

TWD：以每周为时间片段划分后，计算当前时间为这周的第几天.

TMD：以每月为时间片段划分后，计算当前时间为这个月的第几天.

TMW：以每月为时间片段划分后，计算当前时间为这个月的第几周.

以月为第一层划分后，如果再以小时划分，粒度会过小，因此本文采用更符合现实意义的每月每天的划分来设计TMD，实验结果如表3所示.由表可见，TW1的结果最优.TW1表示以每周为时间片段，以每小时为周期，生活中完成一个兴趣点的访问大多在小时阶段结束，因此，时间划分粒度过大会使TMW的效果略差.

表3 周期划分对实验结果的影响

Table 3 Periodic division experiment

	NYC		TKY
	$R e c a l l @ 5$	$M R R @ 10$	$R e c a l l @ 5$	$M R R @ 5$
TD1	0.6937	0.5567	0.6150	0.4699
TW1	0.6996	0.5643	0.6435	0.5053
TWD	0.6838	0.5524	0.4099	0.2718
TMD	0.6926	0.5582	0.6323	0.4859
TMW	0.2085	0.1104	0.1952	0.1093

新窗口打开| 下载CSV

3.3　稳定性研究

探索超参数设置对CPSTIN模型性能的影响：batch尺寸、轨迹时间窗口尺寸、注意力头和嵌入维度，实验中默认设置为64，64，8和30.在进行稳定性实验之前需要注意控制变量，即每次实验中，只有一个超参数的数值发生变化，其余参数保持不变.

batch尺寸的影响：实验中分别设置为16，32，64，128和256，实验结果如图6a所示.batch尺寸位于 $[16,64]$ 时，模型在NYC数据集上的 $R e c a l l @ 5$ 可达68%以上；batch尺寸位于 $[64,128]$ 时，模型在TKY数据集上的 $R e c a l l @ 5$ 可达64%以上.从数据集大小看，NYC比TKY数据集的规模小，因此收敛速度更快.此外，如果batch尺寸设置得太大，可能会降低梯度下降的随机性，对网络训练产生负面影响.

图6

图6 超参数设置对CPSTIN模型性能的影响

Fig.6 The impact of hyperparameter settings on the performance of CPSTIN models

轨迹时间窗口大小的影响：实验中设置为30，60，90和120，实验结果如图6b所示.模型在TKY数据集上的 $R e c a l l @ 5$ 稳定在64%以上，可见在TKY数据集上，模型对窗口大小不敏感.窗口大小位于 $[30,60]$ 时，模型在NYC数据集上的 $R e c a l l @ 5$ 虽然在68%以上，但已经开始下降，窗口大于90后，模型性能急速下降.因为CPSTIN模型的优势在于提取用户短期兴趣，当窗口大小为30时，涵盖的持续时间大约为1.5个月，所以时间窗口大于30后，用户的历史序列的变长使模型在NYC数据集上的表现力下降.

注意力头数的影响：实验中分别设置为1，2，4，8和16，实验结果如图6c所示.表面上注意力头数越多，挖掘用户结合类别的周期性偏好的能力就越好，但在本文中并非如此，因为这里注意力模块的目标是从不同角度来挖掘用户在一周内的小时模式并结合类别的周期性偏好，所以适量的注意力头数就足以在短期内从多个角度挖掘周期偏好模式.由图可见，当头数为1，2，4时，模型比较稳定且效果较好.

嵌入维度的影响：实验中分别设置为16，32，64，128和256，实验结果如图6d所示.在NYC数据集上，嵌入维度位于 $[32,128]$ 时， $R e c a l l @ 5$ 达68%以上；在TKY数据集上，嵌入维度位于 $[32,64]$ 时， $R e c a l l @ 5$ 可达63%以上.合适的嵌入维度能提高模型的表现力，但不合理地提高嵌入维度会使模型的复杂度显著增加，给模型训练带来挑战.为了简化模型，将用户、兴趣点和处理后的时间戳嵌入同一维度，根据经验公式 $k \sqrt[4]{n} (k \leq 16, n 为词汇表大小),$ 当嵌入维度位于 $[32,64]$ 时满足公式且效果最好.

3.4　消融实验

通过消融实验来评估模型中每个模块的效果.实验的基准模型是CPSTIN，包括结合类别的周期性兴趣提取模块、高阶相关性短期兴趣提取模块和注意力查询模块.其中，结合类别的周期性兴趣提取模块利用用户签到时间戳和用户签到兴趣点的类型来挖掘用户访问兴趣点、兴趣点类型的周期性偏好，并利用多头自注意力机制来从多个角度提取信息.高阶相关的短期兴趣提取模块使用时空间隔来挖掘用户偏好.为了生成变体，删除模型的一些关键部分以产生变体模型.

CPSTIN⁃S：该模型忽略时间间隔的影响，只考虑用户在空间层面的短期偏好和结合类别的周期偏好.

CPSTIN⁃T：该模型忽略空间间隔，只考虑时间层面的短期偏好和结合类别的周期偏好.

CPSTIN⁃seq：该模型在挖掘用户周期性偏好时忽略时间和类型影响，只考虑用户轨迹的序列相关性.

CPSTIN⁃NA：该模型在挖掘用户的短期周期性偏好时没有使用自注意力机制，即从单一角度挖掘用户的周期性偏好.

实验结果如图7所示，由图可见，在NYC和TKY数据集上，CPSTIN⁃T和CPSTIN⁃S的 $R e c a l l @ K$ 和 $M R R @ K$ 比CPSTIN低20%~30%.由于CPSTIN⁃S缺少时间间隔输入，即无法挖掘用户基于时间层面的短期偏好，使模型性能下降.由于CPSTIN⁃T缺乏空间间隔数据，无法挖掘用户空间层面的短期偏好，使模型性能下降.CPSTIN⁃seq忽略了签到时间戳及兴趣点类别数据，无法挖掘用户访问兴趣点的周期及其结合类别的偏好，即只能挖掘用户访问兴趣点的序列规律， $R e c a l l @ K$ 和 $M R R @ K$ 下降了20%左右.

图7

图7 CPSTIN模型中各模块的消融实验

Fig.7 Ablation experiments of each module in the CPSTIN model

3.5　用户轨迹研究

从数据集中随机选择一个用户实例进行讨论，图8描绘了一名用户的真实轨迹.该用户在该时间段内的活动范围是六个POI，可见每个POI的签到时间是相同的，每周第9小时访问第3713个POI，每周第13小时访问第3714个POI.若模型需要在本周的第13小时向用户推荐POI，根据周期规律应推荐第3714个POI；若用户已经访问第3713个POI，模型会根据时空间隔的规律推荐第3714个POI.因此，该模型能在时空区域内挖掘用户访问POI的规则.

图8

图8 用户真实轨迹实例

Fig.8 Example diagram of user's real trajectory

从数据集中提取ID为1088的用户移动轨迹来探索高阶关联性的周期和短期兴趣.如图9所示，用户会在每周末下午3：00-4：00参拜神社，可见此用户有定期参拜神社的周期偏好规律；另外，该用户在河边打卡前会先在火车站、音像店、书店打卡，但是单独在书店打卡后不会接着前往河边打卡，说明该用户也符合高阶时空关联性的规律.在此类数据集上CPSTIN的性能良好，意味着CPSTIN具有挖掘周期性偏好和高阶关联性的短期偏好的能力.

图9

图9 用户签到的周期性和时空间隔规律性示例

Fig.9 Example of periodicity and spatiotemporal interval regularity of user check⁃in

3.6　周期注意力权重的可视化

图10展示了多头自注意力分数对模型挖掘用户结合类别的周期性偏好的影响，具体是对该用户前11次签到的兴趣点注意力分数进行 $S o f t m a x$ 函数操作，各个签到中的兴趣点之间的关联度越高，颜色越深.根据坐标方位进行叙述解释，例如，坐标 $(2,3)$ 是从上到下第三行，从左到右第四列.图10a中坐标 $(3,5) (5,5) (6,5) (7,5) 以及 (8,5)$ 颜色较深，而签到中的第5~8个兴趣点都是每周一凌晨五点签到的，可见第一个注意力头捕获了这个周期偏好规律.图10b中坐标 $(0,1) (1,1) (2,1) (4,1)$ 以及 $(9,1)$ 颜色较深，因为第0~4个兴趣点的打卡时间是这周周一凌晨4点，第三个兴趣点是学院类型兴趣点，而第0，1，2，4，9个兴趣点都是美食类的兴趣点，即此次注意力头的关注点既有时间周期又有兴趣点类型.

图10

图10 注意力头可视化

Fig.10 Example diagram of user's real trajectory

综上，每个自注意力头都可根据自己的角度来提取相关语义信息，使其能够有效地挖掘用户结合兴趣点类别的周期兴趣.

4 结论

本文提出可以挖掘用户结合类别的周期性偏好以及访问兴趣点的高阶关联性短期兴趣的模型CPSTIN，该模型应用每周中的小时模式签到时间记录和兴趣点类型来提取用户的周期性偏好，并使用多头自注意力机制从多个角度来挖掘用户结合类别的周期性偏好.此外，模型应用线性插值法嵌入时空间隔数据以挖掘具有高阶关联性的短期兴趣，不仅提高了网络的非线性拟合能力，也使模型在训练过程中更容易收敛.最后，模型改进了一种兴趣点查询方式，将用户结合类别的周期性偏好与高阶关联性的短期兴趣相结合以找到用户最有可能访问的下一个兴趣点.实验证明，模型在考虑用户短期偏好和结合兴趣点类别的周期偏好的情况下，性能有所提升，其 $R e c a l l @ K$ 和 $M R R @ K$ 在NYC数据集上领先约0.24和0.28，在TKY数据集上领先约0.26和0.25.

今后将研究更合理的时空信息计算方法，同时使用更加丰富的上下文信息，如社会关系等，以提高模型的性能，缓解数据稀疏性问题，还将关注较长的用户序列轨迹建模来提取用户长期兴趣等.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Sánchez

， Bellogín

Point⁃of⁃interest recom⁃mender systems based on location⁃based social networks：A survey from an experimental perspective

ACM Computing Surveys，2022，54(11s)：223.

[2]

Lian

D F

， Zheng

， Ge

，et al.

GeoMF++：Scalable location recommendation via joint geographical modeling and matrix factorization

ACM Transactions on Information Systems，2018，36(3)：33.

[3]

Wang

D J

， Wang

X L

， Xiang

Z Z

，et al.

Attentive sequential model based on graph neural network for next poi recommendation

World Wide Web，2021，24(6)：2161-2184.

[4]

R Z

， Shen

Y Y

， Zhu

Y M

Next point⁃of⁃interest recommendation with temporal and multi⁃level context attention

∥Proceedings of 2018 IEEE International Conference on Data Mining. Singapore，Singapore：IEEE，2018：1110-1115.

[5]

Zhao

S L

， King

， Lyu

M R

A survey of point⁃of⁃interest recommendation in location⁃based social networks

2016，arXiv:.

[6]

Liu

， Wu

， Wang

，et al.

Predicting the next location：A recurrent model with spatial and temporal contexts

∥Proceedings of the 30th AAAI Conference on Artificial Intelligence. Phoenix，AZ，USA：AAAI Press，2016：194-200.

[本文引用: 4]

[7]

Kong

D J

， Wu

HST⁃LSTM：A hierarchical spatial⁃temporal long⁃short term memory network for location prediction

∥Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm，Sweden：AAAI Press，2018：2341-2347.

[本文引用: 5]

[8]

Sun

， Qian

T Y

， Chen

，et al.

Where to go next：Modeling long⁃and short⁃term user preferences for point⁃of⁃interest recommendation

∥Proceedings of the 34th AAAI Conference on Artificial Intelligence. New York，NY USA：AAAI Press，2020，34：214-221.

[本文引用: 3]

[9]

Zhao

P P

， Luo

A J

， Liu

Y C

，et al.

Where to go next：A spatio⁃temporal gated network for next POI recommendation

IEEE Transactions on Knowledge and Data Engineering，2022，34(5)：2512-2524.

[10]

袁华，钱宇，杨锐.

基于GPS轨迹的用户兴趣点及频繁路径挖掘研究

系统工程理论与实践，2015，35(5)：1276-1282.

Yuan

， Qian

， Yang

Research on GPS⁃trajectory⁃based personalization POI and path mining

Systems Engineering⁃Theory & Practice，2015，35(5)：1276-1282.

[11]

Lian

D F

， Wu

Y J

， Ge

，et al.

Geography⁃aware sequential location recommendation

∥Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. San Diego，CA，USA：ACM，2020：2009-2019.

[12]

Zhao

， Zhang

， Yin

，et al.

Discovering subsequence patterns for next POI recommendation

∥Proceedings of the 29th International Joint Conference on Artificial Intelligence. Yokohama，Japan：ijcai.org，2021，Article No.445.

[13]

Cui

， Zhang

，et al.

ST⁃PIL：Spatial⁃temporal periodic interest learning for next point⁃of⁃interest recommendation

∥Proceedings of the 30th ACM International Conference on Information & Knowledge Management. Queensland，Australia：ACM，2021：2960-2964.

[14]

Feng

， Li

， Zhang

，et al.

DeepMove：Predicting human mobility with attentional recurrent networks

∥Proceedings of 2018 World Wide Web Conference. Lyon，France：ACM，2018：1459-1468.

[15]

Luo

Y T

， Liu

Z C

STAN：Spatio⁃temporal attention network for next location recommen⁃dation

∥Proceedings of the Web Conference 2021. Ljubljana，Slovenia：ACM，2021：2177-2185.

[本文引用: 6]

[16]

雒晓辉，吴云，王晨星，等.

基于用户长短期偏好的序列推荐模型

计算机科学，2023，50(4)：47-55.

Luo

X H

， Wu

， Wang

C X

，et al.

Sequential recommendation model based on user's long and short term preference

Computer Science，2023，50(4)：47-55.

[17]

Zhan

G H

， Xu

， Huang

Z F

，et al.

A semantic sequential correlation based LSTM model for next POI recommendation

∥Proceedings of the 20th IEEE International Conference on Mobile Data Management. Hong Kong，China：IEEE，2019：128-137.

[18]

Manotumruksa

， Macdonald

， Ounis

A contextual attention recurrent architecture for context⁃aware venue recommendation

∥Proceedings of the 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. Ann Arbor，MI，USA：ACM，2018：555-564.

[19]

Huang

L W

， Ma

Y T

， Wang

S B

，et al.

An attention⁃based spatiotemporal LSTM network for next POI recommendation

IEEE Transactions on Services Computing，2021，14(6)：1585-1597.

[本文引用: 3]

[20]

Xia

Q X

， Hara

， Maekawa

，et al.

An effective and efficient self⁃attention based model for next POI recommendation

∥Proceedings of 2023 IEEE Inter⁃national Conference on Pervasive Computing and Communications Workshops and other Affiliated Events. Atlanta，GA，USA：IEEE，2023：478-483.

[21]

Zhang

H X

， Bai

W C

， Ding

J Y

，et al.

Time⁃aware POI recommendation based on multi⁃grained location grouping

∥Proceedings of the 26th International Conference on Computer Supported Cooperative Work in Design. Rio de Janeiro，Brazil：IEEE，2023：1796-1801.

[22]

Vaswani

， Shazeer

， Parmar

，et al.

Attention is all you need

∥Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach，CA，USA：Curran Associates Inc.，2017：6000-6010.

[23]

Hochreiter

， Schmidhuber

Long short⁃term memory

Neural Computation，1997，9(8)：1735-1780.

[24]

Rendle

， Freudenthaler

， Schmidt⁃Thieme

Factorizing personalized Markov chains for next⁃basket recommendation

∥Proceedings of the 19th International Conference on World Wide Web. Raleigh，NC，USA：ACM，2010：811-820.

[25]

Y X

， Li

， Zhao

G S

，et al.

Personalized long⁃and short⁃term preference learning for next POI recommendation

IEEE Transactions on Knowledge and Data Engineering，2022，34(4)：1944-1957.

[26]

Chen

G J

， Zhao

G S

， Zhu

，et al.

Combining non⁃sampling and self⁃attention for sequential recommen⁃dation

Information Processing & Management，2022，59(2)：102814.

[27]

Hou

Y P

， Hu

B B

， Zhang

Z Q

，et al.

CORE：Simple and effective session⁃based recommendation within consistent representation space

∥Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. Madrid，Spain：ACM，2022：1796-1801.

[28]

Fan

X Y

， Liu

， Lian

J X

，et al.

Lighter and better：Low⁃rank decomposed self⁃attention networks for next⁃item recommendation

∥Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. Montréal，Canada：ACM，2021：1733-1737.