基于特定用户约束的概率矩阵分解算法

doi:10.13232/j.cnki.jnju.2021.05.012

基于特定用户约束的概率矩阵分解算法

郝昱猛, 马文明^,, 王冰

烟台大学计算机与控制工程学院，烟台，264005

Probabilistic matrix factorization algorithm based on specific user constraints

Hao Yumeng, Ma Wenming^,, Wang Bing

School of Computer and Control Engineering，Yantai University，Yantai，264005，China

通讯作者: E⁃mail：mwmytu@126.com

收稿日期: 2021-06-02 网络出版日期: 2021-09-29

基金资助:

国家自然科学基金. 61602399
烟台大学研究生科技创新基金. YDZD2119

Received: 2021-06-02 Online: 2021-09-29

摘要

近年来，推荐系统的实用价值越来越高，良好的推荐算法可以给用户提供好的用户体验效果，然而随着信息化的不断增长，信息过载问题变得越来越突出，用户懒于对物品评分已经成为习惯.怎样向这些特定用户群体提供好的推荐算法、提高推荐质量已经成为现在的热门问题.为了更好地推动推荐系统的发展，解决这些特定用户群体的评分稀疏问题，提出一种受约束的贝叶斯概率矩阵分解算法.该算法针对特定的评分稀疏用户引入一种潜在的相似度约束矩阵来影响用户的特征向量，并结合最大后验概率（Maximum A Posteriori，MAP）估计和蒙特卡罗采样（Markov Chain Monte Carlo，MCMC）推断进行概率矩阵分解（Probabilistic Matrix Factorization，PMF），自动调整模型正则化参数，最后在数据集上进行测试评估和对比实验.实验结果表明，该算法在预测性能上得到很大提升，并且在解决特定用户的评分稀疏问题上效果更佳.

关键词： 推荐系统 ; 评分稀疏 ; 约束矩阵 ; 概率矩阵分解 ; 协同过滤

Abstract

In recent years，the practical value of recommender system is getting higher and higher. A good recommendation algorithm can provide a good experience effect for users. However,with the continuous growth of information technology，the problem of information overload has become more and more prominent. The formation of living habits for users is to be lazy about rating items. How to provide good recommendation algorithm to these specific user groups and to improve the recommendation quality has become a hot issue now. In order to improve recommender system and solve rating sparse problem of specific user groups，a constrained Bayesian probability matrix factorization algorithm is proposed. This algorithm introduces a potential similarity constraint matrix to affect user eigenvectors for specific sparse rating users. We combine Maximum A Posteriori (MAP) and Markov Chain Monte Carlo (MCMC) for Probabilistic Matrix Factorization (PMF)，automatically adjusting the regularization parameters. Finally，test evaluation and comparison experiments are conducted on the MovieLens dataset. The experimental results show that the proposed algorithm can improve prediction performance and perform well for specific users with sparse ratings.

Keywords： recommendation system ; data sparseness ; constraint matrix ; probabilistic matrix factorization ; collaborative filtering

PDF (737KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

郝昱猛, 马文明, 王冰. 基于特定用户约束的概率矩阵分解算法. 南京大学学报（自然科学）[J], 2021, 57(5): 818-827 doi:10.13232/j.cnki.jnju.2021.05.012

Hao Yumeng, Ma Wenming, Wang Bing. Probabilistic matrix factorization algorithm based on specific user constraints. Journal of nanjing University[J], 2021, 57(5): 818-827 doi:10.13232/j.cnki.jnju.2021.05.012

推荐系统（Recommendation System，RS）^［1-3］提前给用户列出他们感兴趣的物品或项目，所以能为用户节省很多挑选商品的时间.RS最早的应用领域局限于电影、音乐和电视节目的推荐，随着使用范围的扩大，RS逐渐应用于购物推荐^［4］、书籍推荐^［5］和事件推荐^［6-7］等.现在国内外应用RS最广泛的平台有天猫、京东、亚马逊、豆瓣、MEETUP等，RS为他们的用户提供高效快捷的推荐列表，能提高用户的满意度，而平台也获得了更好的经济效益.大多数RS中，最经常使用的是协同过滤算法（Colla⁃borative Filtering，CF）^［8-9］，它通过分析用户的偏好信息，预测其可能喜爱的物品.

如今用户评分矩阵十分稀疏，所以传统推荐算法很难为用户配置准确的推荐列表.在这种情况下，CF利用用户与项目之间的交互并根据用户与数据集中其他可用用户的相似信息来生成项目预测，产生推荐列表.矩阵分解（Matrix Factorization，MF）^［10-11］技术在CF中被成功地使用，它通过考虑用户与项目之间的互动因素（潜在特征），有效地解决了评分矩阵数据量大、数据稀疏等问题.

随着用户对推荐准确性的要求越来越高，有很多方法通过改进MF技术来保障预测精度.Ortega et al^［12］提出一种基于伯努利分布的矩阵分解算法，利用模型分布的二进制性质提高推荐的准确性和可靠性，但该算法在稀疏矩阵问题上仍需改进.陈珏伊等^［13］提出一种基于迁移学习的联合矩阵分解算法，通过捕捉用户的潜在特征提高相似性度量效果，该算法在解决书籍稀疏问题上有很好的效果，但算法复杂度较高，计算时间较长.Salakhutdinov and Mnih^［14］通过对概率矩阵分解（Probabilistic Matrix Factorization，PMF）引入约束矩阵，可以有效解决数据稀疏问题，提高预测准确性，但其模型参数需要手动调节，很容易产生过拟合问题.Salakhutdinov and Mnih^［15］还通过引入贝叶斯模型并使用蒙特卡罗采样（Markov Chain Monte Carlo，MCMC）对模型参数进行自动控制，能有效地解决模型的过拟合和优化问题，但针对特有的评分非常稀疏的用户，模型没有给出很好的预测.

本研究针对推荐系统中存在的数据稀疏、预测准确性等问题，提出一种带有用户约束的基于贝叶斯的概率矩阵分解优化算法，通过对用户引入特征向量以外的约束向量来提高用户之间的相似性，并使用最大后验概率估计^［16］自动确定MCMC采样器的起点来逼近模型参数的后验分布，有效地提高了推荐算法的可解释性.

本文的主要贡献：

（1）介绍有约束的概率矩阵分解模型和基于贝叶斯的概率矩阵模型，并总结了两个模型的特点.

（2）提出新的有约束矩阵的贝叶斯概率矩阵分解模型，通过增加约束矩阵对模型进行优化，采用MCMC采样方法对超参数进行采样.

（3）实验结果证明，本文提出的优化算法与其他算法比较，模型的预测效果更好.

1 相关理论

本节主要介绍有约束的概率矩阵分解（Constrained Probabilistic Matrix Factorization，CPMF）模型和基于贝叶斯的概率矩阵分解（Bayesian Probabilistic Matrix Factorization，BPMF）模型的基本方法，介绍了两种模型对传统的矩阵分解模型进行改进的相关研究.

1.1　CPMF模型

2007年Salakhutdinov and Mnih^［14］提出PMF模型.假设评分矩阵为 $R = {[R_{i j}]}_{N \times M}$ ，其中 $i \in N$ （N表示有N个用户）， $j \in M$ （M表示有M个电影）， $R_{i j}$ 表示用户 $i$ 对电影 $j$ 的评分矩阵.用户和电影的特征向量分别为 $U \in$ $R^{N \times D}$ ， $V \in R^{M \times D}$ ，D为D维的潜在特征向量.CPMF模型是在PMF模型的基础上引入约束矩阵 $W \in R^{M \times D}$ 来约束特定于用户的特征向量，这对于评分不频繁的用户有很强的影响.CPMF模型的概率图模型如图1所示，模型定义的新的用户特征向量如式（1）所示：

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 CPMF模型

Fig.1 CPMF model

U_{i} = Y_{i} + \frac{\sum_{k = 1}^{M} I_{i k} W_{k}}{\sum_{k = 1}^{M} I_{i k}}

(1)

$I_{i k}$ 为观察到的指示矩阵 $I_{i j}$ ，如果用户 $i$ 对电影 $j$ 进行了评分，那么 $I_{i j} = 1$ ，否则 $I_{i j} = 0$ .这里可以看出W矩阵的第 $i$ 列表示的是捕捉用户对特定电影的评分对用户特征向量的先验平均值的影响，所以看过共同电影的用户对其特征向量有相似的先验分布.这里的 $Y_{i}$ 是为了获取用户 $i$ 的特征向量 $U_{i}$ 而添加到先验分布平均值的偏移值.式（2）为重新定义的模型条件分布函数：

\begin{array}{l} P (R| U, V, W, σ^{2}) = \\ \prod_{i = 1}^{N} \prod_{j = 1}^{M} {[𝒩 (R_{i j}| g ({U_{i}}^{T} V_{j}), σ^{2})]}^{I_{i j}} \end{array}

(2)

使用Logistic函数^［17］ $g (x) = \frac{1}{1 + e^{- x}}$ 来传递用户U与电影V之间的点积，其中用户特征向量U、电影特征向量V和约束特征向量W的元素都是服从均值为0，方差分别为 $σ_{U}^{2}$ ， $σ_{V}^{2}$ 和 $σ_{W}^{2}$ 的高斯先验分布，它们的定义函数分别为：

P (U| σ_{U}^{2}) = \prod_{i = 1}^{N} 𝒩 (U_{i}| 0, σ_{U}^{2} I)

(3)

P (V| σ_{V}^{2}) = \prod_{j = 1}^{M} 𝒩 (V_{j}| 0, σ_{V}^{2} I)

(4)

P (W| σ_{W}^{2}) = \prod_{k = 1}^{M} 𝒩 (W_{k}| 0, σ_{W}^{2} I)

(5)

为计算方便，对U，V和W的后验分布取自然对数，得到的对数后验函数的最大值等价于最小化含有二次正则项的平方误差和的目标函数，这里使用梯度下降法进行目标函数的最小化.对比传统的PMF模型可用发现，引入约束矩阵和Logistic函数对评分稀疏的特定用户有很好的推荐效果，但没有很好地解决过拟合问题.

1.2　基于贝叶斯的概率矩阵分解(BPMF)模型

Salakhutdinov and Mnih^［15］又提出将矩阵分解模型应用于贝叶斯框架中，生成具有多元高斯先验分布的评分概率模型，即BPMF模型，如图2所示.模型中用户U和电影V的概率分布单独存在：

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 基于贝叶斯的PMF模型

Fig.2 Bayesian PMF model

P (U| μ_{U}, Λ_{U}) = \prod_{i = 1}^{N} 𝒩 (U_{i}| μ_{U}, Λ_{U}^{- 1})

(6)

P (V| μ_{V}, Λ_{V}) = \prod_{j = 1}^{M} 𝒩 (V_{j}| μ_{V}, Λ_{V}^{- 1})

(7)

用户对电影的评分目标函数可以表示为：

P (R| U, V, α) = \prod_{i = 1}^{N} \prod_{j = 1}^{M} {[𝒩 (R_{i j}| U_{i}^{T} V_{j}, α^{- 1})]}^{I_{i j}}

(8)

$𝒩 (R_{i j}| μ, α^{- 1})$ 表示期望值为 $μ$ 、方差为 $α^{- 1}$ 的高斯分布.为了提高模型的预测性，将先验分布设置为高斯⁃威沙特分布，其中 $Θ_{U} = \{μ_{U}, Λ_{U}\}$ ， $Θ_{V} = \{μ_{V}, Λ_{V}\}$ . $\{μ_{U}, μ_{V}\}$ 通常设置为0，这里为了寻找更合适的参数，将 $\{Λ_{U}, Λ_{V}\}$ 封装在模型内部，可以减少优化参数过程.

\begin{array}{l} P (Θ_{U}| Θ_{0}) = P (μ_{U}| Λ_{U}) P (Λ_{U}) = \\ 𝒩 (μ_{U}| μ_{0}, {(β_{0} Λ_{U})}^{- 1}) 𝒲 (Λ_{U}| W_{0}, v_{0}) \end{array}

(9)

\begin{array}{l} P (Θ_{V}| Θ_{0}) = P (μ_{V}| Λ_{V}) P (Λ_{V}) = \\ 𝒩 (μ_{V}| μ_{0}, {(β_{0} Λ_{V})}^{- 1}) 𝒲 (Λ_{V}| W_{0}, v_{0}) \end{array}

(10)

$𝒲$ 是自由度为 $v_{0}$ 、协方差矩阵为 $W_{0}$ 的威沙特分布，同时设置 $Θ_{0} = \{μ_{0}, v_{0}, W_{0}\}$ ， $v_{0} = D$ ， $μ_{0} = 0$ .

BPMF模型使用MCMC方法中的吉布斯采样器，从先验分布和超先验分布中采样来进行近似推理.实验证明，该算法可以自动调整参数，提高模型的预测精度，但由于没有很好地确定采样的起点，所以采样时间比较缓慢，使BPMF模型不能高效地发挥性能.

2 模型构建

本节主要介绍重新创建的BPMF模型并引入新的约束特征向量，采用贝叶斯诊断和MCMC方法产生新的有约束的BPMF模型，针对一些特定用户的极其稀疏的评分矩阵进行预测，实验结果证明了模型的可行性.

2.1　有约束的BPMF (CBPMF)模型

现有的矩阵分解模型在处理评分很少的特定用户时，其用户特征与先验分布平均值相似的用户有接近的特征向量，导致推荐系统面向特定用户的推荐质量严重下降.为了更好地处理这个问题，创建新的CBPMF模型，使针对特定用户的预测评价接近电影的平均评价.引入一种约束特定用户的特征向量的额外方式，便于模型更准确地捕获用户的兴趣特征，提高预测准确率.同时，模型中使用Logistic函数传递特定用户U与电影V的点积，控制潜在因子间的非线性关系^［18］，并将贝叶斯框架应用到模型中，自动调整模型正则化参数.这对于数据过度拟合有很好的优化效果，该模型的创建增加了用户的预测精度和可解释性^［19］.

首先介绍模型参数的符号，如表1所示.

表1 模型参数的符号

Table 1 Notations of model parameters

变量	描述
$R_{i j}$	用户 $i$ 对电影 $j$ 的评分
$Θ_{U}, Θ_{V}, Θ_{W}$	用户、电影、约束矩阵的高斯⁃威沙特分布的超参数
T	采样次数
D	潜在特征向量维度
$N$	高斯分布函数
$W$	威沙特分布函数
N,M	分别是用户和电影的个数
$I_{i j}$	指示变量
$W_{0}, W_{1}$	单位矩阵
$μ_{U}, μ_{V}, μ_{W}$	用户、电影、约束矩阵的高斯分布的均值参数
$Λ_{U}, Λ_{V}, Λ_{W}$	用户、电影、约束矩阵的高斯分布的方差矩阵
$g (x)$	Logistic函数

新窗口打开| 下载CSV

CBPMF的模型如图3所示，其核心优化方法是在用户特征向量中引入潜在的相似度约束矩阵来约束用户特征，避免用户特征接近先验分布的平均值.这里设置潜在的相似度约束矩阵 $W \in R^{M \times D}$ ，用户新的特征向量为：

X_{i} = U_{i} + \frac{\sum_{k = 1}^{M} I_{i k} W_{k}}{\sum_{k = 1}^{M} I_{i k}}

(11)

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 CBPMF模型

Fig.3 CBPMF model

式（11）表示的用户新的特征向量与式（1）相似，通过对用户 $U_{i}$ 进行约束产生新的用户特征向量.若用户 $i$ 对物品 $k$ 进行评分则 $I_{i k}$ =1，否则为0；然后累加用户 $i$ 对所有物品的评分 $W_{k}$ ，取平均值与用户 $i$ 的先验分布平均值的偏移值相加得到新的用户特征向量.

根据式（2）的思想，使用Logistic函数传递用户X与电影V的点积，从而构造新的CBPMF模型的目标函数为：

\begin{array}{l} P (R| U, V, W, α) = \\ \prod_{i = 1}^{N} \prod_{j = 1}^{M} {[𝒩 (R_{i j} |g ({X_{i}}^{T} V_{j}), α^{- 1})]}^{I_{i j}} \end{array}

(12)

参照式（6）和式（7），为用户和物品的概率分布函数得到约束矩阵向量的概率分布，这里假设 $W$ 服从均值为 $μ_{W}$ 、方差为 $Λ_{W}^{- 1}$ 的高斯分布：

P (W| μ_{W}, Λ_{W}) = \prod_{k = 1}^{M} 𝒩 (W_{k}| μ_{W}, Λ_{W}^{- 1})

(13)

同时，设定超参数 $Θ_{W} = \{μ_{W}, Λ_{W}\}$ 的先验分布为高斯⁃威沙特分布，可以方便模型训练中后验概率的计算过程.

\begin{array}{l} P (Θ_{W}| Θ_{0}) = P (μ_{W}| Λ_{W}) P (Λ_{W}) = \\ 𝒩 (μ_{W}| μ_{1}, {(β_{0} Λ_{W})}^{- 1}) 𝒲 (Λ_{W}| W_{1}, v_{1}) \end{array}

(14)

根据式（9）和式（10）的模型参数的初始化进一步初始化模型参数 $Θ_{0} = \{μ_{0}, v_{0}, W_{0}, μ_{1}, v_{1}, W_{1}\}$ ，同时，为了减少优化参数的过程将 $\{Λ_{U}, Λ_{V}, Λ_{W}\}$ 封装在模型内部并设定 $μ_{0} = μ_{1} = 0$ ， $v_{0} = v_{1} = D$ ， $W_{0}$ 和 $W_{1}$ 为单位矩阵.

模型中用户对电影的预测评分矩阵 $R_{i j}^{*}$ 的概率目标函数为：

\begin{array}{l} P (R_{i j}^{*}| R, Θ_{0}) = \\ \iint P (R_{i j}^{*}| U_{i}, V_{j}, W_{k}) P (U, V, W |R, Θ_{U}, Θ_{V}, Θ_{W}) \\ P (Θ_{U}, Θ_{V}, Θ_{W}| Θ_{0}) d \{U, V, W\} d \{Θ_{U}, Θ_{V}, Θ_{W}\} \end{array}

(15)

由于后验分布的求解比较复杂，难以解决评分矩阵的预测精度，这里使用MCMC采样方法对复杂的目标函数进行近似推理：

P (R_{i j}^{*}| R, Θ_{0}) \approx \frac{1}{T} \sum_{t = 1}^{T} P (R_{i j}^{*}| U_{i}^{t}, V_{j}^{t}, W_{k}^{t})

(16)

这里T表示采样的次数，模型通过马尔可夫链采样获得 $\{U_{i}^{t}, V_{j}^{t}, W_{k}^{t}\}$ 并产生适合模型的参数和超参数 $\{U, V, W, Θ_{U}, Θ_{V}, Θ_{W}\}$ 的后验分布.

2.2　CBPMF模型推断

在CBPMF模型中，为了易于对模型参数和超参数进行采样，使用贝叶斯推断的方法.由于模型的参数和超参数使用共轭先验的方法从后验分布导出的条件分布进行采样，采样样本数据会直接影响推断精度，所以使用MCMC方法中的吉布斯采样（Gibbs Sampling）进行贝叶斯诊断.由于该模型在Pymc3框架上进行搭建，可以方便地使用鲍威尔优化（Powell Optimization）中的scipy.optimize.fmin_powell方法快速找到模型的最大后验概率（Maximum A Posteriori，MAP）估计，这样可以快速确定MCMC采样器的起点，节省采样时间.

在对CBPMF模型中的用户进行采样时，在其他条件已经确定的情况下，用户 $U_{i}$ 的后验概率目标函数：

\begin{array}{l} P (U_{i}| R, V, W, Θ_{U}, α) \propto \\ \prod_{j = 1}^{M} {[𝒩 (R_{i j}| g (X_{i} V_{j}), α^{- 1})]}^{I_{i j}} P (U_{i}| μ_{U}, Λ_{U}) \end{array}

(17)

为了进一步简化用户 $U_{i}$ 的后验概率目标函数，对 $g ({X_{i}}^{T} V_{j})$ 进行麦克劳林展开：

\begin{array}{l} 𝒩 (R_{i j} |g ({X_{i}}^{T} V_{j}), α^{- 1}) \approx \\ 𝒩 (R_{i j} |(\frac{1}{2} + \frac{{X_{i}}^{T} V_{j}}{4}), α^{- 1}) = \\ 𝒩 ((4 R_{i j} - 2) |{X_{i}}^{T} V_{j}, {(\frac{α}{4})}^{- 1}) \end{array}

(18)

由于后验分布转换成的条件分布更有利于模型的采样，这里采用共轭先验对参数和超参数进行处理，可以看出用户特征向量 $U_{i}$ 的条件分布服从高斯分布：

\begin{array}{l} P (U_{i}| R, V, W, Θ_{U}, α) \propto \\ P (R |U_{i}, V, W, α) P (U_{i}| Θ_{U}) \approx \\ \prod_{j = 1}^{M} {[𝒩 ((4 R_{i j} - 2) |{X_{i}}^{T} V_{j}, {(\frac{α}{4})}^{- 1})]}^{I_{i j}} ∙ \\ 𝒩 (U_{i}| μ_{U}, Λ_{U}) \propto 𝒩 (U_{i} |μ_{U_{i}}^{*}, {[Λ_{U_{i}}^{*}]}^{- 1}) \end{array}

(19)

其中，

Λ_{U_{i}}^{*} = Λ_{U} + \frac{α}{4} \sum_{j = 1}^{M} {[V_{j} V_{j}^{T}]}^{I_{i j}} ∙ 𝒩 (U_{i}| μ_{U}, Λ_{U})

(20)

μ_{U_{i}}^{*} = {[Λ_{U_{i}}^{*}]}^{- 1} (\frac{α}{4} \sum_{j = 1}^{M} {[V_{j} (4 R_{i j} - 2)]}^{I_{i j}} + Λ_{U} μ_{U})

(21)

同理，可以对 $P (V_{j}| R, U, W, Θ_{V}, α)$ 进行求解，这里省略了计算过程，现在只需要重新计算W的条件后验概率：

\begin{array}{l} P (W_{k}| R, U, V, Θ_{W}, α) \propto \\ P (R |W_{k}, U, V, α) P (W_{k}| Θ_{W}) \approx \\ \prod_{j = 1}^{M} {[𝒩 (R_{i j} |g ({X_{i}}^{T} V_{j}), α^{- 1})]}^{I_{i j}} ∙ \\ 𝒩 (W_{k}| μ_{W}, Λ_{W}) \propto 𝒩 (W_{k} |μ_{W_{k}}^{*}, {[Λ_{W_{k}}^{*}]}^{- 1}) \end{array}

(22)

其中，

Λ_{W_{k}}^{*} = Λ_{W} + α \sum_{j = 1}^{M} {[g {({X_{i}}^{T} V_{j})}^{2}]}^{I_{i j}} ∙ 𝒩 (U_{i}| μ_{U}, Λ_{U})

(23)

μ_{W_{k}}^{*} = {[Λ_{W_{k}}^{*}]}^{- 1} ∙ (α \sum_{j = 1}^{M} {[g ({X_{i}}^{T} V_{j}) R_{i j}]}^{I_{i j}} + Λ_{W} μ_{W})

(24)

潜在的相似度约束矩阵W的超参数 $Θ_{W}$ 的条件分布可以由高斯⁃威沙特分布得出：

因为：

\begin{array}{l} P (μ_{W}, Λ_{W}| Θ_{0}) = \\ 𝒩 (μ_{W} |μ_{1}, {(β_{0} Λ_{W})}^{- 1}) 𝒲 (Λ_{W}| W_{1}, v_{1}) \end{array}

所以：

\begin{array}{l} P (Λ_{W}| W, Θ_{0}) = \\ 𝒲 (Λ_{W} W_{W}^{*}, v_{1} + N) P (μ_{W}| Λ_{W}, W, Θ_{0}) = \\ 𝒩 (μ_{W} |\frac{β μ_{1} + N \bar{W}}{β_{0} + N}, \frac{{(Λ_{W})}^{- 1}}{β_{0} + N}) \end{array}

\begin{array}{l} P (Θ_{W}| W, Θ_{0}) = \\ P (μ_{W}| Λ_{W}, W, Θ_{0}) P (Λ_{W}| W, Θ_{0}) = \\ 𝒩 (μ_{W} |\frac{β μ_{1} + N \bar{W}}{β_{0} + N}, \frac{{(Λ_{W})}^{- 1}}{β_{0} + N}) 𝒲 (Λ_{W} W_{W}^{*}, v_{1} + N) \end{array}

(25)

其中， ${[W_{W}^{*}]}^{- 1} = W_{1}^{- 1} + N \bar{S} + \frac{β_{0} N}{β_{0} + N} {(μ_{1} - \bar{W})}^{2}$ ， $\bar{W} = \frac{1}{N} \sum_{i = 1}^{N} W_{i}$ ， $\bar{S} = \frac{1}{N} \sum_{i = 1}^{N} W_{i}^{2}$ .可以容易地获取超参数 $Θ_{W}$ 的后验概率，同理可以得到 $Θ_{U}$ 和 $Θ_{V}$ 的后验概率，这就是本模型所有参数的条件概率求证过程.

2.3　算法设计

通过使用Gibbs采样对超参数 $Θ_{U}, Θ_{V}, Θ_{W}$ 进行采样，然后遍历更新得到U，V，W向量的特征值，通过Logistic函数传递三者间的点积，补全稀疏矩阵的空缺评分.在测试集上进行误差验证，得出算法的预测精度，如下所示.

Algorithm CBPMF

Input：用户向量U，电影向量V，约束向量W，潜在向量维度D，采样次数T.

Output：预测用户对电影没有评分的空缺评分值.

1.for sampling iterations $t$ of T do

2.采样超参数 $Θ_{V}$

$Θ_{V}^{t} ~ P (Θ_{V}| V^{t}, Θ_{0})$

3.采样超参数 $Θ_{U}$

$Θ_{U}^{t} ~ P (Θ_{U}| U^{t}, Θ_{0})$

4.采样超参数 $Θ_{W}$

$Θ_{w}^{t} ~ P (Θ_{w}| W^{t}, Θ_{0})$

5. for j of M 更新V向量 do

V_{j}^{t + 1} ~ P (V_{j}| R, V^{t}, Θ_{V}^{t})

6. for $i$ of N 更新U向量 do

U_{i}^{t + 1} ~ P (U_{i}| R, U^{t}, Θ_{U}^{t})

7. for $k$ of M 更新W向量 do

W_{k}^{t + 1} ~ P (W_{k}| R, W^{t}, Θ_{W}^{t})

8. end

9. end

10. end

11. for 所有的测试集数据do

12. 预测评分并计算预测误差

13. end

14.end

在计算算法的复杂度时可以看出， $D_{d \times d}$ 维的特征向量的复杂度为 $Ο (d^{3})$ ，可以得出CBPMF算法的复杂度为 $Ο (d^{3} \sum_{j = 1}^{M} \sum_{i = 1}^{N} I_{i j})$ ，与BPMF模型算法的复杂度一样.但是本算法模型对贝叶斯模型进行了优化，使模型提取潜在特征的能力得到了提升，所以模型在特征向量维度很低的时候就可以得到很好的预测，和其他模型算法相比，本算法的时间复杂度反而更低.

3 实验设计与分析

在不同的数据集上进行实验，将提出的优化CBPMF算法在预测准确性上与PMF，CPMF和BPMF推荐算法进行比较，通过标准化的评价指标来证明该CBPMF的优越性.

3.1　数据集及评价指标

为了更好地展现CBPMF模型，在MovieLens数据集上进行两次实验，分别使用MovieLens⁃100k和MovieLens⁃1M进行实验.MovieLens⁃100k是943名用户对1682个电影的100 k个评分信息，评分密度为0.063；MovieLens⁃1M是6039名用户对8662个电影的1 M个评分信息，评分密度为0.043.这里对数据进行了预处理以控制数据的稀疏性，表2给出了数据集的相关信息统计.

表2 数据集的信息统计

Table 2 Statistic information of MovieLens datasets

数据集信息	MovieLens⁃100k	MovieLens⁃1M
用户数U	943	6039
电影数V	1682	8662
评分范围	1~5	0.5~5.0
评分数	100 k	1 M
评分密度	6.3%	4.3%

新窗口打开| 下载CSV

为了更好地评价本模型算法的优越性，使用推荐算法中常用的评价标准RMSE和MAE来衡量预测误差.RMSE和MAE越小，算法的准确性越好.

R M S E = \sqrt[]{\frac{\sum_{i = 1}^{N} \sum_{j = 1}^{M} I_{i j} {(R_{i j} - R_{i j}^{*})}^{2}}{\sum_{i = 1}^{N} \sum_{j = 1}^{M} I_{i j}}}

(26)

M A E = \frac{|\sum_{i = 1}^{N} \sum_{j = 1}^{M} I_{i j} (R_{i j} - R_{i j}^{*})|}{\sum_{i = 1}^{N} \sum_{j = 1}^{M} I_{i j}}

(27)

3.2　模型基线

在对模型基线方法进行选择时，为了给模型预测提供一个好的参照点，本实验分别对随机均匀法、全局均值法和平均均值法进行比较，如图4所示.可以看出，随机均匀法基线效果最差，平均均值法基线效果最好，所以选取平均均值基线作为模型预测实验的最佳基线.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 不同的模型基线方法的RMSE和MAE的比较

Fig.4 RMSE and MAE of different model baseline methods

3.3　对比实验

为了进一步证实案例的可解释性，在MovieLens数据集上进行两组实验，分别从不同的角度对本模型算法进行性能和可行性测试，最后以RMSE为评价指标进行验证.

A组实验.为了进一步证明本文的优化算法在更加稀疏的数据集上性能良好，在评分密度为4.3%的MovieLens⁃1M数据集上随机选取数据集的20%为测试集、80%为训练集进行测试.通过选取不同的特征向量维度，检验算法对稀疏矩阵提取潜在特征向量的能力.设置的特征向量维度D分别为10，30，50，70，100，实验迭代epochs=100次，取算法的RMSE和MAE的平均值进行比较.实验的数据对比如表3所示，表中黑体字为数据的最优值.可以看出，在数据稀疏更加明显的情况下，CBPMF算法的RMSE和MAE比BPMF算法有明显的降低，分别减少约0.10和0.04.维度D=30时，CBPMF模型算法的RMSE和MAE最小，虽然优势不很明显，但从整体实验结果可以看出优化算法可以很好地解决数据稀疏的性能，预测精度也有很大提高.

表3 MovieLens⁃1M数据集上BPMF和CBPMF算法在不同维度下的RMSE和MAE

Table 3 The RMSE and MAE of BPMF and CBPMF in different dimensions on MovieLens⁃1M dataset

Dataset	Metrics	Method	10D	30D	50D	70D	100D
MovieLens⁃1M	MAE	BPMF	0.9113	0.9029	0.9186	0.9374	0.9786
	MAE	CBPMF	0.8219	0.8087	0.8174	0.8329	0.8610
	RMSE	BPMF	0.9536	0.9495	0.9579	0.9678	0.9889
	RMSE	CBPMF	0.8561	0.8533	0.8587	0.8613	0.8743

新窗口打开| 下载CSV

图5和图6为对比数据表3的图形展示.可以看出，在传统的BPMF模型中引入约束特定用户的特征的额外向量，可以有效地解决对评分不频繁的用户预测不准确的问题.在维度很低的情况下CBPMF算法的误差值很低，预测精度更高，算法的复杂度也更低，算法的可用性更强.通过观察可知，维度D=30是模型最优的维度.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 MovieLens⁃1M数据集上BPMF和CBPMF的RMSE比较

Fig.5 The RMSE of BPMF and CBPMF on Movie⁃Lens⁃1M dataset

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 MovieLens⁃1M数据集上BPMF和CBPMF的MAE比较

Fig.6 The MAE of BPMF and CBPMF on MovieLens⁃1M dataset

B组实验.在评分密度为6.3%的Movie⁃Lens⁃100k数据集上随机选取数据集的20%为测试集、80%为训练集进行实验.将CBPMF算法与PMF，CPMF和BPMF算法依据RMSE进行预测效果对比.实验中设置参数为 $α = 2$ ， $β_{0} = 2$ ， $μ_{0} = μ_{1} = 0$ ， $v_{0} = v_{1} = D = 30$ ， $W_{0}$ 和 $W_{1}$ 为维度为D的单位矩阵，采样次数T=100，迭代次数epochs=50.实验结果如图7和图8所示.在MovieLens⁃100k数据集上，CBPMF的最小RMSE为0.853，而PMF，BPMF和CPMF算法的最小RMSE分别为1.044，0.933和0.939，分别提升19.1%，8%和8.6%.随着迭代次数的不断增加，CBPMF的RMSE和MAE都比其他算法更低，并且能很快地达到平稳状态.CBPMF的误差值比三种对比算法更小，模型的收敛速度也有很大的提升.综上，CBPMF的预测精度有很大提升.

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 几种算法在MovieLens⁃100k数据集上的RMSE比较

Fig.7 RMSE of different algorithms on MovieLens⁃100k dataste

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 几种算法在MovieLens⁃100k数据集上的MAE比较

Fig.8 MAE of different algorithms on MovieLens⁃100k dataset

从以上两组实验结果可看出，不论是与传统的PMF，CPMF和BPMF矩阵分解算法对比，还是在模型本身性能上进行验证，在维度大小不同以及数据集评分密度更小的情况下，本文提出的CBPMF模型算法的预测准确性都更高.所以，CBPMF算法对特定用户可以给出更好的用户体验，而商家针对评分稀疏的特定用户，也可以更快捷地推荐用户感兴趣的物品，提高推荐质量.在模型的可解释性上，和传统模型相比，CBPMF算法的超参数是采用贝叶斯中的MCMC方法对模型不断更新迭代进行采样获取的最优的模型参数，所以模型的可解释性更强，超参数的选取更合理.完整的贝叶斯定理处理算法模型可以显著地提升预言准确性.

3.4　案例分析

为了进一步验证本文优化算法的精确程度是否与用户约束矩阵有关以及是否会影响模型的预测性能，随机挑选四名用户进行实验对比，实验结果如表4所示.

表4 案例分析的比较结果

Table 4 Comparative results of case analysis

用户	评分数	无约束矩阵预测误差RMSE	有约束矩阵预测误差RMSE
A	50	94.4%	90.7%
B	14	93.6%	86.6%
C	5	98.2%	82.5%
D	9	96.4%	86.2%

新窗口打开| 下载CSV

针对模型有无约束矩阵对用户进行约束，比较预测用户的评分误差RMSE来证实实验的可解释性.通过对用户的预测误差比较可以看出，对于特定用户（指用户评分相对稀疏），约束矩阵发挥了很好的预测效果，用户评分越稀疏，有约束矩阵的模型的预测误差越小，预测准确性越高.如表4所示，用户A评论了50个电影，用户C评论了5个电影，所以用户C为特定用户.有无约束矩阵对模型的评分预测影响很小，预测误差都在90%左右，然而用户C的预测对于模型有无约束矩阵影响很大.在模型计算中，对于特定评分稀疏的用户而言，由于传统模型对其预测时预测结果近似物品的平均评分，无法保证评分准确性，而对模型引入约束矩阵可以有效地缓解这一问题.用户C的预测误差RMSE提高了16%，证实了本文提出的优化算法的可解释性.

4 结论

针对现有的协同过滤算法中的矩阵分解算法不能很好地解决那些不喜欢去评分的特定用户的评分稀疏和推荐质量不高的问题，本文提出了一种受约束的贝叶斯概率矩阵分解优化算法，通过对PMF模型引入潜在的相似度约束矩阵来影响特定用户的特征向量，这样可以更快捷地捕获用户之间的相似性以提高预测准确性，同时使用MCMC方法对模型进行采样训练，自动调整模型的正则化参数，可以更好地获得更加具有可解释性的超参数.使用Pymc3框架进行模型搭建使模型架构更加简洁，同时使用MAP估计来明确MCMC采样的起点，节约了采样时间.在稀疏评分矩阵下，CBPMF算法喝传统的推荐算法相比，预测评分的准确性得到了提升，优化算法具有很强的预测性能和可解释性.实验结果表明，在对用户特征向量之外引入潜在的相似度约束矩阵可以有效地解决特定用户评分预测不准确的问题，使推荐系统可以更准确地向特定用户推荐更感兴趣的物品.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Resnick

，Varian

H R

Recommender systems

Communications of the ACM，1997，40(3)：56-58.