基于BiLSTM和CNN的序贯三支情感分类模型研究

doi:10.13232/j.cnki.jnju.2024.03.013

基于BiLSTM和CNN的序贯三支情感分类模型研究

赵梦宇¹, 孙京博¹, 魏遵天¹, 辛现伟², 宋继华^,¹

1.北京师范大学人工智能学院，北京，100875

2.河南师范大学计算机与信息工程学院，新乡，453007

Research on sequential three⁃way sentiment classification model based on BiLSTM and CNN

Zhao Mengyu¹, Sun Jingbo¹, Wei Zuntian¹, Xin Xianwei², Song Jihua^,¹

1.School of Artificial Intelligence，Beijing Normal University，Beijing，100875，China

2.College of Computer and Information Engineering，Henan Normal University，Xinxiang，453007，China

通讯作者: E⁃mail：songjh@bnu.edu.cn

收稿日期: 2023-08-10

基金资助:

河南省高等学校重点科研项目.  24A520019
2023年国际中文教育研究课题.  23YH26C
教育部人文社会科学重点研究基地重大项目.  22JJD740017
河南省科技攻关项目.  232102210077

Received: 2023-08-10

摘要

文本情感分析作为自然语言处理领域中的一个重要分支，在现实生活中具有重要的应用价值.传统深度学习模型在情感分析中主要根据概率值大小进行硬分类，忽略了极性不明显数据的影响，导致阈值边缘对象的分类准确率欠佳.为了解决这一问题，基于CNN （Convolutional Neural Networks）和BiLSTM （Bi⁃directional Long Short⁃Term Memory）模型，并引入序贯三支决策（Sequential Three⁃way Decisions，S3WD）的思想，提出了基于BiLSTM和CNN的序贯三支情感分类模型（BiLCNN⁃S3WD），该模型能更好地从多个粒度对极性不明显数据进行处理.通过在online_shopping_10_cat和微博数据集上进行多组实验与对比分析，验证了所提模型的有效性.实验结果表明，与七个基线模型相比，BiLCNN⁃S3WD在三个数据集上的每个评价标准都取得了更佳的效果.

关键词： 序贯三支决策 ; 情感分类 ; CNN ; BiLSTM ; 多粒度

Abstract

Text sentiment analysis is an important branch of natural language processing with significant application value. Traditional deep learning models in sentiment analysis mainly perform hard classification based on the size of probability values，neglecting the impact of the data with inconspicuous polarity and resulting in poor accuracy of the classification for threshold edge objects. Based on CNN (Convolutional Neural Networks) and BiLSTM (Bi⁃directional Long Short⁃Term Memory)，we propose the BiLCNN⁃S3WD based on BiLSTM and CNN，by introducing the idea of S3WD (Sequential Three⁃way Decisions)，which better processes the data with inconspicuous polarity from multiple granularities. The model's effectiveness is verified through multiple sets of experiments and comparative analyses on the online_shopping_10_cat and Weibo datasets. According to the experimental results，BiLCNN⁃S3WD achieves better results in each evaluation criterion on the three datasets compared with the seven baseline models.

Keywords： sequential three⁃way decisions ; sentiment classification ; CNN ; BiLSTM ; multi⁃granularity

PDF (790KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

赵梦宇, 孙京博, 魏遵天, 辛现伟, 宋继华. 基于BiLSTM和CNN的序贯三支情感分类模型研究. 南京大学学报（自然科学）[J], 2024, 60(3): 502-510 doi:10.13232/j.cnki.jnju.2024.03.013

Zhao Mengyu, Sun Jingbo, Wei Zuntian, Xin Xianwei, Song Jihua. Research on sequential three⁃way sentiment classification model based on BiLSTM and CNN. Journal of nanjing University[J], 2024, 60(3): 502-510 doi:10.13232/j.cnki.jnju.2024.03.013

科技的不断进步使各行各业的生产、生活与网络紧密相连，人们通过多种终端设备进行网络购物、在线医疗咨询、订购外卖等，随之产生了海量的文本信息，从这些文本中更好地挖掘有价值的信息逐渐成为学者们关注的重点^［1］.情感分类是自然语言处理领域的一个重要研究方向，主要通过深度学习、机器学习等方法快速从海量文本信息中挖掘有用的情感信息，目前已经在舆情分析^［2］、电子商务^［3］、数字心理健康^［4］和推荐系统^［5］等领域得到广泛应用.

文本情感分类的主流方法有基于情感词典、经典的机器学习以及深度学习的方法.基于情感词典的文本情感分类方法主要通过构建情感词典的方式判断文本的情感极性，但情感词典具有一定的时效性，对于不同的领域需要构建多个情感词典，会耗费大量的人力和物力.基于机器学习的文本情感分类方法相比于基于情感词典的方法有一定程度的改进，克服了过度依赖情感词典的局限性，但仍需要对一系列的文本特征进行手工标记，不仅需要大量的人力资源，而且存在一定的主观因素^［6］.此外，随着深度学习相关研究的快速发展，很大程度解决了上述以情感字典和机器学习为代表的经典文本分析技术中存在的问题，取得了显著效果.目前主流的神经网络，例如RNN （Recurrent Neural Network），CNN （Convolutional Neural Networks），Transformer，BERT （Bidirectional Encoder Representations from Transformers）等，已经在很多情感分类任务中取得相对较好的效果.

值得注意的是，深度学习方法首先将待分类的文本输入神经网络以获取其可能分到类别的概率，然后根据概率值直接对其进行硬分类.由此，当面对极性不显著的边界数据时，神经网络的方法容易导致情感误分类.在情感二分类任务中，利用神经网络进行训练并根据其计算的概率值进行二值分类时，只能对中值附近的数据进行硬划分^［7］，如大于0.5为正向情感，小于等于0.5为负向情感.但概率在0.5附近的样本属于模糊样本，需进一步甄别，否则易导致数据所属类型的划分偏离甚至错误.由此，本文在深度学习训练过程中引入序贯三支决策的思想来解决上述问题.

三支决策通过“三分而治的思想”进行逐步求解，在“非黑即白”二支决策的基础上增加了延迟决策选项，将由原来的接受或拒绝两种决策选项变成接受、拒绝或延迟决策三种决策选项，这一过程更符合人类的思维认知与决策过程^［8］.为了高效处理复杂场景下的不确定性问题，Yao^［9］基于粒计算的思想提出了序贯三支决策模型.类似地，粒计算是一种面向复杂问题求解的有效工具^［10］，通过运用不同的粒化准则可以从多个视角、多层次刻画复杂问题^［11］，能够通过构建多粒度空间对论域对象进行由粗到细的渐进式决策^［12］，已广泛应用于人工智能的多个领域.最初的序贯三支决策模型主要应用在信息表或者决策表中，利用属性约简的方法构建多层粒度特征表示，并将信息表中的属性视为特征.由于序贯三支决策的特殊结构和多阶段决策过程，非常适合挖掘海量数据的有效信息，因此序贯三支决策在情感分类领域的应用受到越来越多的学者的关注^［13-15］.

围绕传统的文本情感分类模型对极性不明显数据的分类性能提升问题展开研究，本文主要的贡献和创新如下.

（1）提出一种新的情感分类模型BiLCNN⁃S3WD，通过在深度学习的训练过程中融入序贯三支决策，提升模型捕捉文本情感信息的能力，从而提高分类性能.

（2）利用序贯三支决策从不同粒度对极性不明显数据下的文本情感信息进行挖掘，多维度地处理边界对象，提高模型的泛化能力.

（3）在online_shopping_10_cat和微博数据集上进行多组实验与对比分析，结果表明本文所提模型与传统方法相比，具有更高的分类精度.

1 相关工作

三支决策的理论起源于1992年Yao and Wong^［16］首次将贝叶斯决策理论融入粗糙集理论中，提出决策粗糙集模型.2009年Yao^［17］在决策粗糙集的理论基础上正式提出三支决策理论，其通过阈值 $(α, β)$ 进行接受、拒绝和延迟三种决策，将目标样本划分为三个互不相交的区域，正域、负域和边界域.三支决策的这种方式在二元分类任务中得到了很好的解释，接受决策表示接受第一类，拒绝决策表示拒绝第一类而接受第二类，延迟决策则表示不接受第一类和第二类.因此，这也使三支决策十分适合二分类的情感分类任务.通过获得更多的信息，可以对边界域中的样本进行进一步的处理，得到更好的分类结果.例如，周哲和商琳^［18］提出一种融合三支决策思想的特征提取方法，以提高文本情感分类的准确率.随着三支决策和深度学习的发展，学者们开始尝试将二者进行融合以解决情感分类问题.Ma et al^［7］利用RNN训练，并通过三支决策分类调整边界域中样本的概率，使边界域中样本极性更大，获得了更好的情感分类结果.Zhang et al^［19］将传统的基于特征的方法和CNN相融合，通过构造置信分割器，将CNN分类质量差的样本重新使用具有朴素贝叶斯特征的支持向量机进行情感二分类.

为了实现动态多步决策，Yao^［9］在2013年正式提出序贯三支决策理论，即在每一个粒层下都将论域划分为正域、负域和边界域三个部分，且将上一层的边界域视为下一粒层的论域.随着粒层的增加，获取的信息逐步增多，边界域将逐渐变小，如果在最细粒层，边界域依旧不为空，则对边界域做二支决策.近年来，序贯三支决策在情感分类领域的应用逐渐增多，并取得了不错的效果.张刚强等^［20］利用N⁃gram语言模型构成一种多粒度情感结构，提出一种基于序贯三支决策的多粒度情感信息表示方法.范琴等^［21］基于序贯三支决策在提高分类质量的同时，降低了情感分类整体的决策代价.杨新等^［22］构造了具有时空特性的序贯多层粒结构，在维持分类质量的前提下，大幅减少了情感分类代价.王琴和刘盾^［23］基于序贯三支决策思想和集成学习的优势，构建了结合集成学习的多粒度序贯三支决策模型.Chen et al^［24］提出一种分类特征表示三支决策模型，得到用于情感分类的正负域的特征表示.

2 预备知识

定义1 序贯三支决策^［9，25］设 $S = (U, C ⋃ D, V, f)$ 表示一个决策信息系统，其中， $U$ 为非空有限集合； $C$ 为非空的条件属性集合， $D$ 是决策属性集， $C ⋂ D = \emptyset, C_{1} \subseteq C_{2} \subseteq C_{3} \subseteq \dots \subseteq$

$C_{n} = C (|C| = n)$ 为属性集序列； $V$ 是属性值集合； $f ∶ U \times C \to V$ 表示一个信息函数，在函数 $f$ 下，论域 $U$ 被划分为互不相交的三个区域. $G S = \{G S_{1}, G S_{2}, \dots, G S_{n}\},$ $1 \leq i \leq n$ ，表示多层次的粒度结构，对于基于等价关系 $U / C_{i}$ 的第 $i$ 个粒度层 $G S_{i} = (U_{i}, C_{i} ⋃ D_{i}, V_{i}, f_{i}), i = 1,2, 3, \dots, n$ ，其决策阈值 $(α_{i}, β_{i})$ 且满足 $0 < β_{i} < α_{i} < 1$ ，则在第 $i$ 个粒度层中正域 $(P O S)$ 、负域 $(N E G)$ 以及边界域 $(B N D)$ 的划分如下所示：

\begin{array}{l} P O S_{(α_{i}, β_{i})} (X_{i}) = \{x \in U_{i} |P r (X_{i} |{[x]}_{c_{i}}) \geq α_{i}\} \\ B N D_{(α_{i}, β_{i})} (X_{i}) = \{x \in U_{i} |β_{i} < P r (X_{i} |{[x]}_{c_{i}}) < α_{i}\} \\ N E G_{(α_{i}, β_{i})} (X_{i}) = \{x \in U_{i} |P r (X_{i} |{[x]}_{c_{i}}) \leq β_{i}\} \end{array}

(1)

其中， $U_{i}$ 表示第 $i$ 层论域， $X_{i}$ 表示第 $i$ 个粒层的目标概念， $P r (X_{i} |{[x]}_{c_{i}})$ 表示在粒层 $i$ 上，对象 $x$ 关于目标概念 $X_{i}$ 的隶属度函数，计算如下：

P r (X_{i} |{[x]}_{c_{i}}) = \frac{|X_{i} ⋂ {[x]}_{c_{i}}|}{{[x]}_{c_{i}}}

(2)

定义2 Word2vec词向量模型^［26］ Word2vec是谷歌提出的用于词向量计算的算法模型，通过CBOW（Continuous Bag⁃of⁃Words Model）和Skip⁃gram（Continuous Skip⁃Gram Model）两种方式对词向量进行计算.其中，CBOW通过上下文预测当前词，Skip⁃gram通过当前词预测上下文信息，利用负采样技术对词向量库进行训练.

定义3 BiLSTM网络^［27］ BiLSTM网络由LSTM发展而来，由前向LSTM和后向LSTM两部分组成，又称双向长短时记忆网络.LSTM具有捕捉样本中长距离信息以及通过“门控单元”控制信息避免梯度爆炸的能力，其计算过程如下：

f_{t} = σ (W_{f} \cdot [h_{t - 1}, x_{t}] + b_{f})

(3)

i_{t} = σ (W_{i} \cdot [h_{t - 1}, x_{t}] + b_{i})

(4)

{\tilde{C}}_{t} = t a n h (W_{c} \cdot [h_{t - 1}, x_{t}] + b_{c})

(5)

C_{t} = f_{t} * C_{t - 1} + i_{t} * {\tilde{C}}_{_{t}}

(6)

o_{t} = σ (W_{o} [h_{t - 1}, x_{t}] + b_{o})

(7)

h_{t} = o_{t} * t a n h (C_{t})

(8)

其中， $x_{t}$ 表示 $t$ 时刻的输入； $h_{t - 1}$ 表示 $t - 1$ 时刻隐藏层的值； $f_{t}, i_{t}, o_{t}, {\tilde{C}}_{_{t}}, C_{t}, h_{t}$ 分别表示 $t$ 时刻遗忘门、输入门、输出门、临时细胞、细胞、隐藏层的值； $W_{f}$ ， $W_{i}$ ， $W_{c}$ ， $W_{o}$ 和 $b_{f}$ ， $b_{i}$ ， $b_{c}$ ， $b_{o}$ 分别表示对应门和细胞的权重系数以及偏置向量.

定义4 CNN网络^［28］典型的CNN网络由卷积层、池化层和全连接层组成.其中卷积层主要负责提取输入中的局部特征；池化层用来减少网络参数，降低数据维度，减少冗余信息，防止过拟合；全连接层对经过卷积层和池化层的数据进行处理，得到最终结果.

3 基于BiLCNN⁃S3WD的文本情感分类

本文提出一个基于BiLSTM、CNN和序贯三支决策的BiLCNN⁃S3WD模型进行情感分类，如图1所示.二分类情感分析任务中，情感包含积极和消极两种，通过三支决策将二分类情感分为三个部分，其对应关系设为：积极情感分到 $P O S$ ，消极情感分到 $N E G$ ，情感分类概率值在阈值 $(α, β)$ 之间被认为是类别不确定对象，将其划分到 $B N D$ ，然后逐步迭代，通过不同粒度层获取更多信息进行情感类别决策.本文提出的BiLCNN⁃S3WD模型通过BiLSTM获取上下文信息、利用CNN提取不同区域的局部特征，同时使用序贯三支决策逐步获取信息优化情感分类决策过程.下面对BiLCNN⁃S3WD模型进行详细介绍.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 BiLCNN⁃S3WD架构图

Fig.1 BiLCNN⁃S3WD architecture diagram

3.1　模型结构设计

3.1.1 输入层

对于 $n$ 个待分类样本，经过预处理得到 $S = \{s_{1}, s_{2}, \dots, s_{n}\}$ （ $s_{i}$ 表示一个待分类样本），输入模型嵌入层，得到词向量矩阵 $X = [x_{1}, x_{2}, \dots, x_{n}], X \in R^{n \times l \times d_{1}}$ . $l$ 表示样本的最大长度，其中样本 $s_{i}$ 映射的词向量矩阵 $x_{i} = [x_{i}^{(1)}, x_{i}^{(2)}, \dots, x_{i}^{(j)}, \dots, x_{i}^{(l)}]$ ， $x_{i} \in R^{l \times d_{1}}$ ， $x_{i}^{(j)}$ 表示样本 $s_{i}$ 的第 $j$ 个 $d_{1}$ 维的词向量表示.

3.1.2 BiLSTM网络层

本模型通过BiLSTM网络将输入的信息 $X$ 以正向和反向两种顺序序列化输入，隐藏层维度为 $d_{2}$ .在LSTM网络中， $t - 1$ 时刻的输出 $h_{t - 1}$ 作为 $t$ 时刻的输入，对于一个嵌入向量 $x_{i}$ ，计算过程如下：

h_{t}^{(i)} = L S T M (x_{i}, h_{t - 1}^{(i)})

(9)

将最后一层正向反向的隐藏向量 ${\vec{h}}_{n}^{(i)}$ ， ${\overset{⃖}{h}}_{n}^{(i)}$ 进行拼接得到 $h_{o}^{(i)} \in R^{1 \times d_{3}}$ （ $d_{3} = 2 \times d_{2}$ ）. $H_{o} \in R^{n \times 1 \times d_{3}}$ 作为该层最后的输出，使模型更好地远距离获取上下文的序列信息.

3.1.3 序贯CNN网络层

序贯CNN网络将序贯三支决策的思想融入CNN的学习过程，结合CNN获取局部特征的特点和序贯三支决策延迟决策的优势，提取不同粒度的特征，增强模型的表达能力.本模型的序贯CNN网络层分四部分，每一部分都由卷积层、最大池化层、线性层及决策层组成.CNN卷积核的大小代表提取特征的粒度，通过设置CNN卷积核的大小对BiLSTM得到的隐藏层向量 $H_{o}$ 进行一维卷积，以提取不同粒度下的局部信息，其中CNN核设为 $k \in [2,3, 4,5]$ .初始将所有样本放入 $B N D$ 并将 $P O S$ 和 $N E G$ 设为空，每一部分都针对 $B N D$ 中的样本进行训练，卷积核为 $k$ 的CNN网络训练过程如下：

C_{o}^{(k)} = C o n v 1 d (H_{k}, k)

(10)

M_{o}^{(k)} = M a x P o o l 1 d (C_{o}^{(k)}, k)

(11)

f c^{(k)} = L i n e a r (M_{o}^{(k)}, 1)

(12)

P^{(k)} = S i g m o i d (f c^{(k)})

(13)

其中，

C_{o}^{(k)} \in R^{n_{k} \times 1 \times d_{4}} (d_{4} = d_{3} - k - 1)

M_{o}^{(k)} \in R^{n_{k} \times 1 \times d_{5}} (d_{5} = ⌊d_{4} / k⌋)

f c^{(k)} \in R^{n_{k} \times 1}, P^{(k)} \in R^{n_{k} \times 1}

$n_{k}$ 表示当前 $B N D$ 中的样本数.根据得到的概率值 $p_{i} (p_{i} \in P_{k})$ 和阈值 $(α, β)$ 判断当前样本 $s_{i}$ 是否加入 $P O S$ 或 $B N D$ .对于仍在 $B N D$ 中的样本，将其对应的 $h_{k}$ 输入 $k + 1$ 部分继续计算，直到 $k = 5$ 或 $B N D$ 为空.

3.2　BiLCNN⁃S3WD模型描述与算法

与传统方法^{［13，24，29-30］}不同，本文模型通过动态逐步变化的过程对边界域对象进行针对性训练，使深度学习和序贯三支决策完美融合成一个整体，极大地减少了训练量.模型通过Adam优化算法^［31］进行神经网络参数的优化更新，训练采用的损失函数是二分类交叉熵 $B C E L o s s ()$ ，表示如下：

L = - \frac{1}{N} [y_{i} l g (p_{i}) + (1 - y_{i}) l g (1 - p_{i})]

(14)

其中， $N$ 是样本总数， $y_{i}$ 是第 $i$ 个样本的类别， $p_{i}$ 是第 $i$ 个样本的预测概率值.

对于一段待分类文本，经过预处理后通过Word2vec层得到对应的词向量，由BiLSTM网络获取关于句子上下文的信息，输入序贯CNN网络中.首先，将该信息输入卷积核为2的CNN网络进行特征抽取，提取较窄感受野信息，根据Sigmoid函数计算出的概率值 $p_{i}$ 和给定的阈值 $(α, β)$ 比较判断出 $P O S$ ， $N E G$ ， $B N D$ ；然后，将 $B N D$ 中所对应的BiLSTM向量输入卷积核为3的CNN网络并重复上述操作，逐渐提升感受野以获取更多信息，进行更加充分的推理，直到边界域为空或到达最后一个粒度层，并在最后的粒层做二支决策，最终得到分类结果.具体算法如下.

算法1 基于BiLSTM和CNN的序贯三支情感分类模型

输入：嵌入词向量 $X$ ，阈值 $α, β$

输出：情感分类结果 $Y$

1. $H_{o} \leftarrow B i L S T M (X)$ ∥通过BiLSTM进行编码以获取文本的高级表示

2.for each $k \in [2,3, 4,5]$ do $c o n v s \leftarrow C o n v (k)$ end for ∥初始化卷积模块

3. $B N D \leftarrow H_{o}$ ∥将所有样本置于边界域

4. $P O S \leftarrow Φ, N E G \leftarrow Φ, B N D' \leftarrow Φ$ ∥初始化

5.for each $c o n v \in c o n v s$ do ∥遍历不同kernel size卷积模块

6. if $B N D$ is empty then break

7. else if not $l a s t_c o n v$ then

8. for each $h_{i} \in B N D$ do ∥遍历样本

9. $p_{i} \leftarrow c o n v (h_{i})$ ∥使用卷积模块编码提取局部特征并预测分类概率 $p_{i}$

10. if $p_{i} > α$ then $P O S \leftarrow x_{i}$ ∥样本归为正域

11. else if $p_{i} < β$ then $N E G \leftarrow x_{i}$ ∥样本归为负域

12. else $B N D^{'} \leftarrow h_{i}$ ∥样本归为边界域

13. end if

14. end for

15. else ∥执行到最后一个粒度层，直接进行硬分类

16. for each $h_{i} \in B N D$ then

17. $p_{i} \leftarrow c o n v (h_{i})$

18. if $p > 0.5$ then $P O S \leftarrow x_{i}$

19. else $N E G \leftarrow x_{i}$

20. end if

21. end for

22. end if

23. $B N D \leftarrow B N D^{'}$

24.end for

25. $P O S_n u m \leftarrow a c c u r a t e (P O S)$ ∥统计POS域中正确样本数

26. $N E G_n u m \leftarrow a c c u r a t e (N E G)$ ∥统计NEG域中正确样本数

27. $\begin{array}{l} a c c u r a c y \leftarrow \\ (P O S_n u m + N E G_n u m) / n u m_a l l_s a m p l e \end{array}$

28.return $a c c u r a c y$

4 实验结果

4.1　数据集描述

为了验证本文模型的性能，挑选中文微博情感分类语料库（https：∥github.com/dengxiuqi/weibo2018），online_shopping_10_ cat（https：∥www.datafountain.cn/datasets/56）数据集中的酒店类和计算机类，共三个实验数据集用于评测.每个数据集由若干条用户评论组成，每个用户评论至少包含一个句子，每个句子对应一种用户情感，即积极情感（1）或消极情感（0）.

实验数据的具体统计如表1所示.对数据集进行预处理，首先进行去重操作，删除长度小于4的样本，将繁体字转为简体字，使用jieba库进行分词，删除无意义的符号和词汇.为了得到对下游任务更具有针对性的词向量，基于每个训练集各训练了一套相应的Word2vec词向量，设定词向量的维度为64，词频最小为1，迭代1000次.

表1 实验数据集

Table 1 Experimental datasets

数据集	数量	训练集	测试集(标签)
Hotel (online_shopping_10_cat)	9998	3999(0)，3999(1)	1000(0)，1000(1)
Computer (online_shopping_10_cat)	3991	1699(0)，1792(1)	297(0)，203(1)
中文微博情感	10500	3586(0)，5414(1)	1073(0)，427(1)

新窗口打开| 下载CSV

4.2　基线模型

为了更好地评估本文提出的模型性能，将其与以下七个基线模型进行比较，所有的基线模型都使用相同的Word2vec词向量.

（1）BiLSTM网络.

（2）BiLSTM网络训练得到的最后一层隐藏向量分别输入卷积核为2~5的CNN网络，得到四个不同的基线模型.

（3）DLSTWSC：通过训练保存四个模型作为四个不同粒层后选择SVM作为分类器.

（4）CFRT：一个根据互信息提取特征并进行三支决策分类方法.

4.3　结果分析

通过中文文本情感分类这一NLP领域的热点问题探究序贯三支决策在深度学习中的作用，在深度学习中融合序贯三支决策的分步动态决策的思想，提高分类正确率.为了衡量模型的性能，采用情感分类领域最常用的评价标准，分别是分类准确率、召回率和 $F_{1}$ .所有实验结果均对应模型10轮结果的平均值，如表2~4所示，表中黑体字表示结果最优.由表可知，本文提出的BiLCNN⁃S3WD模型与其他七个基线模型相比，在三个数据集上每个评价标准都取得了更佳的效果，证明了模型的有效性.

表2 三个数据集在不同模型下分类准确率对比

Table 2 Classification accuracy of three datasets with different models

模型	Hotel	Computer	中文微博情感
BiLCNN⁃S3WD	0.9152±0.0022	0.9236±0.0050	0.8193±0.0049
BiLSTM	0.9123±0.0037	0.9082±0.0084	0.7977±0.0154
BiLSTM+CNN (kernel_size=2)	0.9120±0.0027	0.9194±0.0020	0.7583±0.0231
BiLSTM+CNN (kernel_size=3)	0.9129±0.0018	0.9200±0.0046	0.7999±0.0132
BiLSTM+CNN (kernel_size=4)	0.9139±0.0029	0.9206±0.0047	0.7939±0.0190
BiLSTM+CNN (kernel_size=5)	0.9130±0.0020	0.9192±0.0062	0.8095±0.0116
DLSTWSC	0.9106±0.0015	0.9230±0.0000	0.7855±0.0164
CFRT	0.8270±0.0023	0.8698±0.0018	0.8190±0.0012

新窗口打开| 下载CSV

表3 三个数据集在不同模型下分类召回率对比

Table 3 Cassification recall of three datasets with different models

模型	Hotel	Computer	中文微博情感
BiLCNN⁃S3WD	0.9165±0.0023	0.9280±0.0137	0.8190±0.0059
BiLSTM	0.9114±0.0037	0.9085±0.0101	0.7959±0.0102
BiLSTM+CNN (kernel_size=2)	0.9130±0.0033	0.9194±0.0015	0.7591±0.0226
BiLSTM+CNN (kernel_size=3)	0.9125±0.0034	0.9216±0.0055	0.7997±0.0134
BiLSTM+CNN (kernel_size=4)	0.9145±0.0027	0.9209±0.0040	0.7946±0.0175
BiLSTM+CNN (kernel_size=5)	0.9140±0.0030	0.9194±0.0073	0.8085±0.0118
DLSTWSC	0.9110±0.0020	0.9259±0.0000	0.7806±0.0250
CFRT	0.7377±0.0039	0.7581±0.0046	0.6564±0.0021

新窗口打开| 下载CSV

表4 三个数据集在不同模型下分类 $F_{1}$ 对比

Table 4 Classification $F_{1}$ scores of three datasets with different models

模型	Hotel	Computer	中文微博情感
BiLCNN⁃S3WD	0.9145±0.0047	0.9234±0.0051	0.8213±0.0044
BiLSTM	0.9127±0.0045	0.9102±0.0085	0.8034±0.0100
BiLSTM+CNN(kernel_size=2)	0.9120±0.0033	0.9188±0.0030	0.7687±0.0208
BiLSTM+CNN(kernel_size=3)	0.9110±0.0020	0.9206±0.0054	0.8057±0.0118
BiLSTM+CNN(kernel_size=4)	0.9135±0.0045	0.9184±0.0093	0.8010±0.0153
BiLSTM+CNN(kernel_size=5)	0.9125±0.0040	0.9182±0.0057	0.8153±0.0105
DLSTWSC	0.9100±0.0000	0.9278±0.0000	0.7882±0.0229
CFRT	0.8100±0.0028	0.8254±0.0029	0.6737±0.0020

新窗口打开| 下载CSV

与BiLSTM模型和BiLSTM+CNN $(k e r n e l_s i z e = i, i = 2,3, 4,5)$ 模型相比，BiLCNN⁃S3WD模型通过对模糊样本从不同的CNN中获取的特征进行多次判断，提高了模型的准确率.本文所提方法与DLSTWSC和CFRT模型的不同之处在于将训练和测试归为一套流程，融合为一个整体，并动态地处理边界域中的数据样本，对于边界域中的模糊数据，每一层都进行有针对性的学习.这种方法不仅避免了训练和测试过程的割裂，而且提高了模型在不同数据集上的迁移能力以及准确率.此外，三支决策在训练的过程中并没有参与反向传播，梯度迭代的过程，得益于三支决策的提前退出机制，在相同数据批量下能减少模型的计算开销.由于每个数据集特征不同，不同CNN卷积核提取的特征也不同，其性能会发生轻微的变化.根据序贯三支决策的思想，本文模型充分利用每个卷积核提取的不同特征，得到了更好的结果.此外，由于阈值的选取与损失函数有关，而损失函数并非本研究的关注，故本文将阈值当作一个超参数进行处理，例如Computer和中文微博情感数据集上的阈值分别为（0.85，0.27）和（0.7，0.3）时效果最佳.

4.4　实验分析

4.4.1 多粒度结果分析

通过三个案例对BiLCNN⁃S3WD模型不同粒度层分析，阐述所提模型的有效性、可行性和可靠性.从Hotel测试集中选出三条数据，如表5所示.当阈值为（0.7，0.3）时，BiLCNN⁃S3WD模型预测概率的结果如表6所示.可以看出，同一个句子在不同粒度下的概率值具有一定差异，这是因为CNN使用了不同的卷积核来提取不同的局部特征，获取不同的粒度信息.本模型利用多层不同核大小的卷积层逐层提取特征，在决策过程中逐步将边界域中的样本分类正确.例如，对于极性较大的样本数据如S1和S2，分别在第一粒层和第二粒层被分出；对于极性不明显的边界数据，则继续在下一粒度层计算，直到极性值足够大或者最后一个粒层.

表5 多粒度结果分析例句

Table 5 Examples of multi⁃granularity results analysis

序号	句子	标签
S1	不错，下次还考虑入住.交通也方便，在餐厅吃得也不错.	1
S2	酒店早餐比较差，样数少，连包子馒头都供应不齐，8点后，很多东西都没，希望能好好改进.	0
S3	刚刚经历了在丽江丽王酒店的痛苦经历，来到这里我被酒店的服务感动了，这才是真正的酒店，我觉得像回到家里一样.唯一的缺点是租车太贵了.	1

新窗口打开| 下载CSV

表6 BiLCNN⁃S3WD不同粒层下的结果

Table 6 Examples of multi⁃granularity results of BiLCNN⁃S3WD

句子	$P$ (kernel_size=2)	$P$ (kernel_size=3)	$P$ （kernel_size=4)	$P$ (kernel_size=5)
S1	0.9951	-	-	-
S2	0.3510	0.2589	-	-
S3	0.5486	0.4975	0.5312	0.7367

新窗口打开| 下载CSV

4.4.2 阈值分析

分析阈值 $(α, β)$ 对BiLCNN⁃S3WD模型性能的影响.为了更好地探究，不再对三个数据集进行随机初始化，使其除阈值以外，不再有任何变量影响模型结果，结果如图2所示.可以看出， $α$ 和 $β$ 的选取对模型最终的性能有较大影响.Hotel和中文微博情感数据集在 $α$ 较小且 $β$ 较大时结果较好，Computer数据集在 $α$ 较大且 $β$ 较大时结果更好，也验证了对于不同的数据集在数据极性不显著区域分类的随机性.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 $(α, β)$ 对模型结果的影响

Fig.2 The influence of $(α, β)$ on model results

5 结论

本文从情感分类任务着手，提出一个基于BiLSTM和CNN的序贯三支决策BiLCNN⁃S3WD模型，利用序贯三支决策获取不同粒度层信息的能力，尝试动态地解决深度模型在分类边界附近硬分类误差大的问题.实验表明，所提BiLCNN⁃S3WD模型与传统方法相比，在三个数据集上都取得了较好的性能.由于阈值的选取对模型的结果有较大影响，未来工作将尝试融合多种方法进一步研究阈值的最佳选取问题，并探索引入决策代价矩阵以获得更好的性能表现.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Pang

， Lee

Opinion mining and sentiment analysis

Foundations and Trends® in Information Retrieval，2008，2(1-2)：1-135.