随着信息化时代的到来，互联网高速发展，产生了数量巨大、种类繁多的数据，文本作为数据的载体之一有重要价值.如何处理这些海量的文本数据，选择有效的文本分类技术至关重要.

在传统的分类方法中，每个样本示例只属于一个类别标记，即单标记学习^［1］.2014年Kim^［2］提出TextCNN模型，将卷积神经网络（Convolutional Neural Networks，CNN）应用在文本分类领域中，取得了一定的效果.此后，越来越多的深度学习方法被应用于单标签文本分类任务，单标签文本分类技术逐渐成熟.但在实际文本分类任务中，许多对象具有多个标签，所以多标签文本分类逐渐受到研究者的广泛关注.

多标签文本分类（Multi⁃Class Text Classifica⁃tion，MCTC）是为文本文档分配一个或多个标签的文本分类任务，专注于文本的高级语义表示和标签相关性建模，有广泛的应用，如信息检索^［3］、情感分析^［4］、主题识别^［5］、推荐系统^［6］等.目前在多标签文本分类领域，主要有三个研究内容：（1）从文档中充分捕获有效的语义信息；（2）探究标签与文档之间的相关性，从文档中获取标签的文档表示；（3）探究标签之间的联系，因为在多标签文本分类中，大多数标签之间都有层次性.大多数研究者都是在完成第一个内容的前提下，重点对后两个内容进行探索^［7］.尽管多标签文本分类的研究有一定进展，但依然有诸多问题，如把标签当成没有语义信息的标记，忽略标签本身的语义信息，标签的语义信息仅仅在最后的分类预测阶段起监督的作用；同时，大多数标签是几个字符长度的短文本，标签文本存在数据稀疏问题.

针对上述问题，本文提出一种融合标签嵌入和知识感知（Label Embedding and Knowledge⁃Aware，LEKA）的多标签文本分类方法，在利用标签嵌入的同时，将文本单词和类别标签在同维度语义空间进行学习嵌入，再通过知识图谱^［8］嵌入对标签文本进行语义扩展，实现对标签的知识感知.最后，通过标签嵌入注意力使标签和文档文本进行语义交互，得到基于标签的文本表示，将标签应用到文本分类过程中.本文的主要贡献：

（1）通过知识图谱引入相关的实体信息，丰富标签的语义信息，缓解标签语义不足的问题.

（2）提出基于扩展后标签语义信息与文档交互的注意力机制，通过空洞卷积获取全局特征，从而计算更细粒度的标签注意力.

（3）在两个公开数据集上与几种主流方法进行了对比实验，实验结果表明，LEKA的效果优于其他方法.

基于机器学习的传统分类算法主要分问题转换方法和算法适应方法.问题转换方法的思路是将多标签学习的任务转换为传统的一个或多个单标签学习的任务，学者们已经提出了许多单标签分类任务的算法.最典型的是Binary Relevance （BR）^［9］，其基本思路是将多标签学习问题转化为每个标签独立的二元分类问题，但无法发现标签之间的依赖性，标签空间很大时还会导致计算效率不高，使预测效果下降.Label Powerset （LP）^［10］算法的基本思路是将每个可能的标签组合都组合为一组新的标记，然后将多标签学习问题转化为单标签多类分类问题，但该方法可能会使标签空间和样本空间过大，而且在问题转化之后会出现样本不平衡的问题.Classifier Chain （CC）^［11］分类器链是对BR算法的改进，其包含了标签之间的依赖性，可以避免存在的信息损失.CC也是一种二元关联方法，不同的是它将多标签学习问题转化为二元分类问题链，链上的所有节点都有一个单独的标记，依次对链上每个单独的标记构建一个分类器，每个后构建的分类器都建立在前一个标签的预测上，所以一旦前面的标签预测出现错误，该错误就会沿着链一直传递下去，造成标签预测结果错误.另外，CC也存在标签空间和样本空间过大的问题.

另一种是算法自适应，其基本思想是通过改进传统的单标签分类算法来解决多标签分类问题.单标签学习算法的改进已为多标签学习方法提供了理论和值得借鉴的实践经验.Ranking Support Vector Machine （Rank⁃SVM）^［12］是建立在统计学习理论基础上的机器学习算法，直接对RNN （Recurrent Neural Network）的输出层进行改进，将经典的支持向量机推广到多标签学习中.Multi⁃Label Decision Tree （ML⁃DT）^［13］采用决策树技术来处理多标签数据，利用熵的信息增益准则递归地构建决策树.Multi⁃Label k⁃Nearest Neighbor （ML⁃kNN）^［14］直接对KNN的输出层进行改进，使用K近邻算法得到邻近的类别标记，再通过最大化后验概率得到位置示例的标记集合.

随着深度学习的飞速发展，多标签文本分类方法也由以机器学习为主的传统学习模型逐渐发展到基于神经网络的深度学习模型.2014年Kalchbrenner et al^［15］提出动态卷积神经网络DCNN，首次将CNN应用到文本分类，取得了较好的结果，但无法发现标签之间的依赖性.CNN⁃RNN^［16］利用RNN^［17］来处理标签之间的依赖关系问题.Yang et al^［18］提出序列生成模型（Sequence Generation Model，SGM），以Seq2Seq为基础，使用RNN作为编码器对指定文档文本进行编码，并使用新的RNN层作为解码器输出每个可能的标签序列.邬鑫珂等^［19］提出基于标签组合和注意力的网络模型，通过对标签之间的互斥关系的建模来学习标签之间的依赖性.Wang et al^［20］提出LEAM （Label⁃Embedding Attentive Model）网络模型，在相同维度语义空间下将文档文本和标签都转化为向量形式，基于这些向量表示来完成文本分类任务.肖琳等^［1］提出LSAN （Label Semantic Attention Multi⁃label Classification）网络模型，通过标签语义注意力得到所有标签的文档表示，不仅考虑了标签的依赖性，而且得到了文档全部词的权重.

2012年谷歌正式提出知识图谱的概念，起初应用在搜索引擎，而今已发展得越来越成熟，其中规模较大的有YAGO^［21］，Freebase^［22］，Probase^［23］等.知识图谱一般表示为G=E,R,T，其中E是实体集合，R是关系集合；由实体⁃关系⁃实体组成的三元组h,r,t∈T，其中h是头实体，t是尾实体，r是有向关系.知识图谱嵌入（Knowledge Graph Embedding，KGE）也称知识表示学习，其目标是将知识图谱中的每个实体e∈E表示为低维表示向量，而关系表示为在向量空间的运算.近年来，由于其简洁的模型和卓越的性能，知识图谱嵌入受到了学者的广泛关注.2013年Mikolov et al^［24］提出一种基于表示学习的TransE模型，它是最经典的翻译模型，将实体和关系都表示为同一空间的向量形式.TransE有效地将语义信息作为学习知识表示的唯一特征，利用向量空间计算语义关系，极大地缓解了知识图谱中数据稀疏和传统表示学习方法计算效率低的问题，但在解决不同关系时效果不佳.2014年Wang et al^［25］提出TransH模型，是对TransE模型的改进，将头、尾实体的嵌入向量映射到关系的超平面中，并允许实体在涉及不同关系时有不同的表示，解决了TransE模型存在的不足.2017年Lin et al^［26］提出TransR模型，先将各个关系建模为一个投影矩阵Mr，使实体嵌入映射到对应的关系空间.随后，各种改进的知识图谱嵌入模型被相继提出，如TransD，TransM，TransG^［27］等.

本文提出一种融合标签嵌入和知识感知的多标签分类方法LEKA，针对标签语义信息的不足，通过知识图谱嵌入来进行扩展，充分利用标签的语义信息.将词表示和标签表示嵌入联合空间中进行学习，通过空洞卷积学习到更丰富的与标签注意力，再将注意力加权到文本表示，从而获得更精准的文本表示，将其应用到文本分类中来提高多标签文本分类模型性能.

本文提出的LEKA，模型结构如图1所示，其整体框架包括四个主要模块：文本数据预处理、知识感知、标签嵌入和分类预测.

在文本数据预处理模块，文档文本和标签文本首先进行数据清洗，采用jieba分词对文本数据进行中文分词，分词后进行停用词过滤、纠错、同义词替换，再通过GloVe获得文本中每个单词的词嵌入（Word Embedding）表示，生成文档文本和标签文本的词向量表示，将文档文本词向量输入到LSTM层.知识感知模块通过引入外部知识图谱发现标签文本的相关知识，丰富标签的特征表示，核心步骤是通过实体链接技术选取与标签相关联的实体，将标签实体以及标签相关联的实体映射到对应空间，获得知识图谱嵌入.之后，标签词向量嵌入和知识图谱嵌入进行拼接，丰富原本标签文本中的语义，再输入下一LSTM层得到最终的标签表示矩阵.标签嵌入模块将标签文本向量表示和文档文本向量表示映射到同一空间学习，聚合运算后进行最大池化操作，通过空洞卷积提取细粒度特征，利用Softmax函数进行归一化生成注意力向量层，获得与任务目标有关的注意力权重，利用注意力权重获得每个标签对应的文本特征矩阵.最后，根据初始文档文本词嵌入和相应的文本特征矩阵对文本进行分类预测.

定义P=p1,p2,⋯,pM为M个文档构成的数据集，pi表示P中的第i个文档，pi=w1,w2,⋯,wm，其中m为文档pi的长度，wj表示该文档的第j个单词，pi对应的分类标签由T=t1,t2,⋯,tl表示，其中l为标签的个数.多标签文本分类的最终目的是训练出一个分类器，其任务是为未标注的文档分配最准确的一个或多个标签.

词嵌入对于文本数据预处理和知识感知都是不可缺少的环节，其目标是将原始文本单词转化为向量形式，形成结构化数据.本文使用词嵌入模型GloVe获得文档文本中每个单词的词嵌入表示，再输入LSTM层得到文档的每个单词的隐表示，如图2所示.

标签嵌入（Label Embedding）使用GloVe对标签进行嵌入编码来获得标签的向量形式.嵌入矩阵为WdV∈Rd×V，将文档文本对应的标签全部转换为向量形式：

其中，d是嵌入矩阵的维度，与词嵌入向量维度相同，|V|是标签的总数，yi是每个标签的独热编码.最后得到标签的向量表示为ey=ey1,ey2,⋯,eyl.

知识感知的核心是引入外部知识图谱，获取标签实体的外部知识，得到标签实体的学习嵌入，丰富标签实体的特征表示.首先，将标签实体通过实体链接技术与外部知识图谱中存在的实体相关联来消除歧义，将知识图谱中对应的实体映射到对应空间，通过这些关系链接选取实体一跳范围内的其他实体来构建知识子图^［26］.将知识子图也映射到空间里，知识子图中的全部实体以及它们之间的关系连接组成e的上下文信息：

其中，r表示实体e之间的关系，Gk表示知识图谱，通过上下文信息可以扩充实体的信息.上下文实体的嵌入按式（3）来转换：

其中，ei表示通过知识图谱嵌入得到的上下文实体嵌入.式（3）得出的上下文嵌入指的是全部上下文实体嵌入的平均值，因此，扩充标签文本语义信息的关键在于实现知识图谱嵌入，本文使用TransE模型得到知识图谱的相关实体嵌入.用h,r,t∈T表示知识图谱中的三元组，其中的关系r可以看作两个实体之间的平移向量：

其中，lh为头实体向量，lt为尾实体向量，lr为关系向量，TransE模型把关系向量lr看作头实体向量lh和尾实体向量lt的平移.为了获得正确的三元组，TransE利用损失优化函数LTransE使正确的三元组的距离小，错误的三元组距离大，如式（5）所示：

其中，S表示正确的三元组，S'表示错误的三元组，d表示向量之间的距离，ϒ是一个常数，表示正负样本之间的间距，x+表示max0,x.错误的三元组S'由正确的三元组S里的头实体h、关系r、尾实体t其中之一随机替换成其他实体或关系生成.经过不断优化训练和调参后获得完整的TransE模型，通过模型把知识图谱中所有实体和关系都转换成向量表示来完成知识图谱嵌入，最后将知识图谱嵌入和之前标签嵌入获取的标签向量进行拼接，扩展标签的语义信息.

将拼接后的标签嵌入矩阵输入下一LSTM层，获取标签之间的相关性，之后标签嵌入与词嵌入进行聚合计算：

其中，C表示标签嵌入矩阵；V表示词嵌入矩阵；∅表示同位元素对应相除；G^表示K×L阶的归一化矩阵，K是标签总数，L是单词长度.G^中每个元素由标签向量嵌入和词向量嵌入进行点乘计算得出，计算结果如图1的G.聚合运算后一般使用前馈神经网络层提取文本的特征，通过ReLU激活函数获得.然而利用ReLU函数存在一定的特征损失问题，本文用空洞卷积（D⁃Conv）替代前馈神经网络来提取文本的细粒度特征，进一步提取单词和标签之间的相关性.由于空洞卷积的网格效应会损失一些局部特征，本文采用多层不同扩张率的一维空洞卷积来捕获更全面的语义特征.在实验中，将扩张率设置为1,2,3，卷积核大小设置为3×3.标签嵌入如图3所示.

不同的分类任务特征对输入文本的注意力权重的影响也会不同，因此需要根据不同的文本分类任务来调整注意力权重.本文将标签文本向量表示和文档文本向量表示映射到同一空间学习，通过标签嵌入的注意力机制获得的注意力向量表示文档文本中每个单词在不同分类任务中的重要程度.图3中的矩阵G通过空洞卷积操作后得到G'，然后对G'的每一行进行最大池化操作得到向量y：

在生成注意力向量层，向量y通过Softmax函数得到文本向量V的注意力向量β：

最后，文本特征矩阵由注意力向量β加权词嵌入计算得出：

其中，βl表示第l个元素的Attention系数，vl表示第l个单词的词嵌入.

最后进行标签预测.本文的分类预测由两个全连接层和一个输出层组成的感知机实现，预测第i个标签出现的概率如式（10）所示：

其中，W1为全连接层的参数，W2是输出层的参数，函数f为非线性激活函数，z为文本的最终表示.

使用二元交叉熵损失作为损失函数，如式（11）所示：

其中，N表示文档文本的总数，c表示标签的个数，y^ij∈0,1，yij∈0,1分别表示第i个实例的第j个标签的预测标签和真实标签.

AAPD （Arxiv Academic Paper Dataset）：由Yang et al^［18］收集，来源于北京大学大数据研究院提供的公开英文数据集（2018年），共有55840篇与计算机科学相关的论文摘要和相对应的学科，涉及54个学科.

RCV1⁃V2 （Reuters Corpus Volume Ⅰ）：由Wang et al^［28］提供的公开英文数据集（2004年），来源于路透社收集的新闻报道，共有80多万条新闻报道，所有新闻故事都对应一个或多个主题，共涉及103个主题.

两个数据集的统计情况如表1所示.

采用Micro⁃F1作为分类算法性能的评价指标，Micro⁃Precision （P）和Micro⁃Recall （R）是实验结果分析的重要参考.Micro⁃Precision，Micro⁃Recall以及Micro⁃F1的定义如下：

其中，C表示分类的类别总数，i表示第i类标签，TPi表示正确预测为第i类的样本个数，FNi表示被错误预测为其他类的样本个数，FPi表示非第i类的其他类样本被错误预测为第i类的样本个数.

为了充分验证LEKA模型的有效性，选择BR，LP，LEAM，LSAN和LCFA多标签文本分类算法作为对比算法.

BR^［9］：是2004年Boutell et al^［9］提出的多标签文本分类模型，其基本思想是将多标签学习问题转化为每个标签独立的二元分类问题.

LP^［10］：其基本思想是将多标签学习问题转化为单标签多类分类问题，用一个多类分类器对所有独特的标签组合进行整合训练.

LEAM^［20］：将文本和标签置于同一空间进行联合嵌入，获得更具识别性的文本表征.

LSAN^［1］：是基于标签语义注意力学习特定于标签的文本表征.

LCFA^［19］：是基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法，其基本思想是一方面使用自注意力机制得到基于标签的全局信息，另一方面，先使用多层空洞卷积获得高层次的语义信息，融合后送入上层网络.

表2展示了在公开数据集AAPD上，本文模型LEKA与其他对比模型的实验结果，表中黑体字表示结果最优.由表可见，本文模型LEKA优于大多数现有方法，Micro⁃F1提高10%以上.具体的实验过程如图4所示.

表3展示了RCV1⁃V2数据集上LEKA与其他对比模型的实验结果，表中黑体字表示结果最优.由表可见，LEKA与LCFA模型相比，Micro⁃F1提高了2.1%，精确率和召回率也有所提高，具体的实验过程如图5所示.证明LEKA算法在一定程度上提高了模型的性能.

为了验证本文提出的融合知识感知和标签嵌入方法的有效性，将知识感知模块作为实验的消融变量，在AAPD数据集上进行消融实验，实验结果如表4所示，表中黑体字表示结果最优.LE⁃noKA表示将标签嵌入向量直接输入LSTM层，和文本词嵌入点乘，在标签嵌入模块得到最终的文本表示后通过分类层进行分类预测.

消融实验的结果证明本文提出的知识感知阶段对提升模型的整体性能起了很大的作用，其扩展标签的语义信息是重要的一部分.空洞卷积增强了提取文本特征的能力，进一步发现标签和词嵌入之间的相关性，有效提高了分类准确性.

为了进一步分析LEKA的性能，计算不同标签频率下各标签模型对应的F1，如图6所示.由图可知，加入标签知识图谱嵌入后，本文模型LEKA在不频繁出现的标签（标签频率小于0.08）下的F1提高了9%~17%，说明LEKA能有效地解决多标签分类的尾标签问题.而对于频繁出现的标签（标签频率大于0.5），LEKA的F1也提高了4.7%，证明了扩充标签文本的语义对提高模型性能的有效性.

综上所述，对于那些低频标签，虽然可训练的样本实例较少，但通过知识图谱嵌入可以缓解低频标签引起的标签语义不足的问题，进而更好地将标签语义和文本信息关联起来，和其他模型相比对样本数据的数量依赖更低.

本文提出一种融合标签嵌入和知识感知的多标签文本分类方法.通过知识感知的知识图谱嵌入获取标签相关的外部知识，增强标签的语义信息，进一步将标签的语义信息应用到多标签文本分类中.在标签嵌入过程中利用空洞卷积进一步增强全局和细粒度的特征提取，使标签注意力在分类预测发挥更好的作用，以获取更准确的文本表示.在两个公开数据集上的实验结果表明，本文提出的方法能更好地捕获标签和文档文本之间的相关性，学习到增强的标签注意力，提升了模型的预测性能.

未来将在多标签文本分类任务中考虑标签之间的共现关系以及在不同粒度上的注意力机制，获取更丰富的基于标签的文本表示，从而高效、准确地预测标签.