基于ChineseBert的中文拼写纠错方法

图1 CSC模型结构对比：(a)现有方法通过添加额外的语音和视觉提取网络来获取字符多模态信息；(b)仅通过多模态预训练模型进行中文拼写纠错

Fig.1 Comparison of two different CSC frameworks：(a) existing methods which acquire character multimodal information by adding additional speech and visual extraction networks，(b) CSC performed only through multi⁃model pre⁃trained model

近期，Sun et al^［13］提出ChineseBert预训练模型，联合了中文的字形和拼音两个重要特征.和只关注语义特征的预训练模型相比，ChineseBert提升了一些中文下游任务的性能，但还没有工作利用ChineseBert进行CSC任务.本文首次将ChineseBert预训练模型应用到CSC任务，在不添加任何额外网络的情况下，仅利用ChineseBert在CSC数据上进行微调.在三个人工标注的数据集SIGHAH2013，SIGHAH2014，SIGHAH2015上进行实验，获得了非常好的结果.

ChineseBert直接对输入的句子进行预测，当句子中存在连续拼写错误时，其真实含义可能会因为错误字符而发生很大的变化，模型几乎不能捕捉句子准确表达的意思，而两个及更多字组成的词出错是很常见的.例如，用户想输入句子“他上课经常迟到”，而根据拼音“chidao”选择词的时候，有可能选择“赤道”，造成拼写错误.连续的错误字符通常会混淆上下文语义环境，预测“赤”的可能候选词时会受“道”的干扰，反之亦然，导致模型不能正确预测^［14］.

为了更好地处理连续拼写错误的问题，本文基于ChineseBert进一步提出新的CSC方法SepSpell，包含一个探测模型和校正模型，其中探测模型采用与探测任务更吻合的ELECTRA^［15］作为模型编码器，校正模型仍然采用ChineseBert模型.校正过程中，利用探测网络找到可能错误的字符的位置，利用mask字符屏蔽错误字符的语义特征，保留对预测输出有帮助的字形和字音特征.和直接利用ChineseBert的方法相比，SepSpell能较好地处理连续的拼写错误.在三个人工标注的数据集SIGHAH2013，SIGHAH2014，SIGHAH 2015上，SepSpell的校正水平比ChineseBert的F1分别提高3.0%，1.9%和2.1%.考虑到官方基准数据集中缺乏连续错误的案例，根据拼音输入法会出现连续错误的特点，构建用于训练和评估连续错误的数据集.在相同数据集训练下，SepSpell的校正水平比直接微调预训练模型的Roberta^［8］的F1提高约10%，验证了SepSpell针对连续错误问题的有效性.

1 相关工作

近几年CSC得到了关注^［16-18］.和中文语法错误纠正（Grammatical Error Correction，GEC）^［19-20］不同，GEC包括删除多余的字符和插入缺失的字符，而CSC只专注于检测和纠正字符.尽管CSC只进行字符的替换，但设计高效的CSC方法仍然是一项艰巨的任务.

早期的CSC研究主要集中在基于规则的无监督方法上，设计各种规则来处理不同类型的拼写错误^［4-6］.这些方法几乎都使用了n⁃gram语言模型，即如果一个字符在n⁃gram语言模型中出现的概率低于预定义的阈值，就被认为是拼写错误.在校正方面，混淆集被广泛使用作为候选词的生成.随着神经网络的发展，一些研究将CSC任务视为序列标记任务^［21］，使用双向LSTM （Long Short⁃Term Memory）作为模型框架.序列对序列框架中的复制机制也被引入CSC，但其只是从混淆集中复制可能的校正词^［22］.

随着大型预训练语言模型的巨大成功^［7-8］，许多基于Bert的CSC模型被提出，也取得了很大进展.Hong et al^［2］提出的FASpell中，语言模型被用作候选词生成器，并采用置信度⁃相似度曲线来选择最佳候选词.Soft⁃Masked⁃Bert^［23］由基于GRU的错误检测模块和基于Bert的错误纠正模块组成，但Bert预训练语言模型只考虑字符的语义特征，忽略了字符的字形字音特征.为此，很多工作都设计了独特的网络将字形字音特征融入预训练模型^［10-12］，然而，这种通过额外网络融合拼音和字形特征的方法，不仅使CSC模型整体更加复杂，而且由于拼音和字形特征和语义特征训练时的语料不同，导致得到的字形、拼音和语义出现特征信息不对等的问题，使模型的性能提升有限.不同于先前的基于预训练语言模型的工作，本文尝试利用文本、拼音和字形训练的多模态中文预训练语言模型ChineseBert来解决CSC任务.

最近，一些研究开始关注由错误字符引起的噪声信息问题.Guo et al^［24］提出一个全局注意力解码器（Global Attention Decoder，GAD）来缓解噪声信息的影响.Wang et al^［14］提出动态连接网络（Dynamic Connected Networks，DCN）来学习两个相邻汉字之间的依赖关系，一定程度上避免了模型因噪声影响输出不连贯的语句.Wang and Shang^［25］通过对候选句子重新进行评估，找到与原始错误字符相比在字符概率和相似度方面最好的句子来避免噪声的影响.这些方法虽然在一定程度上提高了模型的性能，但本质上都是对模型校正之后结果的重新筛选和排序，噪声信息仍被输入了模型，干扰了模型的预测.与这些方法不同，本文提出的SepSpell方法通过mask字符将屏蔽噪声之后的语句输入模型，从源头解决了噪声干扰问题.

2 基于ChineseBert的CSC方法

2.1　ChineseBert简介

预训练模型最初是为英语设计的，所以在当前的大规模中文预训练模型中缺少两个特定于中文的重要特征：字形信息和拼音信息.中文是象形文字，字形和字音特征包含重要信息，对语言理解十分重要.在此背景下，Sun et al^［13］提出全新的中文预训练模型Chinese⁃Bert，如图2所示，根据中文特点，对每个汉字，首先将其语义特征、字形特征和字音特征串联起来，然后通过一个全连接层映射到同一维度，形成融合特征，最后将融合特征向量与位置编码向量一起作为Bert模型的输入，同时使用全词掩蔽^［8］和字符掩蔽进行预训练.和通用的中文预训练模型相比，ChineseBert在广泛的中文NLP （Natural Language Processing）任务上实现了最佳性能，也验证了获取的字形字音特征的有效性.

图2

图2 ChineseBert模型框架

Fig.2 The framework of ChineseBert

2.2　模型方法

给定一个输入文本序列 $X = \{x_{1},$

$x_{2}, \dots, x_{N}\}$ ，CSC任务的目标是自动纠正拼写错误的字符，生成正确的目标序列 $Y = \{y_{1}, y_{2}, \dots,$

$y_{N}\}$ ，其中 $x_{i}, y_{i} (1 \leq i \leq N)$ 表示一个中文字符，N表示字符个数.

基于ChineseBert的CSC方法是在不添加额外的网络的前提下，仅利用ChineseBert预训练模型在CSC训练数据集上进行微调，输入包含拼写错误的句子，输出正确的句子.和Bert模型相比，ChineseBert唯一不一样的是输入的是字符的多模态特征.具体地，利用式（1）融合字符 $x_{i}$ 的语义向量 $e_{w i}$ 、字形向量 $e_{s i}$ 和字音向量 $e_{p i}$ ，得到融合向量 $e_{f u s i o n_i}$ ；利用式（2）将融合特征向量 $e_{f u s i o n_i}$ 与位置编码向量 $e_{p o s_i}$ 一起作为Bert模型的输入进行训练.

e_{f u s i o n_i} = W^{f c} [e_{w i} \oplus e_{s i} \oplus e_{p i}]

(1)

{\hat{y}}_{i} = S o f t m a x (W^{o} [B E R T (e_{f u s i o n_i} + e_{p o s_i})])

(2)

其中， $\oplus$ 表示拼接操作， $W^{f c} \in ℝ^{3 d_{s} \times d_{s}}$ 是可学习参数的全连接层， $+$ 表示相加操作， $B E R T$ 表示Bert编码器， $W^{o} \in ℝ^{d_{s} \times v}$ 表示映射到词表上的全连接层， ${\hat{y}}_{i}$ 表示预测第i个字符的概率分布.

最终，ChinesBert使用交叉熵损失对模型进行优化：

ℒ (\hat{y}, y) = - \sum_{i = 1}^{N} y_{i} l g {\hat{y}}_{i}

(3)

3 SepSpell方法

除了ChineseBert的方法，现有的基于预训练模型的CSC方法^［10-12］都是直接根据输入句子的信息生成目标句子，其优势是简化了纠错过程，但在句子有连续错误时，此类方法会利用错误字符的语义对另一个错误字符进行预测，所以不能很好地处理连续错误的问题.例如，一个句子里有两个错误字符 $x_{i}$ 和 $x_{j}$ ，生成字符 $x_{i}$ 的正确字符时利用了错误字符 $x_{j}$ 的信息.为此，在ChineseBert方法的基础上，本文进一步提出SepSpell方法.

SepSpell的框架如图3所示，该方法将CSC任务分为探测模型和校正模型两个部分.首先，探测模型找到文本中可能错误的字符，屏蔽其语义特征（图3中用M表示），仅保留对模型最终预测有帮助的字形字音特征；然后，将降噪后的融合特征输入校正模型中进行校正.由于校正模型在输入时就已经屏蔽了错误字符的语义特征，再加上字形字音对模型预测的限制，使SepSpell方法能更好地处理连续错误问题.

图3

图3 SepSpell方法框架

Fig.3 The framework of SepSpell method

3.1　探测模型

探测模型的目标是识别错误字符位置，一般被转化为序列标注问题，分别用0和1表示正确和错误字符.由于探测任务中错误字符相当于对正确字符进行了替换，所以本文采用和探测任务更吻合的ELECTRA^［15］作为模型编码器.模型输入的是embeddings的序列 $E = \{e_{1}, e_{2},$ $\dots, e_{N}\}$ ，其中， $e_{i}$ 表示字符 $x_{i}$ 特征向量（字符语义特征向量、位置向量和句子段向量之和）.输出标签序列 $O = {o_{1}, o_{2}, \dots, o_{N}}$ ，其中， $o_{i}$ 表示第i个字符的标签，1表示该字符不正确，0表示正确.对于每个字符，利用sigmoid函数获取的概率 $P_{i}$ 表示字符错误的概率， $P_{i}$ 越高，字符错误的可能性越大.对于序列的每个字符，其错误概率 $P_{i}$ 定义如下：

P_{i} = P_{d} (o_{i} = 1 |X) = σ (W_{d} H_{d i} + b_{d})

(4)

其中， $H_{d i}$ 表示字符 $x_{i}$ 经过编码器之后最后一层的输出， $W_{d}$ 和 $b_{d}$ 是可学习二分类参数.

最后，使用二分类的交叉熵损失函数对探测模型进行优化.由于在CSC任务中，句子中的正确字符数远大于错误字符数，为了解决正负样本不均衡的问题，将正确字符与错误字符的损失权重设置为1∶5，如式（5）所示：

ℒ = - \frac{1}{N} \sum_{i = 1}^{N} 5 \cdot o_{i} \cdot l g (P_{i}) + (1 - o_{i}) \cdot l g (1 - P_{i})

(5)

校正模型对预测正确的字符采取直接复制的方式，所以，为了尽可能发现错误字符，降低了探测模型判断为正类的阈值Err.在二分类任务中，该值通常为0.5.本文实验中将阈值设置为0.05， $P_{i} \geq 0.05$ 时判定该字符错误， $P_{i} < 0.05$ 时判定该字符正确，如式（6）所示：

P_{i} = \{\begin{matrix} 1, i f P_{i} \geq 0.05 \\ 0, i f P_{i} < 0.05 \end{matrix}

(6)

3.2　校正模型

从训练阶段和推理阶段对校正模型进行介绍.训练阶段，校正模型知道错误字符的位置，不需要进行预测；推理阶段，因为错误字符位置不可见，需要利用探测模型的输出.

3.2.1　训练阶段

在模型的训练阶段使用修改的融合特征作为校正模型的输入，将句中所有已知错误字符的语义特征用mask字符屏蔽，此时对应错误字符 $x_{i}$ 的融合特征向量（式（1））被改写如下：

e_{f u s i o n_i} = W^{f c} [e_{m a s k} \oplus e_{s i} \oplus e_{p i}], i f o_{i} = 1

(7)

其中， $e_{m a s k}$ 表示mask字符的语义特征向量.

在模型的推理阶段，错误字符的位置是未知的，很大程度上依赖于探测模型的能力.由于探测模型的准确率不可能达到100%，为了验证校正模型的预测能力，在训练阶段随机屏蔽句子长度20%的正确字符的语义信息.模型的预测和优化如式（2）和式（3）所示.

3.2.2　推理阶段

在校正模型进行推理时，由于错误字符的位置未知，需要先借助探测模型找出句子中可能错误的字符，然后将可能错误字符的语义特征用mask字符进行屏蔽，保留字形字音特征.不同于训练阶段，字符 $x_{i}$ 的融合特征 $e_{f u s i o n_i}$ 表示为：

e_{f u s i o n_i} = \{\begin{matrix} W^{f c} [e_{w i} \oplus e_{s i} \oplus e_{p i}], i f P_{i} = 0 \\ W^{f c} [e_{m a s k} \oplus e_{s i} \oplus e_{p i}], i f P_{i} = 1 \end{matrix}

(8)

由于在输入时屏蔽了错误字符的语义特征，校正模型仅通过上下文信息对屏蔽的语义进行预测，再加上字形和字音信息的限制，能够更好地降低错误字符的影响.

在获取所有的预测字符时，模型没有直接使用所有的预测字符作为最后的输出结果.对于探测模型预测为正确的字符，保留输入的原字符；探测模型预测为错误的字符，才使用校正模型的输出结果.如图3所示，校正模型虽然输出了每个字符的预测，但在最终阶段，仅保留探测模型预测为错误的字符“经”“赤道”对应的输出“经”“迟到”.

4 实验与分析

4.1　实验准备

4.1.1 评估指标

从字符和句子两个层面进行评估.和字符层面相比，句子层面要求句子中的所有错误都被检测或校正时，才被认为是正确的^［2，10］.字符层面和句子层面的评估都从探测和校正两个角度进行，采用准确率（Acc）、精确率（P）、召回率（R）和F1作为评价指标.

4.1.2 数据集

遵循先前的工作^［2，10］，使用SIGHAN官方训练数据和Wang et al^［21］生成的伪数据作为训练集，并使用SIGHAN2013，SIGHAN 2014，SIGHAN2015为测试集.训练集和测试集的统计结果如表1所示.由于原始数据是繁体中文，使用OpenCC （https：∥github.com/BYVoid/OpenCC）将其转化为简体中文，再利用Xu et al^［11］的方法，对转化过程中的错误进行处理（如著→着，妳→你）.由于SIGHAN2013测试集中人为标注语料的质量较差，相当多的助词“的”“地”“得”的混合用法没有标注^［10］，导致性能良好的模型在该数据集上的分数不佳.为了缓解这个问题，本文也采用Xu et al^［11］的后处理方法，从模型输出中删除所有检测和更正的“的”“地”“得”.

表1 实验中使用的数据集统计

Table 1 Dataset statistics used in experiments

Train Set	#Sent	Avg.Length	#Errors
（wang）	271329	44.4	271329
SIGHAN2013	700	49.2	350
SIGHAN2014	3435	49.7	3432
SIGHAN2015	2339	30.0	2339
Test Set	#Sent	Avg.Length	#Errors
SIGHAN2013	1000	74.1	996
SIGHAN2014	1062	50.1	529
SIGHAN2015	1100	30.5	550

4.1.3 实验参数设置

在具体训练中，所有特征的向量维度均设置为768；学习率设置为5e-5，并使用线性衰减；dropout设置为0.1；batch size设置为32；epoch设置为10；学习率预热步数warmup设置为5000；使用Adam优化算法.

4.1.4　对比方法

Roberta^［8］：直接使用CSC训练数据微调Roberta⁃base得到.

SpellGCN^［10］：通过图卷积网络（Graph Convolutional Networks，GCN）将预定义的字符混淆集合并到基于Bert的校正模型中.

REALISE^［11］：通过一个GRU网络获取拼音特征，通过卷积网络获取字形特征，最后通过基于Transformer的自适应融合进行预测输出.

DCN^［14］：通过一个独特的动态连接网络，在模型输出阶段生成 $K^{n}$ 个路径（K表示候选词数，n表示句子长度），再通过动态连接网络打分，选择一条最优路径.

4.2　实验结果分析

表2给出了本文方法和四个基线模型在测试集SIGHAN2013，SIGHAN 2014，SIGHAN2015上字符级别和句子级别检测和校正水平的评估结果，表中黑体字表示结果最优.

表2 各算法在SIGHAN2013，SIGHAN2014和SIGHAN2015三个测试集上的实验结果

Table 2 Experimental results of different algorithms on three test sets of SIGHAN2013，SIGHAN2014 and SIGHAN2015

	Character Level						Sentence Level
	Detection Level			Correction Level			Detection Level				Correction Level
SIGHAN2013	P	R	F	P	R	F	Acc	P	R	F	Acc	P	R	F
SpellGCN	82.6%	88.9%	85.7%	98.4%	88.4%	93.1%	(-)	80.1%	74.4%	77.2%	(-)	78.3%	72.7%	75.4%
REALISE	(-)	(-)	(-)	(-)	(-)	(-)	82.7%	88.6%	82.5%	85.4%	81.4%	87.2%	81.2%	84.1%
DCN	(-)	(-)	(-)	(-)	(-)	(-)	(-)	86.8%	79.6%	83.0%	(-)	84.7%	77.7%	81.0%
Roberta	80.5%	88.0%	84.1%	98.0%	86.5%	91.9%	77.3%	85.1%	76.9%	80.8%	75.6%	83.6%	76.0%	79.6%
ChineseBert	79.4%	91.2%	84.9%	98.1%	95.3%	96.7%	81.4%	85.6%	81.3%	83.4%	80.0%	84.1%	79.9%	81.9%
SepSpell	78.9%	91.4%	84.7%	98.4%	95.4%	96.9%	83.9%	88.5%	84.0%	86.2%	82.7%	87.2%	82.8%	84.9%
SIGHAN2014	P	R	F	P	R	F	Acc	P	R	F	Acc	P	R	F
SpellGCN	83.6%	78.6%	81.0%	97.2%	76.4%	85.5%	(-)	65.1%	69.5%	67.2%	(-)	63.1%	67.2%	65.3%
REALISE	(-)	(-)	(-)	(-)	(-)	(-)	78.4%	67.8%	71.5%	69.6%	77.7%	66.3%	70.0%	68.1%
DCN	(-)	(-)	(-)	(-)	(-)	(-)	(-)	67.4%	70.4%	68.9%	(-)	65.8%	68.7%	67.2%
Roberta	82.6%	78.0%	80.2%	96.9%	75.9%	85.1%	74.1%	61.2%	67.3%	64.1%	73.6%	60.3%	66.4%	63.2%
ChineseBert	80.3%	79.4%	79.8%	97.1%	88.4%	92.5%	77.1%	66.0%	68.1%	67.1%	76.4%	64.6%	66.5%	65.5%
SepSpell	79.9%	79.6%	79.8%	98.0%	89.2%	93.4%	78.3%	67.2%	71.2%	69.1%	77.5%	65.5%	69.4%	67.4%
SIGHAN2015	P	R	F	P	R	F	Acc	P	R	F	Acc	P	R	F
SpellGCN	88.9%	87.7%	88.3%	95.7%	83.9%	89.4%	(-)	74.8%	80.7%	77.7%	(-)	72.1%	77.7%	75.9%
REALISE	(-)	(-)	(-)	(-)	(-)	(-)	84.7%	77.3%	81.3%	79.3%	84.0%	75.9%	79.9%	77.8%
DCN	(-)	(-)	(-)	(-)	(-)	(-)	(-)	77.1%	80.9%	79.0%	(-)	74.5%	78.2%	76.3%
Roberta	86.9%	87.3%	87.1%	95.1%	82.0%	88.1%	82.9%	73.2%	80.4%	76.7%	81.7%	71.0%	78.0%	74.5%
ChineseBert	87.5%	87.6%	87.5%	96.1%	92.1%	94.0%	84.9%	77.1%	81.3%	79.1%	83.8%	75.0%	79.1%	77.0%
SepSpell	87.0%	86.5%	86.7%	97.3%	92.4%	94.8%	86.6%	81.7%	80.6%	81.1%	85.6%	79.6%	78.6%	79.1%

由表可见，在字符级别，ChineseBert的探测和校正水平优于Roberta.SepSpell由于在探测模型阶段为了召回更多的错误字符将阈值Err设置得很低，使输入校正模型的噪声增多，导致其探测水平的精确率比SpellGCN和ChineseBert低.在校正水平上，现有的评估方法只针对探测模型预测正确的字符计算得到.以测试集SIGHAN2013为例，对于探测模型预测正确的所有字符，SepSpell的校正模型对其中95.4%的字符都进行了修改，且98.4%的修改都是正确的.与其他最先进的模型相比，在校正水平上，SepSpell在三个测试集上均获得了最好的结果.

在句子级别的评估结果中，ChineseBert的性能接近之前最先进的模型.和ChineseBert相比，SepSpell在SIGHAN2015上检测和校正水平的F1分别又提高了2.0%和2.1%，在SIGHAN 2013上分别提高了2.8%和3.0%.和以往的最佳模型REALISE相比，SepSpell仅在SIGHAN2014测试集上校正水平的F1低0.7%，此结果仍然非常具有竞争力，而在SIGHAN2013和SIGHAN2015测试集上校正水平的F1分别提高了0.8%和1.3%.与之前的先进模型相比，使用ChineseBert作为预训练语言模型，将字符的字音和字形特征的提取工作放到预训练模型阶段，不仅极大地简化了整体CSC模型的结构，而且，由于字音和字形特征是经过大规模语料统一训练得到的，也使训练得到的字音特征和字形特征更具泛化性.

此外，表3还给出了使用CSC官方测试评估工具（http：∥nlp.ee.ncu.edu.tw/resource/csc.html）评估测试集SIGHAN2015的结果，表中黑体字代表结果最优.与最新的方法相比，ChineseBert和SepSpell均获得了非常好的结果，充分证明了这两个方法的有效性.

表3 SIGHAN2015官方工具评估的性能

Table 3 Performance evaluated by SIGHAN2015 official tools

Method	Detection Level				Correction Level
Method	Acc	P	R	F	Acc	P	R	F
SpellGCN	83.7%	85.9%	80.6%	83.1%	82.2%	85.4%	77.6%	81.3%
DCN	84.6%	88.0%	80.2%	83.9%	83.2%	87.6%	77.3%	82.1%
Roberta	82.9%	84.1%	80.4%	82.2%	81.7%	83.7%	78.0%	80.8%
ChineseBert	84.9%	87.1%	81.3%	84.1%	83.8%	86.8%	79.1%	82.8%
SepSpell	86.6%	91.2%	80.6%	85.6%	85.6%	91.0%	78.6%	84.3%

4.3　阈值对于探测模型性能的影响

为了探究阈值Err对探测模型的影响，将其分别设定为0.03，0.05，0.1，0.2和0.5，并且只使用字符级别的P，R和F1作为评估指标.

实验结果如图4所示.由图可见，随着阈值的降低，探测模型的P下降，错误字符的召回率R提高.但由于召回率R已接近最大值100%，Err的降低对召回率R的提升增益在不断减小，而精确率P却下降得很快，导致综合性能的F1一直在下降.实验中选择F1最好的Err，即0.05.

图4

图4 阈值Err对探测模型性能的影响

Fig.4 The effect of threshold Err on performance of the detection model

进一步发现探测模型的召回率R在SIGHAN 2014上远低于SIGHAN2013和SIGHAN2015，最高也只有91.3%，导致SepSpell在SIGHAN2014上没有达到最先进的水平.而在SIGHAN2013上，当 $E r r = 0.05$ 时，模型在精确度 $P = 62.3 %$ 的前提下，召回率R高达95.9%，这也使SepSpell和ChineseBert相比，在SIGHAN2013测试集上的校正性能提升得更明显.可以看出，一个性能优良的探测模型对于模型整体性能的提升必不可少.

4.4　阈值对于校正模型性能的影响

为了进一步探究探测模型中的超参数Err对校正模型的影响，将Err分别设定为0.03，0.05，0.1，0.2，0.5进行实验.由于Err对三个测试集影响的趋势相同，所以仅在SIGHAN2015上进行测试，实验结果如图5所示.由图可见，随着探测器阈值Err的降低，校正模型的探测和校正水平的F1在不断提高，在 $E r r = 0.05$ 时达到最高，随后开始下降.通过前面的实验可以发现，虽然降低Err能提高错误字符的召回率R，但不断的下降使其对召回率R的影响越来越小，而精确率下降得更明显，显然当 $E r r = 0.03$ 时，校正模型的性能反而降低了.

图5

图5 阈值Err对校正模型性能的影响

Fig.5 The effect of threshold Err on the performance of the correction model

4.5　案例分析

为了更直观地展示字形特征和字音特征对模型预测的影响，表4给出了三个案例的预测结果.和Roberta相比，本文提出的两个方法都融合了字符的字形和字音特征.第一种情况，词语“凭断”中的“凭”是错误字符，如果没有字音限制，模型倾向于将其修改为“判断”.第二种情况，“田”和“由”的字形非常相似，ChineseBert和SepSpell均能将“田来”纠正为更好的“由来”.第三种情况更常见，因为汉字的特点，往往字形相似的两个汉字也同时具有相似的发音.尽管Roberta将“开郎”修改为“开心”并没有语法错误，但对比原句，结合字形和字音的限制，显然纠正为“开朗”更合适.从这些案例中，可以看出字符的字形特征和字音特征能将不正确的字符修改为具有发音和形状约束的正确字符.

表4 案例分析

Table 4 Cases' analysis

Pronunciation：píng→píng
Src：…就主观立场来凭断任何一句人事物，….
Roberta：…就主观立场来判断任何一句人事物，….
ChineseBert：…就主观立场来评断任何一句人事物，….
SepSpell：…就主观立场来评断任何一句人事物，….
Shape：田→由
Src：…的文章田来经常都是下了很大的功夫…
Roberta：…的文章出来经常都是下了很大的功夫…
ChineseBert：…的文章由来经常都是下了很大的功夫…
SepSpell：…的文章由来经常都是下了很大的功夫…
Both：láng→lǎng；郎→朗
Src：…不好的事情也要开郎地度过…
Roberta：…不好的事情也要开心地度过…
ChineseBert：…好的事情也要开朗地度过…
SepSpell：…不好的事情也要开朗地度过…

4.6　连续错误问题上的研究

由于官方基准数据集中缺乏连续错误案例，为了充分验证SepSpell方法在连续错误问题上的有效性，根据工作时用户使用拼音输入法会出现连续错误的特点，使用一个简单但有效的方法构建用于训练和评估连续错误问题的数据集.具体步骤如下：

（1）收集了32万多条常用词语（https：∥github.com/mapull/chinese⁃dictionary），不考虑音调，只根据它们拼音的不同将词语进行分类.

（2）收集了12万多条人民日报的句子（https：∥github.com/chenhui⁃bupt/PeopleDaily 1998）作为模型输入的句子.

（3）用jieba分词（https：∥github.com/fxsjy/jieba）对收集的句子进行分词，每个句子中都随机选择一个词语将其替换为拼音相同的另一个词语，完成连续错误的构造.

表5是构造测试集中两种类型的句子：第一种类型，“几折”应为“记者”；第二种类型，“人”应为“认”.尽管第二句只有一个错字，但这样其实更符合拼音打字时因疏忽造成的错误，因为“认为”和“人为”拼音相同，经常同时存在于拼音输入法的候选词中.为了使构造的数据集更具有真实性，保留了这种类型的错误.经过统计，共构建119509条训练集，1047条测试集，其中第一种和第二种类型句子的数量比接近2∶1.

表5 连续错误数据集举例

Table 5 Examples of connection error dataset

几折1日从广东省湛江市中级人民法院获悉，…
普京人为，针对平民的恐怖主义行为没有任何道理…

为了进行对比，将Roberta，ChineseBert，SepSpell三种方法使用相同的训练集和实验参数设置进行训练，并使用句子级别的评估指标来进行对比，最终的实验结果如表6所示，表中黑体字代表结果最优.由表可见，SepSpell的探测和校正水平的指标都是最好的.值得注意的是，虽然Roberta和ChineseBert方法在探测水平上均获得了不错的F1分数，但在校正水平上，两个方法的F1分数和探测水平相比，均出现断崖式下降，分别下降了15%和10.1%，说明在含有噪声的文本环境中，Roberta和ChineseBert虽然能检测句子中的错误，但不能将其正确校正.相反，SepSpell校正水平的F1比Roberta提高接近10%，证明SepSpell对连续错误的校正的有效性.

表6 SepSpell方法在连续错误问题上的表现

Table 6 Performance of SepSpell on continuous error problems

	探测水平				校正水平
	Acc	P	R	F	Acc	P	R	F
Roberta	87.3%	91.3%	87.3%	89.3%	72.7%	76.0%	72.7%	74.3%
ChineseBert	85.2%	88.8%	85.2%	86.9%	75.5%	78.6%	75.5%	77.0%
SepSpell	88.8%	92.8%	88.8%	90.8%	81.6%	85.2%	81.6%	83.4%

4.7　模型推理速度的探究

为了探究模型的推理效率，按照Hong et al^［2］的设定，根据每句话的绝对时间消耗来衡量模型的推理速度.为了减少硬件造成的速度差异，在i5⁃6300 CPU上比较FASpell，Roberta，ChineseBert，SepSepll四个模型的推理速度，实验结果如表7所示.由表可见，因为不需要进行任何后处理操作，ChineseBert和Roberta的速度最快，而SepSpell需要经过两遍的网络探测和校正，和Roberta和ChinseeBert相比耗时翻倍，但由于采用了非自回归的解码方式，加上模型性能的提升，增加的时间损耗还是值得的.另外，和FASpell相比，两者虽然耗时相差不大，但SepSpell仍然具有优势，因为SepSpell可以直接输出对文本的预测结果，不需要对模型的预测重新进行筛选和排序.

表7 模型的推理速度（ms per sentence）

Table 7 Model inference speed (ms per sentence)

Test Set	FASpell	Roberta	ChineseBert	SepSpell
SIGHAN2013	446	160.3	164.2	335.0
SIGHAN2014	284	132.5	138.0	266.2
SIGHAN2015	177	81.8	83.7	179.3

5 结论

本研究首次利用多模态语言模型ChineseBert解决中文拼写纠错问题，但是，尽管直接微调ChineseBert在CSC数据集上取得了非常不错的结果，还是不能很好地解决连续字符错误的问题.针对该问题，本文提出一种新的CSC方法SepSpell，将探测与纠错任务完全分开，有效缓解了该问题.与其他先进模型相比，SepSpell在测试集SIGHAN2013和SIGHAN2015上均获得了最佳性能.

因为SepSpell中的校正模型仅对探测模型中被探测为错误的字符进行校正，所以探测模型的预测越准确，模型整体性能的提高就越明显.

未来将进一步提高探测模型的性能，如采用多模型“投票”机制，即多个模型同时预测，当多数模型同时预测为错误时才最终判定字符错误；或增加词性规则，动词之后是名词、数量词、形容词，等等.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Gao

J F

， Li

X L

， Micol

，et al.

A large scale ranker⁃based system for search query spelling correction

∥Proceedings of the 23rd International Conference on Computational Linguistics. Beijing，China：Association for Computational Linguistics，2010：358-366.

[2]

Hong

Y Z

， Yu

X G

， He

，et al.

FASPell：A fast，adaptable，simple，powerful Chinese spell checker based on DAE⁃decoder paradigm

∥Proceedings of the 5^th Workshop on Noisy User⁃generated Text. HongKong，China：Association for Computational Linguistics，2019：160-169.

[本文引用: 6]

[3]

Burstein

， Chodorow

Automated essay scoring for nonnative English speakers

∥Proceedings of a Symposium on Computer Mediated Language Assessment and Evaluation in Natural Language Processing. College Park，Maryland：Association for Computational Linguistics，1999：68-75.

[4]

Xie

W J

， Huang

P J

， Zhang

X R

，et al.

Chinese spelling check system based on N⁃gram model

∥Proceedings of the 8^th SIGHAN Workshop on Chinese Language Processing. Beijing，China：Association for Computational Linguistics，2015：128-136.

[5]

Yeh

J F

， Li

S F

， Wu

M R

，et al.

Chinese word spelling correction based on n⁃gram ranked inverted index list

∥Proceedings of the 7^th SIGHAN Workshop on Chinese Language Processing. Nagoya，Japan：Asian Federation of Natural Language Processing，2013：43-48.

[6]

J J

， Li

Z H

Chinese spelling error detection and correction based on language model，pronunciation，and shape

∥Proceedings of The 3rd CIPS⁃SIGHAN Joint Conference on Chinese Language Processing. Wuhan，China：Association for Computational Linguistics，2014：220-223.

[7]

Devlin

， Chang

M W

， Lee

，et al.

Bert：Pre⁃training of deep bidirectional transformers for language understanding

∥Proceedings of 2019 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies，Volume 1 (Long and Short Papers). Minneapolis，MI，USA：Association for Computational Linguistics，2019：4171-4186.

[8]

Cui

Y M

， Che

W X

， Liu

，et al.

Pre⁃training with whole word masking for Chinese BERT

IEEE/ACM Transactions on Audio，Speech，and Language Processing，2021(29)：3504-3514.

[本文引用: 5]

[9]

Liu

C L

， Lai

M H

， Tien

K W

，et al.

Visually and phonologically similar characters in incorrect Chinese words：Analyses，identification，and applications

ACM Transactions on Asian Language Information Processing，2011，10(2)：10.

[10]

Cheng

X Y

， Xu

W D

， Chen

K L

，et al.

SpellGCN：Incorporating phonological and visual similarities into language models for Chinese spelling check

∥Proceedings of the 58^th Annual Meeting of the Association for Computational Linguistics. Seatle，Washington DC，USA：Association for Computational Linguistics，2020：871-881.

[本文引用: 7]

[11]

H D

， Li

Z L

， Zhou

Q Y

，et al.

Read，listen，and see：Leveraging multimodal information helps Chinese spell checking

∥Findings of the Association for Computational Linguistics. Bangkok, Thailand：Association for Computational Linguistics，2021：716-728.

[本文引用: 4]

[12]

Huang

， Li

J J

， Jiang

W W

，et al.

PHMOSpell：Phonological and morphological knowledge guided Chinese spelling check

∥Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1：Long Papers). Bangkok, Thailand：Association for Computational Linguistics，2021：5958-5967.

[本文引用: 3]

[13]

Sun

Z J

， Li

X Y

， Sun

X F

，et al.

ChineseBERT：Chinese pretraining enhanced by glyph and pinyin information

[14]

Wang

B X

， Che

W X

， Wu

D Y

，et al.

Dynamic connected networks for Chinese spelling check

∥Findings of the Association for Computational Linguistics. Bangkok, Thailand：Association for Computational Linguistics，2021：2437-2446.

[本文引用: 3]

[15]

Clark

， Luong

M T

， Le

Q V

，et al.

Electra：Pre⁃training text encoders as discriminators rather than generators

∥The 8th International Conference on Learning Representations. Addis Ababa，Ethiopia：OpenReview.net，2020，.

[16]

S H

， Liu

C L

， Lee

L H

. Chinese spelling check evaluation at SIGHAN bake⁃off 2013∥Proceedings of the 7^th SIGHAN Workshop on Chinese Language Processing. Nagoya，Japan：Asian Federation of Natural Language Processing，2013：35-42.

[17]

L C

， Lee

L H

， Tseng

Y H

，et al.

Overview of SIGHAN 2014 bake⁃off for Chinese spelling check

∥Proceedings of the 3rd CIPS⁃SIGHAN Joint Conference on Chinese Language Processing. Wuhan，China：Association for Computational Linguistics，2014：126-132.

[18]

Tseng

Y H

， Lee

L H

， Chang

L P

，et al.

Introduction to SIGHAN 2015 bake⁃off for Chinese spelling check

∥Proceedings of the 8^th SIGHAN Workshop on Chinese Language Processing. Beijing，China：Association for Computational Linguistics，2015：32-37.

[19]

Rao

G Q

， Gong

， Zhang

B l

，et al. Overview of NLPTEA⁃2018 share task Chinese grammatical error diagnosis∥/Proceedings of the 5^th Workshop on Natural Language Processing Techniques for Educational Applications. Melbourne，Australia：Association for Computational Linguistics，2018：42-51.

[20]

R J

， Pei

Z Q

， Gong

J F

，et al.

Chinese grammatical error diagnosis using statistical and prior knowledge driven features with probabilistic ensemble enhancement

∥Proceedings of the 5^th Workshop on Natural Language Processing Techniques for Educational Applications. Melbourne，Australia：Association for Computational Linguistics，2018：52-59.

[21]

Wang

D M

， Song

， Li

，et al.

A hybrid approach to automatic corpus generation for Chinese spelling check

∥Proceedings of 2018 Conference on Empirical Methods in Natural Language Processing. Brussels，Belgium：Association for Computational Linguistics，2018：2517-2527.

[22]

Wang

D M

， Tay

， Zhong

Confusionset⁃guided pointer networks for Chinese spelling check

∥Proceedings of the 57^th Annual Meeting of the Association for Computational Linguistics. Florence，Italy：Association for Computational Linguistics，2019：5780-5785.

[23]

Zhang

S H

， Huang

H R

， Liu

J C

，et al.

Spelling error correction with soft⁃masked BERT

∥Proceedings of the 58^th Annual Meeting of the Association for Computational Linguistics. Seatle，Washington DC，USA：Association for Computational Linguistics，2020：882-890.

[24]

Guo

， Ni

， Wang

K Q

，et al.

Global attention decoder for Chinese spelling error correction

∥Findings of the Association for Computational Linguistics.Bangkok, Thailand： Association for Computational Linguistics，2021：1419-1428.

[25]

Wang

， Shang

Improve Chinese spelling check by reevaluation

∥The26^th Pacific⁃Asia Conference on Knowledge Discovery and Data Mining. Springer Berlin Heidelberg，2022：237-248.