三支残差修正的时间序列预测

doi:10.13232/j.cnki.jnju.2023.03.001

三支残差修正的时间序列预测

方宇¹^,², 贾春虹¹, 吴思琪¹, 闵帆^,¹^,²

1.西南石油大学计算机科学学院，成都，610500

2.西南石油大学机器学习研究中心，成都，610500

Time series prediction with three⁃way residual error amendment

Fang Yu¹^,², Jia Chunhong¹, Wu Siqi¹, Min Fan^,¹^,²

1.School of Computer Science, Southwest Petroleum University, Chengdu, 610500, China

2.Lab of Machine Learning, Southwest Petroleum University, Chengdu, 610500, China

通讯作者: E⁃mail：minfan@swpu.edu.cn

收稿日期: 2023-02-15

基金资助:

国家自然科学基金.  62006200
中央引导地方科技发展专项.  2021ZYD0003
2021年第二批产学合作协同育人项目.  202102211111
西南石油大学2021年一流本科课程培育建设项目.  X2021YLKC035
西南石油大学研究生全英文课程建设项目.  2020QY04

Received: 2023-02-15

摘要

时间序列预测是大数据发展背景下的重要研究课题，具有广泛的应用前景，其主要任务是根据时序数据反映的发展规律去推测未来某阶段的走势，但大多数预测模型未能充分考虑残差带来的影响，无法取得更优的预测结果.提出一种三支残差修正的融合时序预测模型，能够有效地将残差圈定在一定范围内，提高时间序列的预测精度.首先，利用时间序列分解算法STL （Seasonal⁃Trend Decomposition Procedure Based on Loess）将时间序列分解为趋势项、周期项和余项；其次，针对分解后的三个分量，设计轻量级梯度提升机（Lightweight Gradient Boosting Machine，LightGBM）和时间卷积网络（Temporal Convolutional Network，TCN）的融合预测模型；最后，结合三支决策理论设计了三支残差修正算法，修正余项预测过程中产生的残差，进而修正时间序列的预测结果.实验结果证明，提出的模型在绝大多数情况下优于其他对比模型，预测效果更好.

关键词： LightGBM ; STL ; TCN ; 时序预测 ; 三支决策

Abstract

With the rise of big data as a backdrop，time series prediction is a significant research area with a wide range of potential applications. According to the development law reflected by time series data，the primary goal of time series prediction is to foretell the trend of a specific stage in future. Most prediction models fail to fully consider the impact of the residual error，which makes it difficult to obtain better prediction results. This paper proposes a fusion time series prediction model with three⁃way residual error amendment. This model effectively bounds the residual error within a certain range，thereby improves the prediction accuracy of time series. Firstly，the time series decomposition algorithm STL (Seasonal⁃Trend decomposition procedure based on Loess) is used to decompose the time series into trend item，seasonal item and remain item. Secondly，a fusion prediction model of lightweight gradient boosting machine (LightGBM) and temporal convolutional network (TCN) are designed for the three decomposed components. Thirdly，combined with the three⁃way decisions theory，the three⁃way residual error amendment algorithm is designed to correct the residual error generated in the prediction process of remain item. Finally，the time series prediction results are adjusted significantly and righteously. Experimental results show that the proposed model is superior to other models in the vast majority of cases and has better prediction effects.

Keywords： LightGBM ; STL ; TCN ; time series prediction ; three⁃way decisions

PDF (863KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

方宇, 贾春虹, 吴思琪, 闵帆. 三支残差修正的时间序列预测. 南京大学学报（自然科学）[J], 2023, 59(3): 363-372 doi:10.13232/j.cnki.jnju.2023.03.001

Fang Yu, Jia Chunhong, Wu Siqi, Min Fan. Time series prediction with three⁃way residual error amendment. Journal of nanjing University[J], 2023, 59(3): 363-372 doi:10.13232/j.cnki.jnju.2023.03.001

时间序列^［1］是把随时间变化发展的过程记录下来而形成的随机变量序列.时间序列预测^［2］就是对时间序列数据进行分析，挖掘这些数据的发展规律，并利用挖掘的规律对将来某阶段的数据作出估计.现实生活中，农业、金融、科学和工程等领域每天都会产生大量的时间序列数据，如投资理财^［3］、城市数据^［4］、社交媒体^［5］、天气状况^［6］和环境污染等^［7］，因此时间序列预测尤为重要.

常用的时间序列预测方法分三类：传统预测方法、人工智能方法和组合预测方法^［8］.传统预测方法大多以数理统计为基础，探索数据间的发展规律，建立相应的数学模型，如自回归移动平均（Auto Regressive Moving Average，ARMA）^［9］、差分自回归移动平均（Auto Regressive Integrated Moving Average，ARIMA）^［10］等.随着人工智能的不断发展，越来越多的学者将人工智能技术应用于时间序列预测的研究任务.人工智能具有强大的自主学习能力和非线性拟合能力，使模型具有更高的预测精度，如LightGBM （Lightweight Gradient Boosting Machine）^［11］，TCN （Temporal Convolutional Network）^［12］等.但单一预测方法能力有限，所以组合预测方法越来越受到各位学者的青睐，因为组合预测方法充分集成了各单一模型的预测优势，对模型预测性能的提升有显著作用，如STL⁃LSTM^［13］，TCN⁃CBAM^［14］等.

三支决策理论最早由Yao^［15］提出，其主要思想是针对集合的正域、负域和边界域，分别作出接受、拒绝和延迟的决策，已应用于众多领域，如医学诊断^［19］、属性约简^［20］、投资决策^［21］、文本分类^［22］、推荐系统^［23］等.如基于三支决策理论的TWDBDL模型^［16］能有效地应用于医学图像分析的不同阶段，实现在皮肤癌分类问题中的不确定性量化.三支对话推荐问题^［17］由三支推荐与对话推荐组合而成，针对该问题设计的融合对话推荐算法在平均成本方面有一定优势.受三支决策理论的启发，三支聚类^［18］能有效地反映对象与聚类之间的不确定关系，将其定义为确定属于、确定不属于和无法确定.

虽然目前针对三支决策理论和时间序列预测已有大量研究，但极少有学者将三支决策理论应用于时间序列预测的研究任务.本文提出一种三支残差修正的融合时序预测模型（Double TCN and LightGBM with Three⁃way Residual Error Amendment，DT⁃LGBM⁃3WREA）.该模型首先使用时序分解算法STL （Seasonal⁃Trend Decomposition Procedure Based on Loess）将时间序列分解为趋势项、周期项和余项；然后，结合各分量特点及模型预测优势，对每个分量单独预测.在余项预测的基础上，结合三支决策理论设计了三支残差修正算法（Three⁃way Residual Error Amendment，3WREA）.该算法根据三支决策的评价函数与阈值对，能够将余项预测过程中产生的残差控制在一定范围内，通过修正残差进一步修正余项预测结果，提高模型的预测效果.最后，将三个分量的预测值进行加和得到最终的时间序列预测值.本文的主要贡献：

（1）结合三支决策理论，提出三支残差修正算法3WREA，能够有效地修正残差.

（2）将3WREA应用于时间序列预测，结合TCN与LightGBM，提出DT⁃LGBM⁃3WREA融合时序预测模型，有效提升时间序列的预测精度.

（3）在不同领域的九个数据集上进行对比实验，实验结果证明了本文模型的有效性.

1 相关工作

1.1　TCN

时间卷积网络TCN^［24］有两个显著特征：第一，架构中的卷积是因果的，不会发生信息泄露；第二，可以根据任意长度的输入序列映射相同长度的输出序列.实际上，TCN由因果卷积与一维全卷积网络组合而成，其中，因果卷积保证TCN第一个特征的实现，一维全卷积网络保证TCN第二个特征的实现.另外，TCN引入膨胀卷积，允许间隔采样，这是因为在处理较长依赖关系时，因果卷积需要线性堆叠更多的层，增加了神经网络的深度.总体上，TCN在各类序列建模任务中表现良好，是一个非常强大的序列建模工具包.

1.2　LightGBM

LightGBM^［25］是一种高效的梯度提升决策树算法，在处理高维海量数据时能加快模型训练速度，减少内存占用.它在传统的梯度提升决策树（Gradient Boosting Decision Tree，GBDT）上引入基于梯度的单面采样（Gradient⁃Based One⁃Side Sampling，GOSS）和互斥特征捆绑（Exclusive Feature Bundling，EFB）两种算法来处理大量数据实例和特征，其中，GOSS的目的是减少数据量并保证模型的精度，EFB减少了特征维度，提升了模型的训练速度.LightGBM高效灵活，可广泛应用于分类^［26］、回归等机器学习任务.

1.3　三支决策

三支决策^［27］的核心实质上是在二分类的基础上增加延迟决策的策略，它能较好地处理实际问题中的不确定性，符合人类的认知及思维特点，是解决实际问题的有效途径.假设 $U$ 是一个有限非空集合， $C$ 是有限条件集合，三支决策基于条件集合 $C$ ，通过评价函数 $v (x)$ 与阈值对 $(α, β)$ 将 $U$ 划分为三个互不相交的区域 $L - r e g i o n, M - r e g i o n, R - r e g i o n$ ，简记为 $L, M, R$ ，其中， $α \geq β$ ，如式（1）所示：

\begin{array}{l} R (α, β) = \{x \in U |v (x) \geq α\} \\ L (α, β) = \{x \in U |v (x) \leq β\} \\ M (α, β) = \{x \in U |β < v (x) < α\} \end{array}

(1)

2 三支残差修正的时间序列预测模型

首先对时间序列进行分解，然后对时间序列数据集进行转换，最后详细介绍3WREA算法与DT⁃LGBM⁃3WREA模型.

2.1　时序分解

时间序列通常由趋势性、周期性和不规则分量组成^［28］.趋势性是一段时间内稳定发展的趋势，周期性是受周期因素影响的规律波动，不规则分量是众多偶然因素对时间序列造成的累积影响.假设给定一时间序列 $Y$ ， $Y_{t}$ （ $Y$ 在 $t$ 时刻的数据）可以被看作是趋势项 $T_{t}$ 、周期项 $S_{t}$ 与余项 $R_{t}$ 的加和：

Y_{t} = T_{t} + S_{t} + R_{t}, t = 1, \dots, N

(2)

使用STL^［29］将时间序列分解为趋势项、周期项和余项.STL是应用最广泛的时间序列分解算法之一，主要由内循环和外循环组成，内循环计算趋势项和周期项，外循环调节鲁棒权重.

内循环的具体步骤：

（1）从原始数据 $Y_{t}$ 中去除上一轮的趋势分量： $Y_{t} - T_{t}^{(k)}$ ；

（2）使用平滑参数为 $n_{s}$ 的LOESS对去除趋势分量的每个子序列做平滑处理，得到序列 $C_{t}^{(k + 1)}$ ；

（3）对平滑后的序列，即 $C_{t}^{(k + 1)}$ 做三次滑动平均和一次平滑参数为 $n_{l}$ 的LOESS处理，去除 $C_{t}^{(k + 1)}$ 中的周期特征，得到 $L_{t}^{(k + 1)}$ ；

（4）对平滑后的序列去除趋势分量，得到周期分量 $S_{t}^{(k + 1)} = C_{t}^{(k + 1)} - L_{t}^{(k + 1)}$ ；

（5）从原始数据 $Y_{t}$ 中去除周期分量 $Y_{t} - S_{t}^{(k + 1)}$ ；

（6）对去除周期分量后的序列，即 $Y_{t} - S_{t}^{(k + 1)}$ 做平滑参数为 $n_{t}$ 的LOESS处理，得到趋势分量 $T_{t}^{(k + 1)}$ ；

（7）得到 $t$ 时刻的趋势项：

T_{t} = T_{t}^{(k + 1)}

(3)

（8）得到 $t$ 时刻的周期项：

S_{t} = S_{t}^{(k + 1)}

(4)

经过上述步骤，将 $t$ 时刻的时序数据 $Y_{t}$ 分解得到趋势项 $T_{t}$ 和周期项 $S_{t}$ .根据式（2），余项 $R_{t}$ 表示为：

R_{t} = Y_{t} - T_{t} - S_{t}, t = 1, \dots, N

(5)

其中， $k$ 是内循环当前的循环次数.若时序数据中存在离群值，可能导致内循环产生的某些余项值偏大，为此，STL用外循环来调节鲁棒权重，减少离群值对回归的影响.

2.2　数据集转换

由于单变量时间序列缺乏输入特征矩阵，为了尽可能地提高其预测精度，在数据处理阶段，以滑动时间窗口的形式增加由历史数据构成的特征矩阵.转换后的时序数据由输入特征与输出标签组成，即将单变量时间序列数据集转换为监督学习数据集.多变量时间序列同样以滑动窗口的形式增加历史数据，结合时间序列相关影响因素，共同构成输入特征矩阵.假设有时间序列 $Y = \{y_{1}, y_{2}, \dots, y_{m}\}$ ，有影响因素组成的特征矩阵 $X = [x_{1}, x_{2}, \dots, x_{m}]$ .设置滑动时间窗口大小为 $i$ ，形成的监督学习数据集如图1所示，图中 $x_{2 n}$ 代表第二个时序数据的第 $n$ 个影响因素， $n a n$ 代表空值.在后续的数据集转换过程中，删除带有 $n a n$ 的数据，形成最终的监督学习数据集.因此，当时间窗口大小设置为 $i$ 时，从第 $i + 1$ 个数据起才是有效的时序数据.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 滑动时间窗口处理

Fig.1 Sliding time window processing

2.3　三支残差修正算法(3WREA)

趋势项与周期项均属于规则变动，共同构成时间序列的常规部分，是一个相对稳定发展的状态.余项是构成时间序列的不规则部分，因为受到多种偶然因素的干扰而产生较大波动，对时间序列产生较大影响.因此，在进行时间序列的分析及预测问题上，应当对余项分量进行深入研究.

本文设计了3WREA算法来修正余项预测过程中产生的残差，残差为真实值与预测值的差.该算法的主要思想：利用TCN实现对残差序列的良好拟合和预测，根据式（1）将残差圈定在一定范围内，通过修正残差序列进一步修正余项预测结果.如图2所示，3WREA算法的实现分三个阶段：第一阶段，TCN模型预测残差序列；第二阶段，k⁃means算法聚类；第三阶段，三支残差修正.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 3WREA算法的流程

Fig.2 The flowchart of 3WREA

第一阶段：利用TCN模型训练残差，得到相应的预测结果.TCN模型采用因果卷积，即 $t$ 时刻的输出 $y_{t}$ 仅与 $t$ 时刻之前的输入 $x_{1}, x_{2}, \dots, x_{t}$ 有关，可以表示为：

y_{t} = f (x_{1}, x_{2}, \dots, x_{t})

(6)

由于因果卷积在较长序列任务中可能会堆叠更多的层，使神经网络的深度增加，因此，TCN引入了膨胀卷积，允许间隔采样.对于一维输入序列 $x \in ℛ^{n}$ ，滤波器 $f : \{0, \dots, k - 1\} \to ℛ$ ，序列元素 $s$ 的膨胀卷积运算定义为：

F (s) = (x *_{d} f) (s) = \sum_{i = 0}^{k - 1} f (i) \cdot x_{s - d \cdot i}

(7)

其中， $s - d \cdot i$ 代表过去的方向， $d$ 为膨胀因子， $k$ 为滤波器大小. $d = 1$ 时，不允许间隔采样，此时与常规卷积一致； $d > 1$ 时，允许间隔采样.

第二阶段：利用k⁃means算法将残差聚类为三簇.k⁃means算法的主要思想是利用距离公式计算各样本到每个簇中心的距离，根据距离度量将各样本划分到与其距离最近的簇，然后不断更新簇中心，直到簇中心不再发生变化.

第三阶段：通过k⁃means算法求得阈值 $α$ 与 $β$ ，其中， $α$ 为最大簇中心所在簇的最小值， $β$ 为最小簇中心所在簇的最大值.根据式（1），将残差预测序列划分为 $L, M, R$ 三个互不相交的区域，将 $R$ 中的残差赋值为 $α$ ， $L$ 中的残差赋值为 $β$ ， $M$ 中的残差保持不变，得到三支残差修正后的残差序列.

3WREA算法的实现如算法1所示.

算法1 3WREA算法

输入：训练残差 $D$ ；训练次数 $e p o c h$ ；学习率 $l r$ ；聚类算法 $ℒ$ ；聚类簇数 $k$ ；排序算法 $𝒢$ .

输出：修正残差 $D'$ .

1. $D_{X}, D_{Y} \leftarrow D$ ；∥特征与标签分离

2. $\hat{D} \leftarrow T C N (D_{X}, D_{Y}, e p o c h, l r)$ ；∥预测残差

3. $k \leftarrow 3$ ；∥初始化聚类簇数

4.根据k⁃means算法得到簇中心： $U \leftarrow ℒ (D_{𝒴}, k)$ ；

5.根据排序算法 $𝒢$ 对簇中心升序排列： $U' \leftarrow 𝒢 (U)$ ；

6. $L \leftarrow U^{'}$ ；∥得到各簇标签

7. $M I N \leftarrow L [0], M A X \leftarrow L [2]$ ；∥求最小簇中心及最大簇中心所在簇的标签

8. $α \leftarrow m i n (D_{Y} [l a b e l = = M A X])$ ；∥求最大簇中心所在簇的最小值

9. $β \leftarrow m a x (D_{Y} [l a b e l = = M I N])$ ；∥求最小簇中心所在簇的最大值

10.∥定义评价函数 $v (x)$

11.if $v (x_{i}) \geq α$ then

12. $x_{i} = α$ ；

13.else if $v (x_{i}) \leq β$ then

14. $x_{i} = β$ ；

15.else

16. $x_{i} = v (x_{i})$ ；

17.end if

18. $D' \leftarrow D, v (x)$ ；

19.返回修正残差序列 $D'$ .

详细说明如下.

步骤1：结合2.2，利用滑动窗口向数据集增加特征矩阵，并进行特征与标签分离操作. $D_{X}$ 为特征集， $D_{Y}$ 为标签集.

步骤2：将训练数据集 $D_{X}, D_{Y}$ 以及各超参数传入TCN模型进行训练，利用训练好的模型得到预测残差序列 $\hat{D}$ .

步骤3和步骤4：初始化聚类簇数，并利用k⁃means算法将残差序列 $D_{Y}$ 聚类为三簇.

步骤5~7：利用排序算法将簇中心按照升序的方式进行排列，得到最小簇中心和最大簇中心所在簇的标签.

步骤8和步骤9：得到阈值对 $(α, β)$ ， $α$ 为最大簇中心所在簇的最小值， $β$ 为最小簇中心所在簇的最大值.

步骤10~18：根据式（1）定义评价函数 $v (x)$ ，并结合阈值对 $(α, β)$ 将预测残差 $\hat{D}$ 划分为 $L$ 域、 $M$ 域以及 $R$ 域.将 $R$ 域中的残差赋值为 $α$ ， $L$ 域中的残差赋值为 $β$ ， $M$ 域中的残差保持不变，以此将残差圈定在一定范围内，并得到修正残差序列 $D'$ .

步骤19：返回修正残差 $D'$ .

2.4　三支残差修正的时间序列预测模型 (DT⁃LGBM⁃3WREA)

该模型的主要思想：首先利用STL将时间序列进行分解；然后，结合各分量特点与模型预测优势，采用不同的模型对各分量进行预测，并利用3WREA算法对余项预测结果进行修正；最后，将各分量预测结果进行加和得到时间序列的预测结果.如图3所示，DT⁃LGBM⁃3WREA模型的实现可以分三个阶段.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 DT⁃LGBM⁃3WREA模型的流程

Fig.3 The flowchart of DT⁃LGBM⁃3WREA

第一阶段：根据式（2），利用STL算法将时间序列分解为趋势项、周期项和余项.

第二阶段：利用TCN模型实现对趋势项与周期项的预测.利用LightGBM模型实现对余项分量的预测，再根据算法1，将该过程产生的残差序列进行三支残差修正.将经过LightGBM模型得到的余项预测值与残差修正值进行加和，得到余项预测结果.

第三阶段：根据式（2），将各分量预测结果进行加和得到DT⁃LGBM⁃3WREA模型的预测结果.

DT⁃LGBM⁃3WREA模型的算法实现如算法2所示.

算法2

DT⁃LGBM⁃3WREA算法

输入：训练集 $C$ ；训练次数 $e p o c h$ ；学习率 $l r_{t}$ ；时序分解算法 $𝒮$ ；3WREA算法 $𝒯$ ；最大叶子节点数 $n u m$ ；弱学习器个数 $n$ ；学习率 $l r_{l}$ ；

输出：预测结果 $\hat{Y}$ ；

1. $C_{X}, C_{Y} \leftarrow C$ ；∥多变量时间序列

2.利用时序分解算法 $𝒮$ 将时间序列 $C_{Y}$ 分解为趋势项、周期项和余项： $T, S, R \leftarrow 𝒮 (C_{𝒴})$ ；

3. $T_{X}, T_{Y} \leftarrow T$ ；∥特征与标签分离

4. $S_{X}, S_{Y} \leftarrow S$ ；∥特征与标签分离

5. $R_{X}, R_{Y} \leftarrow R, C_{X}$ ；∥特征与标签分离

6. $\hat{T} \leftarrow T C N (T_{X}, T_{Y}, e p o c h, l r_{t})$ ；∥根据TCN模型求得趋势项预测值

7. $\hat{S} \leftarrow T C N (S_{X}, S_{Y}, e p o c h, l r_{t})$ ；∥根据TCN模型求得周期项预测值

8. $R' \leftarrow L i g h t G B M (R_{X}, R_{Y}, n u m, n, l r_{l})$ ；∥根据LightGBM模型求得余项预测值

9.计算残差： $D = R - R'$ ；

10.根据算法 $𝒯$ 对残差进行修正，得到三支残差修正后的序列： $D' \leftarrow 𝒯 (D)$ ；

11. $\hat{R} = R' + D'$ ；∥余项预测结果

12. $\hat{Y} = \hat{T} + \hat{S} + \hat{R}$ ；∥时间序列预测结果

13.返回时间序列预测结果 $\hat{Y}$ .

详细说明如下.

步骤1：若训练集 $C$ 为多变量时间序列，进行特征与标签分离操作；若训练集 $C$ 为单变量时间序列，则不进行该操作，直接跳过步骤1.

步骤2：根据式（2），使用时序分解算法STL将时间序列 $C_{Y}$ 分解为趋势项 $T$ 、周期项 $S$ 和余项 $R$ .

步骤3和步骤4：利用滑动窗口向趋势项 $T$ 和周期项 $S$ 中增加历史数据作为特征矩阵，并对扩充后的数据集做特征与标签分离操作.

步骤5：利用滑动窗口向余项 $R$ 中增加历史数据作为特征，结合其他时间序列影响因素 $C_{X}$ ，共同组成特征矩阵，并对新的数据集做特征与标签分离操作，得到特征集 $R_{X}$ 和标签集 $R_{Y}$ .

步骤6和步骤7：利用TCN模型预测趋势项与周期项，得到趋势项预测值 $\hat{T}$ 与周期项预测值 $\hat{S}$ .

步骤8：利用LightGBM模型预测余项，得到初步余项预测值 $R'$ .

步骤9：将余项真实值 $R$ 与初步余项预测值 $R'$ 做差，得到余项残差序列 $D$ .

步骤10：结合2.3，利用算法1对残差序列 $D$ 做三支残差修正，得到修正残差序列 $D'$ .

步骤11：将初步余项预测值 $R'$ 与三支残差修正后的残差序列 $D'$ 进行加和，得到余项预测结果 $\hat{R}$ .

步骤12：根据式（2），将趋势项预测值 $\hat{T}$ 、周期项预测值 $\hat{S}$ 和余项预测值 $\hat{R}$ 进行加和，得到时间序列预测值 $\hat{Y}$ .

步骤13：返回时间序列预测结果 $\hat{Y}$ .

3 实验

为了验证DT⁃LGBM⁃3WREA模型的预测性能，在不同领域的九个时间序列数据集上进行对比实验，并与TCN，LightGBM，CNN （Convolutional Neural Network），LSTM （Long Short⁃Term Memory）以及DT⁃LGBM （Double TCN and LightGBM）进行对比.

3.1　数据集

使用不同领域的九个时间序列数据集，表1给出了数据集的关键信息，包括数据集名称、属性数量、样本数量以及数据集概述等.

表1 实验使用的数据集描述

Table 1 The description of datasets used in experiments

ID	名称	数据集概述	属性	样本
1	出生数量	1959年加利福尼亚州每日女性出生人数	2	365
2	最低温度	1981-1990年墨尔本市每日最低温度	2	3650
3	广告数量	2017年9月13日至21日每小时点击广告数	2	216
4	停车数量	2016年10月至12月伯明翰市各区位停车数量	4	35717
5	股票价格	2016-2018年每日最低价、开盘价等信息	6	731
6	电力负荷	2012-2015年某地区每日天气、电力负荷	7	1113
7	燃气负荷	2016-2018年郑州市每日天气、燃气负荷	9	1096
8	交通流量	2012-2018年9月4号州际公路每小时交通量	9	48204
9	水痘病例	2005-2015年匈牙利 20个县每周水痘病例	21	521

新窗口打开| 下载CSV

3.2　评估指标

采用平均绝对误差（Mean Absolute Error，MAE）与均方根误差（Root Mean Square Error，RMSE）评估各模型的预测效果. $M A E$ 与 $R M S E$ 的计算如下所示：

M A E = \frac{1}{n} \sum_{i = 1}^{n} |y_{i} - {\hat{y}}_{i}|

(8)

R M S E = \sqrt[]{\frac{1}{n} \sum_{i = 1}^{n} {(y_{i} - {\hat{y}}_{i})}^{2}}

(9)

其中， $y = y_{1}, \dots, y_{n}$ 是真实值， $\hat{y} = {\hat{y}}_{1}, \dots, {\hat{y}}_{n}$ 是预测值. $M A E$ 与 $R M S E$ 越小，说明模型的预测效果越好，反之则模型效果越差.

3.3　实验设置

按照6∶2∶2的比例将数据集划分为训练集、验证集与测试集.验证集调整模型的超参数，提高模型的预测效果，图4a和图4b展示了最低温度的趋势项预测过程中对TCN模型的kernel_size（卷积核大小）和filters（过滤器个数）的调整.TCN模型的其他超参数：训练轮次为50，学习率为0.001，批尺寸为32.图4c和图4d展示了燃气负荷数据集中训练轮次为50，学习率为0.001，批尺寸为32时的卷积核大小和过滤器个数的调整.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 对部分超参数的调整

Fig.4 Adjustment of some hyperparameters

采用TCN，TCN与LightGBM分别对趋势项、周期项和初步余项值进行预测.在LightGBM预测的基础上，利用3WREA算法对该过程产生的残差进行修正，得到LGBM⁃3WREA的预测值，即余项的最终预测结果.将LGBM⁃3WREA的预测结果与经TCN预测得到的趋势项、周期项的预测值进行加和，得到DT⁃LGBM⁃3WREA的预测结果.各模型均在相同的软件和硬件配置环境下运行：CPU为i7⁃8550U CPU @ 1.80 GHz，RAM为8 GB，Windows 10，Python 3.8.

3.4　结果分析

结合研究思路，各数据集趋势项与周期项的预测结果仅使用TCN与LightGBM对比，余项的预测结果仅在TCN，LightGBM和LGBM⁃3WREA之间进行对比.为了提升模型训练速度，在数据处理阶段使用sklearn库提供的归一化MinMaxScaler与标准化StandardScaler方法实现对数据的按比例缩放，使之统一映射到一个特定区间.同理，为了使各分量之间与各数据集之间的实验结果具有一定可比性，各模型的评估指标也采用归一化之后的数据.表2~4展示了各分量的评估指标对比，表5与表6为各数据集整体预测结果的评估指标对比，表中黑体字表示该数据集对应的模型为当前最优.

表2 TCN与LGBM的趋势项评估指标对比

Table 2 Trend item evaluation indicators of TCN and LGBM

数据集	$M A E$		$R M S E$
数据集	TCN	LGBM	TCN	LGBM
股票价格	0.0603	0.0666	0.0735	0.0814
燃气负荷	0.0171	0.0296	0.0228	0.0423
电力负荷	0.0379	0.0453	0.0569	0.0598
水痘病例	0.0556	0.0567	0.0826	0.0788
交通流量	0.0416	0.0480	0.0558	0.0593
停车数量	0.0375	0.0397	0.0461	0.0478
最低温度	0.0370	0.0394	0.0467	0.0500
广告数量	0.0547	0.0764	0.0651	0.1030
出生数量	0.0625	0.0704	0.0782	0.0852

新窗口打开| 下载CSV

表3 TCN与LGBM的周期项评估指标对比

Table 3 Seasonal item evaluation indicators of TCN and LGBM

数据集	$M A E$		$R M S E$
数据集	TCN	LGBM	TCN	LGBM
股票价格	0.2948	0.2229	0.3015	0.2757
燃气负荷	0.2955	0.3000	0.3735	0.3802
电力负荷	0.1483	0.2272	0.1615	0.2810
水痘病例	0.3120	0.3386	0.3639	0.4283
交通流量	0.1293	0.1166	0.1293	0.1573
停车数量	0.3854	0.4616	0.5324	0.6093
最低温度	0.1718	0.2455	0.2073	0.2802
广告数量	0.1412	0.1137	0.2379	0.1249
出生数量	0.1092	0.2147	0.1223	0.2349

新窗口打开| 下载CSV

表4 TCN，LGBM和LGBM⁃3WREA的余项评估指标对比

Table 4 Remain item evaluation indicators of TCN，LGBM and LGBM⁃3WREA

数据集	$M A E$			$R M S E$
数据集	TCN	LGBM	LGBM⁃3WREA	TCN	LGBM	LGBM⁃3WREA
股票价格	0.2603	0.2739	0.2221	0.2667	0.3436	0.2373
燃气负荷	0.4138	0.3764	0.2443	0.5038	0.4953	0.3163
电力负荷	0.3218	0.3575	0.3058	0.3903	0.5045	0.3697
水痘病例	0.3927	0.2890	0.1668	0.4837	0.4199	0.2528
交通流量	0.2752	0.2420	0.2278	0.3828	0.4213	0.4537
停车数量	0.2439	0.2961	0.1960	0.3178	0.5698	0.3066
最低温度	0.5420	0.4237	0.2056	0.6996	0.5377	0.3162
广告数量	0.5958	0.3259	0.3466	0.7614	0.3817	0.4961
出生数量	0.5343	0.4775	0.3330	0.6565	0.6101	0.4480

新窗口打开| 下载CSV

表5 本文算法和对比算法在九个数据集上的MAE指标对比

Table 5 MAE metrics of our algorithm and other algorithms on nine datasets

	TCN	LightGBM	CNN	LSTM	DT⁃LGBM	DT⁃LGBM⁃3WREA
股票价格	0.1444	0.1591	0.1816	0.1768	0.1083	0.1093
燃气负荷	0.0278	0.0226	0.0262	0.0212	0.0212	0.0211
电力负荷	0.0916	0.0768	0.1563	0.1066	0.0907	0.1161
水痘病例	0.1698	0.2154	0.1024	0.2065	0.1473	0.1591
交通流量	0.0524	0.0701	0.0746	0.0584	0.0559	0.0499
停车数量	0.0488	0.0207	0.0292	0.0386	0.0325	0.0277
最低温度	0.0677	0.0678	0.0675	0.0670	0.0634	0.0528
广告数量	0.0656	0.0779	0.0630	0.0595	0.0594	0.0539
出生数量	0.1095	0.1075	0.1104	0.1092	0.1396	0.1070

新窗口打开| 下载CSV

表6 本文算法和对比算法在九个数据集上的RMSE指标对比

Table 6 RMSE metrics of our algorithm and other algorithms on nine datasets

	TCN	LightGBM	CNN	LSTM	DT⁃LGBM	DT⁃LGBM⁃3WREA
股票价格	0.1762	0.2073	0.2333	0.2273	0.1316	0.1298
燃气负荷	0.0333	0.0304	0.0346	0.0286	0.0281	0.0281
电力负荷	0.1188	0.1155	0.1993	0.1418	0.1185	0.1447
水痘病例	0.2343	0.2771	0.1515	0.2612	0.1685	0.1732
交通流量	0.0711	0.0905	0.0978	0.0766	0.0684	0.0659
停车数量	0.0577	0.0269	0.0361	0.0467	0.0469	0.0419
最低温度	0.0857	0.0858	0.0861	0.0858	0.0788	0.0661
广告数量	0.0934	0.1075	0.0829	0.0796	0.0751	0.0678
出生数量	0.1416	0.1382	0.1382	0.1380	0.1763	0.1233

新窗口打开| 下载CSV

由表2可见，对于趋势项评估指标，TCN的MAE在九个数据集上表现良好，其RMSE在八个数据集上表现更佳，仅在一个数据集上的预测效果比LightGBM差.所以，TCN是预测趋势项的最佳模型.

由表3可见，对于周期项评估指标，和LightGBM相比，TCN的MAE和RMSE在超过一半的数据集上表现更好.所以，TCN模型是预测周期项的最佳模型.

由表4可见，对于余项评估指标，LightGBM的MAE在六个数据集上优于TCN，其RMSE比TCN多一个数据集的优势.所以LightGBM是两者中预测余项的最优模型.在LightGBM预测的基础上增加3WREA算法修正残差，构成LGBM⁃3WREA模型，其预测效果比LightGBM更好.因此，3WREA算法的提出对于余项预测效果的提升具有极大的促进作用.

由表5和表6可知，和TCN，LightGBM，CNN和LSTM相比，DT⁃LGBM在一半的数据集上表现良好，评估指标的数值更优.在DT⁃LGBM的基础上增加3WREA算法，构成DT⁃LGBM⁃3WREA模型，结果无论是MAE还是RMSE，DT⁃LGBM⁃3WREA模型在超出一半的数据集上的表现更优，其预测效果比DT⁃LGBM更出色.所以，3WREA算法对时间序列预测模型的性能有显著的提升作用.

总体而言，DT⁃LGBM⁃3WREA模型在大多数时间序列预测任务上具有明显优势，这是因为3WREA算法在余项预测任务中表现优异.余项是时间序列受众多偶然因素干扰而产生的不规则变动，在余项预测过程中结合了由各种影响因素组成的特征矩阵，并增加了3WREA算法对残差进行修正，实现了对余项预测结果的进一步修正，大大提升了DT⁃LGBM⁃3WREA模型的预测性能.但由于DT⁃LGBM⁃3WREA模型首先需要对时间序列进行分解，再对分解后的各分量采用不同的模型进行预测，并在余项预测过程中增加三支残差修正，导致步骤繁多，时间开销较大.这将是今后进一步的改进方向.

4 结论

本文提出一种三支残差修正的融合时序预测模型.首先将时间序列分解为趋势项、周期项和余项；然后，基于各分量特点与模型预测优势，分别选择不同的模型实现对各分量的预测，并结合三支决策理论，设计3WREA算法对余项预测结果进行修正；最后，将各分量预测结果进行加和得到时间序列的预测结果.该模型的优势：（1）引入三支决策理论对残差进行修正；（2）通过修正残差来修正余项预测结果；（3）提升时间序列的预测精度.实验结果表明，3WREA在余项预测任务中效果显著，DT⁃LGBM⁃3WREA在多个数据集上取得了比其他模型更优的预测结果.未来将进一步寻找更优的方法确定最佳阈值对 $(α, β)$ ，并在更大规模的数据集上验证模型的有效性.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

温玉莲，林培光.

基于行业背景差异下的金融时间序列预测方法

南京大学学报(自然科学)，2021，57(1)：90-100.