南京大学学报(自然科学版) ›› 2019, Vol. 55 ›› Issue (6): 1030–1039.doi: 10.13232/j.cnki.jnju.2019.06.015

• • 上一篇    下一篇

基于自适应调节极大熵的孪生支持向量回归机

黄华娟,韦修喜()   

  1. 广西民族大学信息科学与工程学院，南宁，530006
  • 收稿日期:2019-08-14 出版日期:2019-11-30 发布日期:2019-11-29
  • 通讯作者: 韦修喜 E-mail:weixiuxi@163.com
  • 基金资助:
    国家自然科学基金(61662005);广西自然科学基金(2018JJA170121);广西高校中青年教师科研基础能力提升项目(2019KY0195)

Twin support vector regression based on adaptive adjustmentmaximum entropy

Huajuan Huang,Xiuxi Wei()   

  1. College of Information Science and Engineering，Guangxi University for Nationalities，Nanning，530006，China
  • Received:2019-08-14 Online:2019-11-30 Published:2019-11-29
  • Contact: Xiuxi Wei E-mail:weixiuxi@163.com

RichHTML

1026

PDF (PC)

1014

摘要：

孪生支持向量回归机(Twin Support Vector Regression,TSVR)的数学模型是求解一对约束优化问题，如何将约束优化问题转化为无约束优化问题进行求解是一个难题.在TSVR约束优化模型的基础上，依据最优化理论提出TSVR的无约束优化问题.然而，无约束优化问题的目标函数有可能不可微，为解决这个问题，引入极大熵函数，确保优化问题都是可微的.标准的极大熵函数法有可能发生数值溢出，所以对极大熵函数法进行了改进，提出自适应调节极大熵函数法来逼近TSVR的不可微项，并提出基于自适应调节极大熵函数法的TSVR学习算法.实验结果表明，和其他回归方法相比，所提算法不仅能够提高回归精度，而且效率得到了较大的提高.

关键词: 孪生支持向量回归机, 优化理论, 极大熵函数法, 自适应, Newton算法

Abstract:

The mathematical model of twin support vector regression (TSVR) is to solve a pair of constrained optimization problems. How to transform constrained optimization problems into unconstrained optimization problems is a difficult problem. Based on the TSVR constrained optimization model，the unconstrained optimization problem of TSVR is established according to the optimization theory. In order to solve the problem of unconstrained optimization，the maximum entropy function is introduced to transform the original optimization problem into a differentiable unconstrained optimization problem. However，the standard maximum entropy function method may lead to the occurrence of numerical spillovers. In this paper，we improve the maximum entropy function method，propose the adaptive maximum entropy function method，and use it to approximate the non?differentiable term of TSVR. We propose a TSVR model based on the adaptive maximum entropy function method. The experimental results show that compared with other regression methods,the proposed algorithm can not only improve the regression accuracy,but also greatly improve the efficiency.

Key words: twin support vector regression, optimization theory, maximum entropy function method, adaptation, Newton method

中图分类号: 

  • TP181

表1

三种算法在带不同类型噪声 s i n e x ( x ) 函数下的运行结果"

函数类型 算法 S S E S S E / S S T S S R / S S T 时间(s)
Type 1 AEF?TSVR 0.1105 ± 0.0018 0.0043 ± 0.0021 0.9421 ± 0.0427 0.9213
MF?TSVR 0.1552 ± 0.0046 0.0058 ± 0.0031 0.9717 ± 0.0242 1.4244
TSVR 0.1836 ± 0.0017 0.0066 ± 0.0054 0.9525 ± 0.0398 2.3741
Type 2 AEF?TSVR 0.1346 ± 0.0032 0.0021 ± 0.0025 0.9969 ± 0.0013 0.8102
MF?TSVR 0.1645 ± 0.1436 0.0041 ± 0.0034 0.9699 ± 0.0069 1.3452
TSVR 0.1924 ± 0.5212 0.0045 ± 0.0025 0.9418 ± 0.0012 2.4645
Type 3 AEF?TSVR 0.0944 ± 0.0046 0.0015 ± 0.0017 0.9902 ± 0.0145 1.3049
MF?TSVR 0.0996 ± 0.0042 0.0018 ± 0.0027 0.9826 ± 0.0157 2.5045
TSVR 0.1126 ± 0.0057 0.0027 ± 0.0012 0.9689 ± 0.0254 2.6503
Type 4 AEF?TSVR 0.1246 ± 0.0028 0.0055 ± 0.0015 0.9445 ± 0.0158 1.3567
MF?TSVR 0.1249 ± 0.0063 0.0072 ± 0.0024 0.9871 ± 0.0123 1.7324
TSVR 0.1754 ± 0.0067 0.0082 ± 0.0023 0.9536 ± 0.0215 2.0021

图1

三种算法在噪声Type 1下对 s i n e x ( x ) 函数的拟合结果"

图2

三种算法在噪声Type 2下对 s i n e x ( x ) 函数的拟合结果"

图3

三种算法在噪声Type 3下对 s i n e x ( x ) 函数的拟合结果"

图4

三种算法在噪声Type 4下对 s i n e x ( x ) 函数的拟合结果"

表2

三种算法在UCI数据集上的运行结果"

数据集 算法 S S E S S E / S S T S S R / S S T 时间(s)
boston housing AEF?TSVR 0.3654 ± 0.2501 0.1102 ± 0.0241 1.0242 ± 0.0357 8.057
MF?TSVR 0.3942 ± 0.2501 0.1224 ± 0.0347 1.0278 ± 0.0345 12.564
TSVR 0.3985 ± 0.2521 0.1256 ± 0.0367 1.0254 ± 0.1145 20.717
auto-mpg AEF?TSVR 0.0814 ± 0.0112 0.1049 ± 0.0421 1.0202 ± 0.0127 1.548
MF?TSVR 0.0965 ± 0.0121 0.1189 ± 0.0474 1.0354 ± 0.0248 3.547
TSVR 0.0883 ± 0.0254 0.1213 ± 0.0445 1.0021 ± 0.0145 7.074
machine CPU AEF?TSVR 0.0768 ± 0.1423 0.1001 ± 0.0764 0.9364 ± 0.0124 0.702
MF?TSVR 0.0875 ± 0.1421 0.1142 ± 0.0721 0.9687 ± 0.0047 1.214
TSVR 0.0888 ± 0.5215 0.1158 ± 0.0723 0.9987 ± 0.0021 3.378
servo AEF?TSVR 0.2223 ± 0.0167 0.1051 ± 0.0043 0.9904 ± 0.0017 1.285
MF?TSVR 0.2534 ± 0.0146 0.1287 ± 0.0028 0.9989 ± 0.0012 2.086
TSVR 0.2446 ± 0.0144 0.1385 ± 0.0012 0.9643 ± 0.0011 3.822
bodyfat AEF?TSVR 0.0065 ± 0.0125 0.0276 ± 0.0345 0.9845 ± 0.0821 4.232
MF?TSVR 0.0189 ± 0.0123 0.1456 ± 0.0323 0.9978 ± 0.0827 6.987
TSVR 0.0298 ± 0.0414 0.2451 ± 0.0332 0.9925 ± 0.0545 8.023
triazines AEF?TSVR 0.2044 ± 0.1212 0.2018 ± 0.0756 0.9485 ± 0.0702 0.734
MF?TSVR 0.2172 ± 0.1205 0.2978 ± 0.0732 0.9802 ± 0.0746 0.975
TSVR 0.2281 ± 0.1043 0.2867 ± 0.0151 0.9785 ± 0.0712 2.132
1 Cortes C ， Vapnik V . Support?vector networks. Machine Learning，1995，20(3)：273-297.
2 丁世飞，张健，张谢锴 等 . 多分类孪生支持向量机研究进展. 软件学报，2018，29(1)：89-108.
Ding S F ， Zhang J ， Zhang XK ，et al . Survey on multi class twin support vector machines. Journal of Software，2018，29(1)：89-108.
3 Pei H M ， Chen Y Y ， Wu Y K ，et al . Laplacian total margin support vector machine based on within?class scatter. Knowledge?Based Systems，2017，119：152-165.
4 Jayadeva K R ， Chandra S . Twin support vector machines for pattern classification. IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29(5)：905-910.
5 丁世飞，黄华娟 . 最小二乘孪生参数化不敏感支持向量回归机. 软件学报，2017，28(12)：3146-3155.
Ding S F ， Huang H J . . Least squares twin parametric insensitive support vector regression. Journal of Software28(12)：3146-3155.
6 谢娟英，谢维信 . 基于特征子集区分度与支持向量机的特征选择算法. 计算机学报，2014，37(8)：1704-1718.
Xie J Y ， Xie W X . . Several feature selection algorithms based on the discernibility of a feature subset and support vector machines. Chinese Journal of Computers，2014，37(8)：1704-1718.
7 Chen X B ， Yang J ， Ye Q L ，et al . Recursive projection twin support vector machine via within?class variance minimization. Pattern Recognition，2011，44(10-11)：2643-2655.
8 Shao Y H ， Deng N Y ， Yang Z M . Least squares recursive projection twin support vector machine for classification. Pattern Recognition，2012，45(6)：2299-2307.
9 Peng X J . TSVR：an efficient twin support vector machine for regression. Neural Networks，2010，23(3)：365-372.
10 Zhong P ， Xu Y T ， Zhao Y H . Training twin support vector regression via linear programming. Neural Computing and Applications，2012，21(2)：399-407.
11 黄华娟，丁世飞，史忠植 . 光滑CHKS孪生支持向量回归机. 计算机研究与发展，2015，523)：569-578. (Huang H J，Ding S F，Shi Z Z. Smooth CHKS twin support vector regression. Journal of Computer Research and Development，2015，52(3)：569-578.
12 吴青 . 基于优化理论的支持向量机学习算法研究. 博士毕业论文. 西安：西安电子科技大学，2009.
Wu Q . . Research on learning algorithms for support vector machines based on optimization theory. Ph.D.，Xi'an：Xidian University，2009.
13 黄华娟 . 孪生支持向量机关键问题的研究. 博士毕业论文. 徐州：中国矿业大学，2014.
Huang H J . . Research on the key problems of twin support vector machines. Ph.D.，Xuzhou：China University of Mining and Technology，2014.
14 An Y X ， Ding S F ， Shi S H ，et al . Discrete space reinforcement learning algorithm based on support vector machine classification. Pattern Recognition Letters，2018，111：30-35.
15 Ding S F ， An Y X ， Zhang X K ，et al . Wavelet Twin Support vector machines based on glowworm swarm optimization. Neurocomputing，2017，225：157-163.
16 冯昌，廖士中 . 随机傅里叶特征空间中高斯核支持向量机模型选择. 计算机研究与发展，2016，53(9)：1971-1978.
Feng C ， Liao S Z . . Model selection for Gaussian kernel support vector machines in random fourier feature space. Journal of Computer Research and Development，2016，53(9)：1971-1978.
[1] 刘亮,何庆. 基于改进蝗虫优化算法的特征选择方法[J]. 南京大学学报(自然科学版), 2020, 56(1): 41-50.
[2] 张银芳,于洪,王国胤,谢永芳. 一种用于数据流自适应分类的主动学习方法[J]. 南京大学学报(自然科学版), 2020, 56(1): 67-73.
[3] 杨　蕴, 宋　健, 朱　琳, 吴剑锋, 王锦国. 基于KELM地面沉降替代模型的地下水多目标管理模型研究[J]. 南京大学学报(自然科学版), 2019, 55(3): 349-360.
[4] 杨 韧，张兴敢1*. 压缩感知重构SAMP的改进算法[J]. 南京大学学报(自然科学版), 2018, 54(3): 538-542.
[5]  段明月1，2，黄　晶1，2*，陈贺昌1，2，金　弟3*.  一种基于异域自适应的新型社团发现算法[J]. 南京大学学报(自然科学版), 2018, 54(1): 40-.
[6]  王卓君，申德荣*，聂铁铮，寇　月，于　戈.  UCM－PPM：基于用户分级的多参量Web预测模型[J]. 南京大学学报(自然科学版), 2018, 54(1): 85-.
[7] 余双春，袁　杰，沈庆宏*. 实时视频去隔行的并行算法研究[J]. 南京大学学报(自然科学版), 2016, 52(5): 795-.
[8] 黄伟婷1*，赵　红2. 基于误差数据的最小代价属性选择分治算法[J]. 南京大学学报(自然科学版), 2016, 52(5): 890-.
[9] 田 健，王开军*，郭躬德，陈黎飞. 融合速度特征的压缩感知目标跟踪算法[J]. 南京大学学报(自然科学版), 2016, 52(1): 149-158.
[10] 付 强1,2，肖沈阳1,2，郑思远1,2，刘胜兴1,2*. 基于信道估计的判决反馈均衡器在时变水声信道中的应用研究[J]. 南京大学学报(自然科学版), 2015, 51(7): 55-.
[11] 孙馨喆1,2，文立1,2，杨武夷1,2*，张宇1,2. 基于时频图像处理的宽吻海豚声通讯信号自动检测方法[J]. 南京大学学报(自然科学版), 2015, 51(7): 16-.
[12] 吴 琼，柏业超*，张兴敢

. 基于贝叶斯压缩感知的宽带雷达回波处理[J]. 南京大学学报(自然科学版), 2015, 51(4): 665-672.
[13] 栾海军1，董红斌1*， 周 阳2. 连续双向拍卖市场中的一种自适应竞价策略研究[J]. 南京大学学报(自然科学版), 2015, 51(2): 368-376.
[14] 姜平1,2*,窦全胜1,2,王晶3 . 基于局部自适应点特异度阈值的眼底图像血管分割方法研究[J]. 南京大学学报(自然科学版), 2015, 51(1): 165-173.
[15] 黄旋旋1,2,朱科锋1*,赵坤. 近海台风中心自适应定位方法研究[J]. 南京大学学报(自然科学版), 2014, 50(6): 855-864.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
[1] 胡　淼，王开军，李海超，陈黎飞. 模糊树节点的随机森林与异常点检测[J]. 南京大学学报(自然科学版), 2018, 54(6): 1141 -1151 .
[2] 王　倩，聂秀山，耿蕾蕾，尹义龙. D2D通信中基于Q学习的联合资源分配与功率控制算法[J]. 南京大学学报(自然科学版), 2018, 54(6): 1183 -1192 .
[3] 孔　颉, 孙权森, 纪则轩, 刘亚洲. 基于仿射不变离散哈希的遥感图像快速目标检测新方法[J]. 南京大学学报(自然科学版), 2019, 55(1): 49 -60 .
[4] 巢　前, 蔡进功, 李艳丽, 王国力. 泥岩中的有机质对基于XRD的伊蒙混层结构计算的影响[J]. 南京大学学报(自然科学版), 2019, 55(2): 291 -300 .
[5] 杨　蕴, 宋　健, 朱　琳, 吴剑锋, 王锦国. 基于KELM地面沉降替代模型的地下水多目标管理模型研究[J]. 南京大学学报(自然科学版), 2019, 55(3): 349 -360 .
[6] 王广辉，杨高东，周　政，张志炳. 丙酸异龙脑酯的合成、反应热力学和反应动力学研究[J]. 南京大学学报(自然科学版), 2019, 55(3): 486 -497 .
[7] 丁晓冬，张　陆，耿洪斌，陈庆民. 基于芳香族端氨基聚四亚甲基醚软段的聚脲弹性体结构与性能[J]. 南京大学学报(自然科学版), 2019, 55(3): 498 -503 .
[8] 杨鑫, 施虹, 王平心, 徐刚. 基于稳定性的三支聚类[J]. 南京大学学报(自然科学版), 2019, 55(4): 546 -552 .
[9] 郭超, 文宇博, 杨忠芳, 李伟, 管冬兴, 季峻峰. 典型岩溶地质高背景土壤镉生物有效性及其控制因素研究[J]. 南京大学学报(自然科学版), 2019, 55(4): 678 -687 .
[10] 汪贵庆, 袁杰, 沈庆宏. 基于精英蚁群算法的交通最优路径研究[J]. 南京大学学报(自然科学版), 2019, 55(5): 709 -717 .

版权所有 © 2021 《南京大学学报(自然科学)》

地址：江苏省南京市鼓楼区汉口路22号，南京大学学报编辑部，210093

电话：025-83592704 , 传真：025-83592704        技术支持：北京玛格泰克科技发展有限公司