基于矩阵的AdaBoost多视角学习

doi:10.13232/j.cnki.jnju.2018.06.011

南京大学学报(自然科学版) ›› 2018, Vol. 54 ›› Issue (6): 1152–1160.doi: 10.13232/j.cnki.jnju.2018.06.011

基于矩阵的AdaBoost多视角学习

洪思思^1,2，曹辰捷¹，王　喆^1,2*，李冬冬¹

1.华东理工大学信息科学与工程学院，上海，200237； 2.江苏省计算机信息处理技术重点实验室，苏州大学，苏州，215006

接受日期:2018-09-07 出版日期:2018-12-01 发布日期:2018-12-01
通讯作者: 王　喆, wangzhe@ecust.edu.cn E-mail:wangzhe@ecust.edu.cn
基金资助:
国家自然科学基金(61672227，61806078)，上海市教育发展基金会和上海市教育委员会“曙光计划”

Matrix－based multi－view learning with AdaBoost

Hong Sisi^1,2，Cao Chenjie¹，Wang Zhe^1,2*，Li Dongdong¹

1.School of Information Science and Engineering，East China University of Science and Technology, Shanghai，200237，China；2.Provincial Key Laboratory for Computer Information Processing Technology，Soochow University，Suzhou，215006，China

Accepted:2018-09-07 Online:2018-12-01 Published:2018-12-01
Contact: Wang Zhe, wangzhe@ecust.edu.cn E-mail:wangzhe@ecust.edu.cn

摘要/Abstract

摘要： 以往基于矩阵的多视角分类(MultiV－MHKS)是从矩阵的单视角模式Ho－Kashyap(MatMHKS)发展而来的，尽管有些不好的视角可能会拉低分类器的总体表现，但它仍将所有视角都默认为相同的. 为保证样本视角的有效性和多样性，提出一种名为AdaMultiV－MHKS的新方法，它充分利用了经典的集成学习方法AdaBoost的优势，实现了动态过滤和视角权重计算. 所提的多视角框架不受限于任何特殊方法，可以应用于大多数基于矩阵的分类器. 该方法加入了来自Alternative Robust Local Embedding(ARLE)的正则化项Rgl，用来增强样本之间的结构信息. 集成工作和正则化使得不同视角的附加信息更具竞争力，不仅增强了视角的多样性而且改进了最终的分类结果. 在UCI数据集和USTC－NVIE人脸图像数据集，尤其是液体数据集上的实验结果证明了所提方法的有效性．

关键词: 多视角, 集成学习, AdaBoost, 矩阵分类器, 正则化

Abstract: The previous work about multi－view matrix－based classifier(MultiV－MHKS)has been developed from single－view matrix－pattern－oriented Ho－Kashyap(MatMHKS). It considers all views equal in default，although few poor views may drag down the overall performance of the classifier. Although multi－view can bring abundant information for the learning，treating improperly will have high risk of loss in accuracy. In order to ensure valid views of samples and enhance the diversity among all views，a new method called AdaMultiV－MHKS is proposed. It implements the dynamic filtering and the calculation of views’weight by taking the advantage of the classic Ensemble Learning method called AdaBoost. The proposed multi－view framework is not restricted to any special method，and can be applied to most matrix－based classifiers. We select the GLMatMHKS as the base classifier. A further regularization term Rgl derived from Alternative Robust Local Embedding(ARLE)is added to emphasize structural information among samples. The integration work and regularization make additional information from several views more competitive，which not only enhances the diversity among them but also improves the final classification results. The experimental results on UCI datasets and USTC－NVIE face images prove the effectiveness of integrating AdaBoost and ARLE techniques into the matrix－based multi－view learning，especially in the experiments of liquid datasets.

Key words: multi－view, ensemble learning, AdaBoost, matrix－based classifier, regularization

中图分类号:

TP301.6

洪思思，曹辰捷，王　喆*，李冬冬. 基于矩阵的AdaBoost多视角学习[J]. 南京大学学报(自然科学版), 2018, 54(6): 1152–1160.

Hong Sisi，Cao Chenjie，Wang Zhe，Li Dongdong. Matrix－based multi－view learning with AdaBoost[J]. Journal of Nanjing University(Natural Sciences), 2018, 54(6): 1152–1160.

参考文献

[1] Mohandes M，Deriche M，Aliyu S O. Classifiers combination techniques：A comprehensive review. IEEE Access，2018，6：19626－19639.
[2] ski J. Ho－Kashyap classifier with generalization control. Pattern Recognition Letters，2008，24(14)：2281－2290.
[3] Muller K R，Mika S，Ratsch G，et al. An introduction to kernel－based learning algorithms. IEEE Transactions on Neural Networks，2001，12(2)：181－201.
[4] Yang J，Zhang D，Frangi A F，et al. Two－dimensional PCA：A new approach to appearance－based face representation and recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(1)：131－137.
[5] Chen S C，Zhu Y L，Zhang D Q，et al. Feature extraction approaches based on matrix pattern：MatPCA and MatFLDA. Pattern Recognition Letters，2005，26(8)：1157－1167.
[6] Chen S C，Wang Z，Tian Y J. Matrix－pattern－oriented Ho－Kashyap classifier with regularization learning. Pattern Recognition，2007，40(5)：1533－1543.
　 [7] Chiuso A. Regularization and Bayesian learning in dynamical systems：Past，present and future. Annual Reviews in Control，2016，41：24－38.
[8] Wang Z，Zhu Y J，Gao D Q，et al. Globalized and localized matrix－pattern－oriented classification machine. Applied Soft Computing，2014，25：379－390.
[9] Li Y，Wu F X，Ngom A. A review on machine learning principles for multi－view biological data integration. Briefings in Bioinformatics，2018，19(2)：325－340.
[10] Zhang D Q，Shen D G，The Alzheimer's Disease Neuroimaging Initiative. Multi－modal multi－task learning for joint prediction of multiple regression and classification variables in alzheimer’s disease. Neuroimage，2012，59(2)：895－907.
[11] Chao G Q，Sun S L. Consensus and complementarity based maximum entropy discrimination for multi－view classification. Information Sciences，2016，367－368：296－310.
[12] Wang Z，Chen S C，Gao D Q. A novel multi－view learning developed from single－view patterns. Pattern Recognition，2011，44(10－11)：2395－2413.
[13] Pandey P，Prabhakar R. An analysis of machine learning techniques(J48 & AdaBoost)－for classification ∥ 2016 1st India International Conference on Information Processing. Delhi，India：IEEE，2017：1－6.
[14] Xue H，Chen S C. Alternative robust local embedding ∥ Proceedings of 2007 International Conference on Wavelet Analysis and Pattern Recognition. Beijing，China：IEEE，2007：591－596.
[15] Xue H，Chen S C. Glocalization pursuit support vector machine. Neural Computing and Applications，2011，20(7)：1043－1053.
[16] Wang S F，Liu Z L，Lv S L，et al. A natural visible and infrared facial expression database for expression recognition and emotion inference. IEEE Transactions on Multimedia，2010，12(7)：682－691.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed

基于矩阵的AdaBoost多视角学习

Matrix－based multi－view learning with AdaBoost

PDF (PC)

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 12

Metrics

本文评价

推荐阅读 10

[1]	李子龙,周勇,鲍蓉. AdaBoost图像到类距离学习的图像分类方法[J]. 南京大学学报(自然科学版), 2020, 56(1): 51-56.
[2]	胡　淼，王开军，李海超，陈黎飞. 模糊树节点的随机森林与异常点检测[J]. 南京大学学报(自然科学版), 2018, 54(6): 1141-1151.
[3]	郑丽容1，洪志令2*. HSEC：基于聚类的启发式选择性集成[J]. 南京大学学报(自然科学版), 2018, 54(1): 116-.
[4]	李　蓓，张兴敢，方　晖*. 一种改进的BP－Adaboost算法及在雷达多目标分类上的应用[J]. 南京大学学报(自然科学版), 2017, 53(5): 984-.
[5]	姜蓓蕾1*，冯燕生2，3，施小清2，吴吉春2，孙媛媛2. 向导点－正则化方法在水文地质参数反演中的应用[J]. 南京大学学报(自然科学版), 2016, 52(3): 438-447.
[6]	邢胜1,2 王熙照3*, 王晓兰4. 基于多类重采样的非平衡数据极速学习机集成学习[J]. 南京大学学报(自然科学版), 2016, 52(1): 203-211.
[7]	朱亚奇1,邓维斌1 ,2*. 一种基于不平衡数据的聚类抽样方法[J]. 南京大学学报(自然科学版), 2015, 51(2): 421-429.
[8]	朱亚奇¹,邓维斌^1,2*. 一种基于不平衡数据的聚类抽样方法[J]. 南京大学学报(自然科学版), 2015, 51(2): 421-429.
[9]	吕静,何志芬. 一种基于正则化最小二乘的多标记分类算法[J]. 南京大学学报(自然科学版), 2015, 51(1): 139-147.
[10]	许行1，梁吉业1,2，王宝丽1. 基于双向有序互信息的单调分类决策树算法[J]. 南京大学学报(自然科学版), 2013, 49(5): 628-636.
[11]	郭丽娜1*，杨杨2. 一种基于模糊支持向量机软件模块缺陷检测算法 [J]. 南京大学学报(自然科学版), 2012, 48(2): 221-227.
[12]	严超 1 , 王元庆 1 ** , 张兆扬 2. 基于 AdaBoost 和 Kalman 算法的人眼检测与跟踪* [J]. 南京大学学报(自然科学版), 2010, 46(6): 681-687.