AdaBoost图像到类距离学习的图像分类方法

图1 图像到类距离的分类过程

Fig.1 The flow of image to classification

2 图像到类距离

先给出相关定义， $\{X_{1}, ⋯, X_{M}\}$ 表示训练样本集，M是训练样本的数量，每一个训练样本 $X_{i}$ 是从相应的单幅样本图像提取的特征点集合，且每个训练样本都有一个对应于类别c的二进制类别标志 $Y_{i}^{c} ∈ \{- 1, + 1\}$ .

使用AdaBoost算法^[15]来学习局部特征到类的距离.根据AdaBoost算法的原理，定义图像 $X_{i}$ 到类c距离的强分类器如式(1)所示：

D i s t (X_{i}, c) = \overset{N}{∑_{k = 1}} φ_{k} (X_{i}, c)

(1)

其中， $N$ 为迭代的次数，每次迭代都会产生一个最优的弱分类器 $φ_{k}$ 来更新强分类器 $D i s t$ .在这里，弱分类器 $φ_{k}$ 表示图像到类的距离评价函数.评价图像到类的距离常选用欧氏距离或Mahalanobis距离，欧式距离的计算简单，而Mahalanobis距离的度量矩阵学习起来较为复杂.实际场境中的图像类内变化突出、类间界限模糊，且图像中往往包含大量噪声，这些都会影响距离评价函数的效果.为此，本文将图像到类的距离进行阈值化处理以便于产生一个适应能力更好的距离评价函数， $φ_{k}$ 的定义如式(2)所示：

φ_{k} (X_{i}, c) = \{\begin{matrix} \begin{matrix} α_{k}^{c} & i f \end{matrix} \bar{d} (X_{i}, c) < t_{k}^{c} \\ \begin{matrix} β_{k}^{c} & o t h e r w i s e \end{matrix} \end{matrix}

(2)

其中， $\bar{d} (X_{i}, c) = \frac{\overset{m_{i}}{∑_{j = 1}} d (f_{i j}, f_{i j}^{c})}{m_{i}}$ ， $m_{i}$ 表示从图像X_i提取的特征数量， $f_{i j}$ 表示提取的第j个特征， $f_{i j}^{c}$ 表示类c中距离 $f_{i j}$ 的最近邻特征， $d (f_{i j}, f_{i j}^{c})$ 是一个距离度量函数，这里选用简单的欧式距离进行度量. $t_{k}^{c}$ 是一个图像相似性阈值， $α_{k}^{c}$ 表示两幅图像在足够相似的情况下的评价值，而 $β_{k}^{c}$ 则表示两幅图像在不足够相似情况下的评价值.它们都是要优化学习的参数，但在确定 $α_{k}^{c}$ 和 $β_{k}^{c}$ 的值之前，需要先确定 $t_{k}^{c}$ 的值.

本文在AdaBoost算法的每次迭代过程中都使用粒子群优化算法优化 $t_{k}^{c}$ 的值，该算法中每个粒子的位置都是 $t_{k}^{c}$ 的可能取值，而整个粒子群的全局最优位置就是 $t_{k}^{c}$ 的最优值.在粒子移动的迭代过程中，粒子会通过适应值来展现其目前的优劣程度，本文使用权重错误误差 $e_{k}^{c}$ 作为算法学习过程中的粒子适应值.第k次迭代过程中，参数 $t_{k}^{c}$ 值的学习过程如下所示：

（1）初始化粒子群，确定 $t_{k}^{c}$ 的初始值集合.

（2）计算每个粒子的适应值，获得粒子的个体最优位置和群体最优位置.

（3）更新第k个弱分类器，并更新粒子群中粒子的速度和位置.

（4）判断是否终止，否则转向第(2)步执行.

确定 $t_{k}^{c}$ 值之后，给出 $α_{k}^{c}$ 和 $β_{k}^{c}$ 优化的过程. $W_{+ +}^{c}$ 表示由弱分类器 $φ_{k}$ 所标记为正类的正训练样本的权重和，而 $W_{+ -}^{c}$ 表示由弱分类器 $φ_{k}$ 所标记为负类的正训练样本的权重和；同样的， $W_{- -}^{c}$ 和 $W_{- +}^{c}$ 分别表示真负和假正训练样本的权重和.也就是说，这四个权重可由式(3)计算得到：

W_{+ +}^{c} = ∑_{Y_{i} = 1 ∧ \bar{d} (X_{i}, c) < t_{k}^{c}} w_{i}

W_{+ -}^{c} = ∑_{Y_{i} = 1 ∧ \bar{d} (X_{i}, c) ≥ t_{k}^{c}} w_{i}

W_{- +}^{c} = ∑_{Y_{i} = - 1 ∧ \bar{d} (X_{i}, c) < t_{k}^{c}} w_{i}

W_{- -}^{c} = ∑_{Y_{i} = - 1 ∧ \bar{d} (X_{i}, c) ≥ t_{k}^{c}} w_{i}

(3)

在AdaBoost算法的每次迭代过程中，希望所选择合适的 $t_{k}^{c}$ 值能最小化训练样本的权重错误，如式（4）所示：

e_{k}^{c} = ∑_{Y_{i} = 1 ∧ \bar{d} (X_{i}, c) ≥ t_{k}^{c}} w_{i} + ∑_{Y_{i} = - 1 ∧ \bar{d} (X_{i}, c) < t_{k}^{c}} w_{i} = W_{+ -}^{c} + W_{- +}^{c}

(4)

为了得到最佳的 $α_{k}^{c}$ 和 $β_{k}^{c}$ 值，对式(5)^[16]进行最优化：

Z_{k}^{c} = \overset{M}{∑_{i = 1}} w_{i} e^{- Y_{i} φ_{k} (X_{i}, c)}

(5)

为了最优化式(5)，对其进行如下分解：

\begin{array}{l} Z_{k}^{c} = ∑_{Y_{i} = 1} w_{i} e^{- φ_{k} (X_{i}, c)} + ∑_{Y_{i} = - 1} w_{i} e^{φ_{k} (X_{i}, c)} = \\ ∑_{Y_{i} = 1 ∧ \bar{d} (X_{i}, c) < t_{k}^{c}} w_{i} e^{- α_{k}^{c}} + ∑_{Y_{i} = 1 ∧ \bar{d} (X_{i}, c) ≥ t_{k}^{c}} w_{i j} e^{- β_{k}^{c}} + \\ ∑_{Y_{i} = - 1 ∧ \bar{d} (X_{i}, c) < t_{k}^{c}} w_{i j} e^{α_{k}^{c}} + ∑_{Y_{i} = - 1 ∧ \bar{d} (X_{i}, c) ≥ t_{k}^{c}} w_{i j} e^{β_{k}^{c}} = \\ W_{+}^{+} e^{- α_{k}^{c}} + W_{+}^{-} e^{- β_{k}^{c}} + W_{-}^{+} e^{α_{k}^{c}} + W_{-}^{-} e^{β_{k}^{c}} \end{array}

(6)

对式(6)分别求 $α_{k}^{c}$ 和 $β_{k}^{c}$ 的偏导数并都设置其值为零，则可确定这两个参数的最优值，如式(7)所示：

α_{k}^{c} = \frac{1}{2} l g (\frac{W_{+}^{+}}{W_{-}^{+}}), β_{k}^{c} = \frac{1}{2} l g (\frac{W_{+}^{-}}{W_{-}^{-}})

(7)

跟经典的AdaBoost算法一样，训练样本的权重在每次迭代中都要被更新，如式(8)所示：

w_{i}^{k + 1} = w_{i}^{k} e^{- Y_{i} φ_{k} (X_{i}, c)}

(8)

3 实验结果及分析

为了验证本文所提方法的有效性，在Scene⁃15和Caltech⁃101两个不同的数据集上进行测试，它们分别包含15类和101类各种不同场景下具有代表性的图像集合.对于Caltech⁃101数据集，只选取bufferfly，carside，goat，face，bear和rifle六类图像进行实验.对于这两个图像数据集，随机抽取每一类的100幅图像用于训练和测试，并使用SIFT特征作为图像所提取的局部特征描述符.

在本文所使用的粒子群优化算法中，粒子数量设置为50，算法的终止条件为权重错误误差 $e_{k}^{c}$ 为0.1.为了融合空间信息，Wang et al^[7]结合空间金字塔和图像到类的距离，以逐渐精细的方式将图像递归地划分成子区域，进一步提高分类性能.在实验过程中，本文对所有参与对比的方法也都采用空间金字塔，所使用的空间层次及区域块大小为1×1，2×2，4×4，且文中所有的实验都在i5⁃3210 2.5 GHz CPU 6 G内存64位Windows 10操作系统下进行.

在AdaBoost算法中，弱分类器的数量会对图像分类的准确性产生作用.为此，本文在Scene⁃15和Caltech⁃101图像数据集上观察弱分类器数量对分类器准确性的影响，如图2和图3所示.通过对这两个图的观察可以看出，随着迭代次数的增加，在Scene⁃15图像集上的分类准确率提升较快，而在Caltech⁃101上则提升较慢，在这也符合Caltech⁃101数据集中的图像类内和类间的差异大、分类难度更高的特征.为了能更好地适应在不同图像数据集上的分类，在进行实验对比时，在Scene⁃15数据集上的AdaBoost算法的迭代次数设置为70，而将在Caltech⁃101数据集上的AdaBoost算法的迭代次数设置为80.

图2

图2 Scene⁃15图像集中AdaBoost 算法迭代次数与分类准确率的关系

Fig.2 The relationship between the number of iterations for AdaBoost algorithm and classification accuracy on Scene⁃15 dataset

图3

图3 Caltech⁃101图像集中AdaBoost 算法迭代次数与分类准确率的关系

Fig.3 The relationship between the number of iterations for AdaBoost algorithm and classification accuracy on Caltech⁃101 dataset

在Scene⁃15和Caltech⁃101这两个图像集上使用本文方法和NBNN （Naive Bayes Nearest Neighbor）^[6]，LI2C （Learning Image to Class）^[8]方法在每一类别图像上进行分类性能对比，如图4和图5所示.可以看出，本文方法对较难识别的图像（如suburb，carside等）跟其他方法相差不大，但对于那些难以识别图像（如living room，bufferfly等）的分类准确性仍然较高.总之，本文方法能更有效地提高基于图像到类距离的图像分类性能.

图4

图4 Scene⁃15图像集中每种类别上不同方法的图像分类性能对比

Fig.4 The comparison of per⁃category classification accuracy of three methods on Scene⁃15 dataset

图5

图5 Caltech⁃101图像集中每种类别上不同方法的图像分类性能对比

Fig.5 The comparison of per⁃category classification accuracy of three methods on Caltech⁃101 dataset

图6给出本文方法、LI2C和NBNN三种方法分别在Scene⁃15数据集上进行实验所得到的ROC（Receiver Operating Characteristic）曲线.

图6

图6 不同方法在Scene⁃15数据集上的ROC曲线

Fig.6 The ROC curves of different methods on Scene⁃15 dataset

由图6可见，本文方法的ROC曲线下的区域面积比其他两个方法的面积大一些，这也证明本文方法的分类性能要高于其他算法.表1列出了NBNN，LI2C，Local NBNN^[9]，LDC （Linear Distance Coding）^[10]，SI2C （Saliency⁃aware Image to Class）^[14]和本文方法在Scene⁃15和Caltech⁃101图像集上的平均分类准确性的情况.可以看出：NBNN的准确性最低；LI2C对图像到类距离上的权重进行学习，提高了图像分类的抗干扰能力；Local NBNN利用局部邻域图像特征到类的距离，加快了分类速度；LDC通过对图像到类的距离进行稀疏编码，增强其泛化能力；SI2C将视觉显著性应用于图像到类距离的计算，但在类内变化较大、背景复杂的情况下仍表现不好.本文通过构造一个适应能力强的距离评价函数作为弱分类器，并使用AdaBoost算法生成一个强分类器来获得更好的分类效果，本文方法在两个数据集上的分类准确率比SI2C都高出3%以上.

表1 不同方法的平均分类准确性（%）对比

Table 1 The average classification （%） of different methods

方法	Scene⁃15	Caltech⁃101
NBNN	78.7 $\pm$ 0.74	71.6 $\pm$ 1.12
LI2C	81.7 $\pm$ 0.54	77.8 $\pm$ 0.98
Local NBNN	83.3 $\pm$ 0.59	79.4 $\pm$ 1.10
LDC	84.4 $\pm$ 0.52	80.3 $\pm$ 0.95
SI2C	86.5 $\pm$ 0.50	81.2 $\pm$ 0.81
本文方法	89.8 $\pm$ 0.44	84.7 $\pm$ 0.78

新窗口打开| 下载CSV

4 结论

本研究对基于图像到类距离的图像分类方法进行改进，提出在AdaBoost算法框架下学习图像到类距离的分类方法.首先，为构造一个适应能力强的距离评价函数，对图像到类的距离进行阈值化处理，并将其作为弱分类器加入到AdaBoost算法中；其次，为学习距离评价函数的参数，分别使用粒子群优化算法和误差最小化原理去选择最佳的弱分类器.实验证明，本文提出的方法能有效地提高基于图像到类距离的分类性能.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Zhang

,Zhen

X T

，Shao

Learning object⁃to⁃class kernels for scene classification

IEEE Transactions on Image Processing，2014，23(8)：3241-3253.

[2]

Moutafis

，Leng

M J

，Kakadiaris

I A

An overview and empirical comparison of distance metric learning methods

IEEE Transactions on Cybernetics，2016，47(3)：612-625.

[3]

Rasche

Rapid contour detection for image classification

IET Image Processing，2017，12(4)：532-538.

[4]

Tang

，Wang

X G

，Feng

，et al.

Learning multi⁃instance deep discriminative patterns for image classification

IEEE Transactions on Image Processing，2017，26(7)：3385-3396.

[5]

Y W

，Lai

Z H

，Li

X L

，et al.

Learning parts⁃based and global representation for image classification

IEEE Transactions on Circuits and Systems for Video Technology，2018，28(12)：3345-3360.

[6]

Boiman

，Shechtman

，Irani

In defense of nearest⁃neighbor based image classification

∥IEEE Conference on Computer Vision and Pattern Recognition. Anchorage，AL，USA：IEEE，2008：1-8.

[7]

Wang

Z X

，Hu

Y Q

，Chia

L T

Image⁃to⁃class distance metric learning for image classification

∥European Conference on Computer Vision. Springer Berlin Heidelberg，2010：709-719.

[8]

Wang

Z X

，Hu

Y Q

，Chia

L T

Improved learning of I2C distance and accelerating the neighborhood search for image classification

Pattern Recognition，2011，44(10-11)：2384-2394.

[9]

McCann

，Lowe

D G

Local naive bayes nearest neighbor for image classification

∥2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence，RI，USA：IEEE，2012：3650-3656.

[10]

Wang

Z L

，Feng

J S

，Yan

S C

，et al.

Linear distance coding for image classification

IEEE trAnsactions on Image Processing，2013，22(2)：537-548.

[11]

Wang

Z L

，Feng

J S

，Yan

S C

Collaborative linear coding for robust image classification

International Journal of Computer Vision，2015，114(2-3)：322-333.

[12]

Qiao

S Y

，Li

Z L

Discriminative learning of I2C distance for image classification

∥The 27^th Chinese Control and Decision Conference. Qingdao，China：IEEE，2015：1371-1375.

[13]

Tan

S B

，Liu

，Peng

C Y

，et al.

Image⁃to⁃class distance ratio：a feature filtering metric for image classification

Neurocomputing，2015，165：211-221.

[14]

Peng

Context⁃aware image⁃to⁃class distances from image classification

Ph.D Dissertation. Sheffield：University of Sheffield，2017.

[15]

Wang

H J

，Hu

J N

，Deng

W H

Face feature extraction：a complete review

IEEE Access，2017，6：6001-6039.

[16]

Fernández⁃Baldera

，Buenaposada

J M

，Baumela

BAdaCost：multi⁃class boosting with costs

Pattern Recognition，2018，79：467-479.