利用图像类标信息的自调式字典学习方法

南京大学学报(自然科学版) ›› 2015, Vol. 51 ›› Issue (2): 320–327.

利用图像类标信息的自调式字典学习方法

王喆正, 唐晔, 杨育彬 *

出版日期:2015-03-20 发布日期:2015-03-20
作者简介:?( 南京大学计算机软件新技术国家重点实验室, 南京, 2 1 0 0 2 3 )
基金资助:
?教育部新世纪优秀人才计划( N C E T-1 1-0 2 1 3 ) , 国家自然科学基金(61273257 , 61321491 , 61035003) , 江苏省六大人才高峰项目(2013-XXRJ -018 )

S e l f - p a c e dd i c t i o n a r y l e a r n i n gw i t h l a b e l i n f o r m a t i o nf o r i m a g e c l a s s i f i c a t i o n

Wa ng Zhe zheng , Tang Ye , Yang Yubin *

Online:2015-03-20 Published:2015-03-20
About author:?( S t a t eK e yL a b o r a t o r yf o rN o v e lS o f t w a r eT e c h n o l o g y , N a n j i n gU n i v e r s i t y , N a n j i n g , 2 1 0 0 2 3 , C h i n a )

摘要/Abstract

摘要： 字典学习是图像分类的关键研究问题之一 . 现有的字典学习方法大都假设所有训练样本同等重要 . 实际上, 训练样本由于样本之间关联性作为一种“ 隐藏属性” 是未知的, 因此, 训练样本的学习顺序也与学习效果密切相
关 . 提出一种将自调学习机制融合于字典更新过程的新型字典学习方法, 在字典学习中, 学习的过程并不是一次处理所有训练样例, 而是从简单的训练样例学起, 通过迭代逐步扩展至整个训练数据集 . 针对自调式过程是一种无监
督式的学习这一特点, 融合类标机制, 利用图像类标信息进行监督, 得到一种更加高效的简单样本判别方法, 从而提高学习过程中反复迭代的效率 . 在 C a l t e c h - 1 0 1 数据集上进行图像分类实验, 并和其他几种字典学习算法进行了
分析和比较, 结果表明本文算法在字典表示以及分类效果上都取得了更好的效果 .

Abstract: : I m a g ec l a s s i f i c a t i o n i sa n i m p o r t a n t r e s e a r c ht a s k i nm u l t i m e d i ac o n t e n t a n a l y s i sa n dp r o c e s s i n g . D i c t i o n a r y
l e a r n i n g i sa n i m p o r t a n t r e s e a r c h t a s k i n t h e s t a t e - o f - t h e - a r t i m a g e c l a s s i f i c a t i o n f r a m e w o r k. M o s t e x i s t i n gd i c t i o n a r y
l e a r n i n ga p p r o a c h e s i g n o r e t h e “ h i d d e n ” i n f o r m a t i o no f s a m p l e s a n da s s i g ne q u a l i m p o r t a n c e t oa l l t r a i n i n gs a m p l e s ,
w h i c h i nf a c t h a v ed i f f e r e n t c o m p l e x i t y i n t e r m so f s p a r s e r e p r e s e n t a t i o n . I na l l o f t h e a d v a n c e dm e t h o d s , a s e l f - p a c e d
d i c t i o n a r y l e a r n i n ga l g o r i t h ms o l v e s t h ep r o b l e ma n dh a saw e l l e f f i c i e n c y . T h ea l g o r i t h mu s e st h ee a s ys a m p l e st o
t r a i nt h ed i c t i o n a r yf i r s t , a n dt h e ni t e r a t i v e l yi n t r o d u c e sm o r ec o m p l e xs a m p l e s i nt h er e m a i n i n gt r a i n i n gp r o c e d u r e
u n t i l t h ee n t i r e t r a i n i n gd a t aa r e a l l e a s ys a m p l e s . M e a n w h i l e , l a b e l i n f o r m a t i o nw i t he a c hd i c t i o n a r y i t e m ( c o l u m n so f
t h ed i c t i o n a r ym a t r i x ) a sa “ h i d d e n ” i n f o r m a t i o n i su s e dt oe n f o r c ed i s c r i m i n a b i l i t y i ns p a r s ec o d e sd u r i n gd i c t i o n a r y
l e a r n i n gp r o c e s s . I nt h i sp a p e r , w ep r o p o s eas e l f - p a c e dd i c t i o n a r y l e a r n i n ga l g o r i t h mu s i n gt h e c l a s s l a b e l o f t r a i n i n g
d a t a , t of i n da ne f f i c i e n tm e t h o dt od e t e r m i n e t h ee a s ys a m p l e s , a n d i m p r o v e t h ec l a s s i f i c a t i o na c c u r a c y . S p e c i f i c a l l y ,
w ea d da l a b e l c o n s i s t e n t i n f o r m a t i o nc a l l e d “ d i s c r i m i n a t i v es p a r s e - c o d ee r r o r ” i n t ot h eo b j e c t i v ef u n c t i o ni nf i n d i n g
e a s ys a m p l e sp r o c e d u r e t o i m p r o v e t h ee f f i c i e n c yo f s e l f - p a c e dm e t h o d . E x p e r i m e n t a l r e s u l t so nb e n c h m a r kd a t a s e t s
C a l t e c h - 1 0 1s h o wt h a t o u r a l g o r i t h ml e a d s t ob e t t e rd i c t i o n a r yr e p r e s e n t a t i o na n dc l a s s i f i c a t i o np e r f o r m a n c e t h a nt h e
b a s e l i n em e t h o d su n d e r t h es a m e l e a r n i n gc o n d i t i o n s .

王喆正, 唐晔, 杨育彬 *
. 利用图像类标信息的自调式字典学习方法
[J]. 南京大学学报(自然科学版), 2015, 51(2): 320–327.

Wa ng Zhe zheng , Tang Ye , Yang Yubin *
. S e l f - p a c e dd i c t i o n a r y l e a r n i n gw i t h l a b e l i n f o r m a t i o nf o r i m a g e c l a s s i f i c a t i o n
[J]. Journal of Nanjing University(Natural Sciences), 2015, 51(2): 320–327.

参考文献

[ 1 ] S i v i c J , Z i s s e r m a n A.V i d e o g o o g l e : A t e x t r e t r i e v a la p p r o a c ht o o b j e c t m a t c h i n gi nv i d e o s .
I n : I E E EI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e r V i s i o n . N i c e , F r a n c e , 2 0 0 3 , 1 4 7 0~1 4 7 7.
[ 2 ] L a z e b n i kS , S c h m i dC , P o n c eJ . B e y o n db a g so f f e a t u r e s : S p a t i a l p y r a m i d m a t c h i n g f o r
r e c o g n i z i n g n a t u r a ls c e n e c a t e g o r i e s . I n : I E E E C o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c -
o g n i t i o n . N e wY o r k , NY , 2 0 0 6 , 2 1 6 9~2 1 7 8.
[ 3 ] W a n gJJ , Y a n g J C , Y u K , e ta l . L o c a l i t y - c o n s t r a i n e dl i n e a r c o d i n g f o r i m a g e c l a s s i f i c a t i o n .
I n : I E E E C o n f e r e n c eo n C o m p u t e r V i s i o na n d P a t t e r n R e c o g n i t i o n . S a n F r a n c i s c o , C a l i f o r n i a ,
U S A , 2 0 1 0 , 3 3 6 0~3 3 6 7.
[ 4 ] J i a Y Q , H u a n g C , D a r r e l l T. B e y o n ds p a t i a l p y r a m i d s : R e c e p t i v e f i e l d l e a r n i n g f o r p o o l e d
i m a g e f e a t u r e s . I n : I E E EC o n f e r e n c e o nC o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n .P r o v i d e n c e ,
R h o d e I s l a n d , U S A , 2 0 1 2 , 3 3 7 0~3 3 7 7.
[5 ] L iFF , R o bF , P i e t r oP. L e a r n i n gg e n e r a t i v ev i s u - a l m o d e l s f r o m f e w t r a i n i n g e x a m p l e s : A n
i n c r e m e n t a l B a y e s i a n a p p r o a c h t e s t e d o n 1 0 1 o b j e c tc a t e g o r i e s . C o m p u t e r V i s i o n a n dI m a g e
U n d e r s t a n d i n g , 2 0 0 7 , 1 0 6 ( 1 ) : 5 9~7 0.
[ 6 ] C s u r k aG , D a n c eCR , F a nLX , e t a l . V i s u a l c a t e - g o r i z a t i o nw i t hb a g so fk e yp o i n t s . I n : E u r o p e a n
C o n f e r e n c e o n C o m p u t e r V i s i o n W o r k s h o p o n S t a t i s t i c a lL e a r n i n gi nC o m p u t e rV i s i o n . S l o v a n -
s k y o s t r o v , P r a g u e , C z e c hR e p u b l i c , 2 0 0 4 , 1~2 2.
[ 7 ] O l s h a u s e nBA , F i e l dDJ . S p a r s ec o d i n gw i t ha n o v e r c o m p l e t eb a s i ss e t : As t r a t e g ye m p l o y e db y
V 1. V i s i o nR e s e a r c h , 1 9 9 7 , 3 7 ( 2 3 ) : 3 3 1 1~3 3 2 5.
[ 8 ] Y a n gJC , Y uK , G o n gY H , e t a l . L i n e a rs p a t i a l p y r a m i dm a t c h i n gu s i n gs p a r s ec o d i n gf o r i m a g e
c l a s s i f i c a t i o n . I n : I E E E C o n f e r e n c eo nC o m p u t e r V i s i o na n dP a t t e r nR e c o g n i t i o n . M i a m i , F l o r i d a ,
U S A , 2 0 0 9 , 1 7 9 4~1 8 0 1.
[ 9 ] M a i r a l J , B a c hF , P o n c eJ , e t a l . O n l i n e d i c t i o n a r y l e a r n i n g f o r s p a r s e c o d i n g .I n : I n t e r n a t i o n a l
C o n f e r e n c e o n M a c h i n e L e a r n i n g .M o n t r e a l , C a n a d a , 2 0 0 9 : 6 8 9~6 9 6.
[ 1 0 ] T a n gY , Y a n gYB , G a oY. S e l f - p a c e dd i c t i o n a r y l e a r n i n gf o ri m a g ec l a s s i f i c a t i o n . I n : P r o c e e d i n g s
o f t h e 2 0 t h A CMI n t e r n a t i o n a lC o n f e r e n c e o nM u l - t i m e d i a , N a r a , J a p a n , 2 0 1 2 , 8 3 3~8 3 6.
[ 1 1 ]俞亚军, 霍静, 史颖欢等 . S S X C S : 半监督学习分类系统 . 南京大学学报( 自然科学) , 2 0 1 3 , 4 9 ( 5 ) : 6 1 1~6 1 8.
[ 1 2 ] M a i r a lJ , B a c h F , P o n c e J , e ta l . S u p e r v i s e d d i c t i o n a r y l e a r n i n g . A d v a n c e s i n N e u r a l
I n f o r m a t i o nP r o c e s s i n gS y s t e m s . V a n c o u v e r , B C , C a n a d a , 2 0 0 8 , 1 0 3 3~1 0 4 0.
[ 1 3 ] Y a n g J C , Y u K , H u a n g T.S u p e r v i s e d t r a n s l a t i o n - i n v a r i a n t s p a r s e c o d i n g .I n : I E E E
C o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c - o g n i t i o n . S a nF r a n c i s c o , C A , 2 0 1 0 , 3 5 1 7~3 5 2 4.
[ 1 4 ] J i a n g Z L , L i n Z , L a r r y S D.L e a r n i n g a d i s c r i m i n a t i v ed i c t i o n a r yf o rs p a r s ec o d i n g v i a
l a b e lc o n s i s t e n tk - s v d . I n : I E E E C o n f e r e n c eo n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n .
C o l o r a d oS p r i n g s , C O , U S A , 2 0 1 1 , 1 6 9 7~1 7 0 4.
[ 1 5 ] K u m a r M P , P a c k e r B , K o l l e r D. S e l f - P a c e d L e a r n i n gf o rL a t e n tV a r i a b l e M o d e l s . A d v a n c e s
i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s . V a n c o u v e r , B C , C a n a d a , 2 0 1 0 , 1 1 8 9~1 1 9 7
[ 1 6 ] B e n g i o Y , L o u r a d o u r J , C o l l o b e r t R , e t a l . C u r r i c u l u ml e a r n i n g . I n : I n t e r n a t i o n a lC o n f e r e n c e
o n M a c h i n e L e a r n i n g .M o n t r e a l , Q C , C a n a d a , 2 0 0 9 , 4 1~4 8.
[ 1 7 ] L e eYJ , G r a u m a n K. L e a r n i n gt h ee a s yt h i n g s f i r s t : S e l f - p a c e d v i s u a lc a t e g o r y d i s c o v e r y . I n :
I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n .C o l o r a d o S p r i n g s , C O ,
U S A , 2 0 1 1 , 1 7 2 1~1 7 2 8.
[ 1 8 ] L e e H , B a t t l e A , R a i n a R , e t a l .E f f i c i e n t s p a r s e c o d i n ga l g o r i t h m s . A d v a n c e si nN e u r a l I n -
f o r m a t i o n P r o c e s s i n gS y s t e m s . V a n c o u v e r , B C , C a n a d a

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed