南京大学学报(自然科学版) ›› 2021, Vol. 57 ›› Issue (5): 735–749.doi: 10.13232/j.cnki.jnju.2021.05.003

• • 上一篇    

基于深度对抗网络和局部模糊探测的目标运动去模糊

陈磊1,2, 孙权森2(), 王凡海2   

  1. 1.河南大学软件学院，开封，475004
    2.南京理工大学计算机科学与工程学院，南京，210094
  • 收稿日期:2021-05-31 出版日期:2021-09-29 发布日期:2021-09-29
  • 通讯作者: 孙权森 E-mail:sunquansen@njust.edu.cn
  • 作者简介:E⁃mail：sunquansen@njust.edu.cn
  • 基金资助:
    国家自然科学基金(61273251)

Object motion deblurring via neural generative networks and local blur detection

Lei Chen1,2, Quansen Sun2(), Fanhai Wang2   

  1. 1.School of Software，Henan University，Kaifeng，475004，China
    2.School of Computer Science and Engineering，Nanjing University of Science and Technology，Nanjing，210094, China
  • Received:2021-05-31 Online:2021-09-29 Published:2021-09-29
  • Contact: Quansen Sun E-mail:sunquansen@njust.edu.cn

RichHTML

2056

PDF (PC)

851

摘要：

目标运动场景去模糊问题是一个具有挑战性的病态逆问题，这是因为在动态场景中不同目标和背景区域可能会存在不同的模糊核.现有的基于能量优化的去模糊方法是将模糊图像分割成具有不同模糊度的多层图像，然后对不同的模糊层进行去模糊处理，然而其优化方案往往涉及迭代，耗时又烦琐.针对目标区域与背景区域可分离的模糊场景，结合传统的基于能量优化和基于深度学习方法的优点，提出一种基于深度对抗网络和局部模糊探测的目标运动场景去模糊模型，该模型由三个生成网络组成，用以建模潜在清晰图像、模糊核和模糊图像的权重变量.模型采用深度图像先验（Deep Image Prior，DIP）作为潜在清晰图像的正则化项，使用非对称跳跃连接自编码器生成潜在图像；采用全连接网络（Fully?Connected Network，FCN）生成模糊核.为了准确地获取模糊图像的分割结果，提出三条准则来指导权值变量网络结构的设计.实验结果表明，该方法同其他传统方法相比可以显著地提升重构性能，视觉效果更好.

关键词: 目标运动去模糊, 深度图像先验, 生成网络, 深度学习

Abstract:

Object motion deblurring is a challenging ill?conditioned inverse problem，because different blur kernels exist in object regions and background regions of the dynamic scenes due to movements in various directions and speed. Most existing energy optimization?based methods address this problem by segmenting the blurry images into multiple layers with different blurs，and then conducting deblurring process separately in different blur layers. However，they often involve iterative，time?intensive，and cumbersome optimization schemes，and the segmentation cannot be obtained accurately as a critical role in object motion deblurring. The purpose of this paper is to combine the advantages of deep Convolutional Neural Networks (CNNs)?based methods and conventional energy optimization?based methods. Aa self?tuning neural network is proposed for object motion deblurring which is composed of three generative networks to model the deep priors of clean image，blur kernel and the weight variables of object motion images respectively. In this network，Deep Image Prior (DIP) is used as the regularization of the latent clean image，and an asymmetric autoencoder with skip connections is adopted to generate the latent clean image. A Fully?Connected Network (FCN) is adopted to generate blur kernels. To obtain the segmentation of object motion images accurately，three rules are presented to design the specific generative network elaborately which produces the weight variables. Our preliminary experiments have been conducted for static scenes and object motion scenes deblurring，which show that the proposed method can achieve notable quantitative gains as well as more visually plausible deblurring results compared to state?of?the?art methods.

Key words: object motion deblurring, Deep Image Prior (DIP), generative network, deep learning

中图分类号: 

  • TP391

图1

本文模型在Lai et al[14]数据集上的一幅模糊图像的重构结果：(a)原始模糊图像；(b)模糊图像被自适应地分割为两个模糊区域，左上和右下区域为对应分割区域的模糊核；(c)使用本文生成模型的去模糊结果"

表 1

常用公式符号及其含义"

公式符号含义
L潜在清晰图像
W图像分割的权重变量
K模糊核
B模糊观测图像
GL生成网络模型，用来生成潜在清晰图像
GW生成网络模型，用来生成模糊分割图
GK生成网络模型，用来生成模糊核
?*∈?0,?x,?y原始图像及其在水平和垂直方向上的梯度
Edata数据保真项
Ereg正则化项

图2

本文提出的目标运动场景去模糊的深度网络生成模型"

图3

生成网络模型GL"

图4

生成网络模型GW"

图5

生成网络GW输入的模糊测度示例：(a)原始模糊图像；(b)峰度测度；(c)梯度直方图跨度；(d)光谱测度；(e)最大饱和度；(f)模糊检测数据集(BDD)[36]提供的真实分割图"

图6

生成网络模型GK"

表2

不同网络结构的GW对重构结果的影响（基于Levin et al[38]的数据集）"

M=1M=2M=3Double?DIP
PSNR30.3433.4132.7127.59
SSIM0.89310.94530.91260.7454

表3

在Levin et al[38]的数据集上不同方法的重构性能对比"

MethodPSNRSSIMError Ratio
Krishnan et al[39]29.880.86662.4523
Levin et al[40]30.800.90921.7724
Sun et al[29]32.990.93301.2847
Pan et al[41]32.690.92841.2555
Ren et al[11]33.320.94381.2509
Proposed33.410.94531.2489

表 4

在Lai et al[14]的数据集上不同方法的重构性能对比"

MethodPSNRSSIMError Ratio
Krishnan et al[39]17.8560.54752.6579
Levin et al[40]18,7590.63472.3464
Sun et al[29]19.0740.64512.1768
Pan et al[41]19.890.66561.9368
Ren et al[11]21.130.73191.5472
Proposed21.240.73071.5128

图 7

生成模型GW在Levin et al数据集[38]上的分割结果"

图8

生成模型GW在 Lai et al数据集[14]上的分割结果"

图9

在Lai et al真实图像数据集[14]上本文模型和一些现有算法重构结果的可视化对比"

图10

本文模型在BDD数据集[36]上的分割结果：(a)来自BDD数据集的目标运动模糊图像；(b)生成网络GW的分割结果；(c) BDD数据集给出真实分割模板"

图11

不同方法在BDD数据集[36]上重构结果的视觉效果对比：(a)来自BDD数据集的模糊图像；(b) Nah et al[26]方法的重构结果；(c)本文模型的重构结果"

1 Li L R H，Pan J S，Lai W S，et al. Blind image deblurring via deep discriminative priors. International Journal of Computer Vision，2019，127(8)：1025-1043.
2 Li Y L，Tofighi M，Geng J Y，et al. Efficient and interpretable deep blind image deblurring via algorithm unrolling. IEEE Transactions on Computational Imaging，2020(6)：666-681.
3 Pan J S，Sun D Q，Pfister H，et al. Blind image deblurring using dark channel prior∥Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA：IEEE，2016：1628-1636.
4 Nah S，Kim T H，Lee K M. Deep multi?scale convolutional neural network for dynamic scene deblurring∥Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，HI，USA：IEEE，2017：257-265.
5 Gong D，Yang J，Liu L Q，et al. From motion blur to motion flow：A deep learning solution for removing heterogeneous motion blur∥Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，HI，USA：IEEE，2017：3806-3815.
6 Noroozi M，Chandramouli P，Favaro P. Motion deblurring in the wild∥German Conference on Pattern Recognition. Springer Basel Switzerland，2017：65-77.
7 Sun J，Cao W F，Xu Z B，et al. Learning a convolutional neural network for non?uniform motion blur removal∥Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston，MA，USA：IEEE，2015：769-777.
8 Levin A. Blind motion deblurring using image statistics∥Proceedings of the 19th International Conference on Neural Information Processing Systems. Cambridge，MA,USA：MIT Press，2006：841-848.
9 Hyun K T，Ahn B，Mu L K. Dynamic scene deblurring∥Proceedings of the IEEE International Conference on Computer Vision. Sydney,Australia：IEEE， 2013:3160-3167.
10 Pan J S，Hu Z，Su Z X，et al. Soft?segmentation guided object motion deblurring∥Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA：IEEE，2016：459-468.
11 Ren D W，Zhang K，Wang Q L，et al. Neural blind deconvolution using deep priors∥Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle，WA，USA：IEEE，2020：3338-3347.
12 Lempitsky V，Vedaldi A，Ulyanov D. Deep image prior∥Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT，USA：IEEE，2018：9446-9454.
13 Shi Y，Song J，Hua X. Poissonian image deblurring method by non?local total variation and framelet regularization constraint. Computers & Electrical Engineering，2017(62)：319-329.
14 Lai W S，Huang J B，Hu Z，et al. A comparative study for single image blind deblurring∥Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA：IEEE，2016：1701-1709.
15 Kim T H，Lee K M. Segmentation?free dynamic scene deblurring∥Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus，OH，USA：IEEE，2014：2766-2773.
16 Chakrabarti A. A neural approach to blind motion deblurring∥European Conference on Computer Vision. Amsterdam,The Netherlands:Springer，2016：221-235.
17 Schuler C J，Hirsch M，Harmeling S，et al. Learning to deblur. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38(7)：1439-1451.
18 Yan R M，Shao L. Blind image blur estimation via deep learning. IEEE Transactions on Image Processing，2016，25(4)：1910-1921.
19 Zhang J W，Pan J S，Ren J，et al. Dynamic scene deblurring using spatially variant recurrent neural networks∥Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT，USA：IEEE，2018：2521-2529.
20 Zoran D，Weiss Y. From learning models of natural image patches to whole image restoration∥2011 International Conference on Computer Vision. Barcelona，Spain：IEEE，2011：479-486.
21 Fergus R，Singh B，Hertzmann A，et al. Removing camera shake from a single photograph. ACM Transactions on Graphics，2006，25(3)：787-794.
22 Levin A，Weiss Y，Durand F，et al. Efficient marginal likelihood optimization in blind deconvolution∥2011 IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs，CO，USA：IEEE，2011：2657-2664.
23 Babacan S D，Molina R，Katsaggelos A K. Variational Bayesian blind deconvolution using a total variation prior. IEEE Transactions on Image Processing，2009，18(1)：12-26.
24 Fan H Y，Li C，Guo Y L，et al. Spatial–spectral total variation regularized low?rank tensor decomposition for hyperspectral image denoising. IEEE Transactions on Geoscience and Remote Sensing，2018，56(10)：6196-6213.
25 Perrone D，Favaro P. Total variation blind deconvolution：the devil is in the details∥Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus，OH，USA：IEEE，2014：2909-2916.
26 Tzikas D，Likas A，Galatsanos N. Variational Bayesian blind image deconvolution with student?T priors∥2007 IEEE International Conference on Image Processing. San Antonio，TX，USA：IEEE，2007：I?109-I?112.
27 Babacan S D，Molina R，Do M N，et al. Bayesian blind deconvolution with general sparse image priors∥European Conference on Computer Vision. Florence，Italy：Springer，2012：341-355.
28 Lai W S，Ding J J，Lin Y Y，et al. Blur kernel estimation using normalized color?line priors∥Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston，MA，USA：IEEE，2015：64-72.
29 Sun L B，Cho S，Wang J，et al. Edge?based blur kernel estimation using patch priors∥IEEE International Conference on Computational Photography. Cambridge，MA，USA：IEEE，2013：1-8.
30 Zhou Y P，Komodakis N. A MAP?estimation framework for blind deblurring using high?level edge priors∥European Conference on Computer Vision. Zurich,Switzerland:Springer，2014：142-157.
31 Yang Y Y，Galatsanos N P，Stark H. Projection?based blind deconvolution. Journal of the Optical Society of America A，1994，11(9)：2401-2409.
32 Lempitsky V，Vedaldi A，Ulyanov D. Deep image prior∥Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT，USA：IEEE，2018：9446-9454.
33 Goodfellow I J，Pouget?Abadie J，Mirza M，et al. Generative adversarial nets∥Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal，Canada：MIT Press，2014：2672-2680.
34 Couzinié?Devy F，Sun J，Alahari K，et al. Learning to estimate and remove non?uniform image blur∥Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland，OR，USA：IEEE，2013：1075-1082.
35 Liu R T，Li Z R，Jia J Y. Image partial blur detection and classification∥2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage，AK，USA：IEEE，2008：1-8.
36 Shi J P，Xu L，Jia J Y. Discriminative blur detection features∥Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus，OH，USA：IEEE，2014：2965-2972.
37 Kanezaki A. Unsupervised image segmentation by backpropagation∥2018 IEEE international Conference on Acoustics，Speech and Signal Processing. Calgary，Canada：IEEE，2018：1543-1547.
38 Levin A，Weiss Y，Durand F，et al. Understanding and evaluating blind deconvolution algorithms∥2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami，FL，USA：IEEE，2009：1964-1971.
39 Krishnan D，Tay T，Fergus R. Blind deconvolution using a normalized sparsity measure∥2011 IEEE Conference on Computer Vision and Pattern Recognition Colorado Springs，CO，USA：IEEE，2011：233-240.
40 Levin A，Weiss Y，Durand F，et al. Understanding and evaluating blind deconvolution algorithms. IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(12)：2354-2367.
41 Pan J S，Sun D Q，Pfister H，et al. Deblurring images via dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40(10)：2315-2328.
42 Xu L，Zheng S C，Jia J Y. Unnatural l0 sparse representation for natural image deblurring∥Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland，OR，USA：IEEE，2013：1107-1114.
[1] 贾霄, 郭顺心, 赵红. 基于图像属性的零样本分类方法综述[J]. 南京大学学报(自然科学版), 2021, 57(4): 531-543.
[2] 普志方, 陈秀宏. 基于卷积神经网络的细胞核图像分割算法[J]. 南京大学学报(自然科学版), 2021, 57(4): 566-574.
[3] 段建设, 崔超然, 宋广乐, 马乐乐, 马玉玲, 尹义龙. 基于多尺度注意力融合的知识追踪方法[J]. 南京大学学报(自然科学版), 2021, 57(4): 591-598.
[4] 罗金屯, 滕飞, 周亚波, 池茂儒, 张海波. 数据驱动的高速铁路轮轨作用力反演模型[J]. 南京大学学报(自然科学版), 2021, 57(2): 299-308.
[5] 曾宪华, 陆宇喆, 童世玥, 徐黎明. 结合马尔科夫场和格拉姆矩阵特征的写实类图像风格迁移[J]. 南京大学学报(自然科学版), 2021, 57(1): 1-9.
[6] 余方超, 方贤进, 张又文, 杨高明, 王丽. 增强深度学习中的差分隐私防御机制[J]. 南京大学学报(自然科学版), 2021, 57(1): 10-20.
[7] 张萌, 韩冰, 王哲, 尤富生, 李浩然. 基于深度主动学习的甲状腺癌病理图像分类方法[J]. 南京大学学报(自然科学版), 2021, 57(1): 21-28.
[8] 李一凡, 朱斐, 凌兴宏, 刘全. 具有窗口结构Bi⁃LSTM网络的心电图QRS波检测方法[J]. 南京大学学报(自然科学版), 2021, 57(1): 42-51.
[9] 温玉莲, 林培光. 基于行业背景差异下的金融时间序列预测方法[J]. 南京大学学报(自然科学版), 2021, 57(1): 90-100.
[10] 潘越,王骏,李文飞,张建,王炜. 基于卷积神经网络的蛋白质折叠类型最小特征提取[J]. 南京大学学报(自然科学版), 2020, 56(5): 744-753.
[11] 朱伟,张帅,辛晓燕,李文飞,王骏,张建,王炜. 结合区域检测和注意力机制的胸片自动定位与识别[J]. 南京大学学报(自然科学版), 2020, 56(4): 591-600.
[12] 李康,谢宁,李旭,谭凯. 基于卷积神经网络和几何优化的统计染色体核型分析方法[J]. 南京大学学报(自然科学版), 2020, 56(1): 116-124.
[13] 韩普,刘亦卓,李晓艳. 基于深度学习和多特征融合的中文电子病历实体识别研究[J]. 南京大学学报(自然科学版), 2019, 55(6): 942-951.
[14] 张家精,夏巽鹏,陈金兰,倪友聪. 基于张量分解和深度学习的混合推荐算法[J]. 南京大学学报(自然科学版), 2019, 55(6): 952-959.
[15] 钟琪,冯亚琴,王蔚. 跨语言语料库的语音情感识别对比研究[J]. 南京大学学报(自然科学版), 2019, 55(5): 765-773.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
No Suggested Reading articles found!

版权所有 © 2021 《南京大学学报(自然科学)》

地址：江苏省南京市鼓楼区汉口路22号，南京大学学报编辑部，210093

电话：025-83592704 , 传真：025-83592704        技术支持：北京玛格泰克科技发展有限公司