南京大学学报(自然科学), 2020, 56(4): 591-600 doi: 10.13232/j.cnki.jnju.2020.04.017

结合区域检测和注意力机制的胸片自动定位与识别

朱伟1,, 张帅1,, 辛晓燕2, 李文飞1, 王骏1,3, 张建,1, 王炜,1

1.南京大学物理学院,南京,210023

2.南京大学附属鼓楼医院放射科 ;南京 210008

3.南京大学计算机软件新技术国家重点实验室,南京,210023

Automatic thoracic disease localization and recognition by combining region proposal network and attention mechanism

Zhu Wei1,, Zhang Shuai1,, Xin Xiaoyan2, Li Wenfei1, Wang Jun1,3, Zhang Jian,1, Wang Wei,1

1.School of Physics,Nanjing University,Nanjing,210023,China

2.Department of Radiology,Nanjing Drum Tower Hospital The Affiliated Hospital of Nanjing University Medical School, Nanjing, 210008,China

3.State Key Laboratory for Novel Software Technology of Nanjing University,Nanjing University,Nanjing,210023,China

通讯作者: E⁃mail:jzhang@nju.edu.cn,wangwei@nju.edu.cn

收稿日期: 2020-05-12   网络出版日期: 2020-08-05

基金资助: 国家自然科学基金.  11774158.  31671026.  11774157.  11574132

First author contact: The first two authors contribute equally.

Received: 2020-05-12   Online: 2020-08-05

摘要

胸部X光片(以下简称胸片)是胸部相关疾病的常用诊断手段,具有辐射量低、速度快、价格低廉等优点,但样本数量巨大,所以开发基于人工智能的、对胸片进行自动识别、分类以及定位的系统具有重大的应用价值.由于胸片拍摄设备不同、胸片质量参差不齐、涉及疾病众多,尤其是缺乏标注框数据集等问题,将深度学习用于胸片的疾病检测和定位仍是一项具有挑战性的任务.为此构建了胸片标注框数据集Chest⁃box,该数据集中包含3952张阳性胸片和9960个标注框.基于此数据集,提出并训练了一个区域检测网络模型,用于提取胸片中所有可能的病变区域,即图像处理领域中的感兴趣区域.以区域检测网络提取的感兴趣区域为注意力信息,进一步发展了DenseNet卷积网络和注意力机制相结合的方法,通过融合原始胸片和感兴趣区域的特征,使模型更专注于感兴趣区域,再对疾病进行识别和定位.在ChestX⁃ray14数据集上的测试表明,该网络模型相比之前的工作,具有极佳的分类性能,并能提供更好的疾病定位信息.

关键词: 胸片 ; 深度学习 ; 卷积神经网络 ; 标注框数据集 ; 区域检测网络 ; 注意力机制网络

Abstract

Chest X⁃rays (CXR) are commonly used in diagnosing thorax diseases since they have low radiation,quick and inexpensive. The volume of CXR samples is large. It is of practical importance to develop automatic systems for recognizing,classifying and localizing diseases from CXR images. However,it is challenging to develop systems with deep learning,due to the difference in X⁃ray devices,quality of images,larger number of relevant diseases,and particularly,the lack of bounding box dataset. In this work,we built a bounding box dataset,named Chest⁃box,which contains 3952 positive CXR images and 9960 bounding boxes. We then developed a region proposal model to extract the regions of interest (ROI). Using the ROIs as attention information,we further employed the DenseNet121 network with attention mechanism to recognize the images and localize relevant diseases. The network uses both the whole image as well as the ROIs to extract features,and is better at focusing on the ROIs than previous models. The testing on the ChestX⁃ray14 dataset and comparison with previous works show that our approach has the state⁃of⁃the⁃art performance in both classification and localization of diseases.

Keywords: chest X⁃ray ; deep learning ; convolutional neural networks ; bounding box dataset ; region proposal network ; attention mechanism network

PDF (1688KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

朱伟, 张帅, 辛晓燕, 李文飞, 王骏, 张建, 王炜. 结合区域检测和注意力机制的胸片自动定位与识别. 南京大学学报(自然科学)[J], 2020, 56(4): 591-600 doi:10.13232/j.cnki.jnju.2020.04.017

Zhu Wei, Zhang Shuai, Xin Xiaoyan, Li Wenfei, Wang Jun, Zhang Jian, Wang Wei. Automatic thoracic disease localization and recognition by combining region proposal network and attention mechanism. Journal of nanjing University[J], 2020, 56(4): 591-600 doi:10.13232/j.cnki.jnju.2020.04.017

胸部X线光片(Chest X⁃ray radiographs,CXR)是临床上使用最广泛的医学成像技术[1],也是早期发现肺肿瘤、肺结核、肺炎、气胸、心脏病等各类胸部疾病的重要手段,具有重要的临床应用价值.胸片的成本较低而且拍摄速度很快,这使得胸片的使用率通常高于其他医学影像技术,医院每天都拍摄大量的胸片.然而胸片的解读过程并不容易,一方面专业的放射科医生解读一张胸片平均需要一到两分钟,每天解读数百张胸片是一项繁重的任务;另一方面长时间地连续解读胸片容易造成误诊或者漏诊[2-3].因此,可靠的胸片辅助诊断系统对于减轻医生解读胸片的工作量和提高诊断的准确率具有重要的意义.

近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用.

胸片的辅助诊断任务除了直接判断疾病的分类任务,还需要对病变区域进行定位,这些定位能够为医生提供更具体和有价值的诊断信息.对胸片病变区域的分类和定位在深度学习中也称为目标检测任务,目前已经有很多相关的算法.Ypsilantis and Montana[18]使用循环神经网络(Recurrent Neural Network,RNN)模型获得了胸片异常区域的定位.Guan et al[19]利用注意力引导的卷积神经网络(Attention Guided Convolution Neural Network,AG⁃CNN)来学习胸片病变的相关区域.Li et al[20]利用NIH数据集中少量标注框信息进行弱监督学习来对胸片进行疾病分类和定位,由于使用了少量标注框的信息,其模型效果有了明显提升.然而到目前为止,公开的胸片数据集中很少有病变区域的标注框信息,仅NIH提供的ChestX⁃ray14[11]数据集中包含880张含标注框信息的胸片,这使基于深度神经网络的定位学习更加困难.

为了提高神经网络对胸片病变区域的定位能力并进一步提升模型的分类效果,本文首先构建一个胸片病变标注框数据集Chest⁃box,包含3952张阳性胸片,每张胸片均有相应病变区域的标注框信息.然后以Chest⁃box数据集为训练集,结合特征金字塔FPN(Feature Pyramid Networks)[21]和Faster RCNN[22]的RPN构建了区域候选网络用于提取胸片的感兴趣区域(Region of Interest,ROI).最后利用注意力机制的方法将区域检测网络得到的胸片ROI作为权重生成原始胸片的注意力图,再将注意力图提取的特征融入原始图片的特征中进行疾病的分类和定位.本文的算法能够有效地提取胸片的ROI,并且能够同时达到较高的分类准确度和病变区域定位准确度.

1 神经网络模型

本文的神经网络模型包含两个主要部分,区域检测网络和注意力机制网络.区域检测网络用于提取胸片的ROI,注意力机制网络用于对胸片进行疾病分类和病变区域定位.图1为整个网络流程示意图,胸片首先输入区域检测网络得到胸片的ROI,然后ROI和胸片一同输入至注意力机制网络得到分类结果及定位结果.

图1

图1   本文网络模型进行胸片诊断的流程图

Fig.1   The architecture of the model for thoracic disease diagnosis


1.1 区域检测网络

本文使用嵌入特征金字塔FPN的RPN网络[21]作为区域检测网络,用于提取胸片的ROI.

Faster RCNN中的RPN是目前目标检测领域应用广泛的网络框架,其中RPN采用Faster RCNN的特征提取网络的最后一层特征,这层特征语义信息丰富,但丢失了较多原始图像的细节信息,因此RPN在小目标的检测方面准确度不够理想.而胸片中常有面积较小的病变区域,比如结节、纤维化等疾病的胸片表现.为此,本文将特征金字塔FPN和RPN融合,利用FPN生成不同尺度的特征图作为RPN的输入,以增加特征的细节信息,提高网络对小目标的检测精度.

整个区域检测网络框架如图2所示,主要由两部分组成:第一部分是FPN模块,FPN通过自下而上的支路,自上而下的支路以及横向连接得到四种不同尺寸的特征图;第二部分是RPN模块,RPN在特征图上进行级联的ROI生成.

图2

图2   区域检测网络框架

Fig.2   The overall framework of the region⁃proposed network


FPN模块分为自下而上的支路、自上而下的支路和横向连接三个部分.其中自下而上的支路是神经网络的前馈过程,前馈过程中特征图大小不变的层为一个模块,选择每个模块最后一层的输出构成特征金字塔.自上而下的支路是对自下而上支路输出的特征图进行上采样操作,将其映射为更高分辨率的特征.横向连接则将两条支路中相同大小的特征图融合生成最终的特征集.特征集越往上语义信息越丰富,越往下图像的细节信息越丰富.RPN模块可分三部分:第一部分是利用滑动窗口在FPN的特征集上生成anchors;第二部分是利用卷积网络得到每个anchor的分类得分以及位置回归信息;第三部分是利用分类得分、非极大值抑制(Non⁃Maximum Suppression,NMS)等对anchors进行筛选,筛选后的anchors将按照面积排序,从大到小,作为ROI输出.

区域检测网络的损失函数分为两部分,分类损失函数和回归损失函数,定义如下:

Lpi,ti=1NclsiLclspi,pi*+λ1Nregipi*Lregti-ti*

其中,i表示anchor的索引,pi表示第i个anchor预测为目标的概率,ti=tx,ty,th,tw表示对当前anchor,区域检测网络预测的位置回归信息.LclsLreg分别表示分类损失函数和回归损失函数,λ表示分类损失和回归损失的权重比,本文中λ取1.选择二分类交叉熵函数作为分类损失函数,smooth L1函数作为回归损失函数,其定义如下:

Lclspi,pi*=-pi*lgpi-1-pi*lg1-pi
Lregti-ti*=0.5ti-ti*2|x|<1|ti-ti*|-0.5

其中,pi定义如上;pi*表示当前anchor预测为目标的真实概率,为0/1;ti定义如上;ti*为与ti同维度的向量,表示当前anchor的真实的位置回归信息.

1.2 注意力机制网络

通常来说,由于胸片图像采集过程的不确定性,如拍摄距离、角度以及拍摄姿势的不一致,胸片数据集中常存在部分胸片体位不标准、缺乏满意的对比度和清晰度等问题.这种噪音信息较多的胸片增加了医生阅片的难度,同样也是神经网络应用于胸片训练的难点所在[23].基于此,本文引入注意力机制网络,利用区域检测网络提取的ROI作为注意力信息,使网络更专注于可能的病变区域,从而减少胸片中噪音信息的干扰.

注意力机制网络为DenseNet⁃121[24]的变体,网络框架如图3所示.

图3

图3   注意力机制网络架构

Fig.3   Overall framework of the attention network


网络的输入为胸片和胸片的注意力图集.注意力图集中的胸片由胸片的ROI作为权重图与原始胸片点乘得到,图集的数目与胸片的ROI数相等.假设Ii表示第i张输入胸片,bboxij表示第i张胸片的第j个ROI的坐标信息xij,yij,wij,hij,其中xij,yij为ROI的左上角坐标,wij,hij为ROI的宽和高,则Aij(x,y)表示第i张胸片相应于bboxij的注意力分布值,Iij表示第i张胸片的第j个注意力图,其计算过程如下:

Aij(x,y)=1xij<x<xij+wijyij-hij<y<yij0
Iij(x,y)=Ii(x,y)Aij(x,y)

网络主体DenseNet⁃121[24]中包含四个dense block及相应的transition层.Dense block中每一层的输入是前面所有层输出的合并,假设xl表示第l层的输出,Hl表示一个非线性变换(对应于一组卷积,激活函数和正则化操作),则下式(6)可描述dense block中每一层的变换.Dense block之后的transition层用于对其输入进行下采样以减少网络参数:

xl=Hlxo,x1,,xl-1

每张胸片及其注意力图通过dense block后均可得到相应的特征图,这里表示为Ci,Ci1,Ci2,,Cin,其中n在本文中设置为7.然后将原始胸片的特征图Ci分别与每一个注意力图的特征图Cij进行融合,融合后的特征再分别输入到全连接层和Sigmoid层进行分类,得到n个分类结果.这里特征融合采用逐像素相加融合(element⁃wise add),逐像素相加融合能在通道数不变的情况下增加特征图的信息量,避免了网络参数的增加,是适合于本文网络的特征融合方法.最后采用最大值原则对n个分类结果进行选择:

picI=maxpijcI

其中,I表示输入的胸片图像,c表示疾病类别,pijcI表示CiCij融合所得特征图将胸片I预测为第c类疾病的概率.整个网络采用的损失函数为二元交叉熵损失函数(BCE Loss),其计算方法如下:

Li(w)=-yilgpicI-(1-yi)1-lgpicI

其中,wIcpicI的意义与式(6)相同,yi表示该图像的真实疾病类别.

胸片异常区域的定位由分类得分给出.此前区域检测网络输出的ROI已经标出当前胸片的可能病变区域,经过注意力机制网络后每个ROI均输出其分类得分;由此得分,依据上文的最大值原则,分值最高的ROI将作为定位结果输出.

此外,在实际训练胸片的过程中,发现该网络架构存在一定程度的过拟合,因此本文在最后的全连接层中加入dropout层来缓解过拟合,提高模型的泛化能力.

2 数据集及训练方法

2.1 区域检测网络数据集Chest⁃box

为了训练区域检测网络,本文构建了胸片病变标注框数据集Chest⁃box.数据集的构建步骤如下:(1)从以下四个胸片数据集:Guolou16,ChestX⁃ray14,Chexpert[25],Open⁃I[26]中挑选出若干阳性胸片,其中Gulou16是鼓楼医院放射科医生从2016年鼓楼医院的数据中手工筛选的,共2002张X⁃ray胸部正位片;(2)手工标注所有胸片,标注方式为外接矩形框覆盖病变区域;(3)放射科专家对标注后的胸片进行复查.

关于胸片的选择时,遵循以下两个原则:(1)胸片为正位阳性胸片;(2)胸片中无四个以上的支持设备或者面积超过其胸片面积2/3的病变区域.这样选择的目的是使选取的胸片具有相当的典型性以及胸片和胸片之间具有一定的区分度.

最终获得数据集Chest⁃box包含3952张阳性胸片,分别是Guolou16数据集993张,ChestX⁃ray14数据集979张,Chexpert数据集994张,Open⁃I数据集986张,其中每张胸片均有相应病变区域的标注框信息.图4为Chest⁃box数据集中的四例胸片展示.

图4

图4   Chest⁃box数据集中胸片示例

The disease areas are annotated by green bounding boxes.

Fig.4   Examples of chest X⁃ray images from the Chest⁃box dataset


2.2 数据集ChestX⁃ray14

美国国立卫生研究院发布的公共胸片数据集ChestX⁃ray14[11]为目前公开的规模最大的胸片数据集,共有112120张正位胸片以及利用NLP (Natural Language Processing)从相关放射学报告挖掘的14类疾病的图像标签.该数据集中阳性胸片占51708张 其中每张阳性胸片均与一种或一种以上的胸部疾病相关联.图5为该数据集中14种胸部疾病的阳性/阴性胸片百分比.

图5

图5   ChestX⁃ray14数据集中各疾病的阳性/阴性胸片百分比

Fig.5   The ratio of positive/negative images for different pathologies in ChestX⁃ray14 dataset


可以看到,大多数胸部疾病的阳性阴性样本比率极不均衡,因此,本文做了一定的数据均衡,调整阳性阴性样本比例为1∶1.具体步骤如下:首先挑选出每种疾病的阳性样本,再从该疾病的阴性样本中随机挑选出与阳性样本等额的数目同阳性样本一起作为当前疾病的数据集;然后打乱随机挑选出70%作为训练集,10%作为验证集,20%作为测试集.此外,本文使用了随机水平翻转,中心裁剪,亮度、对比度和饱和度修改来进行数据增强.

2.3 模型的训练及评估

所有实验在GPU服务器上运行,操作系统为Ubuntu16,内存为64 G,使用GPU两块,型号为GTX 1080 Ti,深度学习框架为PyTorch0.4.1⁃gpu,运行环境python3.5.2.

实验将14种胸部疾病分开独立训练,且区域检测网络和注意力机制网络的设置相同.训练阶段,输入图像尺寸被缩放为384像素×384像素,且数值归一化到0~1;网络采用Adam算法作为权值更新算法,初始学习率均为1×10-3.训练过程如下:首先使用Chest⁃box数据集对区域检测网络进行训练,再将训练好的区域检测网络对ChestX⁃ray14数据集进行ROI预测,然后使用该预测结果作为注意力信息,在ChestX⁃ray14数据集上进行注意力机制网络的训练和测试.其中区域检测网络层数为68,注意力机制网络层数为121.测试阶段,本文采用的评估标准为机器学习领域常用的指标:灵敏度(Sensitivity)、特异度(Specificity)、受试者操作特征曲线(Receiver Operating Characteristic curve,ROC)、ROC曲线下面积(Area Under Curve,AUC)以及IOR(Intersection Over the detected Region),其中灵敏度和特异度的计算式如下:

Sensitivity=TPTP+FN
Specificity=TNTN+FP

其中,TP表示将阳性样本预测为阳性,TN表示将阴性样本预测阴性,FN表示将阳性样本预测为阴性,FP表示将阴性样本预测为阳性.

3 结果与讨论

3.1 疾病的分类结果

实验使用AUC作为模型分类结果评估指标,AUC越高表明算法的分类性能越好.表1为本文模型与现有研究中最前沿论文的AUC值对比,表中所列疾病为ChestX⁃ray14数据集的14种疾病,表中Guendel[12]和Kumar[13]的网络架构为以DenseNet[24]为基础架构的CNN(Convolutional Neural Network)网络,Li et al[20]和Liu et al[14]的网络架构为传统的attention guided网络,Li et al[20]使用ResNet[27]作为基础架构,Liu et al[14]在Li[20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图.

表1   不同模型在ChestX⁃ray14数据集上的AUC值对比

Table 1  The AUC scores for different models on Chest X⁃ray14 dataset

DiseaseKumar[13]*Guendel[12]Li[20]Liu[14]Ours
Atelectasis0.7620.7670.80.790.822
Cardiomegaly0.9130.8830.870.870.903
Effusion0.8640.8280.870.880.9
Infiltrate0.6920.7090.70.690.741
Mass0.750.8210.830.810.862
Nodule0.6660.7580.750.730.721
Pneumonia0.7150.7310.670.750.79
Pneumothorax0.8590.8460.870.890.865
Consolidation0.7840.7450.80.790.869
Edema0.8880.8350.880.910.902
Emphysema0.8980.8950.910.930.867
Fibrosis0.7560.8180.780.80.921
PT0.7740.7610.790.80.788
Hernia0.8020.8960.770.920.851
mean0.7950.8070.810.830.843

图中粗体表示为最优结果,*代表该模型使用了略微不同的数据集划分方法:80%作为训练集,20%作为测试集;其余所有模型都使用同样的数据集划分方法:70%作为训练集,20%作为验证集,10%作为测试集.

新窗口打开| 下载CSV


表1可以看出,本文模型达到了目前最优的平均AUC值(0.843).一方面,本文的方法优于标准DenseNet架构(Guendel[12]和Kumar[13]),提升幅度分别为5%和4%,这说明使用ROI作为网络的注意力图能有效帮助网络聚焦于胸片的异常区域,减少胸片噪音信息的干扰,从而提升网络性能.另一方面,本文的方法优于目前其他的注意力机制架构(Li et al[20]和Liu et al[14]), 提升幅度分别为3%和2%.Li et al[20]和Liu et al[14]仅使用了ChestX⁃ray14数据集中少量的标注框信息,而本文利用Chest⁃box数据集以及区域检测网络能对每张输入胸片都有相应的“标注框信息”,因此本文的性能更优.具体而言,对典型大病灶类胸部疾病,如积液(Effusion)、心影增大(Cardiomegaly)、肺炎(Pneumonia),本文模型的AUC值均在0.9以上,性能优异;对训练难度更大的小病灶类疾病,如肺实变(Consolidation)、肿块(Mass),和其他模型相比本文模型也有超过5%的性能提升.综上表明本文模型学到的病理特征是多尺度的,区分度高,适用的胸部疾病范围广.

图6为本文模型在ChestX⁃ray14数据集上的ROC曲线,图中大部分曲线接近左上角,这说明该曲线表示的疾病的灵敏度比较高.实际上,包括积液(Effusion)、肺结节(Nodule)、水肿(Edema)、疝气(Hernia)在内的四类胸部疾病,本文模型的灵敏度均超过了85%.而在胸片的临床应用时,辅助诊断系统的灵敏度比特异度等其他数值更有意义,这充分说明本文的模型有着较好的临床应用前景.

图6

图6   注意力机制网络在ChestX⁃ray14数据集上14种疾病的ROC曲线

Fig.6   ROC curves of our attention network on the 14 diseases in ChestX⁃ray14 dataset


3.2 疾病的定位结果

在计算机辅助诊断中,模型的可解释性十分重要,即便是性能优越的模型,如果是黑盒模型,就很难进行临床推广.病变区域的定位信息可以为预测的分类结果提供相应的视觉解释,这有助于医生理解模型,同时建立医生对辅助诊断的信任.本文的定位信息是由区域检测网络首先给出胸片中可能病变区域,再由注意力机制网络进行病变区域的精准定位.图7为本文定位结果的可视化评估,展示了ChestX⁃ray14数据集中八种胸部疾病的定位结果.这八种疾病在数据集中均有相应的真实标注框信息(即专业医生标注的病变区域),真实标注框信息在图中标为红色,而本文模型的预测结果标为绿色.可以看到,注意力机制网络的预测结果与真实标注框基本重合,这证明了网络病变检测的高准确性.表2展示了本文模型生成的标注框与真实标注框的IOR的统计结果,八种疾病的平均IOR值为75%,而肺不张(Atelectasis)、肺结节(Nodule)这两种疾病的IOR均超过了80%,这同样证明了本文模型定位的高准确性.

图7

图7   ChestX⁃ray14数据集中八种胸部疾病定位对比图

The bounding boxes given by radiologists are in red and those by the model are in green.

Fig.7   Localization of 8 pathologies in ChestX⁃ray14 dataset


表2   ChestX⁃ray14数据集中八种胸部疾病的IOR展示

Table 2  Disease localization accuracy using IOR in ChestX⁃ray14

DiseaseAtelectasisCardiomegalyEffusionInfiltrate
IOR0.8540.7270.6800.752
DiseaseMassNodulePneumoniaPneumo⁃thorax
IOR0.7760.8280.7800.603

新窗口打开| 下载CSV


之前的注意力机制网络Li et al[20]和Liu et al[14],其定位结果并非标准的外接矩形框标注格式,而是由块状区域组合成的不规则形状,针对病变区域面积较小的胸部疾病,如肺结节(Nodule)、肿块(Mass)等,块状区域位置分散,定位效果不佳.Li et al[20]已经通过实验证明标注框信息越多,网络性能越好.本文模型的优势即在和Li et al[20]和Liu et al[14]相比,本文有更多的标注框信息.标注框信息的来源是区域检测网络,区域检测网络的训练依赖于构建的数据集Chest⁃box,因此,数据集Chest⁃box和区域检测网络对本文模型性能的提升起着相当关键的作用.

4 结 论

本文开发了一个标注框数据集Chest⁃box,其中包含3952张阳性胸片和9960个标注框.以数据集Chest⁃box为训练集,本文构建了嵌入特征金字塔FPN的RPN模型作为区域检测网络,用于提取胸片的ROI.基于区域检测网络提取的ROI,本文引入注意力机制,将此ROI特征融入卷积神经网络DenseNet中,实现了胸片的自动分类和病变区域定位.通过ChestX⁃ray14数据集上的实验表明,本文模型在14种胸部疾病上达到了0.843的平均AUC值,比单独使用DenseNet网络或其他的注意力机制网络最多有5%的提升幅度,同时提供了更好的疾病定位信息,在8种胸部疾病(带真实标注框信息)上达到了0.75的平均IOR值.

参考文献

Raoof SFeigin DSung Aet al.

Interpretation of plain chest roentgenogram

Chest,2012141(2):545-558.

[本文引用: 1]

Tudor G RFinlay DTaub N.

An assessment of inter⁃observer agreement and accuracy when reporting plain radiographs

Clinical Radiology,199752(3):235-238.

[本文引用: 1]

Quekel L G B AKessels A G HGoei Ret al.

Miss rate of lung cancer on the chest radiograph in clinical practice

Chest,1999115(3):720-724.

[本文引用: 1]

Cicero MBilbily AColak Eet al.

Training and validating a deep convolutional neural network for computer⁃aided detection and classification of abnormalities on frontal chest radiographs

Investigative Radiology,201752(5):281-287.

[本文引用: 1]

Lee M ZCai W DSong Yet al.

Fully automated scoring of chest radiographs in cystic fibrosis

2013 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Osaka,JapanIEEE20133965-3968.

[本文引用: 1]

Zhu B YLuo WLi B Pet al.

The development and evaluation of a computerized diagnosis scheme for pneumoconiosis on digital chest radiographs

Biomedical Engineering OnLine,201413141.

[本文引用: 1]

Melendez JSánchez C IPhilipsen R H H Met al.

An automated tuberculosis screening strategy combining X⁃ray⁃based computer⁃aided detection and clinical information

Scientific Reports,2016625265.

[本文引用: 1]

Lakhani PSundaram B.

Deep learning at chest radiography:automated classification of pulmonary tuberculosis by using convolutional neural networks

Radiology,2017284(2):574-582.

[本文引用: 1]

Setio A A ACiompi FLitjens Get al.

Pulmonary nodule detection in CT images:false positive reduction using multi⁃view convolutional networks

IEEE Transactions on Medical Imaging,201635(5):1160-1169.

[本文引用: 1]

Pesce EYpsilantis P PWithey Set al.

Learning to detect chest radiographs containing lung nodules using visual attention networks

2017

arXiv:

1712. 00996v1.

[本文引用: 1]

Wang X SPeng Y FLu Let al. ChestX⁃ray8

hospital⁃scale chest X⁃ray database and benchmarks on weakly⁃supervised classification and localization of common thorax diseases

2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu,HI,USAIEEE20173462-3471.

[本文引用: 4]

Guendel SGrbic SGeorgescu Bet al.

Learning to recognize abnormalities in chest X⁃rays with location⁃aware dense networks

Iberoamerican Congress on Pattern Recognition. Springer Berlin Heidelberg,2019757-765.

[本文引用: 3]

Kumar PGrewal MSrivastava M M.

Boosted cascaded convnets for multilabel classification of thoracic diseases in chest radiographs

International Conference Image Analysis and Recognition. Springer Berlin Heidelberg,2018546-552.

[本文引用: 3]

Liu J YZhao G MFei Yet al. Align

attend and locate:chest X⁃ray diagnosis via contrast induced attention network with limited supervision

Proceedings of the 2019 IEEE/CVF IEEE International Conference on Computer Vision. Seoul,Korea (South)IEEE2019:10632-10641.

[本文引用: 7]

Rajpurkar PIrvin JZhu Ket al.

Chexnet:Radiologist⁃level pneumonia detection on chest X⁃rays with deep learning

2017

arXiv:1711

.05225.

[本文引用: 1]

Rajpurkar PIrvin JBall R Let al.

Deep learning for chest radiograph diagnosis:A retrospective comparison of the CheXNeXt algorithm to practicing radiologists

PLoS Medicine,201815(11):e1002686.

[本文引用: 1]

Majkowska AMittal SSteiner D Fet al.

Chest radiograph interpretation with deep learning models:assessment with radiologist⁃adjudicated reference standards and population⁃adjusted evaluation

Radiology,2020294(2):421-431.

[本文引用: 3]

Ypsilantis P PMontana G.

Learning what to look in chest X⁃rays with a recurrent visual attention model

2017

arXiv:1701

.06452.

[本文引用: 1]

Guan Q JHuang Y PZhong Zet al.

Diagnose like a radiologist:attention guided convolutional neural network for thorax disease classification

arXiv1801.09927v12018.

[本文引用: 1]

Li ZWang CHan Met al.

Thoracic disease identification and localization with limited supervision

Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City,UT,USAIEEE20188290-8299.

[本文引用: 10]

Lin T YDollár PGirshick Ret al.

Feature pyramid networks for object detection

Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu,HI,USAIEEE20172117-2125.

[本文引用: 2]

Ren S QHe K MGirshick Ret al.

Faster R⁃CNN:Towards real⁃time object detection with region proposal networks

Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal,Quebec,CanadaMIT Press201591-99.

[本文引用: 1]

李铁一.

更好地发挥胸片在胸部疾病诊断中的作用

中华放射学杂志,200034(3):150.

[本文引用: 1]

Li T Y.

Better use of chest radiograph in the diagnosis of chest diseases

Chinese Journal of Radiology200034(3):150.

[本文引用: 1]

Huang GLiu ZVan Der Maaten Let al.

Densely connected convolutional networks

Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu,HI,USAIEEE20174700-4708.

[本文引用: 3]

Irvin JRajpurkar PKo Met al.

Chexpert:a large chest radiograph dataset with uncertainty labels and expert comparison

Proceedings of the AAAI Conference on Artificial Intelligence. Honolulu,HI,USAAAAI Press2019590-597.

[本文引用: 1]

Demner⁃Fushman DAntani S KSimpson Met al.

Design and development of a multimodal biomedical information retrieval system

Journal of Computing Science and Engineering,20126(2):168-177.

[本文引用: 1]

He K MZhang X YRen S Qet al.

Deep residual learning for image recognition

Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas,NV,USAIEEE2016770-778.

[本文引用: 1]

/