Chest X⁃rays (CXR) are commonly used in diagnosing thorax diseases since they have low radiation,quick and inexpensive. The volume of CXR samples is large. It is of practical importance to develop automatic systems for recognizing,classifying and localizing diseases from CXR images. However,it is challenging to develop systems with deep learning,due to the difference in X⁃ray devices,quality of images,larger number of relevant diseases,and particularly,the lack of bounding box dataset. In this work,we built a bounding box dataset,named Chest⁃box,which contains 3952 positive CXR images and 9960 bounding boxes. We then developed a region proposal model to extract the regions of interest (ROI). Using the ROIs as attention information,we further employed the DenseNet121 network with attention mechanism to recognize the images and localize relevant diseases. The network uses both the whole image as well as the ROIs to extract features,and is better at focusing on the ROIs than previous models. The testing on the ChestX⁃ray14 dataset and comparison with previous works show that our approach has the state⁃of⁃the⁃art performance in both classification and localization of diseases.
Zhu Wei, Zhang Shuai, Xin Xiaoyan, Li Wenfei, Wang Jun, Zhang Jian, Wang Wei. Automatic thoracic disease localization and recognition by combining region proposal network and attention mechanism. Journal of nanjing University[J], 2020, 56(4): 591-600 doi:10.13232/j.cnki.jnju.2020.04.017
近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用.
胸片的辅助诊断任务除了直接判断疾病的分类任务,还需要对病变区域进行定位,这些定位能够为医生提供更具体和有价值的诊断信息.对胸片病变区域的分类和定位在深度学习中也称为目标检测任务,目前已经有很多相关的算法.Ypsilantis and Montana[18]使用循环神经网络(Recurrent Neural Network,RNN)模型获得了胸片异常区域的定位.Guan et al[19]利用注意力引导的卷积神经网络(Attention Guided Convolution Neural Network,AG⁃CNN)来学习胸片病变的相关区域.Li et al[20]利用NIH数据集中少量标注框信息进行弱监督学习来对胸片进行疾病分类和定位,由于使用了少量标注框的信息,其模型效果有了明显提升.然而到目前为止,公开的胸片数据集中很少有病变区域的标注框信息,仅NIH提供的ChestX⁃ray14[11]数据集中包含880张含标注框信息的胸片,这使基于深度神经网络的定位学习更加困难.
为了提高神经网络对胸片病变区域的定位能力并进一步提升模型的分类效果,本文首先构建一个胸片病变标注框数据集Chest⁃box,包含3952张阳性胸片,每张胸片均有相应病变区域的标注框信息.然后以Chest⁃box数据集为训练集,结合特征金字塔FPN(Feature Pyramid Networks)[21]和Faster RCNN[22]的RPN构建了区域候选网络用于提取胸片的感兴趣区域(Region of Interest,ROI).最后,利用注意力机制的方法将区域检测网络得到的胸片ROI作为权重生成原始胸片的注意力图,再将注意力图提取的特征融入原始图片的特征中进行疾病的分类和定位.本文的算法能够有效地提取胸片的ROI,并且能够同时达到较高的分类准确度和病变区域定位准确度.
The disease areas are annotated by green bounding boxes.
Fig.4
Examples of chest X⁃ray images from the Chest⁃box dataset
2.2 数据集ChestX⁃ray14
美国国立卫生研究院发布的公共胸片数据集ChestX⁃ray14[11]为目前公开的规模最大的胸片数据集,共有112120张正位胸片以及利用NLP (Natural Language Processing)从相关放射学报告挖掘的14类疾病的图像标签.该数据集中阳性胸片占51708张 其中每张阳性胸片均与一种或一种以上的胸部疾病相关联.图5为该数据集中14种胸部疾病的阳性/阴性胸片百分比.
实验将14种胸部疾病分开独立训练,且区域检测网络和注意力机制网络的设置相同.训练阶段,输入图像尺寸被缩放为384像素×384像素,且数值归一化到0~1;网络采用Adam算法作为权值更新算法,初始学习率均为1×.训练过程如下:首先使用Chest⁃box数据集对区域检测网络进行训练,再将训练好的区域检测网络对ChestX⁃ray14数据集进行ROI预测,然后使用该预测结果作为注意力信息,在ChestX⁃ray14数据集上进行注意力机制网络的训练和测试.其中区域检测网络层数为68,注意力机制网络层数为121.测试阶段,本文采用的评估标准为机器学习领域常用的指标:灵敏度(Sensitivity)、特异度(Specificity)、受试者操作特征曲线(Receiver Operating Characteristic curve,ROC)、ROC曲线下面积(Area Under Curve,AUC)以及IOR(Intersection Over the detected Region),其中灵敏度和特异度的计算式如下:
实验使用AUC作为模型分类结果评估指标,AUC越高表明算法的分类性能越好.表1为本文模型与现有研究中最前沿论文的AUC值对比,表中所列疾病为ChestX⁃ray14数据集的14种疾病,表中Guendel[12]和Kumar[13]的网络架构为以DenseNet[24]为基础架构的CNN(Convolutional Neural Network)网络,Li et al[20]和Liu et al[14]的网络架构为传统的attention guided网络,Li et al[20]使用ResNet[27]作为基础架构,Liu et al[14]在Li[20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图.
Table 1
表1
表1不同模型在ChestX⁃ray14数据集上的AUC值对比
Table 1 The AUC scores for different models on Chest X⁃ray14 dataset
由表1可以看出,本文模型达到了目前最优的平均AUC值(0.843).一方面,本文的方法优于标准DenseNet架构(Guendel[12]和Kumar[13]),提升幅度分别为5%和4%,这说明使用ROI作为网络的注意力图能有效帮助网络聚焦于胸片的异常区域,减少胸片噪音信息的干扰,从而提升网络性能.另一方面,本文的方法优于目前其他的注意力机制架构(Li et al[20]和Liu et al[14]), 提升幅度分别为3%和2%.Li et al[20]和Liu et al[14]仅使用了ChestX⁃ray14数据集中少量的标注框信息,而本文利用Chest⁃box数据集以及区域检测网络能对每张输入胸片都有相应的“标注框信息”,因此本文的性能更优.具体而言,对典型大病灶类胸部疾病,如积液(Effusion)、心影增大(Cardiomegaly)、肺炎(Pneumonia),本文模型的AUC值均在0.9以上,性能优异;对训练难度更大的小病灶类疾病,如肺实变(Consolidation)、肿块(Mass),和其他模型相比本文模型也有超过5%的性能提升.综上表明本文模型学到的病理特征是多尺度的,区分度高,适用的胸部疾病范围广.
之前的注意力机制网络Li et al[20]和Liu et al[14],其定位结果并非标准的外接矩形框标注格式,而是由块状区域组合成的不规则形状,针对病变区域面积较小的胸部疾病,如肺结节(Nodule)、肿块(Mass)等,块状区域位置分散,定位效果不佳.Li et al[20]已经通过实验证明标注框信息越多,网络性能越好.本文模型的优势即在和Li et al[20]和Liu et al[14]相比,本文有更多的标注框信息.标注框信息的来源是区域检测网络,区域检测网络的训练依赖于构建的数据集Chest⁃box,因此,数据集Chest⁃box和区域检测网络对本文模型性能的提升起着相当关键的作用.
Training and validating a deep convolutional neural network for computer⁃aided detection and classification of abnormalities on frontal chest radiographs
Chest radiograph interpretation with deep learning models:assessment with radiologist⁃adjudicated reference standards and population⁃adjusted evaluation
Training and validating a deep convolutional neural network for computer?aided detection and classification of abnormalities on frontal chest radiographs
1
2017
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
Fully automated scoring of chest radiographs in cystic fibrosis
1
2013
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
The development and evaluation of a computerized diagnosis scheme for pneumoconiosis on digital chest radiographs
1
2014
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
An automated tuberculosis screening strategy combining X?ray?based computer?aided detection and clinical information
1
2016
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
Deep learning at chest radiography:automated classification of pulmonary tuberculosis by using convolutional neural networks
1
2017
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
Pulmonary nodule detection in CT images:false positive reduction using multi?view convolutional networks
1
2016
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
arXiv:
1
2017
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
hospital?scale chest X?ray database and benchmarks on weakly?supervised classification and localization of common thorax diseases
4
2017
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
... 胸片的辅助诊断任务除了直接判断疾病的分类任务,还需要对病变区域进行定位,这些定位能够为医生提供更具体和有价值的诊断信息.对胸片病变区域的分类和定位在深度学习中也称为目标检测任务,目前已经有很多相关的算法.Ypsilantis and Montana[18]使用循环神经网络(Recurrent Neural Network,RNN)模型获得了胸片异常区域的定位.Guan et al[19]利用注意力引导的卷积神经网络(Attention Guided Convolution Neural Network,AG⁃CNN)来学习胸片病变的相关区域.Li et al[20]利用NIH数据集中少量标注框信息进行弱监督学习来对胸片进行疾病分类和定位,由于使用了少量标注框的信息,其模型效果有了明显提升.然而到目前为止,公开的胸片数据集中很少有病变区域的标注框信息,仅NIH提供的ChestX⁃ray14[11]数据集中包含880张含标注框信息的胸片,这使基于深度神经网络的定位学习更加困难. ...
... 美国国立卫生研究院发布的公共胸片数据集ChestX⁃ray14[11]为目前公开的规模最大的胸片数据集,共有112120张正位胸片以及利用NLP (Natural Language Processing)从相关放射学报告挖掘的14类疾病的图像标签.该数据集中阳性胸片占51708张 其中每张阳性胸片均与一种或一种以上的胸部疾病相关联.图5为该数据集中14种胸部疾病的阳性/阴性胸片百分比. ...
Learning to recognize abnormalities in chest X?rays with location?aware dense networks
3
2019
... 实验使用AUC作为模型分类结果评估指标,AUC越高表明算法的分类性能越好.表1为本文模型与现有研究中最前沿论文的AUC值对比,表中所列疾病为ChestX⁃ray14数据集的14种疾病,表中Guendel[12]和Kumar[13]的网络架构为以DenseNet[24]为基础架构的CNN(Convolutional Neural Network)网络,Li et al[20]和Liu et al[14]的网络架构为传统的attention guided网络,Li et al[20]使用ResNet[27]作为基础架构,Liu et al[14]在Li[20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图. ...
... The AUC scores for different models on Chest X⁃ray14 datasetTable 1
... 由表1可以看出,本文模型达到了目前最优的平均AUC值(0.843).一方面,本文的方法优于标准DenseNet架构(Guendel[12]和Kumar[13]),提升幅度分别为5%和4%,这说明使用ROI作为网络的注意力图能有效帮助网络聚焦于胸片的异常区域,减少胸片噪音信息的干扰,从而提升网络性能.另一方面,本文的方法优于目前其他的注意力机制架构(Li et al[20]和Liu et al[14]), 提升幅度分别为3%和2%.Li et al[20]和Liu et al[14]仅使用了ChestX⁃ray14数据集中少量的标注框信息,而本文利用Chest⁃box数据集以及区域检测网络能对每张输入胸片都有相应的“标注框信息”,因此本文的性能更优.具体而言,对典型大病灶类胸部疾病,如积液(Effusion)、心影增大(Cardiomegaly)、肺炎(Pneumonia),本文模型的AUC值均在0.9以上,性能优异;对训练难度更大的小病灶类疾病,如肺实变(Consolidation)、肿块(Mass),和其他模型相比本文模型也有超过5%的性能提升.综上表明本文模型学到的病理特征是多尺度的,区分度高,适用的胸部疾病范围广. ...
Boosted cascaded convnets for multilabel classification of thoracic diseases in chest radiographs
3
2018
... 实验使用AUC作为模型分类结果评估指标,AUC越高表明算法的分类性能越好.表1为本文模型与现有研究中最前沿论文的AUC值对比,表中所列疾病为ChestX⁃ray14数据集的14种疾病,表中Guendel[12]和Kumar[13]的网络架构为以DenseNet[24]为基础架构的CNN(Convolutional Neural Network)网络,Li et al[20]和Liu et al[14]的网络架构为传统的attention guided网络,Li et al[20]使用ResNet[27]作为基础架构,Liu et al[14]在Li[20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图. ...
... The AUC scores for different models on Chest X⁃ray14 datasetTable 1
... 由表1可以看出,本文模型达到了目前最优的平均AUC值(0.843).一方面,本文的方法优于标准DenseNet架构(Guendel[12]和Kumar[13]),提升幅度分别为5%和4%,这说明使用ROI作为网络的注意力图能有效帮助网络聚焦于胸片的异常区域,减少胸片噪音信息的干扰,从而提升网络性能.另一方面,本文的方法优于目前其他的注意力机制架构(Li et al[20]和Liu et al[14]), 提升幅度分别为3%和2%.Li et al[20]和Liu et al[14]仅使用了ChestX⁃ray14数据集中少量的标注框信息,而本文利用Chest⁃box数据集以及区域检测网络能对每张输入胸片都有相应的“标注框信息”,因此本文的性能更优.具体而言,对典型大病灶类胸部疾病,如积液(Effusion)、心影增大(Cardiomegaly)、肺炎(Pneumonia),本文模型的AUC值均在0.9以上,性能优异;对训练难度更大的小病灶类疾病,如肺实变(Consolidation)、肿块(Mass),和其他模型相比本文模型也有超过5%的性能提升.综上表明本文模型学到的病理特征是多尺度的,区分度高,适用的胸部疾病范围广. ...
attend and locate:chest X?ray diagnosis via contrast induced attention network with limited supervision
7
2019
... 实验使用AUC作为模型分类结果评估指标,AUC越高表明算法的分类性能越好.表1为本文模型与现有研究中最前沿论文的AUC值对比,表中所列疾病为ChestX⁃ray14数据集的14种疾病,表中Guendel[12]和Kumar[13]的网络架构为以DenseNet[24]为基础架构的CNN(Convolutional Neural Network)网络,Li et al[20]和Liu et al[14]的网络架构为传统的attention guided网络,Li et al[20]使用ResNet[27]作为基础架构,Liu et al[14]在Li[20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图. ...
... [14]在Li[20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图. ...
... The AUC scores for different models on Chest X⁃ray14 datasetTable 1
... 由表1可以看出,本文模型达到了目前最优的平均AUC值(0.843).一方面,本文的方法优于标准DenseNet架构(Guendel[12]和Kumar[13]),提升幅度分别为5%和4%,这说明使用ROI作为网络的注意力图能有效帮助网络聚焦于胸片的异常区域,减少胸片噪音信息的干扰,从而提升网络性能.另一方面,本文的方法优于目前其他的注意力机制架构(Li et al[20]和Liu et al[14]), 提升幅度分别为3%和2%.Li et al[20]和Liu et al[14]仅使用了ChestX⁃ray14数据集中少量的标注框信息,而本文利用Chest⁃box数据集以及区域检测网络能对每张输入胸片都有相应的“标注框信息”,因此本文的性能更优.具体而言,对典型大病灶类胸部疾病,如积液(Effusion)、心影增大(Cardiomegaly)、肺炎(Pneumonia),本文模型的AUC值均在0.9以上,性能优异;对训练难度更大的小病灶类疾病,如肺实变(Consolidation)、肿块(Mass),和其他模型相比本文模型也有超过5%的性能提升.综上表明本文模型学到的病理特征是多尺度的,区分度高,适用的胸部疾病范围广. ...
... 之前的注意力机制网络Li et al[20]和Liu et al[14],其定位结果并非标准的外接矩形框标注格式,而是由块状区域组合成的不规则形状,针对病变区域面积较小的胸部疾病,如肺结节(Nodule)、肿块(Mass)等,块状区域位置分散,定位效果不佳.Li et al[20]已经通过实验证明标注框信息越多,网络性能越好.本文模型的优势即在和Li et al[20]和Liu et al[14]相比,本文有更多的标注框信息.标注框信息的来源是区域检测网络,区域检测网络的训练依赖于构建的数据集Chest⁃box,因此,数据集Chest⁃box和区域检测网络对本文模型性能的提升起着相当关键的作用. ...
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
Deep learning for chest radiograph diagnosis:A retrospective comparison of the CheXNeXt algorithm to practicing radiologists
1
2018
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
Chest radiograph interpretation with deep learning models:assessment with radiologist?adjudicated reference standards and population?adjusted evaluation
3
2020
... 近年来,随着人工智能(Artificial Intelligence,AI)技术和计算机硬件的发展,深度学习(Deep learning,DL)已经在计算机自动图像识别领域取得了重大进展.研究人员逐渐开始将AI技术应用于胸片辅助诊断系统的开发中[4-5],针对特定疾病的诊断算法也不断出现,比如尘肺病[6]、肺结核[7-8]和肺结节[9-10]等.美国国立卫生研究院(National Institutes of Health,NIH)发布的公共胸片数据集ChestX⁃ray14[11]进一步促进了深度学习算法在胸片辅助诊断方面的发展[11-15].近两年,斯坦福大学的吴恩达团队[16]和谷歌团队[17]相继发布了胸片识别诊断能力达到放射科专家水平的深度学习算法.然而研究人员发现,AI模型和放射科专家在不同数据集上的表现差异很大[17],例如在NIH的ChestX⁃ray14数据集上,AI和放射科专家对于结节和肿块进行检测的灵敏度分别为82.4%和79.9%,而在印度五家医院的临床数据上的表现只有44.1%和40.1%.这说明无论是对于AI还是放射科专家来说,胸片的解读都是非常困难的.此外,研究人员还发现AI模型和放射科专家找出的真阳性集合并不完全一致[17],这表明AI和专家各有所长,两者的结合是未来发展的方向.因此,利用AI的优点给放射科专家提供更多的诊断信息将非常有利于AI技术的临床应用. ...
... 胸片的辅助诊断任务除了直接判断疾病的分类任务,还需要对病变区域进行定位,这些定位能够为医生提供更具体和有价值的诊断信息.对胸片病变区域的分类和定位在深度学习中也称为目标检测任务,目前已经有很多相关的算法.Ypsilantis and Montana[18]使用循环神经网络(Recurrent Neural Network,RNN)模型获得了胸片异常区域的定位.Guan et al[19]利用注意力引导的卷积神经网络(Attention Guided Convolution Neural Network,AG⁃CNN)来学习胸片病变的相关区域.Li et al[20]利用NIH数据集中少量标注框信息进行弱监督学习来对胸片进行疾病分类和定位,由于使用了少量标注框的信息,其模型效果有了明显提升.然而到目前为止,公开的胸片数据集中很少有病变区域的标注框信息,仅NIH提供的ChestX⁃ray14[11]数据集中包含880张含标注框信息的胸片,这使基于深度神经网络的定位学习更加困难. ...
Diagnose like a radiologist:attention guided convolutional neural network for thorax disease classification
1
1801
... 胸片的辅助诊断任务除了直接判断疾病的分类任务,还需要对病变区域进行定位,这些定位能够为医生提供更具体和有价值的诊断信息.对胸片病变区域的分类和定位在深度学习中也称为目标检测任务,目前已经有很多相关的算法.Ypsilantis and Montana[18]使用循环神经网络(Recurrent Neural Network,RNN)模型获得了胸片异常区域的定位.Guan et al[19]利用注意力引导的卷积神经网络(Attention Guided Convolution Neural Network,AG⁃CNN)来学习胸片病变的相关区域.Li et al[20]利用NIH数据集中少量标注框信息进行弱监督学习来对胸片进行疾病分类和定位,由于使用了少量标注框的信息,其模型效果有了明显提升.然而到目前为止,公开的胸片数据集中很少有病变区域的标注框信息,仅NIH提供的ChestX⁃ray14[11]数据集中包含880张含标注框信息的胸片,这使基于深度神经网络的定位学习更加困难. ...
Thoracic disease identification and localization with limited supervision
10
2018
... 胸片的辅助诊断任务除了直接判断疾病的分类任务,还需要对病变区域进行定位,这些定位能够为医生提供更具体和有价值的诊断信息.对胸片病变区域的分类和定位在深度学习中也称为目标检测任务,目前已经有很多相关的算法.Ypsilantis and Montana[18]使用循环神经网络(Recurrent Neural Network,RNN)模型获得了胸片异常区域的定位.Guan et al[19]利用注意力引导的卷积神经网络(Attention Guided Convolution Neural Network,AG⁃CNN)来学习胸片病变的相关区域.Li et al[20]利用NIH数据集中少量标注框信息进行弱监督学习来对胸片进行疾病分类和定位,由于使用了少量标注框的信息,其模型效果有了明显提升.然而到目前为止,公开的胸片数据集中很少有病变区域的标注框信息,仅NIH提供的ChestX⁃ray14[11]数据集中包含880张含标注框信息的胸片,这使基于深度神经网络的定位学习更加困难. ...
... 实验使用AUC作为模型分类结果评估指标,AUC越高表明算法的分类性能越好.表1为本文模型与现有研究中最前沿论文的AUC值对比,表中所列疾病为ChestX⁃ray14数据集的14种疾病,表中Guendel[12]和Kumar[13]的网络架构为以DenseNet[24]为基础架构的CNN(Convolutional Neural Network)网络,Li et al[20]和Liu et al[14]的网络架构为传统的attention guided网络,Li et al[20]使用ResNet[27]作为基础架构,Liu et al[14]在Li[20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图. ...
... [20]使用ResNet[27]作为基础架构,Liu et al[14]在Li[20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图. ...
... [20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图. ...
... The AUC scores for different models on Chest X⁃ray14 datasetTable 1
... 由表1可以看出,本文模型达到了目前最优的平均AUC值(0.843).一方面,本文的方法优于标准DenseNet架构(Guendel[12]和Kumar[13]),提升幅度分别为5%和4%,这说明使用ROI作为网络的注意力图能有效帮助网络聚焦于胸片的异常区域,减少胸片噪音信息的干扰,从而提升网络性能.另一方面,本文的方法优于目前其他的注意力机制架构(Li et al[20]和Liu et al[14]), 提升幅度分别为3%和2%.Li et al[20]和Liu et al[14]仅使用了ChestX⁃ray14数据集中少量的标注框信息,而本文利用Chest⁃box数据集以及区域检测网络能对每张输入胸片都有相应的“标注框信息”,因此本文的性能更优.具体而言,对典型大病灶类胸部疾病,如积液(Effusion)、心影增大(Cardiomegaly)、肺炎(Pneumonia),本文模型的AUC值均在0.9以上,性能优异;对训练难度更大的小病灶类疾病,如肺实变(Consolidation)、肿块(Mass),和其他模型相比本文模型也有超过5%的性能提升.综上表明本文模型学到的病理特征是多尺度的,区分度高,适用的胸部疾病范围广. ...
... [20]和Liu et al[14]仅使用了ChestX⁃ray14数据集中少量的标注框信息,而本文利用Chest⁃box数据集以及区域检测网络能对每张输入胸片都有相应的“标注框信息”,因此本文的性能更优.具体而言,对典型大病灶类胸部疾病,如积液(Effusion)、心影增大(Cardiomegaly)、肺炎(Pneumonia),本文模型的AUC值均在0.9以上,性能优异;对训练难度更大的小病灶类疾病,如肺实变(Consolidation)、肿块(Mass),和其他模型相比本文模型也有超过5%的性能提升.综上表明本文模型学到的病理特征是多尺度的,区分度高,适用的胸部疾病范围广. ...
... 之前的注意力机制网络Li et al[20]和Liu et al[14],其定位结果并非标准的外接矩形框标注格式,而是由块状区域组合成的不规则形状,针对病变区域面积较小的胸部疾病,如肺结节(Nodule)、肿块(Mass)等,块状区域位置分散,定位效果不佳.Li et al[20]已经通过实验证明标注框信息越多,网络性能越好.本文模型的优势即在和Li et al[20]和Liu et al[14]相比,本文有更多的标注框信息.标注框信息的来源是区域检测网络,区域检测网络的训练依赖于构建的数据集Chest⁃box,因此,数据集Chest⁃box和区域检测网络对本文模型性能的提升起着相当关键的作用. ...
... [20]已经通过实验证明标注框信息越多,网络性能越好.本文模型的优势即在和Li et al[20]和Liu et al[14]相比,本文有更多的标注框信息.标注框信息的来源是区域检测网络,区域检测网络的训练依赖于构建的数据集Chest⁃box,因此,数据集Chest⁃box和区域检测网络对本文模型性能的提升起着相当关键的作用. ...
... [20]和Liu et al[14]相比,本文有更多的标注框信息.标注框信息的来源是区域检测网络,区域检测网络的训练依赖于构建的数据集Chest⁃box,因此,数据集Chest⁃box和区域检测网络对本文模型性能的提升起着相当关键的作用. ...
Feature pyramid networks for object detection
2
2017
... 为了提高神经网络对胸片病变区域的定位能力并进一步提升模型的分类效果,本文首先构建一个胸片病变标注框数据集Chest⁃box,包含3952张阳性胸片,每张胸片均有相应病变区域的标注框信息.然后以Chest⁃box数据集为训练集,结合特征金字塔FPN(Feature Pyramid Networks)[21]和Faster RCNN[22]的RPN构建了区域候选网络用于提取胸片的感兴趣区域(Region of Interest,ROI).最后,利用注意力机制的方法将区域检测网络得到的胸片ROI作为权重生成原始胸片的注意力图,再将注意力图提取的特征融入原始图片的特征中进行疾病的分类和定位.本文的算法能够有效地提取胸片的ROI,并且能够同时达到较高的分类准确度和病变区域定位准确度. ...
... 实验使用AUC作为模型分类结果评估指标,AUC越高表明算法的分类性能越好.表1为本文模型与现有研究中最前沿论文的AUC值对比,表中所列疾病为ChestX⁃ray14数据集的14种疾病,表中Guendel[12]和Kumar[13]的网络架构为以DenseNet[24]为基础架构的CNN(Convolutional Neural Network)网络,Li et al[20]和Liu et al[14]的网络架构为传统的attention guided网络,Li et al[20]使用ResNet[27]作为基础架构,Liu et al[14]在Li[20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图. ...
Chexpert:a large chest radiograph dataset with uncertainty labels and expert comparison
... 实验使用AUC作为模型分类结果评估指标,AUC越高表明算法的分类性能越好.表1为本文模型与现有研究中最前沿论文的AUC值对比,表中所列疾病为ChestX⁃ray14数据集的14种疾病,表中Guendel[12]和Kumar[13]的网络架构为以DenseNet[24]为基础架构的CNN(Convolutional Neural Network)网络,Li et al[20]和Liu et al[14]的网络架构为传统的attention guided网络,Li et al[20]使用ResNet[27]作为基础架构,Liu et al[14]在Li[20]的基础上加入了对齐模块以及基于胸片对比的注意力权重图. ...