南京大学学报(自然科学版) ›› 2024, Vol. 60 ›› Issue (1): 26–37.doi: 10.13232/j.cnki.jnju.2024.01.004
基于乳腺超声视频流和自监督对比学习的肿瘤良恶性分类系统
唐蕴芯1, 廖梅2, 张艳玲2(
), 张建1,4(), 陈皓3, 王炜1,4()
- 1.南京大学物理学院, 南京, 210093
2.中山大学附属第三医院超声科, 广州, 510630
3.杭州精康科技, 杭州, 310000
4.南京大学脑科学研究院, 南京, 210093
Breast tumor classification based on video stream and self⁃supervised contrastive learning
Yunxin Tang1, Mei Liao2, Yanling Zhang2(), Jian Zhang1,4(), Hao Chen3, Wei Wang1,4()
- 1.School of Physics，Nanjing University，Nanjing，210093，China
2.Department of Ultrasound，Third Affiliated Hospital，Sun Yat?sen University，Guangzhou，510630，China
3.Precision Care Technology，Hangzhou，310000，China
4.Institute for Brain Sciences，Nanjing University，Nanjing，210093，China
摘要：
乳腺超声广泛应用于乳腺肿瘤诊断，基于深度学习的肿瘤良恶性分类模型可以有效地辅助医生诊断，提高效率，降低误诊率，然而，由于标注数据的高成本问题，限制了此类模型的开发和应用.为此，从乳腺超声视频中构建了无标注预训练数据集，包含11805个目标样本数据和动态生成的正、负样本数据集（样本量分别为188880和1310355个）.基于该数据集，搭建了三胞胎网络并进行了自监督对比学习.此外，还发展了Hard Negative Mining和Hard Positive Mining方法来选取困难的正负样本构建对比损失函数，加快模型收敛.参数迁移后，将三胞胎网络在SYU数据集上进行微调和测试.实验结果表明，与基于ImageNet预训练的若干SOTA模型以及与前人针对乳腺超声的多视图对比模型相比，提出的三胞胎网络模型具有更强的泛化能力和更好的分类性能.此外，还测试了模型对标注数据量的需求下限，发现仅使用96个标注数据，模型性能即可达到
中图分类号:
- TP181
| 1 | Noble J A， Boukerroui D. Ultrasound image segmentation：A survey. IEEE Transactions on Medical Imaging，2006，25(8)：987-1010. |
| 2 | Melendez J， Sánchez C I， Philipsen R H H M，et al. An automated tuberculosis screening strategy combining X?ray?based computer?aided detection and clinical information. Scientific Reports，2016，6：25265. |
| 3 | Lakhani P， Sundaram B. Deep learning at chest radiography：Automated classification of pulmonary tuberculosis by using convolutional neural networks. Radiology，2017，284(2)：574-582. |
| 4 | Setio A A A， Ciompi F， Litjens G，et al. Pulmonary nodule detection in CT images：False positive reduction using multi?view convolutional networks. IEEE Transactions on Medical Imaging，2016，35(5)：1160-1169. |
| 5 | Pesce E， Withey S J， Ypsilantis P P，et al. Learning to detect chest radiographs containing pulmonary lesions using visual attention networks. Medical Image Analysis，2019，53：26-38. |
| 6 | Evain E， Raynaud C， Ciofolo?Veit C，et al. Breast nodule classification with two?dimensional ultrasound using Mask?RCNN ensemble aggregation. Diagnostic and Interventional Imaging，2021，102(11)：653-658. |
| 7 | Gao Y H， Liu B， Zhu Y，et al. Detection and recognition of ultrasound breast nodules based on semi?supervised deep learning：A powerful alternative strategy. Quantitative Imaging in Medicine and Surgery，2021，11(6)：2265-2278. |
| 8 | Lei Y， He X X， Yao J C，et al. Breast tumor segmentation in 3D automatic breast ultrasound using Mask scoring R?CNN. Medical Physics，2021，48(1)：204-214. |
| 9 | Cui W J， Peng Y S， Yuan G，et al. FMRNet：A fused network of multiple tumoral regions for breast tumor classification with ultrasound images. Medical Physics，2022，49(1)：144-157. |
| 10 | Dosovitskiy A， Beyer L， Kolesnikov A，et al. An image is worth 16×16 words：Transformers for image recognition at scale∥The 9th International Conference on Learning Representations. Online，2021. |
| 11 | Al-Dhabyani W， Gomaa M， Khaled H，et al. Dataset of breast ultrasound images. Data in Brief，2020，28：104863. |
| 12 | Yap M H， Pons G， Martí J，et al. Automated breast ultrasound lesions detection using convolutional neural networks. IEEE Journal of Biomedical and Health Informatics，2018，22(4)：1218-1226. |
| 13 | Zhang Y T， Xian M， Cheng H D，et al. BUSIS：A benchmark for breast ultrasound image segmentation. Healthcare，2022，10(4)：729. |
| 14 | Jaiswal A， Babu A R， Zadeh M Z，et al. A survey on contrastive self?supervised learning. Technologies，2020，9(1)：2. |
| 15 | Han X， Zhang Z Y， Ding N，et al. Pre?trained models：Past，present and future. AI Open，2021，2：225-250. |
| 16 | Thrun S， Pratt L. Learning to learn：Introduction and overview∥Thrun S，Pratt L. Learning to learn. Springer Berlin Heidelberg，1998：3-17. |
| 17 | Pan S J， Yang Q. A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering，2010，22(10)：1345-1359. |
| 18 | Huang G， Liu Z， Van Der Maaten L，et al. Densely connected convolutional networks∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，HI，USA：IEEE，2017：2261-2269. |
| 19 | He K M， Fan H Q， Wu Y X，et al. Momentum contrast for unsupervised visual representation learning∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle，WA，USA：IEEE，2020：9726-9735. |
| 20 | van den Oord A， Li Y Z， Vinyals O. Representation learning with contrastive predictive coding. 2018，arXiv:. |
| 21 | Dyer C. Notes on noise contrastive estimation and negative sampling. 2014，arXiv:. |
| 22 | Chen T， Kornblith S， Norouzi M，et al. A simple framework for contrastive learning of visual representations∥The 37th International Conference on Machine Learning. Online：PMLR，2020：1597-1607. |
| 23 | Zhang S， Liao M， Wang J，et al. Fully automatic tumor segmentation of breast ultrasound images with deep learning. Journal of Applied Clinical Medical Physics，2023，24(1)：E13863. |
| 24 | Zhang S， Tang T Y， Peng X，et al. Automatic localization and identification of thoracic diseases from chest X?rays with deep learning. Current Medical Imaging，2022，18(13)：1416-1425. |
| 25 | Fei-Fei L， Deng J， Li K. ImageNet：Constructing a large?scale image database. Journal of Vision，2009，9(8)：1037. |
| 26 | He K M， Zhang X Y， Ren S Q，et al. Deep residual learning for image recognition∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA：IEEE，2016：770-778. |
| 27 | Lee C Y， Xie S N， Gallagher P，et al. Deeply?supervised nets∥Proceedings of the 8th International Conference on Artificial Intelligence and Statistics. San Diego，CA，USA：JMLR.org，2015：562-570. |
| 28 | Ren S Q， He K M， Girshick R，et al. Faster R?CNN：Towards real?time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39(6)：1137-1149. |
| 29 | Gidaris S， Komodakis N. Object detection via a multi?region and semantic segmentation?aware CNN model∥Proceedings of the IEEE International Conference on Computer Vision. Santiago，Chile：IEEE，2015：1134-1142. |
| 30 | Long J， Shelhamer E， Darrell T. Fully convolutional networks for semantic segmentation∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston，MA，USA：IEEE，2015：3431-3440. |
| 31 | Vinyals O， Toshev A， Bengio S，et al. Show and tell：A neural image caption generator∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston，MA，USA：IEEE，2015：3156-3164. |
| 32 | Johnson J， Karpathy A， Fei?Fei L. DenseCap：Fully convolutional localization networks for dense captioning∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA：IEEE，2016：4565-4574. |
| 33 | Otsu N. A threshold selection method from gray?level histograms. IEEE Transactions on Systems，Man，and Cybernetics，1979，9(1)：62-66. |
| 34 | Anton J， Castelli L， Chan M F，et al. How well do self?supervised models transfer to medical imaging? Journal of Imaging，2022，8(12)：320. |
| 35 | Guo Y F， Yang C Q， Lin T C，et al. Self supervised lesion recognition for breast ultrasound diagnosis∥2022 IEEE 19th International Symposium on Biomedical Imaging (ISBI). Kolkata，India：IEEE，2022：1-4. |
| [1] | 钱多, 殷俊. 基于俯视角融合的多模态三维目标检测[J]. 南京大学学报(自然科学版), 2023, 59(6): 996-1002. |
| [2] | 乔禹涵, 贾彩燕. 基于图自监督对比学习的社交媒体谣言检测[J]. 南京大学学报(自然科学版), 2023, 59(5): 823-832. |
| [3] | 刘思源, 毛存礼, 张勇丙. 基于领域知识图谱和对比学习的汉越跨境民族文本检索方法[J]. 南京大学学报(自然科学版), 2023, 59(4): 610-619. |
| [4] | 王昱翔, 葛洪伟. 基于U2⁃Net的金属表面缺陷检测算法[J]. 南京大学学报(自然科学版), 2023, 59(3): 413-424. |
| [5] | 谭嘉辰, 董永权, 张国玺. SSM: 基于孪生网络的糖尿病视网膜眼底图像分类模型[J]. 南京大学学报(自然科学版), 2023, 59(3): 425-434. |
| [6] | 杨京虎, 段亮, 岳昆, 李忠斌. 基于子事件的对话长文本情感分析[J]. 南京大学学报(自然科学版), 2023, 59(3): 483-493. |
| [7] | 周业瀚, 沈子钰, 周清, 李云. 基于生成式对抗网络的自监督多元时间序列异常检测方法[J]. 南京大学学报(自然科学版), 2023, 59(2): 256-262. |
| [8] | 卞苏阳, 严云洋, 龚成张, 冷志超, 祝巧巧. 基于CXANet⁃YOLO的火焰检测方法[J]. 南京大学学报(自然科学版), 2023, 59(2): 295-301. |
| [9] | 王津, 谭安辉, 顾沈明. 基于弱监督对比学习的弱多标记特征选择[J]. 南京大学学报(自然科学版), 2023, 59(1): 85-97. |
| [10] | 林灏昶, 秦云川, 蔡宇辉, 李肯立, 唐卓. 基于目标检测的图形用户界面控件识别方法[J]. 南京大学学报(自然科学版), 2022, 58(6): 1012-1019. |
| [11] | 唐伟佳, 张华, 侯志荣. 基于空间卷积融合的中文文本匹配方法[J]. 南京大学学报(自然科学版), 2022, 58(5): 868-875. |
| [12] | 周佳倩, 林培光, 李庆涛, 王基厚, 刘利达. MDDE：一种基于投资组合的金融市场趋势分析方法[J]. 南京大学学报(自然科学版), 2022, 58(5): 876-883. |
| [13] | 罗思涵, 杨燕. 一种基于深度学习和元学习的出行时间预测方法[J]. 南京大学学报(自然科学版), 2022, 58(4): 561-569. |
| [14] | 杜渊洋, 邓成伟, 张建. 基于深度卷积神经网络的RNA三维结构打分函数[J]. 南京大学学报(自然科学版), 2022, 58(3): 369-376. |
| [15] | 陈轶洲, 刘旭生, 孙林檀, 李文中, 方立兵, 陆桑璐. 基于图神经网络的社交网络影响力预测算法[J]. 南京大学学报(自然科学版), 2022, 58(3): 386-397. |
|
||