Metal surface defect detection aims to judge whether there are defects in the surface image of metal materials in industrial production through a reasonable algorithm,and is an important research content in the field of computer vision applied in industry. However,the existing segmentation⁃based metal surface defect detection algorithms still have problems such as weak anti⁃interference ability,easy background misjudgment and insufficient detection granularity. For metal surface images with various interference factors,this paper proposes a U2⁃Net⁃based metal surface defect detection algorithm Attention⁃U2Net. First of all,in order to solve the problem of misjudgment of background and insufficient information obtained by sampling layer due to excessive noise of metal surface image in actual production,a U⁃shaped attention coding module is designed for suppressing background noise. Then,in order to solve the complex problems of difficult⁃to⁃detect samples and boundaries in images,a weighted loss function is designed and combined with a multi⁃level supervision method,so that the detection algorithm pays more attention to difficult⁃to⁃detect samples and boundary pixels and improves the prediction accuracy. Finally,an algorithm that automatically calculates the grayscale threshold according to the image results is used to optimize the results,and a high⁃quality defect prediction map is generated finally. By comparing with six pixel segmentation methods commonly used in the field of defect detection,the experimental results on the public data set of metal surface defects show that the algorithm has good performance. The experimental results show that the algorithm has strong anti⁃interference factor ability,and the final defect prediction image has high pixel accuracy and obvious boundaries.
Wang Yuxiang, Ge Hongwei. Metal surface defect detection algorithm based on U2⁃Net. Journal of nanjing University[J], 2023, 59(3): 413-424 doi:10.13232/j.cnki.jnju.2023.03.005
基于深度学习的金属表面缺陷检测方法可分为三类:(1)基于整图分类网络的方法.2013年Akram et al[7]首次将DCNN (Dynamic Convolution Neural Network)应用在钢铁表面图像的分类任务中,其设计的深度卷积网络仅由单卷积层、单最大池化层和单全连接层组成,利用池化操作对池化前不同尺度的特征图进行金字塔池化操作,获得了固定大小的多尺度特征向量.Shang et al[8]提出一种铁轨缺陷的识别方法,首先利用canny算子提取图像边缘,定位铁轨区域,然后将处理后的图像利用预训练的Inception V3网络进行分类.Tao et al[9]提出三阶段级联深层神经网络,将三级目标检测网络的方法应用于金属表面的目标检测.(2)基于目标检测网络的方法.Zhang et al[10]提出一种基于旋转四边形的检测网络,对一种电连接器进行表面缺陷检测.Xue and Li[11]改进分类网络GoogleNet,并将其作为RFCN (Region⁃Based Fully Convolutional Networks)的骨干网络来检测钢轨表面裂纹.Chen et al[12]提出一种铁轨连接件检测的级联深层神经网络,分成三个阶段分别用于由粗到精的定位,再判断定位的目标是否存在缺陷.(3)基于像素分割网络的方法.Aslam et al[13]采用U⁃Net结构,使用基于像素分割的方法来检测金属表面的裂纹缺陷.Huang et al[14]采用VGG16作为骨干网络建立一种FCN(Fully Convolutional Networks)网络,检测铁轨表面的裂纹和渗透两类主要缺陷.Han et al[15]首先利用Fater R⁃CNN的候选区与提取操作获得大量可能包含缺陷的图像块,然后利用分割网络U⁃Net进行分割,实现对多晶硅片上的缺陷的检测.这三类方法中,基于像素分割的方法可以获得缺陷详细的形态、尺寸和位置信息,在对金属产品质量进行分析与判断时有明显优势.
U⁃net:Convolu⁃tional networks for biomedical image segmentation
∥Proceedings of the 18th International Conference on Medical Image Computing and Computer:Assisted Intervention. Springer Berlin Heidelberg,2015:234-241.
CNN based automatic detection of photovoltaic cell defects in electroluminescence images
1
2019
... 基于深度学习的金属表面缺陷检测方法可分为三类:(1)基于整图分类网络的方法.2013年Akram et al[7]首次将DCNN (Dynamic Convolution Neural Network)应用在钢铁表面图像的分类任务中,其设计的深度卷积网络仅由单卷积层、单最大池化层和单全连接层组成,利用池化操作对池化前不同尺度的特征图进行金字塔池化操作,获得了固定大小的多尺度特征向量.Shang et al[8]提出一种铁轨缺陷的识别方法,首先利用canny算子提取图像边缘,定位铁轨区域,然后将处理后的图像利用预训练的Inception V3网络进行分类.Tao et al[9]提出三阶段级联深层神经网络,将三级目标检测网络的方法应用于金属表面的目标检测.(2)基于目标检测网络的方法.Zhang et al[10]提出一种基于旋转四边形的检测网络,对一种电连接器进行表面缺陷检测.Xue and Li[11]改进分类网络GoogleNet,并将其作为RFCN (Region⁃Based Fully Convolutional Networks)的骨干网络来检测钢轨表面裂纹.Chen et al[12]提出一种铁轨连接件检测的级联深层神经网络,分成三个阶段分别用于由粗到精的定位,再判断定位的目标是否存在缺陷.(3)基于像素分割网络的方法.Aslam et al[13]采用U⁃Net结构,使用基于像素分割的方法来检测金属表面的裂纹缺陷.Huang et al[14]采用VGG16作为骨干网络建立一种FCN(Fully Convolutional Networks)网络,检测铁轨表面的裂纹和渗透两类主要缺陷.Han et al[15]首先利用Fater R⁃CNN的候选区与提取操作获得大量可能包含缺陷的图像块,然后利用分割网络U⁃Net进行分割,实现对多晶硅片上的缺陷的检测.这三类方法中,基于像素分割的方法可以获得缺陷详细的形态、尺寸和位置信息,在对金属产品质量进行分析与判断时有明显优势. ...
Detection of rail surface defects based on CNN image recognition and classification
1
2018
... 基于深度学习的金属表面缺陷检测方法可分为三类:(1)基于整图分类网络的方法.2013年Akram et al[7]首次将DCNN (Dynamic Convolution Neural Network)应用在钢铁表面图像的分类任务中,其设计的深度卷积网络仅由单卷积层、单最大池化层和单全连接层组成,利用池化操作对池化前不同尺度的特征图进行金字塔池化操作,获得了固定大小的多尺度特征向量.Shang et al[8]提出一种铁轨缺陷的识别方法,首先利用canny算子提取图像边缘,定位铁轨区域,然后将处理后的图像利用预训练的Inception V3网络进行分类.Tao et al[9]提出三阶段级联深层神经网络,将三级目标检测网络的方法应用于金属表面的目标检测.(2)基于目标检测网络的方法.Zhang et al[10]提出一种基于旋转四边形的检测网络,对一种电连接器进行表面缺陷检测.Xue and Li[11]改进分类网络GoogleNet,并将其作为RFCN (Region⁃Based Fully Convolutional Networks)的骨干网络来检测钢轨表面裂纹.Chen et al[12]提出一种铁轨连接件检测的级联深层神经网络,分成三个阶段分别用于由粗到精的定位,再判断定位的目标是否存在缺陷.(3)基于像素分割网络的方法.Aslam et al[13]采用U⁃Net结构,使用基于像素分割的方法来检测金属表面的裂纹缺陷.Huang et al[14]采用VGG16作为骨干网络建立一种FCN(Fully Convolutional Networks)网络,检测铁轨表面的裂纹和渗透两类主要缺陷.Han et al[15]首先利用Fater R⁃CNN的候选区与提取操作获得大量可能包含缺陷的图像块,然后利用分割网络U⁃Net进行分割,实现对多晶硅片上的缺陷的检测.这三类方法中,基于像素分割的方法可以获得缺陷详细的形态、尺寸和位置信息,在对金属产品质量进行分析与判断时有明显优势. ...
Automatic metallic surface defect detection and recognition with convolutional neural networks
1
2018
... 基于深度学习的金属表面缺陷检测方法可分为三类:(1)基于整图分类网络的方法.2013年Akram et al[7]首次将DCNN (Dynamic Convolution Neural Network)应用在钢铁表面图像的分类任务中,其设计的深度卷积网络仅由单卷积层、单最大池化层和单全连接层组成,利用池化操作对池化前不同尺度的特征图进行金字塔池化操作,获得了固定大小的多尺度特征向量.Shang et al[8]提出一种铁轨缺陷的识别方法,首先利用canny算子提取图像边缘,定位铁轨区域,然后将处理后的图像利用预训练的Inception V3网络进行分类.Tao et al[9]提出三阶段级联深层神经网络,将三级目标检测网络的方法应用于金属表面的目标检测.(2)基于目标检测网络的方法.Zhang et al[10]提出一种基于旋转四边形的检测网络,对一种电连接器进行表面缺陷检测.Xue and Li[11]改进分类网络GoogleNet,并将其作为RFCN (Region⁃Based Fully Convolutional Networks)的骨干网络来检测钢轨表面裂纹.Chen et al[12]提出一种铁轨连接件检测的级联深层神经网络,分成三个阶段分别用于由粗到精的定位,再判断定位的目标是否存在缺陷.(3)基于像素分割网络的方法.Aslam et al[13]采用U⁃Net结构,使用基于像素分割的方法来检测金属表面的裂纹缺陷.Huang et al[14]采用VGG16作为骨干网络建立一种FCN(Fully Convolutional Networks)网络,检测铁轨表面的裂纹和渗透两类主要缺陷.Han et al[15]首先利用Fater R⁃CNN的候选区与提取操作获得大量可能包含缺陷的图像块,然后利用分割网络U⁃Net进行分割,实现对多晶硅片上的缺陷的检测.这三类方法中,基于像素分割的方法可以获得缺陷详细的形态、尺寸和位置信息,在对金属产品质量进行分析与判断时有明显优势. ...
Quality inspection based on quadrangular object detection for deep aperture component
1
2021
... 基于深度学习的金属表面缺陷检测方法可分为三类:(1)基于整图分类网络的方法.2013年Akram et al[7]首次将DCNN (Dynamic Convolution Neural Network)应用在钢铁表面图像的分类任务中,其设计的深度卷积网络仅由单卷积层、单最大池化层和单全连接层组成,利用池化操作对池化前不同尺度的特征图进行金字塔池化操作,获得了固定大小的多尺度特征向量.Shang et al[8]提出一种铁轨缺陷的识别方法,首先利用canny算子提取图像边缘,定位铁轨区域,然后将处理后的图像利用预训练的Inception V3网络进行分类.Tao et al[9]提出三阶段级联深层神经网络,将三级目标检测网络的方法应用于金属表面的目标检测.(2)基于目标检测网络的方法.Zhang et al[10]提出一种基于旋转四边形的检测网络,对一种电连接器进行表面缺陷检测.Xue and Li[11]改进分类网络GoogleNet,并将其作为RFCN (Region⁃Based Fully Convolutional Networks)的骨干网络来检测钢轨表面裂纹.Chen et al[12]提出一种铁轨连接件检测的级联深层神经网络,分成三个阶段分别用于由粗到精的定位,再判断定位的目标是否存在缺陷.(3)基于像素分割网络的方法.Aslam et al[13]采用U⁃Net结构,使用基于像素分割的方法来检测金属表面的裂纹缺陷.Huang et al[14]采用VGG16作为骨干网络建立一种FCN(Fully Convolutional Networks)网络,检测铁轨表面的裂纹和渗透两类主要缺陷.Han et al[15]首先利用Fater R⁃CNN的候选区与提取操作获得大量可能包含缺陷的图像块,然后利用分割网络U⁃Net进行分割,实现对多晶硅片上的缺陷的检测.这三类方法中,基于像素分割的方法可以获得缺陷详细的形态、尺寸和位置信息,在对金属产品质量进行分析与判断时有明显优势. ...
A fast detection method via region‐based fully convolutional neural networks for shield tunnel lining defects
1
2018
... 基于深度学习的金属表面缺陷检测方法可分为三类:(1)基于整图分类网络的方法.2013年Akram et al[7]首次将DCNN (Dynamic Convolution Neural Network)应用在钢铁表面图像的分类任务中,其设计的深度卷积网络仅由单卷积层、单最大池化层和单全连接层组成,利用池化操作对池化前不同尺度的特征图进行金字塔池化操作,获得了固定大小的多尺度特征向量.Shang et al[8]提出一种铁轨缺陷的识别方法,首先利用canny算子提取图像边缘,定位铁轨区域,然后将处理后的图像利用预训练的Inception V3网络进行分类.Tao et al[9]提出三阶段级联深层神经网络,将三级目标检测网络的方法应用于金属表面的目标检测.(2)基于目标检测网络的方法.Zhang et al[10]提出一种基于旋转四边形的检测网络,对一种电连接器进行表面缺陷检测.Xue and Li[11]改进分类网络GoogleNet,并将其作为RFCN (Region⁃Based Fully Convolutional Networks)的骨干网络来检测钢轨表面裂纹.Chen et al[12]提出一种铁轨连接件检测的级联深层神经网络,分成三个阶段分别用于由粗到精的定位,再判断定位的目标是否存在缺陷.(3)基于像素分割网络的方法.Aslam et al[13]采用U⁃Net结构,使用基于像素分割的方法来检测金属表面的裂纹缺陷.Huang et al[14]采用VGG16作为骨干网络建立一种FCN(Fully Convolutional Networks)网络,检测铁轨表面的裂纹和渗透两类主要缺陷.Han et al[15]首先利用Fater R⁃CNN的候选区与提取操作获得大量可能包含缺陷的图像块,然后利用分割网络U⁃Net进行分割,实现对多晶硅片上的缺陷的检测.这三类方法中,基于像素分割的方法可以获得缺陷详细的形态、尺寸和位置信息,在对金属产品质量进行分析与判断时有明显优势. ...
Automatic defect detection of fasteners on the catenary support device using deep convolutional neural network
1
2018
... 基于深度学习的金属表面缺陷检测方法可分为三类:(1)基于整图分类网络的方法.2013年Akram et al[7]首次将DCNN (Dynamic Convolution Neural Network)应用在钢铁表面图像的分类任务中,其设计的深度卷积网络仅由单卷积层、单最大池化层和单全连接层组成,利用池化操作对池化前不同尺度的特征图进行金字塔池化操作,获得了固定大小的多尺度特征向量.Shang et al[8]提出一种铁轨缺陷的识别方法,首先利用canny算子提取图像边缘,定位铁轨区域,然后将处理后的图像利用预训练的Inception V3网络进行分类.Tao et al[9]提出三阶段级联深层神经网络,将三级目标检测网络的方法应用于金属表面的目标检测.(2)基于目标检测网络的方法.Zhang et al[10]提出一种基于旋转四边形的检测网络,对一种电连接器进行表面缺陷检测.Xue and Li[11]改进分类网络GoogleNet,并将其作为RFCN (Region⁃Based Fully Convolutional Networks)的骨干网络来检测钢轨表面裂纹.Chen et al[12]提出一种铁轨连接件检测的级联深层神经网络,分成三个阶段分别用于由粗到精的定位,再判断定位的目标是否存在缺陷.(3)基于像素分割网络的方法.Aslam et al[13]采用U⁃Net结构,使用基于像素分割的方法来检测金属表面的裂纹缺陷.Huang et al[14]采用VGG16作为骨干网络建立一种FCN(Fully Convolutional Networks)网络,检测铁轨表面的裂纹和渗透两类主要缺陷.Han et al[15]首先利用Fater R⁃CNN的候选区与提取操作获得大量可能包含缺陷的图像块,然后利用分割网络U⁃Net进行分割,实现对多晶硅片上的缺陷的检测.这三类方法中,基于像素分割的方法可以获得缺陷详细的形态、尺寸和位置信息,在对金属产品质量进行分析与判断时有明显优势. ...
Localization and segmentation of metal cracks using deep learning
1
2021
... 基于深度学习的金属表面缺陷检测方法可分为三类:(1)基于整图分类网络的方法.2013年Akram et al[7]首次将DCNN (Dynamic Convolution Neural Network)应用在钢铁表面图像的分类任务中,其设计的深度卷积网络仅由单卷积层、单最大池化层和单全连接层组成,利用池化操作对池化前不同尺度的特征图进行金字塔池化操作,获得了固定大小的多尺度特征向量.Shang et al[8]提出一种铁轨缺陷的识别方法,首先利用canny算子提取图像边缘,定位铁轨区域,然后将处理后的图像利用预训练的Inception V3网络进行分类.Tao et al[9]提出三阶段级联深层神经网络,将三级目标检测网络的方法应用于金属表面的目标检测.(2)基于目标检测网络的方法.Zhang et al[10]提出一种基于旋转四边形的检测网络,对一种电连接器进行表面缺陷检测.Xue and Li[11]改进分类网络GoogleNet,并将其作为RFCN (Region⁃Based Fully Convolutional Networks)的骨干网络来检测钢轨表面裂纹.Chen et al[12]提出一种铁轨连接件检测的级联深层神经网络,分成三个阶段分别用于由粗到精的定位,再判断定位的目标是否存在缺陷.(3)基于像素分割网络的方法.Aslam et al[13]采用U⁃Net结构,使用基于像素分割的方法来检测金属表面的裂纹缺陷.Huang et al[14]采用VGG16作为骨干网络建立一种FCN(Fully Convolutional Networks)网络,检测铁轨表面的裂纹和渗透两类主要缺陷.Han et al[15]首先利用Fater R⁃CNN的候选区与提取操作获得大量可能包含缺陷的图像块,然后利用分割网络U⁃Net进行分割,实现对多晶硅片上的缺陷的检测.这三类方法中,基于像素分割的方法可以获得缺陷详细的形态、尺寸和位置信息,在对金属产品质量进行分析与判断时有明显优势. ...
Deep learning based image recognition for crack and leakage defects of metro shield tunnel
1
2018
... 基于深度学习的金属表面缺陷检测方法可分为三类:(1)基于整图分类网络的方法.2013年Akram et al[7]首次将DCNN (Dynamic Convolution Neural Network)应用在钢铁表面图像的分类任务中,其设计的深度卷积网络仅由单卷积层、单最大池化层和单全连接层组成,利用池化操作对池化前不同尺度的特征图进行金字塔池化操作,获得了固定大小的多尺度特征向量.Shang et al[8]提出一种铁轨缺陷的识别方法,首先利用canny算子提取图像边缘,定位铁轨区域,然后将处理后的图像利用预训练的Inception V3网络进行分类.Tao et al[9]提出三阶段级联深层神经网络,将三级目标检测网络的方法应用于金属表面的目标检测.(2)基于目标检测网络的方法.Zhang et al[10]提出一种基于旋转四边形的检测网络,对一种电连接器进行表面缺陷检测.Xue and Li[11]改进分类网络GoogleNet,并将其作为RFCN (Region⁃Based Fully Convolutional Networks)的骨干网络来检测钢轨表面裂纹.Chen et al[12]提出一种铁轨连接件检测的级联深层神经网络,分成三个阶段分别用于由粗到精的定位,再判断定位的目标是否存在缺陷.(3)基于像素分割网络的方法.Aslam et al[13]采用U⁃Net结构,使用基于像素分割的方法来检测金属表面的裂纹缺陷.Huang et al[14]采用VGG16作为骨干网络建立一种FCN(Fully Convolutional Networks)网络,检测铁轨表面的裂纹和渗透两类主要缺陷.Han et al[15]首先利用Fater R⁃CNN的候选区与提取操作获得大量可能包含缺陷的图像块,然后利用分割网络U⁃Net进行分割,实现对多晶硅片上的缺陷的检测.这三类方法中,基于像素分割的方法可以获得缺陷详细的形态、尺寸和位置信息,在对金属产品质量进行分析与判断时有明显优势. ...
Polycrystalline silicon wafer defect segmentation based on deep convolutional neural networks
1
2020
... 基于深度学习的金属表面缺陷检测方法可分为三类:(1)基于整图分类网络的方法.2013年Akram et al[7]首次将DCNN (Dynamic Convolution Neural Network)应用在钢铁表面图像的分类任务中,其设计的深度卷积网络仅由单卷积层、单最大池化层和单全连接层组成,利用池化操作对池化前不同尺度的特征图进行金字塔池化操作,获得了固定大小的多尺度特征向量.Shang et al[8]提出一种铁轨缺陷的识别方法,首先利用canny算子提取图像边缘,定位铁轨区域,然后将处理后的图像利用预训练的Inception V3网络进行分类.Tao et al[9]提出三阶段级联深层神经网络,将三级目标检测网络的方法应用于金属表面的目标检测.(2)基于目标检测网络的方法.Zhang et al[10]提出一种基于旋转四边形的检测网络,对一种电连接器进行表面缺陷检测.Xue and Li[11]改进分类网络GoogleNet,并将其作为RFCN (Region⁃Based Fully Convolutional Networks)的骨干网络来检测钢轨表面裂纹.Chen et al[12]提出一种铁轨连接件检测的级联深层神经网络,分成三个阶段分别用于由粗到精的定位,再判断定位的目标是否存在缺陷.(3)基于像素分割网络的方法.Aslam et al[13]采用U⁃Net结构,使用基于像素分割的方法来检测金属表面的裂纹缺陷.Huang et al[14]采用VGG16作为骨干网络建立一种FCN(Fully Convolutional Networks)网络,检测铁轨表面的裂纹和渗透两类主要缺陷.Han et al[15]首先利用Fater R⁃CNN的候选区与提取操作获得大量可能包含缺陷的图像块,然后利用分割网络U⁃Net进行分割,实现对多晶硅片上的缺陷的检测.这三类方法中,基于像素分割的方法可以获得缺陷详细的形态、尺寸和位置信息,在对金属产品质量进行分析与判断时有明显优势. ...
U2?Net:Going deeper with nested U?structure for salient object detection
4
2020
... 现阶段使用的像素分割方法中,U2⁃Net是Qin et al[16]受到U⁃Net [17]启发设计的深度学习网络结构,在图像分割领域显著性目标检测任务中具有更好的性能和效果.该方法提出一种新的RSU (Residual U⁃blocks)模块并使用嵌套的U型结构,和U⁃Net方法相比,大大提高了从任意分辨率的输入特征图中提取多尺度特征的能力. ...
... 2020年Qin et al[16]提出一种简单而强大的深度学习网络架构U2⁃Net用于显著目标检测(Salient Object Detection,SOD).U2⁃Net的网络结构如图1所示,是一个两层嵌套的U型结构. ...