本发明涉及图像处理和工业自动化领域，以及涉及一种基于机器视觉的管板缺陷识别检测方法。
背景技术：
1、管板是一种用于管式换热器和锅炉中的关键部件，特别在石油和化工、核电装备制造、电力和能源、造船和海洋工程等领域占重要影响。其质量直接影响设备的性能和安全性。由于管板在制造和生产过程中可能会出现各种缺陷，如裂纹、焊瘤、孔洞、咬边等，因此对管板进行缺陷检测是非常重要的。
2、传统的检测方法主要依赖于人工检查和一些简单的无损检测技术，如pt渗透检测、射线检测和磁粉检测等。这些方法存在效率低、主观性强、成本高、环境恶劣等问题。还存在过程难以追溯，pt清洗、渗透和显像试剂对环境造成污染问题。使用基于机器视觉的管板缺陷识别检测方法可以自动采集、处理和分析图像，实现实时的自动化检测，避免了人工检测的主观性和低效率问题。且机器视觉系统可以在高温、高压、辐射等复杂工作环境中稳定运行。
3、随着计算机技术的发展目前基于机器视觉的管板缺陷识别检测方法很多例如faster r-cnn、ssd等深度学习方法，模板匹配、hough变换等传统图像处理算法。但是都还存在着诸多问题，如检测精度不高、速度慢、兼容性差、在复杂情况下识别效率低下、无法对管板的每个孔进行实时位置编号等。
技术实现思路
1、本发明的目的就在于为了解决上述问题而提供一种基于机器视觉的管板缺陷识别检测方法，具体在于提供一种对管板的实时的质量检测方法，识别管板的缺陷并实时的进行电子尺寸测量。
2、为达到上述目的，本发明采用如下技术方案：基于机器视觉的管板缺陷识别检测方法，包括如下步骤：
3、第一步，先利用相机对有缺陷的管板进行拍摄获得管板的数据集。
4、第二步，使用计算机对拍摄的数据集进行预处理。对每张照片的缺陷处进行标注，并进行数据扩充和增强，并划分为验证集、训练集、测试集，最后处理成yolov10的网络模型识别格式。
5、第三步，使用改进的yolov10的管板表面缺陷检测模型训练数据集，所述改进yolov10为在检测上增加一个小目标检测头、利用vision mamba框架下的mllablock对yolov10中原有的c2f模块进行重新改进，并将其命名为c2fmllablock，在骨干处的尾部设计引入结合了卷积操作、注意力机制和前馈神经网络的综合模块connama注意力机制模块。
6、第四步，使用训练集和验证集对上述钢板表面缺陷检测模型进行训练，得到最优管板表面缺陷检测模型。
7、第五步，配合使用计算机算法对管板的每个圆孔进行身份编号。
8、第六步，配合使用计算机算法对检出出的缺陷进行电子测量尺寸。
9、进一步地，对所述第四步骤对yolov10中原有的c2f模块替换成c2fmllablock模块，实现过程如下：特征向量首先经过cbs模块生成特征图；然后，特征图经过split层，被拆分为两个部分。为了使模块可以捕捉不同尺度的特征并进行深度特征处理，特别是在处理复杂图像时更好地捕捉和融合多种特征，对第一个部分进行5×5卷积，对第二个部分分别进行3×3卷积和7×7卷积，并分别使用mllablock模块对对其进行特征提取和处理。最后，通过concat函数将所有的输出分支进行拼接并使用cbs模块调整通道数。
10、进一步地，所述使用的mllablock模块实现过程如下：将输入特征通过卷积位置编码器(cpe)进行卷积编码，以增强空间信息,并经过卷积编码后的特征与原始特征相加形成新的特征。再将该特征进行归一化、线性投影、激活投影和深度可分离卷积处理，并应用线性注意力机制(linearattention)处理特征，再对注意力输出进行线性投影与之前未经过线性注意力处理的特征相加。对相加后的特征使用cpe进行第二次卷积编码，再次增强空间信息并与之前的特征相加。特征经过归一化和多层感知机(mlp)处理并再残差连接中使用随机深度(droppath)增加正则化效果。最后，输出特征张量会进行重塑，确保输出特征具有与输入特征相同的空间维度。
11、进一步地，所述使用的cpe模块实现过程如下：先将输入特征x的形状(b,l,c)重塑为(b,h,w,c)以适应卷积操作的输入要求。通过深度可分离卷积处理特征，并保留空间位置信息，其中k为卷积核的半径，wm×n是卷积核的权重,n是卷积核的水平偏移量,m是卷积核的垂直偏移。将处理后的特征再次重塑回(b,l,c)并输出y。其中b是批量大小，l是序列长度(或像素数)，c是通道数，h和w是特征图的高度和宽度。其前向传播数学表达式为:
12、
13、进一步地，对所述多层感知机mlp模块实现过程如下:输入特征数据x经过线性变换、激活函数φ、dropout，再经过另一个线性变换和dropout，最终输出结果,其中权重矩阵表示为w1、w2，偏置向量分别表示为b1、b2，dropout表示为d。其前向传播的数学表达式为:
14、 y＝d(w2·dropout(φw1x+b1))+b2 (2)
15、进一步的，对所述的线性注意力机制(linearattention)模块实现过程如下：先对输入特征应用算法quer和k处理，通过计算查询向量与键向量之间的点积，得到每个键向量对查询向量的权重，并加权求和对应的值向量，以此得到输出，并应用激活函数elu进行处理，为了使模型能够在不显式添加位置编码的情况下捕捉输入序列的位置信息，使用旋转位置嵌入机制(rope)对其进行位置编码并将算法quer和k重新整形以适应注意力头，计算缩放因子、注意力权重。最后对计算的输出张量通过深度可分离卷积(lepe)计算其位置编码。
16、进一步的，对所述的droppath模块实现过程如下：先对输入特征向量x进行判断状态，后决定否丢弃路径以及如何缩放，如果判断其丢弃概率p为0或者非训练模式张量则返回输入端、如果判断其保留概率p2大于0，则进行路径丢弃操作。首先遵循伯努利分布生成随机张量r并对其进行缩放以此保持输入的期望值不变，最后将输入张量的值与随机张量的值相乘，若随机张量的值为0则会对应位置的输入张量置零，从而实现路径丢弃。其数学表达式为：
17、
18、进一步的，对第四步所诉的connama注意力机制模块实现过程如下：首先对输入的特征向量进行卷积并划分为俩个特征张量，然后将其中一个特征张量经过namattention模块处理后与之相加，再通过前反馈网络ffn进行处理再次叠加。最后将该特征向量与另外一个开始划分的特征张量拼接并卷积后输出。
19、进一步的，为了有助于管板在制造和安装过程实时追踪管板每个圆孔的具体位置和状态，对第六步所诉的结合使用计算机算法对管板的每个圆孔进行身份编号实现过程如下：先将彩色图像转为灰度图像，再应用高斯模糊以减少噪声，使圆形检测更加准确。然后使用霍夫变换算法检测圆形进行拟合，并将检测到的圆形在显示图像上按自定义编号标注，并根据y坐标和x坐标对圆进行排序使其编号有规律的显示在每个圆孔上。
20、进一步的，对所诉的霍夫变换检测圆形算法其实现步骤如下：首先对输入图像进行边缘检测，以减少后续处理的数据量。再对图像空间中的每一个边缘点(x,y)，在参数空间中对所有可能的圆心(a,b)和半径r组合投票，计算出可能的圆心坐标累加器数组中对应的位置的值加一，通过在累加器数组中查找高值区域，检测并判断圆形区域，其数学表达式如下：
21、
22、进一步的，第七步，结合使用计算机算法对检出出的缺陷进行电子测量尺寸其实现步骤如下：针对管板经常出现的焊瘤和孔洞，先根据实际情况进行调整每毫米的像素数p，再读取图像并转换为灰度图和二值化处理利用轮廓检测算法拟合孔的轮廓，获取到孔轮廓像素直径dp后计算其实际孔直径d，并将单位转换为mm。其数学表达式为：
23、 d＝dp ·p (9)
24、与现有技术相比，本发明的有益效果：本发明提出的改进的yolov10模型，connama注意力机制结合了卷积、注意力和前馈神经网络，相比单一的仅nama自主意力机制能针对管板多种细小、复杂缺陷，能捕捉到更细粒度的特征以及增强特征处理能力、能适应不同复杂的应用场所。c2fmllablock模块结合了传统的卷积操作和多尺度特征提取，以及先进的注意力机制和前馈神经网络，相比c2f模块，在特征表示和处理能力上有了显著的提升，能适用于更加复杂、数据量更大的管板识别场景。本发明增加的圆孔坐标编号定位功能，可大大增加检测的可视化程度和速度。本发明实现的管板表面缺陷检测方法，可大大提高检测效率，排除不合格材料，减少因材料质量问题导致的产品废品率和返工率，降低生产成本，确保产品的质量。
1.一种基于机器视觉的管板缺陷识别检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于机器视觉的管板检测识别方法，其特征在于，步骤(3)所述增加一个小目标检测头是在原有的三种尺寸的检测层上添加160×160的小目标检测头，提高模型识别管板表面缺陷的准确度。
3.根据权利要求1所述的一种基于机器视觉的管板检测识别方法，其特征在于，步骤(3)中所述的c2fmllablock模块，是一个包含多尺度特征提取和多层多头注意力块的网络模块，以针对管板上的微小孔洞扑捉到更多的细节和更广的视野。首先通过第一层cbs模块对输入特征进行通道转换和分离，然后对分离后的特征图应用多尺度的卷积操作，接着通过多个mllablock模块实现多层多头注意力机制，最后通过cbs卷积层输出最终的特征表示。其中多尺度特征提取模块分别是3×3、5×5、7×7的卷积层。
4.根据权利要求3所述的一种基于机器视觉的管板检测识别方法，其特征在于，所诉的mllablock模块通过多层线性注意力和多层感知器来提取和处理特征。将输入张量的形状从进行重塑。再通过cep模块进行通道间的交互处理，并经过卷积编码后的特征与原始特征相加形成新的特征。再将该特征进行归一化、线性投影、激活投影和深度可分离卷积处理，并应用线性注意力机制(linearattention)处理特征，再对注意力输出进行线性投影与之前未经过线性注意力处理的特征相加。对相加后的特征使用cpe进行第二次卷积编码，再次增强空间信息并与之前的特征相加。特征经过归一化和多层感知机(mlp)处理并再残差连接中使用随机深度(droppath)增加正则化效果。最后，输出特征张量会进行重塑，确保输出特征具有与输入特征相同的空间维度。其中输入张量形状进行重塑是将张量尺寸从(b,c,h,w)重新排列为(b,h×w,c)，输出再重塑回输入张量其中b是批大小，c是通道数，h和w是空间尺寸。
5.根据权利要求4所述的一种基于机器视觉的管板检测识别方法，其特征在于，所述cep模块是一个通道间逐点卷积模块，对于输入的每个通道，分别进行逐点卷积。逐点卷积使用1×1的卷积核，将每个输入通道中的每个像素点都与对应的卷积核进行卷积操作，以产生输出通道中的每个像素点的值。通道间逐点卷积通过对每个通道进行单独处理，保留了通道之间的关系，有助于增强特征的表达能力，促进模型在处理复杂特征时的性能提升。
6.根据权利要求4所述的一种基于机器视觉的管板检测识别方法，其特征在于，所述mlp模块是一个多层感知机模块，该模块对输入张量对输入特征进行线性变换和非线性激活处理。通过在两个线性层之间加入激活函数和dropou层，有效地增强模型的表达能力和泛化能力。
7.根据权利要求4所述的一种基于机器视觉的管板检测识别方法，其特征在于，所述linearattention模块实现了一个结合了位置编码和点编码的线性注意力机制。通过查询、键和值的线性变换，结合激活函数和自定义的点编码技术，有效地捕获输入特征之间的关系，并生成注意力加权后的输出。最后通过位置编码对值进行调整，使得输出特征更具有表达能力和语义信息。
8.根据权利要求4所述的一种基于机器视觉的管板检测识别方法，其特征在于，所述droppath模块实现了随机深度的功能，在残差块的主路径上根据指定的概率丢弃输入特征。帮助模型在训练过程中增强泛化能力和减少过拟合现象。
9.根据权利要求1所述的一种基于机器视觉的管板检测识别方法，其特征在于，步骤(3)中所述的connama模块首先通过卷积层分割成两个部分，一部分经过注意力机制和前馈神经网络处理，然后再与另一部分拼接，最后通过另一个卷积层输出。针对管板多种细小、复杂缺陷，能捕捉到更细粒度的特征以及增强特征处理能力、能适应不同复杂的应用场所。
