基于深度学习的多能x射线图像融合方法及装置
技术领域
1.本发明涉及一种基于深度学习的多能x射线图像融合方法及装置。
背景技术：2.复杂结构的重要部件在航天、国防和工业应用领域发挥着不可替代的作用，生产厂家在制造这些工件时需要严格把控质量，x射线常被视为质量检测的工具。数字化x射线成像技术能完成一系列诸如缺陷检测和内部结构分析的工作，但受工件结构和材料方面的制约，大厚度比的检测对象在单能系统下存在过曝光和曝光不足的现象，难以反映全面的结构信息。具体的：在x射线图中，工件中较厚区域显示良好时，较薄的地方只有小部分x射线被吸收，可能出现曝光过度；相反，当工件较薄处显示良好时，较厚区域无法保证x射线穿过后的剩余强度，可能表现为曝光不足。图像融合能将不同传感器或同一传感器在不同成像条件下的信息融合起来，较好的提升图像分辨率和清晰度，增强和相互补充图像的相关特征。融合不同能量照射下的x射线图像能较好地解决工件检测时过曝光和曝光不足共存的问题。有两个重要因素决定了图像融合的最终结果：一是如何检测和提取源图像中的信息，二是设计合适的规则来融合提取的特征信息。
3.现有技术中，公开且较流行的图像融合方法可分为5类：空间域处理算法、变换域处理算法、稀疏表示算法、深度学习算法和复合算法。空间域处理算法以原始图像的像素点为基本单位，直接处理图像，典型例子是采用加权平均来获得融合权值图，处理速度快但容易引入噪声且很难自适应得确定每个特征的重要性。在变换域进行的图像融合方法用计算过程的复杂性换取相对较多细节的保留。基于分块的稀疏表示算法通过稀疏系数特征来融合图像，过程简单，但算法受分块策略和块尺寸大小的影响，常被不必要的背景信息干扰，训练得到的字典包含过多的不必要特征，融合结果存在空间上的不连续性，有时还含有黑边，不利于实际应用。基于深度学习的方法在红外与可见光图像融合、医学图像融合和多焦点图像融合上有着较多应用，体现出较好的融合效果和不错的鲁棒性，而深度学习下的多能x射线图像融合方法的公开文献资料有限。大多基于x射线的工件检测方法通过递增x管电压来获取不同厚度范围的透照子图，并通过子图的加权融合得到融合结果，但加权融合过程可能导致图像深度范围远远超过设备的显示能力，无法完整显示工件的结构信息。
技术实现要素：4.本发明的发明目的在于提供一种基于深度学习的多能x射线图像融合方法及装置，能够有效反映工件信息，提高检测准确率。
5.基于同一发明构思，本发明具有两个独立的技术方案：
6.1、一种基于深度学习的多能x射线图像融合方法，一种基于深度学习的多能x射线图像融合方法，包括如下步骤：
7.步骤1：采集不同工件的不同能量x射线图作为训练数据集；
8.步骤2：将训练数据集的x射线图输入编码器，训练编码器和解码器，待训练网络稳
定后，获得训练好的编码器和解码器；
9.步骤3：在训练好的编码器和解码器之间添加结合通道注意力和基于模糊熵的空间注意力的融合策略；
10.步骤4：输入不同能量的x射线图至训练好的编码器提取特征，再使用结合通道注意力和基于模糊熵的空间注意力的融合策略融合特征图，融合后的特征图再进入训练好的解码器输出融合结果。
11.进一步地，步骤2中，编码器由主支路和辅支路组成，所述主支路先用一个1
×
1卷积层对输入图像升高特征通道数，再用4层多尺度卷积块提取图像的全局特征；所述辅支路对输入图像使用可训练的边缘检测算子增强边缘信息，获得与主支路相同维度的特征图，辅支路与主支路唯一不同的是用可训练的边缘检测算子替代主支路的起始卷积层。
12.进一步地，步骤2中，编码器主支路和辅支路提取的特征相加后进入解码器，在解码器末端卷积层将图像通道数改为单通道，输出重建图像。
13.进一步地，步骤2中，辅支路采用的边缘检测算子为sobel算子、laplacian算子、canny算子或log算子。
14.进一步地，步骤2中，主支路和辅支路均连接密集旁路，所述旁路用于提升特征复用能力。
15.进一步地，步骤2中，多尺度卷积块具有四条分支，每个卷积块均由卷积层、激活函数和批量归一化层组成。
16.进一步地，步骤2中，卷积块的激活函数采用sigmoid函数，relu函数，tanh函数，softmax函数或leaky relu函数。
17.进一步地，步骤2中，指导网络训练的复合损失函数由l1损失函数和基于图像块的一致性损失函数加权组合而成；所述基于图像块的一致性损失函数用于计算输入图像局部能量图和输出图像局部能量图的l1范数值损失，所述局部能量图中像素点计算方式为，一个图像块内的邻域像素与中间像素差值的平方和，再求平均。
18.进一步地，步骤3中，结合通道注意力和基于模糊熵的空间注意力的融合策略具体为，将特征图分别使用通道注意力模块和基于模糊熵的空间注意力模块进行融合，并将所述两个融合模块的输出取均值，作为特征图融合结果。
19.2、一种基于深度学习的多能x射线图像融合装置，用于执行上述方法。
20.本发明具有的有益效果：
21.本发明采集不同工件的不同能量x射线图作为训练数据集；将训练数据集的x射线图输入编码器，训练编码器和解码器，待训练网络稳定后，获得训练好的编码器和解码器；在训练好的编码器和解码器之间添加结合通道注意力和基于模糊熵的空间注意力的融合策略；输入不同能量的x射线图至训练好的编码器提取特征，再使用结合通道注意力和基于模糊熵的空间注意力的融合策略融合特征图，融合后的特征图再进入训练好的解码器输出融合结果。本发明利用神经网络强大的特征提取能力和结合通道注意力和基于模糊熵的空间注意力的特征融合策略，在考虑算法复杂度的同时很好的融合了工件不同能量x射线图中的有效信息，并且融合后的图像有着丰富的边缘细节，提出的算法对不同融合对象也表现出较强的鲁棒性，克服了外形不均匀且内部结构复杂工件的过曝光和曝光不足问题，完整清晰的显示复杂构件的内部信息，较大程度的提升了工件内部缺陷检测和测量的准确
率。
22.本发明编码器由主支路和辅支路组成，所述主支路先用一个1
×
1卷积层对输入图像升高特征通道数，再用4层多尺度卷积块提取图像的全局特征；所述辅支路对输入图像使用可训练的边缘检测算子增强边缘信息，获得与主支路相同维度的特征图；主支路和辅支路均连接密集旁路，所述旁路用于提升特征复用能力。本发明主支路采用4层多尺度卷积块提取图像的全局特征，通过辅支路增强图像边缘信息，进一步保证对图像特征的有效提取。
23.本发明结合通道注意力和基于模糊熵的空间注意力的融合策略具体为，将特征图分别使用通道注意力模块和基于模糊熵的空间注意力模块进行融合，并将所述两个融合模块的输出取均值，作为特征图融合结果。本发明通过上述融合策略，进一步保证很好融合了工件不同能量x射线图中的有效信息。
附图说明
24.图1是本发明基于深度学习的多能x射线图像融合方法示意图；
25.图2是本发明编码器提取特征示意图；
26.图3是本发明编码器中多尺度卷积块示意图；
27.图4是本发明结合通道注意力和基于模糊熵的空间注意力的融合策略示意图；
28.图5是通道注意力模块示意图；
29.图6是基于模糊熵的空间注意力模块示意图。
具体实施方式
30.下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
31.实施例一：
32.基于深度学习的多能x射线图像融合方法
33.如图1、图2所示，本发明基于深度学习的多能x射线图像融合方法包括如下步骤：
34.步骤1：采集不同工件的不同能量x射线图作为训练数据集。
35.设置网络的超参数，对数据集图像按比例缩放成适合网络输入的尺寸，本实施例中，将输入图像按比例缩放成256
×
256大小。
36.步骤2：将训练数据集的x射线图输入编码器，训练编码器和解码器，待训练网络稳定后，获得训练好的编码器和解码器。
37.编码器由主支路和辅支路组成，所述主支路先用一个1
×
1卷积层对输入图像升高特征通道数，再用4层多尺度卷积块提取图像的全局特征；所述辅支路对输入图像使用可训练的边缘检测算子增强边缘信息，获得与主支路相同维度的特征图。编码器主支路和辅支路提取的特征相加后进入解码器，在解码器末端卷积层将图像通道数改为单通道，输出重建图像。解码器结构是嵌套不同深度的u-net复杂网络，从而实现语义不同的特征映射的融合。
38.主支路和辅支路均连接密集旁路，所述旁路用于提升特征复用能力。编码器的辅支路与主支路唯一不同的是用可训练的边缘检测算子替代主支路的起始卷积层，辅支路将
各层多尺度模块输出的特征图都添加到主支路的对应层的特征图上，从而为各层特征图增强了图像的边缘信息，添加了边缘信息的各层特征图进入解码器恢复图像。
39.为了充分利用多尺度融合的概念，编码器的卷积块均是incept ion多尺度特征提取模块，整体网络充分且有效地利用了特征的多尺度信息和边缘信息。如图3所示，多尺度卷积块具有四条分支，每个卷积块均由卷积层、激活函数和批量归一化层组成。卷积块的激活函数采用sigmoid函数，relu函数，tanh函数，softmax函数或leaky relu函数。a
×
a为缩放后的输入图像大小；n为可学习边缘检测算子卷积核的数量，也是各卷积块中的卷积核数量；w
×
w是log模板的大小；s
×
s为卷积核大小；n、w和s都可根据融合效果判定调节，此外，网络需要使用下采样和上采样来确保相加的特征图的大小一样，下采样采用的是最大值池化，上采样采用的是线性插值。每条支路都使用1
×
1卷积核来降低通道数，减少参数量，前三条支路具有三种不同大小的感受野，即1
×
1、3
×
3和5
×
5，其中第三条支路用两个3
×
3卷积代替5
×
5卷积核在达到相同作用的同时进一步减少参数量，对于第四条支路，虽然与第二条支路的感受野相同，获得相同维数的输出，但输出的内容却不同，增加了特征融合的多样性。最终，将四条支路上提取的不同尺度特征累加作为多尺度模块的输出。该多尺度模块使得网络的深度和宽度也都得到了增加，提升了网络的泛化能力。
40.辅支路采用的边缘检测算子为sobel算子、laplacian算子、canny算子或log算子。本实施例中，采用log(高斯拉普拉斯卷积)算子先对图像进行高斯平滑处理，然后再与laplacian算子进行卷积,常用的log卷积模板为5
×
5大小，定义一个可学习参数α，log卷积模板中的每个值与α相乘，α可随着网络的训练不断更新，其中5
×
5大小的log卷积模板为：
[0041][0042]
计算损失函数，不断训练网络，提升编解码网络的特征提取能力，在网络稳定后保存模型。指导网络训练的复合损失函数(l
compound
)由l1损失函数(l
l1
)和基于图像块的一致性损失函数(l
lpatch
)加权组合而成，公式如下：
[0043][0044]
所述基于图像块的一致性损失函数用于计算输入图像局部能量图和输出图像局部能量图的l1范数值损失，所述局部能量图中像素点计算方式为，一个图像块内的邻域像素与中间像素差值的平方和，再求平均。
[0045]
如图1、图2所示，训练阶段，网络只包含编解码器，不包含融合策略，假设输入为单通道大小为a
×
a的x射线图，编码器的主支路首先用一个卷积层(含n个大小为1
×
1的卷积核)对输入图像升维，产生n个大小为a
×
a的特征图，经过卷积块e12(多尺度模块内的输出通道数均是n)，会产新的n个大小为a
×
a的特征图，再经过卷积块e22，产生n个大小a/2
×
a/2的特征图，以此类推，编码器该支路的最后一个卷积块输出n个大小a/8
×
a/8的特征图。
[0046]
如图1所示，编码器的辅支路使用编码器辅支路的边缘检测算子(包含n组w
×
w大小可训练边缘检测算子，其中w必须是奇数)提取图像的边缘信息，产生n个大小为a
×
a的特
征图，其余操作和主支路相同，两条支路对应深度的特征图相加输出给解码器。解码器包含不同深度的解码器子网，卷积块d31输出n个大小a/4
×
a/4的特征图、卷积块d21和卷积块d22输出n个大小a/2
×
a/2的特征图，卷积块d11、卷积块d12和卷积块d13输出n个大小a
×
a的特征图，解码器末端的卷积层输出通道大小为a
×
a的x射线图。
[0047]
卷积核初始化权重参数的实现方式为：随机初始化、高斯初始化等。网络设计中的旁路连接模块是采用跳跃连接方式连接两个有一定间隔的卷积层，间隔的大小和旁路连接的个数可根据卷积层的个数判定调节。网络模型训练模块的初始化学习率及训练次数可根据网络的收敛情况判定调节(本实施例中，学习率初始化为10-4
，训练总次数设为10次)。网络模型训练模块的网络参数更新的实现方式为：随机梯度下降算法(sgd算法)、adam算法等,训练过程中，可根据网络的收敛情况和融合结果不断调节学习率、卷积核数量、卷积核大小，权重、网络层数等其中的一种或多种。
[0048]
步骤3：在训练好的编码器和解码器之间添加结合通道注意力和基于模糊熵的空间注意力的融合策略。
[0049]
融合阶段，在训练好的编码器和解码器之间的每一层(共四层)都添加特定的融合策略，作为完整的网络。将k张待融合的不同能量x射线图输入模型，由于输入的图像数量是k张，因此编码器的四层多尺度inception结构都会输出k组特征图，每一层的融合策略是对相应层的k组特征图进行融合，再将融合后的特征图输入到解码器得到融合后的图像。
[0050]
如图4所示，结合通道注意力和基于模糊熵的空间注意力的融合策略具体为，将特征图分别使用通道注意力模块和基于模糊熵的空间注意力模块进行融合，并将所述两个融合模块的输出取均值，作为特征图融合结果。
[0051]
对输入的k组特征图融合分别获得rw×h×c表示特征图的长、宽和通道数分别为w、h、c，是第m层的k组特征图的最终融合结果，如公式(1)所示：
[0052][0053]
如图5所示，通道注意力模块使用平均池化对k组特征图计算各自的通道注意力系数用当前特征图的注意力参数除以所有注意力参数之和进行归一化得到如公式(2)所示。再将特征图与对应的注意力系数相乘形成新的特征图所有新的特征图累加作为通道注意力融合策略的结果如公式(3)所示。
[0054][0055][0056]
其中m∈{1,2,3,4},k∈{1,2,
…
,k}是指第k个输入图像，k是融合图像总数，c是指特征图和注意力系数的第c个通道。
[0057]
如图6所示，基于模糊熵的空间注意力模块首先对k组特征图计算各自
的模糊熵图具体地，根据公式(4)，计算每组特征图中每一个通道对应的模糊熵图。
[0058][0059]
其中，(x,y,c)∈rw×h×c，n
x,y,c
为第c个通道特征图中，以(x,y)为中心的3
×
3邻域，(i,j,c)∈n
x,y,c
，为第c个通道特征图中以(x,y)为中心的邻域像素的隶属度，计算公式为：
[0060][0061]
用当前特征图的模糊熵图除以所有模糊熵图之和进行归一化得到如公式(6)所示，并将其作为空间注意力模块的注意力系数。再将特征图与对应的注意力系数相乘形成新的特征图并将k组新的特征图累加，得到空间注意力融合策略的结果如公式(7)所示。
[0062][0063][0064]
其中m∈{1,2,3,4}是指第m层融合策略,k∈{1,2,
…
,k}是指第k个输入图像，k是融合图像总数。
[0065]
步骤4：输入不同能量的x射线图至训练好的编码器提取特征，再使用结合通道注意力和基于模糊熵的空间注意力的融合策略融合特征图，融合后的特征图再进入训练好的解码器输出融合结果。
[0066]
实施例二：
[0067]
基于深度学习的多能x射线图像融合装置
[0068]
基于深度学习的多能x射线图像融合装置用于执行上述的基于深度学习的多能x射线图像融合方法。
[0069]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
[0070]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
技术特征：1.一种基于深度学习的多能x射线图像融合方法，其特征在于，包括如下步骤：步骤1：采集不同工件的不同能量x射线图作为训练数据集；步骤2：将训练数据集的x射线图输入编码器，训练编码器和解码器，待训练网络稳定后，获得训练好的编码器和解码器；步骤3：在训练好的编码器和解码器之间添加结合通道注意力和基于模糊熵的空间注意力的融合策略；步骤4：输入不同能量的x射线图至训练好的编码器提取特征，再使用结合通道注意力和基于模糊熵的空间注意力的融合策略融合特征图，融合后的特征图再进入训练好的解码器输出融合结果。2.根据权利要求1所述的基于深度学习的多能x射线图像融合方法，其特征在于：步骤2中，编码器由主支路和辅支路组成，所述主支路先用一个1
×
1卷积层对输入图像升高特征通道数，再用4层多尺度卷积块提取图像的全局特征；所述辅支路对输入图像使用可训练的边缘检测算子增强边缘信息，获得与主支路相同维度的特征图，辅支路与主支路唯一不同的是用可训练的边缘检测算子替代主支路的起始卷积层。3.根据权利要求2所述的基于深度学习的多能x射线图像融合方法，其特征在于：步骤2中，编码器主支路和辅支路提取的特征相加后进入解码器，在解码器末端卷积层将图像通道数改为单通道，输出重建图像。4.根据权利要求2所述的基于深度学习的多能x射线图像融合方法，其特征在于：步骤2中，辅支路采用的边缘检测算子为sobel算子、laplacian算子、canny算子或log算子。5.根据权利要求2所述的基于深度学习的多能x射线图像融合方法，其特征在于：步骤2中，主支路和辅支路均连接密集旁路，所述旁路用于提升特征复用能力。6.根据权利要求2所述的基于深度学习的多能x射线图像融合方法，其特征在于：步骤2中，多尺度卷积块具有四条分支，每个卷积块均由卷积层、激活函数和批量归一化层组成。7.根据权利要求6所述的基于深度学习的多能x射线图像融合方法，其特征在于：步骤2中，卷积块的激活函数采用sigmoid函数，relu函数，tanh函数，softmax函数或leaky relu函数。8.根据权利要求1所述的基于深度学习的多能x射线图像融合方法，其特征在于：步骤2中，指导网络训练的复合损失函数由l1损失函数和基于图像块的一致性损失函数加权组合而成；所述基于图像块的一致性损失函数用于计算输入图像局部能量图和输出图像局部能量图的l1范数值损失，所述局部能量图中像素点计算方式为，一个图像块内的邻域像素与中间像素差值的平方和，再求平均。9.根据权利要求1所述的基于深度学习的多能x射线图像融合方法，其特征在于：步骤3中，结合通道注意力和基于模糊熵的空间注意力的融合策略具体为，将特征图分别使用通道注意力模块和基于模糊熵的空间注意力模块进行融合，并将所述两个融合模块的输出取均值，作为特征图融合结果。10.一种基于深度学习的多能x射线图像融合装置，其特征在于，用于执行权利要求1-9任何一项所述的方法。
技术总结本发明涉及一种基于深度学习的多能X射线图像融合方法及装置，采集不同工件的不同能量X射线图作为训练数据集；将训练数据集的X射线图输入编码器，训练编码器和解码器，待训练网络稳定后，获得训练好的编码器和解码器；在训练好的编码器和解码器之间添加结合通道注意力和基于模糊熵的空间注意力的融合策略；输入不同能量的X射线图至训练好的编码器提取特征，再使用结合通道注意力和基于模糊熵的空间注意力的融合策略融合特征图，融合后的特征图再进入训练好的解码器输出融合结果。通过本发明方法及装置处理图像，能够有效反映工件信息，提高检测准确率。提高检测准确率。提高检测准确率。
技术研发人员：刘祎 刘宇航 桂志国 张权 颜溶標
受保护的技术使用者：中北大学
技术研发日：2022.02.24
技术公布日：2022/7/5
