1.本发明属于医学图像分割技术领域，具体涉及一种基于双结构约束神经网络的脑血管分割方法及存储介质。
背景技术：2.脑血管图像分割是指从磁共振血管造影(magnetic resonance angiography,mra)图像中将脑血管部分分割出来的过程，分割方法包括人工分割、半自动分割和全自动分割方法；人工分割方法需要操作者丰富的先验知识和大量的时间；半自动分割方法主要包括活动轮廓模型、概率方法等，通常需要人工提供部分输入，然后利用人工输入的先验知识通过计算机实现图像分割；全自动分割方法克服了人工方法与半自动方法需要人工参与的缺点，进一步提高脑血管图像分割的效率。
3.由于获得完整的脑血管标记耗时又耗力，而如果采用稀疏的标记会使得目前采用的全自动分割方法难以准确分割出密集且保持良好连通性的脑血管；同时，颅骨部分对脑血管分割具有强干扰作用，在不进行去颅骨处理的情况下，采用现有的全自动分割方法，其分割结果中一般都包含有部分背景噪声。
技术实现要素：4.针对现有技术的不足，本发明提出一种基于双结构约束神经网络的脑血管分割方法，包括以下步骤：
5.步骤1、对mra图像数据进行数据预处理，将预处理后的mra图像数据划分为训练集和测试集；
6.步骤2、构建脑血管双结构约束神经网络；
7.步骤3、采用训练集对脑血管双结构约束神经网络进行训练，获得训练完成的脑血管双结构约束神经网络；
8.步骤4、将测试集输入训练完成的脑血管双结构约束神经网络，获得分割完成的脑血管结构。
9.所述的步骤1包括以下步骤：
10.步骤1.1、判断mra图像数据是否具有手工稀疏标记，若是，执行步骤1.3，否则，执行步骤1.2；
11.步骤1.2、设定分辨率阈值，将分辨率低于阈值的mra图像利用包含脑血管中心线与半径信息的血管信息文件进行稀疏标记；
12.步骤1.3、设定数据精度，将mra图像数据和稀疏标记数据均转换为可并行训练格式，根据所设定的数据精度对上述数据进行归一化处理，获得处理后的可训数据；
13.步骤1.4、根据实际需求将可训数据按照比例划分为训练集和测试集；
14.步骤1.5、对训练集进行数据增强。
15.步骤1.5所述的对训练集进行数据增强采用随机裁剪方法。
16.所述的脑血管双结构约束神经网络包括编码模块、解码模块、对网络层面结构进行约束的脑血管结构注意力模块和对归纳偏置层面结构进行约束的混合损失函数；所述脑血管结构注意力模块连接编码模块的最下层和解码模块的最下层；
17.编码模块：用于将训练集进行编码，获得脑血管高级特征图，并发送到脑血管结构注意力模块；
18.脑血管结构注意力模块：用于将血管结构注意力输入接收到的脑血管高级特征图，获得脑血管结构注意力高级特征图，并发送到解码模块；
19.解码模块：用于将脑血管结构注意力高级特征图进行解码，获得脑血管分割结果图；
20.混合损失函数：用于获得脑血管双结构约束神经网络的训练误差。
21.所述的编码模块由n个编码残差卷积块相连接组成；每个编码残差卷积块由多个通过批正则化-relu激活函数连接的3d卷积组成，并使用跳跃连接的方式连接输入与输出。
22.所述的解码模块由n个解码卷积块相连接组成；解码卷积块之间通过批正则化连接。
23.所述的脑血管结构注意力模块包括：
24.结构自注意力模块：用于接收编码模块发送的脑血管高级特征图，获得脑血管结构空间层面的相似度，进一步与原始特征相乘获取空间层面的脑血管注意力特征图，并发送到全局注意力特征压缩模块；
25.全局注意力特征压缩模块：用于接收空间层面的脑血管注意力特征图，减少图中的参数量，进而获取脑血管空间注意力特征图，并发送到瓶颈结构通道注意力模块；
26.瓶颈结构通道注意力模块：用于接收脑血管空间注意力特征图，将脑血管空间注意力特征图进行特征通道层级的注意力分配，获取脑血管结构的通道层级注意力，进一步将通道层级注意力与输入脑血管注意力前的高级特征图通过通道层级加和，获得脑血管结构注意力高级特征图，并发送到解码模块。
27.所述步骤3包括以下步骤：
28.步骤3.1、参数初始化，包括：设定双结构约束神经网络的训练次数c、训练批次大小m、瓶颈率r和网络参数学习率lr，随机初始化网络权重；
29.步骤3.2、设定网络参数学习率的更新规则，根据上一轮训练的网络参数学习率获得当前网络参数学习率；
30.步骤3.3、将训练集输入双结构约束神经网络，进行前向传播，获得脑血管分割结果图；
31.步骤3.4、根据已稀疏标记的mra图像数据和脑血管分割结果图获得双结构约束神经网络的训练误差；
32.步骤3.5、根据获得的训练误差反向传播更新优化网络参数；
33.步骤3.6、判断训练次数是否达到所设定的训练次数c，若是，训练完成，保存双结构约束神经网络，否则，返回执行步骤3.2。
34.步骤3.4所述的获得双结构约束神经网络的训练误差采用ecldice-dice混合损失函数，公式如下：
[0035][0036][0037]
l＝loss
dice
+loss
cldice
(3)
[0038]
其中，l
dice
表示dice相似系数损失，n表示所有体素的总和，i表示mra图像中第i个体素，ti表示已稀疏标记mra图像的第i个体素值，yi表示预测脑血管分割结果图的第i个体素值，ε表示平滑系数，用于平滑损失值和梯度，l
ecldice
表示均衡中心线dice相似系数损失，pi表示从预测脑血管分割结果图中中心线提取获得的结构骨架，mi表示从第i个已稀疏标记mra图像中中心线提取获得的结构骨架，l表示ecldice-dice混合损失，β表示平衡系数。
[0039]
一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至9中任一项所述的基于双结构约束神经网络的脑血管分割方法中的至少一步骤。
[0040]
本发明的优点：
[0041]
本发明基于双结构约束神经网络的脑血管分割方法及存储介质，通过网络结构与归纳偏置两个层面对分割出的脑血管进行双结构约束，分割出的图像抗背景干扰能力强，细小处的脑血管连通性好，分割出的图像精度更高，以辅助后续的病理图像诊断；本发明减少了全自动方法对数据标记精度的依赖。
附图说明
[0042]
图1为本发明一种实施例的基于双结构约束神经网络的脑血管分割方法流程图；
[0043]
图2为本发明一种实施例的脑血管双结构约束神经网络的结构示意图；
[0044]
图3为本发明一种实施例的脑血管结构注意力模块的结构示意图；
[0045]
图4为本发明一种实施例的步骤3的方法流程图；
[0046]
图5为本发明一种实施例的双结构约束前与约束后的分割结果3d效果图；
[0047]
图6为本发明一种实施例的脑血管双结构约束神经网络训练过程中的性能指标变化图。
具体实施方式
[0048]
下面结合附图对本发明一种实施例做进一步说明。
[0049]
本发明实施例中，基于双结构约束神经网络的脑血管分割方法，方法流程图如图1所示，包括以下步骤：
[0050]
步骤1、对原始磁共振血管造影(mra)图像数据进行数据预处理，将预处理后的mra图像数据划分为训练集和测试集，具体如下：
[0051]
步骤1.1、判断mra图像数据是否具有手工稀疏标记，若是，执行步骤1.3，否则，执行步骤1.2；
[0052]
步骤1.2、设定分辨率阈值为448
×
448
×
128，将分辨率低于阈值的mra图像利用包含脑血管中心线与半径信息的血管信息文件进行稀疏标记；
[0053]
步骤1.3、设定数据精度，将mra图像数据和稀疏标记数据均转换为输入神经网络的可并行训练数据格式，根据所设定的数据精度对上述数据进行归一化处理，获得处理后的可训数据；
[0054]
步骤1.4、将可训数据按照4:1的比例划分为训练集和测试集；
[0055]
步骤1.5、利用数据增强方法扩充训练集的数据：数据增强采用随机裁剪方法进行裁剪，对三维的体素图像的三个方向随机选取位置，按设定体积进行裁剪，得到体素数据输入神经网络进行训练。
[0056]
步骤2、构建脑血管双结构约束神经网络，具体如下：
[0057]
如图2所示，所述的脑血管双结构约束神经网络包括编码模块、解码模块、对网络层面结构进行约束的脑血管结构注意力模块和对归纳偏置层面结构进行约束的混合损失函数；所述脑血管结构注意力模块连接编码模块的最下层和解码模块的最下层；
[0058]
编码模块：用于将训练集进行编码，获得脑血管高级特征图，并发送到脑血管结构注意力模块；
[0059]
本发明实施例中，所述的编码模块由n个编码残差卷积块相连接组成；每个编码残差卷积块由两个通过批正则化-relu激活函数连接的3d卷积组成，并使用跳跃连接的方式连接输入与输出。
[0060]
脑血管结构注意力模块：用于将血管结构注意力输入接收到的脑血管高级特征图，获得脑血管结构注意力高级特征图，并发送到解码模块；
[0061]
如图3所示，所述的脑血管结构注意力模块包括：
[0062]
结构自注意力模块：用于接收编码模块发送的脑血管高级特征图，获得脑血管结构空间层面的相似度，进一步与原始特征相乘获取空间层面的脑血管注意力特征图，并发送到全局注意力特征压缩模块；
[0063]
全局注意力特征压缩模块：用于接收空间层面的脑血管注意力特征图，减少图中的参数量，进而获取脑血管空间注意力特征图，并发送到瓶颈结构通道注意力模块；
[0064]
瓶颈结构通道注意力模块：用于接收脑血管空间注意力特征图，将脑血管空间注意力特征图进行特征通道层级的注意力分配，获取脑血管结构的通道层级注意力，进一步将通道层级注意力与输入脑血管注意力前的高级特征图通过通道层级加和，获得脑血管结构注意力高级特征图，并发送到解码模块。
[0065]
本发明实施例中，如图3所示，结构自注意力模块首先获取编码模块最后一个编码残差卷积块产生的高级特征图f，使用3
×1×
1-1
×1×
3的3d卷积块提取高级特征图f中的矢状高级特征图s，使用1
×3×
1-1
×1×
3的3d卷积块提取高级特征图f中的冠状高级特征图c；将高级特征图f，矢状高级特征图s与冠状高级特征图c分别进行特征图变形，改变特征图的维度，将特征图的高(h)宽(w)深度(d)变形至一维空间中；变形后的特征图s、特征图c利用点积与softmax函数进行矢状高级特征与冠状高级特征间的相似度计算，得到的空间注意力特征利用矩阵乘法作用于高级特征图中的每个元素，获得带有空间注意力的高级特征图fs，将此高级特征图fs输入到由1
×1×
1的3d卷积块与softmax函数组成的全局注意力特征压缩模块进行压缩，获得压缩后的脑血管空间注意力特征图输入瓶颈结构通道注意力模块；
[0066]
瓶颈结构通道注意力模块由两层1
×1×
1的3d卷积与其中的relu函数组成，第一
层卷积通道数目与第二层卷积通道数目的比值设为r＝0.5，为瓶颈率；将脑血管空间注意力特征图以通道层级的加法与高级特征图f相加，获得脑血管结构注意力高级特征图f
sc
；将脑血管结构注意力高级特征图f
sc
输入至解码模块的最下层；
[0067]
解码模块：用于将脑血管结构注意力高级特征图进行解码，获得脑血管分割结果图；
[0068]
所述的解码模块由n个解码卷积块相连接组成，解码卷积块之间通过批正则化连接；
[0069]
本发明实施例中，对于相对应的第n个编码残差卷积块与解码卷积块，由第n个编码残差卷积块产生的高级特征图与第n-1个解码卷积块产生的高级特征做特征图连接操作，并将拼接后的高级特征图输入第n个解码卷积块。
[0070]
混合损失函数：用于获得脑血管双结构约束神经网络的训练误差。
[0071]
步骤3、采用训练集对脑血管双结构约束神经网络进行训练，获得训练完成的脑血管双结构约束神经网络，流程图如图4所示，具体如下：
[0072]
步骤3.1、参数初始化，包括：设定双结构约束神经网络的训练次数c、训练批次大小m、瓶颈率r和网络参数学习率lr，随机初始化网络权重；
[0073]
步骤3.2、设定网络参数学习率的更新规则，根据上一轮训练的网络参数学习率获得当前网络参数学习率；
[0074]
本发明实施例中，脑血管双结构约束神经网络训练过程中，网络参数学习率过大会使网络在训练过程中容易发生震荡，不易收敛，而网络参数学习率过小，网络收敛非常缓慢，会增大找到最优值的时间或落入局部最优无法找到最优参数，因此，本发明采用的网络参数学习率更新公式如下：
[0075][0076]
其中，lr
new
表示更新后的网络参数学习率，lr
initial
表示初始的网络参数学习率，epoch表示当前训练轮数，max_epoch表示双结构约束神经网络的训练次数c，衰减率p设置为0.9；
[0077]
步骤3.3、将训练集输入双结构约束神经网络，进行前向传播，获得脑血管分割结果图；
[0078]
步骤3.4、根据已稀疏标记的mra图像数据和脑血管分割结果图获得双结构约束神经网络的训练误差；
[0079]
本发明实施例中，所述的获得双结构约束神经网络的训练误差采用ecldice-dice混合损失函数(ecldice为equilibriumcenterlinedice，表示均衡中心线)，公式如下：
[0080][0081][0082]
l＝loss
dice
+loss
cldice
(3)
[0083]
其中，l
dice
表示dice相似系数损失，n表示所有体素的总和，i表示mra图像中第i个体素，ti表示已稀疏标记mra图像的第i个体素值，yi表示预测脑血管分割结果图的第i个体
素值，ε表示平滑系数，用于平滑损失值和梯度，l
ecldice
表示均衡中心线dice相似系数损失， pi表示从预测脑血管分割结果图中中心线提取获得的结构骨架，mi表示从第i个已稀疏标记 mra图像中中心线提取获得的结构骨架，l表示ecldice-dice混合损失，β表示平衡系数，设为2。
[0084]
步骤3.5、将获得的训练误差求偏导并利用链式法则反向传播优化更新网络参数，公式如下：
[0085][0086]
其中，θ
t
表示更新后的脑血管双结构约束神经网络中卷积权值参数，θ
t-1
表示更新前的脑血管双结构约束神经网络中卷积权值参数，表示对梯度的一阶矩据估计的校正；表示对梯度的二阶矩估计的校正；
[0087]
步骤3.6、判断训练次数是否达到所设定的训练次数c，若是，训练完成，保存双结构约束神经网络，否则，返回执行步骤3.2。
[0088]
步骤4、将测试集输入训练完成的脑血管双结构约束神经网络，获得分割完成的脑血管结构。
[0089]
本发明实施例中，如图5所示，两列图像分别为双结构约束前后的分割结果在水平位、矢状位和冠状位三个方向上的定性分析对比情况；
[0090]
引入双约束结构前，分割结果中包含大量颅骨部分包含的噪声，同时在颅内也过分割出了许多伪影，分割结果的连通性在细小血管处也难以得到保证；引入双约束结构后，分割结果中不含颅骨部分的血管，对伪影的过分割情况也得到了很大程度的改善，这说明提出的方法对强干扰背景噪声具有较强的抗干扰能力；
[0091]
与引入双约束结构前相比，约束后分割结果的血管连通性得到了很大程度的改善，这种改善在细小血管处更为明显，这说明，在联通性较差的稀疏标记作为训练集的情况下，与约束前相比提出的方法分割结果的连通性更强，得到了很大程度的改善。
[0092]
本发明实施例中，图6反映了脑血管双结构约束神经网络训练时的精度与性能指标的变化趋势；随着迭代次数增加，神经网络的分割精度不断提高；本发明实施例中，分别采用dice 相似系数(dice similariy coefficient,dsc)，重叠度(intersection of union,iou)和中心线dice (centre line dice,cldice)，将分割结果与金标准计算得到以上指标，对分割结果进行定量分析。通过实验结果对比，表1中分割出的结果比图6中训练过程的性能指标表现更好，这说明网络结构层面的约束与归纳偏置层面的约束使网络从稀疏标记中学到了更多的血管结构，使得分割结果比在稀疏标记下训练时表现更好。这在一定程度上减少了全自动方法对数据标记精度的依赖。
[0093]
表1
[0094][0095]
本发明实施例中，基于同样的发明构思，本技术还提供一种存储介质，所述存储介
质存储有多条指令，所述指令适于处理器进行加载，以执行所述基于双结构约束神经网络的脑血管分割方法中的步骤1-4。
[0096]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应该被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其他各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
技术特征：1.一种基于双结构约束神经网络的脑血管分割方法，其特征在于：包括以下步骤：步骤1、对mra图像数据进行数据预处理，将预处理后的mra图像数据划分为训练集和测试集；步骤2、构建脑血管双结构约束神经网络；步骤3、采用训练集对脑血管双结构约束神经网络进行训练，获得训练完成的脑血管双结构约束神经网络；步骤4、将测试集输入训练完成的脑血管双结构约束神经网络，获得分割完成的脑血管结构。2.根据权利要求1所述的基于双结构约束神经网络的脑血管分割方法，其特征在于：所述的步骤1包括以下步骤：步骤1.1、判断mra图像数据是否具有手工稀疏标记，若是，执行步骤1.3，否则，执行步骤1.2；步骤1.2、设定分辨率阈值，将分辨率低于阈值的mra图像利用包含脑血管中心线与半径信息的血管信息文件进行稀疏标记；步骤1.3、设定数据精度，将mra图像数据和稀疏标记数据均转换为可并行训练格式，根据所设定的数据精度对上述数据进行归一化处理，获得处理后的可训数据；步骤1.4、根据实际需求将可训数据按照比例划分为训练集和测试集；步骤1.5、对训练集进行数据增强。3.根据权利要求2所述的基于双结构约束神经网络的脑血管分割方法，其特征在于：步骤1.5所述的对训练集进行数据增强采用随机裁剪方法。4.根据权利要求1所述的基于双结构约束神经网络的脑血管分割方法，其特征在于：所述的脑血管双结构约束神经网络包括编码模块、解码模块、对网络层面结构进行约束的脑血管结构注意力模块和对归纳偏置层面结构进行约束的混合损失函数；所述脑血管结构注意力模块连接编码模块的最下层和解码模块的最下层；编码模块：用于将训练集进行编码，获得脑血管高级特征图，并发送到脑血管结构注意力模块；脑血管结构注意力模块：用于将血管结构注意力输入接收到的脑血管高级特征图，获得脑血管结构注意力高级特征图，并发送到解码模块；解码模块：用于将脑血管结构注意力高级特征图进行解码，获得脑血管分割结果图；混合损失函数：用于获得脑血管双结构约束神经网络的训练误差。5.根据权利要求4所述的基于双结构约束神经网络的脑血管分割方法，其特征在于：所述的编码模块由n个编码残差卷积块相连接组成；每个编码残差卷积块由多个通过批正则化-relu激活函数连接的3d卷积组成，并使用跳跃连接的方式连接输入与输出。6.根据权利要求4所述的基于双结构约束神经网络的脑血管分割方法，其特征在于：所述的解码模块由n个解码卷积块相连接组成；解码卷积块之间通过批正则化连接。7.根据权利要求4所述的基于双结构约束神经网络的脑血管分割方法，其特征在于：所述的脑血管结构注意力模块包括：结构自注意力模块：用于接收编码模块发送的脑血管高级特征图，获得脑血管结构空间层面的相似度，进一步与原始特征相乘获取空间层面的脑血管注意力特征图，并发送到
全局注意力特征压缩模块；全局注意力特征压缩模块：用于接收空间层面的脑血管注意力特征图，减少图中的参数量，进而获取脑血管空间注意力特征图，并发送到瓶颈结构通道注意力模块；瓶颈结构通道注意力模块：用于接收脑血管空间注意力特征图，将脑血管空间注意力特征图进行特征通道层级的注意力分配，获取脑血管结构的通道层级注意力，进一步将通道层级注意力与输入脑血管注意力前的高级特征图通过通道层级加和，获得脑血管结构注意力高级特征图，并发送到解码模块。8.根据权利要求1所述的基于双结构约束神经网络的脑血管分割方法，其特征在于：所述步骤3包括以下步骤：步骤3.1、参数初始化，包括：设定双结构约束神经网络的训练次数c、训练批次大小m、瓶颈率r和网络参数学习率lr，随机初始化网络权重；步骤3.2、设定网络参数学习率的更新规则，根据上一轮训练的网络参数学习率获得当前网络参数学习率；步骤3.3、将训练集输入双结构约束神经网络，进行前向传播，获得脑血管分割结果图；步骤3.4、根据已稀疏标记的mra图像数据和脑血管分割结果图获得双结构约束神经网络的训练误差；步骤3.5、根据获得的训练误差反向传播更新优化网络参数；步骤3.6、判断训练次数是否达到所设定的训练次数c，若是，训练完成，保存双结构约束神经网络，否则，返回执行步骤3.2。9.根据权利要求8所述的基于双结构约束神经网络的脑血管分割方法，其特征在于：步骤3.4所述的获得双结构约束神经网络的训练误差采用ecldice-dice混合损失函数，公式如下：如下：l＝loss
dice
+loss
cldice
(3)其中，l
dice
表示dice相似系数损失，n表示所有体素的总和，i表示mra图像中第i个体素，t
i
表示已稀疏标记mra图像的第i个体素值，y
i
表示预测脑血管分割结果图的第i个体素值，ε表示平滑系数，用于平滑损失值和梯度，l
ecldice
表示均衡中心线dice相似系数损失，p
i
表示从预测脑血管分割结果图中中心线提取获得的结构骨架，m
i
表示从第i个已稀疏标记mra图像中中心线提取获得的结构骨架，l表示ecldice-dice混合损失，β表示平衡系数。10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至9中任一项所述的基于双结构约束神经网络的脑血管分割方法中的至少一步骤。
技术总结本发明基于双结构约束神经网络的脑血管分割方法及存储介质，属于医学图像分割技术领域；该方法首先对MRA图像数据进行数据预处理，将预处理后的MRA图像数据划分为训练集和测试集，其次构建脑血管双结构约束神经网络，采用训练集对脑血管双结构约束神经网络进行训练，获得训练完成的脑血管双结构约束神经网络，最后将测试集输入训练完成的脑血管双结构约束神经网络，获得分割完成的脑血管结构；本发明通过网络结构与归纳偏置两个层面对分割出的脑血管进行双结构约束，分割出的图像抗背景干扰能力强，细小处的脑血管连通性好，分割出的图像精度更高，以辅助后续的病理图像诊断；本发明减少了全自动方法对数据标记精度的依赖。发明减少了全自动方法对数据标记精度的依赖。发明减少了全自动方法对数据标记精度的依赖。
技术研发人员：李孟歆 李松昂 侯静 张颖
受保护的技术使用者：沈阳建筑大学
技术研发日：2021.12.30
技术公布日：2022/7/4
