1.本技术涉及图像特征处理领域,特别是涉及到一种超声图像的基准图像的生成方法、装置、计算机设备及存储介质。
背景技术:2.随着成像技术的发展,数字影像已成为医学的主要数据,通过人工智能进行图像识别以辅助医生临床决策。当前人工智能技术向医疗领域渗透的最大障碍源于深度神经网络的“黑箱”问题,人类无法相信不可解释的ai做出的决策,原因在于无法准确地对ai决策作出合理的解释。目前一种方式是通过零值图计算超声图像对网络的预测结果的贡献,由于无法提供准确的基准图像,使得该方式无法判别网络关注的是该超声图像的形状特征还是纹理特征,从而无法判断网络是否关注了正确的特征,即目前的基准图不具备较好的超声基准图特性,无法准确表示图像中的特征信息。
技术实现要素:3.本技术的主要目的为提供一种超声图像的基准图像的生成方法及投屏连接控制方法、装置、计算机设备及存储介质,旨在解决超声基准图的特征表示准确性低的问题。
4.为了实现上述发明目的,本技术提出一种超声图像的基准图像的生成方法,包括:
5.获取预配置的掩膜信息;
6.获取原始超声图像;
7.将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像;
8.将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量;
9.根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征;
10.根据所述形状特征与所述细粒特征生成基准图像。
11.进一步地,所述将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量,包括:
12.将所述特征区域超声图像输入至深度学习网络,基于所述深度学习网络中的非线性映射网络和仿射变换对所述特征区域超声图像的潜在编码进行变换,得到第一特征变量;
13.将所述原始超声图像输入至深度学习网络,基于所述深度学习网络中的非线性映射网络和仿射变换对所述原始超声图像的潜在编码进行变换,得到第二特征变量。
14.进一步地,所述根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征,包括:
15.将所述第一特征变量输入至生成网络中的低分辨率卷积层,得到图像的形状特征;
16.将所述第二特征变量输入至生成网络中的高分辨率卷积层,得到图像的细粒特征。
17.进一步地,所述低分辨率卷积层为分辨率4
2-322的卷积层;所述高分辨率卷积层为分辨率64
2-10242的卷积层。
18.进一步地,所述根据所述形状特征与所述细粒特征生成基准图像之后,还包括:
19.将所述原始超声图像与所述基准图像输入至分类网络,基于所述分类网络计算所述原始超声图像相较于所述基准图像的增量;
20.根据所述增量生成归因图。
21.进一步地,所述将所述原始超声图像与所述基准图像输入至分类网络,基于所述分类网络计算所述原始超声图像相较于所述基准图像的增量,包括;
22.将所述原始超声图像划分为若干个区域子图像;
23.分别将每个所述区域子图像与所述基准图像输入至分类网络,基于所述分类网络计算每个所述区域子图像对分别结果的预测分数相较于所述基准图像的第一贡献量;
24.获取所述基准图像中环境特征的第二贡献量;
25.根据所述第一贡献量与所述第二贡献量确定所述增量。
26.进一步地,所述根据所述增量生成归因图之后,还包括:
27.获取所述归因图中贡献量最高的目标子区域图像;
28.根据所述目标子区域图像确定所述基准图像的有效特征信息。
29.本技术还提供一种超声图像的基准图像的生成装置,包括:
30.配置信息模块,用于获取预配置的掩膜信息;
31.原始图像模块,用于获取原始超声图像;
32.图像处理模块,用于将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像;
33.变量转换模块,用于将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量;
34.特征提取模块,用于根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征;
35.基准图像模块,用于根据所述形状特征与所述细粒特征生成基准图像。
36.本技术还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述超声图像的基准图像的生成方法的步骤。
37.本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述超声图像的基准图像的生成方法的步骤。
38.本技术例提供了一种通过将超声图像中的背景、噪声等信息剥离出来,从而为超声图像生成的基准图像的方法,首先获取原始超声图像以及获取预配置的掩膜信息,所述掩膜信息能够对原始超声图像中感兴趣的区域进行处理,可以从掩膜信息集合中随机选取一个作为预配置的掩膜信息,也可以通过配置掩膜信息的生成规则,随机生成一个掩膜信息作为预配置的掩膜信息,然后将所述原始超声图像与所述掩膜信息进行乘积处理,首先将所述掩膜信息变化为与所述原始超声图像相同的尺寸大小,再将所述原始超声图像与所
述掩膜信息进行乘积处理,得到特征区域超声图像,,将所述特征区域超声图像输入至深度学习网络,通过所述深度学习网络对所述特征区域超声图像进行特征提取,提取的特征为能够影响基准图像的特征,再将提取到的特征进行编码转化,得到第一特征变量,同样的,将所述原始超声图像输入至深度学习网络,得到第二特征变量,根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征,所述形状特征为图像的低维度特征,所述细粒特征为图像的高维度特征,然后根据所述形状特征与所述细粒特征生成基准图像,最终生成的基准图像就是不包含有效特征,仅仅包含原始超声图像中的背景信息和噪声信息的环境特征,有着与原始超声图像相同的环境但不提供有效信息,接近于理想的基准图像,从而准确表示超声图像中除有效特征以外的信息,对ai决策的预测结果提供准确的基准图像以及准确的解释性的说明。
附图说明
39.图1为本技术超声图像的基准图像的生成方法的一实施例流程示意图;
40.图2为本技术计算所述原始超声图像相较于所述基准图像的增量的一实施例流程示意图;
41.图3为本技术超声图像的基准图像的生成装置的一实施例结构示意图;
42.图4为本技术计算机设备的一实施例结构示意框图。
43.本技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
44.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
45.参照图1,本技术实施例提供一种超声图像的基准图像的生成方法,所述超声图像的基准图像的生成方法包括步骤s10-s60,对于所述超声图像的基准图像的生成方法的各个步骤的详细阐述如下。
46.s10、获取预配置的掩膜信息。
47.本实施例应用于超声基准图像的生成场景中,当前人工智能技术向医疗领域渗透的最大障碍源于深度神经网络的“黑箱”问题,人类无法相信不可解释的ai(artificial intelligence,人工智能)做出的决策,因此需要对ai作出的预测结果进行解释性的说明,通过计算超声图像上的各个不同的区域相比于基准图像(baseline image)对预测结果作出的贡献,从而确定预测结果的解释性。为了准确地确定超声图像上的各个不同的区域相比于基准图像(baseline image)对预测结果作出的贡献,本实施例为每一张超声图像生成对应的基准图像,所述基准图像是将原始超声图像剥离有效特征后剩下的信息,即原始超声图像中的环境特征。首先,获取预配置的掩膜信息,所述掩膜信息为mask,所述掩膜信息由a
×
a的小片组成,在一种实施方式中,所述预配置的掩膜信息为从掩膜信息集合中随机选取一个作为预配置的掩膜信息;在另一种实施方式中,通过配置掩膜信息的生成规则,随机生成一个掩膜信息作为预配置的掩膜信息。
48.s20、获取原始超声图像。
49.本实施例中,在获取预配置的掩膜信息之后,为了对每一个超声图像生成对应的基准图像,获取原始超声图像,具体的,可以对接其他医疗设备,当其他医疗设备拍摄到原始超声图像后,从而获取所述原始超声图像。
50.s30、将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像。
51.本实施例中,在获取预配置的掩膜信息后以及获取原始超声图像之后,将所述原始超声图像与所述掩膜信息进行乘积处理,其中,所述掩膜信息的每个小片上的像素值x
ij
服从均匀分布,且x
ij
∈{0,1},使得所述掩膜信息能够更加准确地对感兴趣的区域进行处理,然后将所述掩膜信息变化为与所述原始超声图像相同的尺寸大小,再将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像,定义所述特征区域超声图像为source a,所述原始超声图像为source b。
52.s40、将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量。
53.本实施例中,在获取原始超声图像以及将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像之后,将所述特征区域超声图像输入至深度学习网络,通过所述深度学习网络对所述特征区域超声图像进行特征提取,提取的特征为能够影响基准图像的特征,再将提取到的特征进行编码转化,得到第一特征变量;同样的,将所述原始超声图像输入至深度学习网络,通过所述深度学习网络对所述原始超声图像进行特征提取,提取的特征为能够影响基准图像的特征,再将原始超声图像提取到的特征进行编码转化,得到第二特征变量。
54.s50、根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征。
55.本实施例中,在将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量之后,根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征,所述形状特征为图像的低维度特征,包括图像包含的形状以及所述形状的位置,所述细粒特征为图像的高维度特征,包括图像的纹理特征以及图像的颜色特征,当得到所述第一特征变量与所述第二特征变量之后,将其组合作为图像的样式变量,定义所述样式变量y=(ys,yb),其中ys为第一特征变量,yb为第二特征变量,通过将第一特征变量与第二特征变量进行组合后输入至卷积层中,可以得到对应的形状特征与细粒特征。
56.s60、根据所述形状特征与所述细粒特征生成基准图像。
57.本实施例中,在根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征之后,根据所述形状特征与所述细粒特征生成基准图像,最终生成的基准图像就是不包含有效特征,仅仅包含原始超声图像中的背景信息和噪声信息的环境特征,有着与原始超声图像相同的环境但不提供有效信息,接近于理想的基准图像,从而准确地将原始超声图像中的背景、噪声等信息剥离出来后生成基准图像,所述基准图像能够表示出丰富的环境特征,从而准确表示图像中除有效特征以外的信息,对ai决策的预测结果提供准确的基准图像以及准确的解释性的说明。
58.本实施例提供了一种通过将超声图像中的背景、噪声等信息剥离出来,从而为超
声图像生成的基准图像的方法,首先获取原始超声图像以及获取预配置的掩膜信息,所述掩膜信息能够对原始超声图像中感兴趣的区域进行处理,可以从掩膜信息集合中随机选取一个作为预配置的掩膜信息,也可以通过配置掩膜信息的生成规则,随机生成一个掩膜信息作为预配置的掩膜信息,然后将所述原始超声图像与所述掩膜信息进行乘积处理,首先将所述掩膜信息变化为与所述原始超声图像相同的尺寸大小,再将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像,,将所述特征区域超声图像输入至深度学习网络,通过所述深度学习网络对所述特征区域超声图像进行特征提取,提取的特征为能够影响基准图像的特征,再将提取到的特征进行编码转化,得到第一特征变量,同样的,将所述原始超声图像输入至深度学习网络,得到第二特征变量,根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征,所述形状特征为图像的低维度特征,所述细粒特征为图像的高维度特征,然后根据所述形状特征与所述细粒特征生成基准图像,最终生成的基准图像就是不包含有效特征,仅仅包含原始超声图像中的背景信息和噪声信息的环境特征,有着与原始超声图像相同的环境但不提供有效信息,接近于理想的基准图像,从而准确表示超声图像中除有效特征以外的信息,对ai决策的预测结果提供准确的基准图像以及准确的解释性的说明。
59.在一个实施例中,所述将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量,包括:
60.将所述特征区域超声图像输入至深度学习网络,基于所述深度学习网络中的非线性映射网络和仿射变换对所述特征区域超声图像的潜在编码进行变换,得到第一特征变量;
61.将所述原始超声图像输入至深度学习网络,基于所述深度学习网络中的非线性映射网络和仿射变换对所述原始超声图像的潜在编码进行变换,得到第二特征变量。
62.本实施例中,在将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量的过程中,将所述特征区域超声图像输入至深度学习网络,所述深度学习网络中包含非线性映射网络,然后基于所述深度学习网络中的非线性映射网络和仿射变换对所述特征区域超声图像的潜在编码进行变换,得到能够表征特征区域超声图像中对应特征的变量,将其定义为第一特征变量;同样的,对于原始超声图像,将所述原始超声图像输入至深度学习网络,基于所述深度学习网络中的非线性映射网络和仿射变换对所述原始超声图像的潜在编码进行变换,得到能够表征原始超声图像中对应特征的变量,将其定义为第二特征变量,从而准确地提取原始超声图像与特征区域超声图像的图像特征,从而提高基准图像生成的准确性。
63.在一个实施例中,所述根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征,包括:
64.将所述第一特征变量输入至生成网络中的低分辨率卷积层,得到图像的形状特征;
65.将所述第二特征变量输入至生成网络中的高分辨率卷积层,得到图像的细粒特征。
66.本实施例中,在根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征的过程中,将所述第一特征变量输入至生成网络中,所述生成网
络包含多个卷积层,将所述第一特征变量输入至生成网络中的低分辨率卷积层,低分辨率卷积层可以控制生成图像的低维特征,即得到图像的形状特征,同时,将所述第二特征变量输入至生成网络中的高分辨率卷积层,高分辨率卷积层可以控制生成图像的高维特征,即得到图像的细粒特征,通过将不同的控制图像生成的变量输入至不同的卷积层,从而得到图像的高纬度特征以及低纬度特征,准确地提取原始超声图像与特征区域超声图像的图像特征,从而提高基准图像生成的准确性。
67.在一个实施例中,所述低分辨率卷积层为分辨率4
2-322的卷积层;所述高分辨率卷积层为分辨率64
2-10242的卷积层。
68.本实施例中,所述低分辨率卷积层为分辨率4
2-322的卷积层;所述高分辨率卷积层为分辨率64
2-10242的卷积层,通过配置多个不同分辨率的卷积层,将不同的控制图像生成的变量输入至不同的卷积层,从而得到图像的高纬度特征以及低纬度特征,准确地提取原始超声图像与特征区域超声图像的图像特征,从而提高基准图像生成的准确性。
69.在一个实施例中,所述根据所述形状特征与所述细粒特征生成基准图像之后,还包括:
70.将所述原始超声图像与所述基准图像输入至分类网络,基于所述分类网络计算所述原始超声图像相较于所述基准图像的增量;
71.根据所述增量生成归因图。
72.本实施例中,在根据所述形状特征与所述细粒特征生成基准图像之后,将所述原始超声图像与所述基准图像输入至分类网络,通过所述原始超声图像与所述基准图像进行对比,并基于所述分类网络计算所述原始超声图像相较于所述基准图像的增量,所述增量表示所述原始超声图像中各个不同区域对于判定结果的贡献,再根据所述增量生成归因图(attribution map),归因图中表示原始超声图像中各个不同区域对于判定结果的贡献,通过归因图能够判断分类网络是否正确地关注了正确的图像特征,而忽略掉图像的环境特征,从而提高对判定结果的可解释性。
73.在一个实施例中,如图2所示,所述将所述原始超声图像与所述基准图像输入至分类网络,基于所述分类网络计算所述原始超声图像相较于所述基准图像的增量,包括;
74.s61:将所述原始超声图像划分为若干个区域子图像;
75.s62:分别将每个所述区域子图像与所述基准图像输入至分类网络,基于所述分类网络计算每个所述区域子图像对分别结果的预测分数相较于所述基准图像的第一贡献量;
76.s63:获取所述基准图像中环境特征的第二贡献量;
77.s64:根据所述第一贡献量与所述第二贡献量确定所述增量。
78.本实施例中,在将所述原始超声图像与所述基准图像输入至分类网络,基于所述分类网络计算所述原始超声图像相较于所述基准图像的增量的过程中,首先将所述原始超声图像划分为若干个区域子图像,例如划分为9*9个区域子图像,然后分别将每个所述区域子图像与所述基准图像输入至分类网络,基于所述分类网络计算每个所述区域子图像对分别结果的预测分数相较于所述基准图像的贡献量,定义为第一贡献量,再获取所述基准图像中环境特征的第二贡献量,然后根据所述第一贡献量与所述第二贡献量确定所述增量,具体的,将所述第一贡献量减去所述第二贡献量,即得到每个所述区域子图像的真实贡献量,再将每个区域子图像的真实贡献量进行统筹,得到所述原始超声图像相较于所述基准
图像的增量,从而准确地表示所述原始超声图像中各个不同区域对于判定结果的贡献,提高判定结果的可解释性。
79.在一个实施例中,所述根据所述增量生成归因图之后,还包括:
80.获取所述归因图中贡献量最高的目标子区域图像;
81.根据所述目标子区域图像确定所述基准图像的有效特征信息。
82.本实施例中,在根据所述增量生成归因图之后,获取所述归因图中贡献量最高的区域,将其定义为目标子区域图像,然后根据所述目标子区域图像确定所述基准图像的有效特征信息,从而确定基准图像的有效特征信息,可以根据所述有效特征信息进行人工比对,从而提高对基准图像的准确性。
83.参照图3,本技术还提供一种超声图像的基准图像的生成装置,包括:
84.配置信息模块10,用于获取预配置的掩膜信息;
85.原始图像模块20,用于获取原始超声图像;
86.图像处理模块30,用于将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像;
87.变量转换模块40,用于将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量;
88.特征提取模块50,用于根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征;
89.基准图像模块60,用于根据所述形状特征与所述细粒特征生成基准图像。
90.如上所述,可以理解地,本技术中提出的所述超声图像的基准图像的生成装置的各组成部分可以实现如上所述超声图像的基准图像的生成方法任一项的功能。
91.在一个实施例中,所述将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量,包括:
92.将所述特征区域超声图像输入至深度学习网络,基于所述深度学习网络中的非线性映射网络和仿射变换对所述特征区域超声图像的潜在编码进行变换,得到第一特征变量;
93.将所述原始超声图像输入至深度学习网络,基于所述深度学习网络中的非线性映射网络和仿射变换对所述原始超声图像的潜在编码进行变换,得到第二特征变量。
94.在一个实施例中,所述根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征,包括:
95.将所述第一特征变量输入至生成网络中的低分辨率卷积层,得到图像的形状特征;
96.将所述第二特征变量输入至生成网络中的高分辨率卷积层,得到图像的细粒特征。
97.在一个实施例中,所述低分辨率卷积层为分辨率4
2-322的卷积层;所述高分辨率卷积层为分辨率64
2-10242的卷积层。
98.在一个实施例中,所述根据所述形状特征与所述细粒特征生成基准图像之后,还包括:
99.将所述原始超声图像与所述基准图像输入至分类网络,基于所述分类网络计算所
述原始超声图像相较于所述基准图像的增量;
100.根据所述增量生成归因图。
101.在一个实施例中,所述将所述原始超声图像与所述基准图像输入至分类网络,基于所述分类网络计算所述原始超声图像相较于所述基准图像的增量,包括;
102.将所述原始超声图像划分为若干个区域子图像;
103.分别将每个所述区域子图像与所述基准图像输入至分类网络,基于所述分类网络计算每个所述区域子图像对分别结果的预测分数相较于所述基准图像的第一贡献量;
104.获取所述基准图像中环境特征的第二贡献量;
105.根据所述第一贡献量与所述第二贡献量确定所述增量。
106.在一个实施例中,所述根据所述增量生成归因图之后,还包括:
107.获取所述归因图中贡献量最高的目标子区域图像;
108.根据所述目标子区域图像确定所述基准图像的有效特征信息。
109.参照图4,本技术实施例中还提供一种计算机设备,该计算机设备可以是移动终端,其内部结构可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和显示装置及输入装置。其中,该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机设备的显示装置用于显示离线应用。该计算机设备的输入装置用于接收用户在离线应用的输入。该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质。该非易失性存储介质存储有操作系统、计算机程序和数据库。该计算机设备的数据库用于存放原始数据。该计算机程序被处理器执行时以实现一种超声图像的基准图像的生成方法。
110.上述处理器执行上述的超声图像的基准图像的生成方法,所述方法包括:获取预配置的掩膜信息;获取原始超声图像;将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像;将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量;根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征;根据所述形状特征与所述细粒特征生成基准图像。
111.所述计算机设备提供了一种通过将超声图像中的背景、噪声等信息剥离出来,从而为超声图像生成的基准图像的方法,首先获取原始超声图像以及获取预配置的掩膜信息,所述掩膜信息能够对原始超声图像中感兴趣的区域进行处理,可以从掩膜信息集合中随机选取一个作为预配置的掩膜信息,也可以通过配置掩膜信息的生成规则,随机生成一个掩膜信息作为预配置的掩膜信息,然后将所述原始超声图像与所述掩膜信息进行乘积处理,首先将所述掩膜信息变化为与所述原始超声图像相同的尺寸大小,再将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像,,将所述特征区域超声图像输入至深度学习网络,通过所述深度学习网络对所述特征区域超声图像进行特征提取,提取的特征为能够影响基准图像的特征,再将提取到的特征进行编码转化,得到第一特征变量,同样的,将所述原始超声图像输入至深度学习网络,得到第二特征变量,根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征,所述形状特征为图像的低维度特征,所述细粒特征为图像的高维度特征,然后根据所述形状特征与所述细粒特征生成基准图像,最终生成的基准图像就是不包含有效特征,仅仅包含原始超声图像
中的背景信息和噪声信息的环境特征,有着与原始超声图像相同的环境但不提供有效信息,接近于理想的基准图像,从而准确表示超声图像中除有效特征以外的信息,对ai决策的预测结果提供准确的基准图像以及准确的解释性的说明。
112.本技术一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被所述处理器执行时实现一种超声图像的基准图像的生成方法,包括步骤:获取预配置的掩膜信息;获取原始超声图像;将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像;将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量;根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征;根据所述形状特征与所述细粒特征生成基准图像。
113.所述计算机可读存储介质提供了一种通过将超声图像中的背景、噪声等信息剥离出来,从而为超声图像生成的基准图像的方法,首先获取原始超声图像以及获取预配置的掩膜信息,所述掩膜信息能够对原始超声图像中感兴趣的区域进行处理,可以从掩膜信息集合中随机选取一个作为预配置的掩膜信息,也可以通过配置掩膜信息的生成规则,随机生成一个掩膜信息作为预配置的掩膜信息,然后将所述原始超声图像与所述掩膜信息进行乘积处理,首先将所述掩膜信息变化为与所述原始超声图像相同的尺寸大小,再将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像,,将所述特征区域超声图像输入至深度学习网络,通过所述深度学习网络对所述特征区域超声图像进行特征提取,提取的特征为能够影响基准图像的特征,再将提取到的特征进行编码转化,得到第一特征变量,同样的,将所述原始超声图像输入至深度学习网络,得到第二特征变量,根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征,所述形状特征为图像的低维度特征,所述细粒特征为图像的高维度特征,然后根据所述形状特征与所述细粒特征生成基准图像,最终生成的基准图像就是不包含有效特征,仅仅包含原始超声图像中的背景信息和噪声信息的环境特征,有着与原始超声图像相同的环境但不提供有效信息,接近于理想的基准图像,从而准确表示超声图像中除有效特征以外的信息,对ai决策的预测结果提供准确的基准图像以及准确的解释性的说明。
114.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
115.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有
的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
116.以上所述仅为本技术的优选实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
技术特征:1.一种超声图像的基准图像的生成方法,其特征在于,包括:获取预配置的掩膜信息;获取原始超声图像;将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像;将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量;根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征;根据所述形状特征与所述细粒特征生成基准图像。2.根据权利要求1所述的超声图像的基准图像的生成方法,其特征在于,所述将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量,包括:将所述特征区域超声图像输入至深度学习网络,基于所述深度学习网络中的非线性映射网络和仿射变换对所述特征区域超声图像的潜在编码进行变换,得到第一特征变量;将所述原始超声图像输入至深度学习网络,基于所述深度学习网络中的非线性映射网络和仿射变换对所述原始超声图像的潜在编码进行变换,得到第二特征变量。3.根据权利要求1所述的超声图像的基准图像的生成方法,其特征在于,所述根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征,包括:将所述第一特征变量输入至生成网络中的低分辨率卷积层,得到图像的形状特征;将所述第二特征变量输入至生成网络中的高分辨率卷积层,得到图像的细粒特征。4.根据权利要求3所述的超声图像的基准图像的生成方法,其特征在于,所述低分辨率卷积层为分辨率4
2-322的卷积层;所述高分辨率卷积层为分辨率64
2-10242的卷积层。5.根据权利要求1所述的超声图像的基准图像的生成方法,其特征在于,所述根据所述形状特征与所述细粒特征生成基准图像之后,还包括:将所述原始超声图像与所述基准图像输入至分类网络,基于所述分类网络计算所述原始超声图像相较于所述基准图像的增量;根据所述增量生成归因图。6.根据权利要求5所述的超声图像的基准图像的生成方法,其特征在于,所述将所述原始超声图像与所述基准图像输入至分类网络,基于所述分类网络计算所述原始超声图像相较于所述基准图像的增量,包括;将所述原始超声图像划分为若干个区域子图像;分别将每个所述区域子图像与所述基准图像输入至分类网络,基于所述分类网络计算每个所述区域子图像对分别结果的预测分数相较于所述基准图像的第一贡献量;获取所述基准图像中环境特征的第二贡献量;根据所述第一贡献量与所述第二贡献量确定所述增量。7.根据权利要求5所述的超声图像的基准图像的生成方法,其特征在于,所述根据所述增量生成归因图之后,还包括:获取所述归因图中贡献量最高的目标子区域图像;根据所述目标子区域图像确定所述基准图像的有效特征信息。
8.一种超声图像的基准图像的生成装置,其特征在于,包括:配置信息模块,用于获取预配置的掩膜信息;原始图像模块,用于获取原始超声图像;图像处理模块,用于将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像;变量转换模块,用于将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量;特征提取模块,用于根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征;基准图像模块,用于根据所述形状特征与所述细粒特征生成基准图像。9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述超声图像的基准图像的生成方法的步骤。10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述超声图像的基准图像的生成方法的步骤。
技术总结本申请涉及图像特征处理领域,特别是涉及到一种超声图像的基准图像的生成方法、装置、计算机设备及存储介质,所述方法包括:获取预配置的掩膜信息;获取原始超声图像;将所述原始超声图像与所述掩膜信息进行乘积处理,得到特征区域超声图像;将所述特征区域超声图像输入至深度学习网络,得到第一特征变量;将所述原始超声图像输入至深度学习网络,得到第二特征变量;根据所述第一特征变量得到图像的形状特征,根据所述第二特征变量得到图像的细粒特征;根据所述形状特征与所述细粒特征生成基准图像。本申请能够生成准确且具有可靠的可解释性的基准图,提高预测结果的可靠性。提高预测结果的可靠性。提高预测结果的可靠性。
技术研发人员:郑喜民 胡浩楠 舒畅 陈又新
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:2022.03.15
技术公布日:2022/7/5