1.本发明涉及医疗展示技术领域，特别涉及一种基于web的人工智能预测结果的展示方法。
背景技术：2.目前，随着人工智能技术的发展，人工智能也开始与医疗领域结合。人工智能在医疗领域的应用主要有以下四个方向：第一，医疗图像，包括x光、ct、眼底、病理等等。第二，基于人工智能的病例等大数据进行发病预测。第三，用人工智能帮助手术机器人寻找最优手术方案。第四，基于人工智能的新药研发。
3.其中凭借人工智能技术在图像识别领域的发展，人工智能技术在医疗图像的应用取得一定成效，但远未实现成熟的应用。相比于x光、ct等医疗影像，病理图像的人工智能辅助诊断面临着更大的挑战。
4.在现有技术中：现有的预测结果展示技术，主要使用标注线来显示人工智能模型预测的结果，该方法使用标注线圈定一个区域来表示预测结果，即病变区域，标注线提供的信息很少，只能通过标注线知道病变区域的轮廓，标注线只能表示简单的轮廓，复杂的轮廓使用标注线时，反而会导致信息难以理解。
5.首先借助计算机辅助病理诊断首先要将病理玻片数字化。借助专用的数字病理扫描仪通过扫描病理玻片得到全扫描图像(whole slide image，wsi)。病理全扫描图像通过人工智能系统预测，把病理图像上病变区域使用热力图的形式标记出来(热力图是通过颜色的值来显示病变区域的概率)。
6.本发明提出一种同时查看病理全扫描图片和预测结果的热力图的方法，该方法可以非常轻易的对比病变区域原图和热力图，将提高热力图辅助诊断的效率。
技术实现要素：7.本发明提供一种基于web的人工智能预测结果的展示方法，用以解决现有的预测结果展示技术，主要使用标注线来显示人工智能模型预测的结果，该方法使用标注线圈定一个区域来表示预测结果，即病变区域，标注线提供的信息很少，只能通过标注线知道病变区域的轮廓，标注线只能表示简单的轮廓，复杂的轮廓使用标注线时，反而会导致信息难以理解的情况。
8.一种基于web的人工智能预测结果的展示方法，其特征在于，包括：
9.获取病理全扫描图像；其中，
10.所述病理全扫描图像为多层级可视化图像；
11.将所述病理全扫描图像导入预设的人工智能预测模型进行处理，生成完整热力图；
12.基于不同病种的不同热力图，对所述完整热力图进行预测，确定预测结果；
13.根据所述预测结果，将所述完整热力图切割为病种分布小图；
14.接收wed页面加载热力图的加载请求，并将所述小图加载到wed页面；
15.在所述小图加载到wed页面后，在所述wed页面上展示病种热力图。
16.作为本发明的一种实施例，所述获取病理全扫描图像，包括：
17.通过扫描设备对患者的器官组织进行扫描，获取高分辨率数字图像；其中，
18.所述扫描设备包括：全自动显微镜和光学方法装置；
19.将所述高分辨率数字图像通过无缝隙拼接处理，生成多层可视化图像；
20.将所述多层可视化图像作为病理全扫描图像。
21.作为本发明的一种实施例，所述将所述病理全扫描图像导入预设的人工智能预测模型进行处理，生成完整热力图，包括：
22.将所述病理全扫描图像进行第一次切割，生成分割小图；
23.通过行和列对所述分割小图进行标记；
24.将分割标记后的分割小图输入预设的人工智能模型进行预测，生成热力图块；
25.将所述热力图块进行拼接，生成完整热力图。
26.作为本发明的一种实施例，所述将所述病理全扫描图像导入预设的人工智能预测模型进行处理，生成完整热力图，还包括：
27.预先配置通用深度神经网络生成器；
28.获取历史病理扫描图像标注数据，确定标注规则，并生成图像标注模板；其中，
29.所述标注规则包括：轮廓标注规则和标注线规则；
30.预先将图像标注模板导入所述深度神经网络生成器，生成第一智能标注模型；
31.获取热力图的划分规则；其中，
32.所述划分规则包括：区域划分规则和颜色深度规则；
33.将所述划分规则代入所述第一智能标注模型，生成人工智能预测模型。
34.作为本发明的一种实施例，所述基于不同病种的不同热力图，对所述完整热力图进行预测，确定预测结果，包括：
35.获取所述完整热力图，并对所述完整热力图进行切割处理，生成多个热力小图；
36.获取病种数据和历史病理扫描图像标注数据，确定不同病种对应的病理扫描图像；
37.根据所述病理扫描图像，确定对应的标注图像；
38.根据所述标注图像和人工智能预测模型，确定所述标注图像对应的热力图的对应关系；
39.根据所述对应关系对所述热力小图进行预测，确定不同热力小图对应的热力病种数据；
40.根据所述热力病种数据，将所述热力小图拼接为完整热力图，确定所述完整热力图上不同区域的病种，生成预测结果。
41.作为本发明的一种实施例，所述基于不同病种的不同热力图，对所述完整热力图进行预测，确定预测结果，还包括：
42.步骤1：基于不同病种的不同热力图，构建确定病种热力图特征函数；
43.44.其中，b(i)表示第i种病种的热力图的特征函数；μi表示第i种病种的颜色特征；ρi表示第i种病种的分布特征；si表示第i种病种的热力图的混合高斯模型的期望值；q表示不同病种热力图的混合高斯模型的平均期望值；i＝1，2，3
……
n；n表示病种的总数量；
45.步骤2：根据所述病种数据和历史病理扫描图像标注数据，构建病种标注的线性模型：
[0046][0047]
其中，li表示第i种病种的线性轮廓特征；bi表示第i种病种的标注线特征；
[0048]
步骤3：根据热力图的划分规则，构建不同病种的热力图模型：
[0049][0050]
其中，qi表示第i种病种的区域划分特征；yi表示第i种病种的颜色深度特征；
[0051]
步骤4：根据所述热力图模型和线性模型，通过下式确定标注图像对应的热力图的对应关系的相关关系值：
[0052][0053]
其中，g表示标注图像对应的热力图的对应关系的相关关系值；
[0054]
步骤5：根据所述相关关系值和病种热力图特征函数，构建病种预测模型：
[0055][0056]
其中，y的值对应有唯一的病种和病种热力图。
[0057]
作为本发明的一种实施例，所述根据所述预测结果，将所述完整热力图切割为病种分布小图，包括：
[0058]
根据所述预测结果，确定所述完整热力图上每个区域的病种信息；
[0059]
根据所述病种信息，将所述热力图按照病种区域进行划分，生成病种分布小图；
[0060]
将所述病种分布小图进行行数和列数标注，生成行列标注，并将每个病种分布小图以所述行列标注命名。
[0061]
作为本发明的一种实施例，所述接收wed页面加载热力图的加载请求，并将所述小图加载到wed页面，包括：
[0062]
接收来自目标设备的加载请求；
[0063]
根据所述加载请求，确定对应的wed页面地址；
[0064]
根据所述wed页面地址将所述病种分布小图传输至所述wed页面进行加载；
[0065]
根据加载结果，生成病种热力图。
[0066]
作为本发明的一种实施例，所述在所述小图加载到wed页面后，在所述wed页面上
展示病种热力图，包括：
[0067]
获取所述wed页面的病种分布小图的加载进度；
[0068]
根据所述加载进度，判断所述病种分布小图是否完全加载至所述wed页面；
[0069]
在所述病种分布小图全部加载至所述wed页面上时，对所述病种分布小图进行拼接，并在拼接完成后，通过wed页面展示并在热力图。
[0070]
本发明有益效果在于：解决标注线展示信息不完整问题，热力图不仅可以展示病变区域轮廓，并且可以通过颜色来表示每个像素点上概率，这样可以清晰的展示该病变区域的概率分布；2.解决复杂标注线难以理解的问题，使用热力图之后，对于凹陷的区域，可以非常直观的展示；3.提供重点信息，使用标注线，只提供简单轮廓，无法直观的知道该关注的重点区域，在使用热力图后，我们通过颜色来区分概率高低，这样我们只需要关注深色区域即可。热力图简单明了，非常直观表达多种信息，包括预测位置，概率等，而且让使用的人关注重点区域(概率高，颜色深的区域)；可以加载多个热力图，不同模型预测的结果并不一样，可以切换不同的热力图，方便查看对比。
[0071]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
[0072]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0073]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0074]
图1为本发明实施例中一种基于web的人工智能预测结果的展示方法的方法流程图；
[0075]
图2为本发明实施例中一种基于web的人工智能预测结果的展示方法的执行流程图；
[0076]
图3为本发明实施例中一种基于web的人工智能预测结果的展示方法中本发明的热力图的实际展示图；
[0077]
图4为本发明实施例中现有技术中线性标注病理图像的实际展示图。
具体实施方式
[0078]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0079]
在现有技术中，病理图像的展示多是线性标注图，如附图4所示，我们可以看出，对于不同的病理程度是根本无法从页面显示出来，必须通过很多的标注信息才能判断，不利于我们进行疾病诊断。
[0080]
实施例1：
[0081]
如附图1和附图2所示，一种基于web的人工智能预测结果的展示方法，包括：
[0082]
获取病理全扫描图像；其中，
[0083]
所述病理全扫描图像为多层级可视化图像；
[0084]
病理全扫描图像是通过全自动显微镜或光学放大系统扫描采集得到高分辨数字图像，通过计算机进行高精度多视野无缝隙拼接和处理，从而获得的多层级可视化的图像。
[0085]
将所述病理全扫描图像导入预设的人工智能预测模型进行处理，生成完整热力图；
[0086]
在现有技术中，热力图是以特殊高亮的形式显示访客热衷的页面区域和访客所在的地理区域的图示。热力图可以显示不可点击区域发生的事情。在本发明中，本发明将细胞病变的区域以热力图那种特殊高亮的形式进行显示，同样对于病变程度的不同，颜色深度不同，也就构成了多层级的表现。
[0087]
基于不同病种的不同热力图，对所述完整热力图进行预测，确定预测结果；不同的疾病与不同病理图像对应，因此，其热力图也是不同的；所以本发明可以通过热力图的形式对病理细胞进行一个预测，这个预测包括预测是什么类型的疾病，以及疾病的程度。
[0088]
根据所述预测结果，将所述完整热力图切割为病种分布小图；
[0089]
任何的病理图都是需要让人能看懂其表示的是什么，所以就需要进行一些标注，但是如果病理图特别大，只能在边缘进行标注，可能存在指代不清楚的问题，所以本发明就进行切割，切割之后，每一小块队徽进行一个标注命名，例如标注疾病细胞的病变程度，病变等级和病变范围等等。
[0090]
接收wed页面加载热力图的加载请求，并将所述小图加载到wed页面；在wed页面中，在展示病理图像的时候，可以展示原始的大图，也可以展示某一个区域的小图，这也是本发明进行大图切割为病种分布小图的原因。
[0091]
在所述小图加载到wed页面后，在所述wed页面上展示病种热力图，最终的展示页面如附图3所示，颜色深的地方就代表着病变程度深，在图上还分布一些线条和一些没有病变的区域，她们可以通过不同的颜色去表示，而线条内部就是病变的范围和预计会影响的范围。
[0092]
本发明有益效果在于：1、解决标注线展示信息不完整问题，热力图不仅可以展示病变区域轮廓，并且可以通过颜色来表示每个像素点上概率，这样可以清晰的展示该病变区域的概率分布；2.解决复杂标注线难以理解的问题，使用热力图之后，对于凹陷的区域，可以非常直观的展示；3.提供重点信息，使用标注线，只提供简单轮廓，无法直观的知道该关注的重点区域，在使用热力图后，我们通过颜色来区分概率高低，这样我们只需要关注深色区域即可。热力图简单明了，非常直观表达多种信息，包括预测位置，概率等，而且让使用的人关注重点区域(概率高，颜色深的区域)；可以加载多个热力图，不同模型预测的结果并不一样，可以切换不同的热力图，方便查看对比。
[0093]
实施例2：
[0094]
作为本发明的一种实施例，所述获取病理全扫描图像，包括：
[0095]
通过扫描设备对患者的器官组织进行扫描，获取高分辨率数字图像；其中，
[0096]
所述扫描设备包括：全自动显微镜和光学方法装置；
[0097]
将所述高分辨率数字图像通过无缝隙拼接处理，生成多层可视化图像；
[0098]
将所述多层可视化图像作为病理全扫描图像。
[0099]
本发明有益效果在于：本发明会对患者的器官组织进行扫描，这个扫描基于全扫描图像(whole slide image，wsi)：通过全自动显微镜或光学放大系统扫描采集得到高分
辨数字图像，通过计算机进行高精度多视野无缝隙拼接和处理，从而获得的多层级可视化的图像。病理全扫描图像是疾病领域的病理细胞常用的扫描图像，不过一般的扫描图像就是高分辨率的图像；但是扫描不可能只是扫描一个地方，可能是扫描多个地方；多个地方进行单独处理的话处理难度比较麻烦，所以需要进行无缝隙拼接处理。
[0100]
实施例3：
[0101]
作为本发明的一种实施例，所述将所述病理全扫描图像导入预设的人工智能预测模型进行处理，生成完整热力图，包括：
[0102]
将所述病理全扫描图像进行第一次切割，生成分割小图；分割小图就是按照将病理全扫描图像分割之后，以行和列的形式排列，例如九宫格；然后在不同分割小图的行间隔和列间隔之间进行具体的病理内容标记。
[0103]
通过行和列对所述分割小图进行标记；
[0104]
将分割标记后的分割小图输入预设的人工智能模型进行预测，生成热力图块；预设的人工智能模型是一个将病理图像转换为热力图像的转换模型，它基于深度学习算法，由深度学习算法的卷积神经网络训练而来。
[0105]
将所述热力图块进行拼接，生成完整热力图。
[0106]
本发明有益效果在于：本发明能够根据分割的小图进行基于人工智能模型的预测，处理为热力图，进而实现小图的热力标注。
[0107]
实施例4：
[0108]
作为本发明的一种实施例，所述将所述病理全扫描图像导入预设的人工智能预测模型进行处理，生成完整热力图，还包括：
[0109]
预先配置通用深度神经网络生成器；深度神经网络生成器是一种构建深度神经网络网络模型的生成器，能够根据提供的要素用来生成各种各样深度神经网络模型，在这里我们提供的素材就是图像标注模板，从而生成一个标注模型。
[0110]
获取历史病理扫描图像标注数据，确定标注规则，并生成图像标注模板；其中，
[0111]
所述标注规则包括：轮廓标注规则和标注线规则；
[0112]
轮廓标注规则包括不同病理细胞，不同病理程度用不同的颜色和线条进行标注，线条的宽度代表不同的，这需要根据具体实施时，通过管理员去设置这些规则。
[0113]
预先将图像标注模板导入所述深度神经网络生成器，生成第一智能标注模型；
[0114]
获取热力图的划分规则；其中，
[0115]
所述划分规则包括：区域划分规则和颜色深度规则；
[0116]
将所述划分规则代入所述第一智能标注模型，生成人工智能预测模型。
[0117]
本发明有益效果在于：本发明会通过深度神经网络生成器对历史病理图像的标注方式，然后根据这个标注方式和热力图的标注方式进行融合替换，进而实现热力图对细胞进行标注。
[0118]
实施例5：
[0119]
作为本发明的一种实施例，所述基于不同病种的不同热力图，对所述完整热力图进行预测，确定预测结果，包括：
[0120]
获取所述完整热力图，并对所述完整热力图进行切割处理，生成多个热力小图；
[0121]
获取病种数据和历史病理扫描图像标注数据，确定不同病种对应的病理扫描图
像；
[0122]
根据所述病理扫描图像，确定对应的标注图像；
[0123]
根据所述标注图像和人工智能预测模型，确定所述标注图像对应的热力图的对应关系；
[0124]
根据所述对应关系对所述热力小图进行预测，确定不同热力小图对应的热力病种数据；
[0125]
根据所述热力病种数据，将所述热力小图拼接为完整热力图，确定所述完整热力图上不同区域的病种，生成预测结果。
[0126]
我们在进行预测的时候，首先因为扫描的图像就不是一个区域的，另外就算是同一个区域，病理程度，或者病变和没有病变都是不确定的。所以我们需要进行热力图的分割，分割之后，不同的热力小图的信息，我们可以进行更加详细的描述和标注，也能删除一些无效的病变图像，从而达到更加精准的预测到底得了什么疾病，以及病变程度。
[0127]
本发明有益效果在于：本发明的在面对不同病理图像的时候，根据标注图像对应的热力图的对应关系，通过热力小图的预测后，重新拼接为完整热力图，判断出完整热力图上不同区域的病种，生成预测结果。
[0128]
实施例6：
[0129]
作为本发明的一种实施例，所述基于不同病种的不同热力图，对所述完整热力图进行预测，确定预测结果，还包括：
[0130]
步骤1：基于不同病种的不同热力图，构建确定病种热力图特征函数；
[0131][0132]
其中，b(i)表示第i种病种的热力图的特征函数；μi表示第i种病种的颜色特征；ρi表示第i种病种的分布特征；si表示第i种病种的热力图的混合高斯模型的期望值；q表示不同病种热力图的混合高斯模型的平均期望值；i＝1，2，3
……
n；n表示病种的总数量；
[0133]
在步骤1中本发明采用了特征函数，计算出每一种疾病对应的是什么函数特征。同这个函数特征我们就可以实现病变特征的识别。
[0134]
步骤2：根据所述病种数据和历史病理扫描图像标注数据，构建病种标注的线性模型：
[0135][0136]
其中，li表示第i种病种的线性轮廓特征；bi表示第i种病种的标注线特征；
[0137]
在步骤2中病种标注的线性模型，就是在不同疾病类型标注之后图像数据的特征时什么，x是线性模型，其决定了不同的病种，标注线是什么样子，线性轮廓应该是什么样子，并用一定的参数进行表示。
[0138]
步骤3：根据热力图的划分规则，构建不同病种的热力图模型：
[0139][0140]
其中，qi表示第i种病种的区域划分特征；yi表示第i种病种的颜色深度特征；
[0141]
对于热力图模型和线性模型我们通过同样的特征算法进行标识，其能够确定不同疾病如何进行区域划分，不同病种如何进行不同颜色深度，也就是病变程度的表示，并用一定的参数进行计算。
[0142]
步骤4：根据所述热力图模型和线性模型，通过下式确定标注图像对应的热力图的对应关系的相关关系值：
[0143][0144]
其中，g表示标注图像对应的热力图的对应关系的相关关系值；
[0145]
相关关系是标注图和热力图的相关关系，这是为了保证热力图和标注图像时相关的，时进行的直接转换。相关关系值为1的时候，表示转换的最正确。在实际实施的时候会设置一定的相关阀值，这个阀值确定了两种图表示的疾病是否对应。
[0146]
步骤5：根据所述相关关系值和病种热力图特征函数，构建病种预测模型：
[0147][0148]
其中，y的值对应有唯一的病种和病种热力图。
[0149]
最后的预测模型y，其值具备唯一性，一种疾病会设置一个阈值，y的值在那个疾病的阈值之内，就表示什么疾病。
[0150]
本发明在确定病种和热力图的时候，采用了五个步骤，第一个步骤是为了提取热力图的特征，将热力图参数化，步骤2通过常规的标注，确定常规标注的标注参数。步骤3建立了热力图模型，然后步骤4确定标注图像对应的热力图的对应关系得到一个相关参数，而步骤5根据这个相关关系确定为不同热力图对应的唯一病种和病种热力图。
[0151]
实施例7：
[0152]
作为本发明的一种实施例，所述根据所述预测结果，将所述完整热力图切割为病种分布小图，包括：
[0153]
根据所述预测结果，确定所述完整热力图上每个区域的病种信息；
[0154]
预测结果上虽然只是一个值，但是热力图和线性标注图对应，就可以基于热力图和线性标注图的对应关系确定每个区域的疾病信息。线性标注图时历史线性标注图，也就是现有技术中的图，本发明的生成这种标注图的替代图，更加鲜明形象的显示病变疾病和病变细胞。
[0155]
根据所述病种信息，将所述热力图按照病种区域进行划分，生成病种分布小图；
[0156]
将所述病种分布小图进行行数和列数标注，生成行列标注，并将每个病种分布小图以所述行列标注命名。
[0157]
本发明有益效果在于：本发明在进行病种预测的时候，还会把完整热力图进行再
次分割，分割的目的时实施行列标注，进而实现不同病种的清晰区分，也便于wed界面加载。
[0158]
实施例8：
[0159]
作为本发明的一种实施例，所述接收wed页面加载热力图的加载请求，并将所述小图加载到wed页面，包括：
[0160]
接收来自目标设备的加载请求；
[0161]
根据所述加载请求，确定对应的wed页面地址；
[0162]
根据所述wed页面地址将所述病种分布小图传输至所述wed页面进行加载；
[0163]
根据加载结果，生成病种热力图。
[0164]
本发明在热力图转换出来之后，是需要通过电脑进行显示的，所以设置了加载的技术方案，这个方案通过设置每个病人，对应的病理信息地址，将这个图加载上去，病理信息的热力图和患者相对应。
[0165]
本发明有益效果在于：
[0166]
在接收到wed页面的加载请求后，本发明根据wed页面地址将热力图的小图进行传输，因为之前进行了行列标注，所以在wed页面上也可以显示出完整的病种热力图。
[0167]
实施例9：
[0168]
作为本发明的一种实施例，所述在所述小图加载到wed页面后，在所述wed页面上展示病种热力图，包括：
[0169]
获取所述wed页面的病种分布小图的加载进度；
[0170]
根据所述加载进度，判断所述病种分布小图是否完全加载至所述wed页面；
[0171]
在所述病种分布小图全部加载至所述wed页面上时，对所述病种分布小图进行拼接，并在拼接完成后，通过wed页面展示并在热力图。
[0172]
拼接这是因为要展示完整的热力图；在不需要展示完整热力图，而是要展示局部，或者调用局部病理图的时候，就通过分布小图进行显示。
[0173]
本发明有益效果在于：本发明在wed页面展示病种热力图的时候，会显示加载进度，而且在wed页面上会呈现一种拼接的状态，通过拼接后在wed页面上进行展示。
[0174]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
