1.本发明涉及中医舌诊仪器设备领域，尤其涉及一种中医裂纹舌诊便携设备及使用方法。
背景技术：2.传统中医舌诊一直都是通过医生的目测观察进行判断，利用医生的个人从医经验将患者的身体情况转化为凝练的语言文字，这十分依赖于医生的肉眼观察及经验判断，缺乏定量化和客观化的度量，种种因素使得舌诊变得非常困难和具有挑战性。近些年来，计算机技术的快速发展为现代化中医舌诊提供了技术平台。
3.福建中医药大学在专利cn201810444231.x中提出了基于阈值技术和灰度投影的舌图像分割方法，它首先利用舌图像在hsi颜色空间的色调分量变换完成初始舌体区域的提取，接着利用灰度投影技术修正舌体区域，最后用主动轮廓模型对舌体轮廓进行光滑化处理，得到最终分割结果。
4.杭州电子科技大学在专利cn202110301301.8中提出了一种基于人工智能的舌象识别方法及系统，它使用深度学习网络对舌图像进行舌体分割和齿痕分割，接着使用舌象识别网络，即四个以resnet-50作为骨架的分网络，输入依次是舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像，然后以一个全连接层将四个分网络的初步齿痕程度分类结果输出为最终的齿痕程度分类结果。
5.崔书克在专利cn202010239706.9中提出了一种基于图像处理的中医舌象分析与识别方法及识别系统，具体为：首先将客户端输入的舌图像与在线的神经网络数据库交互并且分析该舌象判别文件是否合格，若合格则通过初级识别模块确定输入舌象和数据库初级典型舌象的判别文件的特征吻合数值，然后比较特征吻合数值和阈值确定图片的流转，不可识别的舌象判别文件，已识别的舌象判别文件或调用迭代识别模块，再次确定与数据库中级、高级典型舌象判别文件的特征吻合数值，最终通过病理结果识别模块，预测已识别的舌象判别文件所体现的最可能的病类型。
6.南京同仁堂乐家老铺健康科技有限公司在专利cn201810675007.1中提供了一种基于移动终端的智能舌诊系统及方法，它在移动终端对用户拍摄的舌图像的轮廓进行调整，上传至云服务器端进行初步分析生成问卷信息；用户填写对应的问卷信息后，云服务器结合问卷和舌图像进行详细分析得到用户的体质判断。
7.在目前已有的舌诊设备及使用方法中，存在缺点如下：
8.1、传统方法的自动化效果和识别速度不够；
9.2、深度学习模型复杂度高，计算量大，速度不足，需要依赖运算力较高的平台；
10.3、相关的发明普遍将算法模型保留在云服务器这类计算力水平较高的平台上，往往受制于网络因素，存在用户隐私泄露的风险，分析速度不够；
11.4、未规避拍摄环境的光源影响因素，会影响后续分析。
技术实现要素：12.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是解决现有的舌诊设备及方法中存在的自动化效果、识别速度不够的缺点，使用的深度学习模型复杂度高、计算量大、计算速度不足的缺点，同时存在的用户隐私泄露、受区域和网络限制及拍摄环境不足等问题。本发明提供了一种中医裂纹舌诊便携设备及使用方法，使用轻量化模型，减少深度学习模型复杂度，减少计算量并提高速度，减少对计算平台的依赖，结合便携式杜绝了泄露用户隐私的隐患，实现无区域和网络限制，规避拍摄环境的光源影响因素，随时随地进行精准实时的中医裂纹舌证型分析，节约用户看医生的时间成本和经济成本。
13.为实现上述目的，本发明提供了一种中医裂纹舌诊便携设备，包括智能采集设备和智能终端设备，智能采集设备与智能终端设备通信连接，智能终端设备从智能采集设备获取智能采集设备采集到的舌图像传并对舌图像进行分析处理，输出最终的分析结果。
14.进一步地，智能采集设备包括摄像头模块、通信模块、存储模块和辅助采集模块，摄像头模块与存储模块连接，用于拍摄舌图像，并将舌图像存储于存储模块，通信模块建立与智能终端设备的通信连接，辅助采集模块与摄像头模块连接，为摄像头模块拍摄提供合适的拍摄环境。
15.进一步地，智能终端设备包括图像获取模块、图像预处理模块、舌象分割模块和证型分析模块，其中，图像获取模块用于从智能采集设备或本地相册获取舌图像，图像预处理模块用于将图像获取模块中获得的舌图像进行预处理，然后由舌象分割模块进行分割处理，证型分析模块对分割后的舌图像进行分析处理，并输出证型分析结果。
16.进一步地，舌象分割模块包括构建模型模块、载入权重模块和分割模块，其中，构建模型模块用于使用编码器—解码器结构，并且进行轻量化特征提取网络，构建轻量化语义分割模型；载入权重模块用于载入模型权重文件；分割模块用于将待分割的舌图像传输入轻量化语义分割模型中进行分割并得到分割结果。
17.进一步地，权重文件设置为通过深度学习训练获得。
18.进一步地，构建模型模块包括解码器单元和编码器单元，其中，解码器单元使用深度可分离卷积并引入注意力机制模块，编码器单元使用mobilenetv2网络对输入图像作特征提取。
19.进一步地，解码器单元还包括增加通道特征相关性和空间像素特征相关性，其中，具体包括采用并行的全局最大池化和全局平均池化两种池化方式对输入特征图进行空间维度压缩分别得到背景描述和经多层感知机mlp组成的共享网络计算相加进行sigmoid函数最终获得通道注意力机制映射特征图mc∈rc×1×1。
20.本发明的又一较佳实施例提供了一种中医裂纹舌诊便携设备的使用方法，包括以下步骤：
21.使用智能采集设备拍摄舌图像并进行存储；
22.智能终端设备从存储的舌图像中获取待分析的舌图像，先对舌图像进行预处理；
23.对预处理后的舌图像进行舌象分割，获得舌象分割结果；
24.将舌象分割结果输入证型分析模型中进行证型分析，得到对应的分析结果。
25.进一步地，对预处理后的舌图像进行舌象分割，获得舌象分割结果，具体包括以下步骤：
26.构建轻量化语义分割模型；
27.载入预训练的模型权重文件；
28.将待分割的舌图像输入到的轻量化语义分割模型中，得到分割后的舌象结果。
29.进一步地，构建轻量化语义分割模型前还包括人工制备待分割舌象数据的标签数据，用于后期计算模型的分割精度。
30.技术效果
31.本发明提供的一种中医裂纹舌诊便携设备及使用方法，使用便携式设备，规避了拍摄光线的影响因素，节约了用户看医生的时间成本和经济成本；构建轻量化模型，克服了深度学习模型参数量和计算量大的缺陷，为可在移动端实时分析，摆脱网络地域限制，保障用户隐私提供了可能。
32.以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
33.图1是本发明的一个较佳实施例的一种中医裂纹舌诊便携设备的辅助采集模块结构示意图；
34.图2是本发明的一个较佳实施例的一种中医裂纹舌诊便携设备的系统功能模块示意图；
35.图3是本发明的一个较佳实施例的一种中医裂纹舌诊便携设备的使用方法流程示意图；
36.图4是本发明的一个较佳实施例的一种中医裂纹舌诊便携设备的智能终端设备中舌象分割模块的流程示意图；
37.图5是本发明的一个较佳实施例的一种中医裂纹舌诊便携设备的使用方法的举例示意图。
具体实施方式
38.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
39.以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
40.如图2所示，本发明提供了一种中医裂纹舌诊便携设备，包括智能采集设备和智能终端设备，智能采集设备与智能终端设备通信连接，智能终端设备从智能采集设备获取智能采集设备采集到的舌图像并对舌图像进行分析处理，输出最终的分析结果。
41.其中，智能采集设备包括摄像头模块、通信模块、存储模块和辅助采集模块，摄像头模块与存储模块连接，用于拍摄舌图像，并将舌图像存储于存储模块，通信模块建立与智能终端设备的通信连接，辅助采集模块与摄像头模块连接，为摄像头模块拍摄提供合适的
拍摄环境。如图1所示，辅助采集模块包括照明模块101和遮光罩模块102，其中，遮光罩模块用于隔绝外部光线的干扰，选用不透光且散热材料，照明模块使用色温为6500-7500k的白色光源，用于提供稳定均匀的光照环境，得到固定统一标准下拍摄的舌图像，两者通过螺钉连接，严格保证内部为完全不透光空间。智能终端设备设置为移动端app，包括图像获取模块、图像预处理模块、舌象分割模块和证型分析模块，其中，图像获取模块用于从智能采集设备或本地相册获取舌图像，图像预处理模块用于将图像获取模块中获得的舌图像进行预处理，然后由舌象分割模块进行分割处理，证型分析模块对分割后的舌图像进行分析处理，并输出证型分析结果。
42.舌象分割模块包括构建模型模块、载入权重模块和分割模块，其中，构建模型模块用于使用编码器—解码器结构，并且进行轻量化特征提取网络，构建轻量化语义分割模型；载入权重模块用于载入模型权重文件，权重文件设置为通过深度学习训练获得；分割模块用于将待分割的舌图像传输入轻量化语义分割模型中进行分割并得到分割结果。
43.构建模型模块包括解码器单元和编码器单元，其中，解码器单元使用深度可分离卷积并引入注意力机制模块，编码器单元使用mobilenetv2网络对输入图像作特征提取。解码器单元还包括增加通道特征相关性和空间像素特征相关性，其中，具体包括采用并行的全局最大池化和全局平均池化两种池化方式对输入特征图进行空间维度压缩分别得到背景描述和经多层感知机mlp组成的共享网络计算相加进行sigmoid函数最终获得通道注意力机制映射特征图mc∈rc×1×1。
44.本发明的又一较佳实施例提供了一种中医裂纹舌诊便携设备的使用方法，包括以下步骤：
45.步骤s1，使用智能采集设备拍摄舌图像并进行存储；
46.步骤s2，智能终端设备从存储的舌图像中获取待分析的舌图像，先对舌图像进行预处理，将舌图像等比例缩放为512
×
512，不足的地方用黑色像素填充；
47.步骤s3，对预处理后的舌图像进行舌象分割，获得舌象分割结果；
48.步骤s4，将舌象分割结果输入证型分析模型中进行证型分析，得到对应的分析结果。
49.其中，步骤s3，对预处理后的舌图像进行舌象分割，获得舌象分割结果，具体包括以下步骤：
50.步骤301，构建轻量化语义分割模型；轻量化语义分割模型延续了deeplabv3+的编码器—解码器结构，在此基础上轻量化特征提取网络，即使用mobilenetv2作为基础网络结构，使得模型的计算量要远小于传统deeplabv3+模型，在解码器部分采用深度可分离卷积对深度信息和空间信息去耦，以逐步获取精细的分割结果，大大减少参数量，同时引入注意力机制(convolutional block attention module,cbam)，过滤其中无效或者低效的特征信息，增强关键特征的显著性，提高分割精度，最终实现在移动端的高速有效的分割。
51.步骤302，载入预训练的模型权重文件至上述构建好的模型中；
52.步骤303，将待分割的舌图像输入到的轻量化语义分割模型中，得到分割后的舌象结果。
53.进一步地，构建轻量化语义分割模型前还包括人工制备待分割舌象数据的标签数据，用于后期计算模型的分割精度。具体地，利用图像处理软件photoshop进行标注，得到原
始舌图像对应的标签。标签数据中，如果像素区域属于舌体区域，建立该像素区域对应的标签值为0；如果像素区域不属于舌体区域，建立该像素区域对应的标签值为255。
54.其中，如图4所示，步骤301，构建轻量化语义分割模型具体包括以下步骤：
55.步骤3011，模型延续了deeplabv3+的编码器和解码器结构。具体表现为改变了原有的特征提取网络为mobilenetv2，在解码器部分使用了深度可分离卷积，同时引入注意力机制模块cbam。
56.编码器中，使用mobilenetv2网络对输入图像作特征提取，有效降低了计算成本。在解码器中，对编码器输出的高级特征进行上采样，放大倍数是4，对特征提取网络主干具有相同特征的相应低级特征层进行1
×
1卷积以减少其通道数量，接着引入注意力机制cbam模块，对这两处特征进行处理，同时考虑了通道特征相关性和空间像素特征相关性，聚焦于有用特征重要性权重的学习，加强有用特征的传播能力来提高网络的泛化能力。然后将得到的两个特征层串联在一起，用深度可分离卷积替代普通卷积细化特征，大大减少了参数量，最后再次用放大倍数为4的双线性上采样完成解码操作。
57.考虑通道特征相关性为通过自学习的方式学习每个特征通道的重要性程度，聚焦于有用特征通道重要性权重的学习，加强有用特征的传播能力来提高网络模型泛化能力。过程具体为，采用并行的全局最大池化和全局平均池化两种池化方式对输入特征图进行空间维度压缩分别得到背景描述和经多层感知机mlp组成的共享网络计算相加进行sigmoid函数最终获得通道注意力机制映射特征图mc∈rc×1×1，具体计算过程如下式所示：
58.mc＝σ(mlp(avgpool(m))+mlp(maxpool(m)))
ꢀꢀ
(1)
59.式(1)中，m表示输入特征图，σ表示sigmoid操作，mlp是多层感知机。
60.考虑空间注意力机制模块的过程具体为，将得到的通道特征图作为本模块的输入特征图，做基于通道的全局最大池化和全局平均池化得到特征描述和并将两个特征图合并，经一个卷积操作降维到1通道，最后经sigmoid函数最终获得空间注意力机制映射特征图ms，具体计算过程如下式所示：
61.ms＝σ{f3×3[avgpool(m)；maxpool(m)]}
ꢀꢀꢀ
(2)
[0062]
式(2)中，m表示输入特征图，σ表示sigmoid操作，f是卷积层，[；]是在通道维度上的联结特征图
[0063]
步骤3012，输入步骤一中处理过的数据到步骤二构建的模型中，进行模型训练。
[0064]
步骤3013，计算dice系数和均交并比，平均像素精确度，浮点运算量和参数量，对比评价指标，保存最优模型文件的权重文件。
[0065]
本发明实施例以图5所示举例，当输入图像为热盛伤阴的原始舌象时，首先经过图像预处理步骤变为512
×
512的舌象，接着经过舌象分割模块的处理得到分割后舌象，最后输入到证型分析模块中得到对当前舌象的证型分析结果。
[0066]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
技术特征：1.一种中医裂纹舌诊便携设备，其特征在于，包括智能采集设备和智能终端设备，所述智能采集设备与所述智能终端设备通信连接，所述智能终端设备从所述智能采集设备获取所述智能采集设备采集到的舌图像并对所述舌图像进行分析处理，输出最终的分析结果。2.如权利要求1所述的一种中医裂纹舌诊便携设备，其特征在于，所述智能采集设备包括摄像头模块、通信模块、存储模块和辅助采集模块，所述摄像头模块与所述存储模块连接，用于拍摄舌图像，并将所述舌图像存储于所述存储模块，所述通信模块建立与所述智能终端设备的通信连接，所述辅助采集模块与所述摄像头模块连接，为所述摄像头模块拍摄提供合适的拍摄环境。3.如权利要求1所述的一种中医裂纹舌诊便携设备，其特征在于，所述智能终端设备包括图像获取模块、图像预处理模块、舌象分割模块和证型分析模块，其中，所述图像获取模块用于从所述智能采集设备或本地相册获取舌图像，所述图像预处理模块用于将所述图像获取模块中获得的舌图像进行预处理，然后由所述舌象分割模块进行分割处理，所述证型分析模块对分割后的舌图像进行分析处理，并输出证型分析结果。4.如权利要求3所述的一种中医裂纹舌诊便携设备，其特征在于，所述舌象分割模块包括构建模型模块、载入权重模块和分割模块，其中，所述构建模型模块用于使用编码器—解码器结构，并且进行轻量化特征提取网络，构建轻量化语义分割模型；所述载入权重模块用于载入模型权重文件；所述分割模块用于将待分割的舌图像传输入轻量化语义分割模型中进行分割并得到分割结果。5.如权利要求4所述的一种中医裂纹舌诊便携设备，其特征在于，所述权重文件设置为通过深度学习训练获得的最优模型权重文件。6.如权利要求4所述的一种中医裂纹舌诊便携设备，其特征在于，所述构建模型模块包括解码器单元和编码器单元，其中，所述解码器单元使用深度可分离卷积并引入注意力机制模块，所述编码器单元使用mobilenetv2网络对输入图像作特征提取。7.如权利要求6所述的一种中医裂纹舌诊便携设备，其特征在于，所述解码器单元还包括增加通道特征相关性和空间像素特征相关性，其中，具体包括采用并行的全局最大池化和全局平均池化两种池化方式对输入特征图进行空间维度压缩分别得到背景描述和经多层感知机mlp组成的共享网络计算相加进行sigmoid函数最终获得通道注意力机制映射特征图m
c
∈r
c
×1×1。8.一种使用如权利要求1-7任一所述的一种中医裂纹舌诊便携设备的方法，其特征在于，包括以下步骤：使用所述智能采集设备拍摄舌图像并进行存储；所述智能终端设备从存储的舌图像中获取待分析的舌图像，先对所述舌图像进行预处理；对预处理后的舌图像进行舌象分割，获得舌象分割结果；将舌象分割结果输入证型分析模型中进行证型分析，得到对应的分析结果。9.如权利要求8所述的一种中医裂纹舌诊便携设备的使用方法，其特征在于：对预处理后的舌图像进行舌象分割，获得舌象分割结果，具体包括以下步骤：构建轻量化语义分割模型；
载入预训练的模型权重文件；将待分割的舌图像输入到所述的轻量化语义分割模型中，得到分割后的舌象结果。10.如权利要求9所述的一种中医裂纹舌诊便携设备的使用方法，其特征在于，构建轻量化语义分割模型前还包括人工制备待分割舌象数据的标签数据，用于后期计算模型的分割精度。
技术总结本发明公开了一种中医裂纹舌诊便携设备，包括智能采集设备和智能终端设备，所述智能采集设备与所述智能终端设备通信连接，所述智能终端设备从所述智能采集设备获取所述智能采集设备采集到的舌图像并对所述舌图像进行分析处理，输出最终的分析结果。本发明的一种中医裂纹舌诊便携设备及使用方法，使用轻量化模型，减少深度学习模型复杂度，减少计算量并提高速度，减少对计算平台的依赖，结合便携式杜绝了泄露用户隐私的隐患，实现无区域和网络限制，规避拍摄环境的光源影响因素，随时随地进行精准实时的中医裂纹舌证型分析，节约用户看医生的时间成本和经济成本。医生的时间成本和经济成本。医生的时间成本和经济成本。
技术研发人员：严壮志 黄燕茹 蒋皆恢
受保护的技术使用者：上海大学
技术研发日：2022.02.26
技术公布日：2022/7/5
