1.本发明涉及计算机技术领域，尤其涉及一种图像标注方法、装置、存储介质和电子设备。
背景技术：2.随着计算机技术的不断发展和进步，针对图像分析的多个研究领域，都取得了突破性进展，但是其发展仍受限于缺乏高质量的标注数据集。目前，国内外不乏可用于图像标注的工具和平台，如labellmg、image annotation tool、labelme、labelbox等工具，但这些工具或平台均只提供手动标注功能，很多图像由于领域的限制，例如医学图像，导致标注具有非常高的专业性和复杂性，而单纯的手工标注是一个耗时、费力和昂贵的过程，难以满足ai算法的训练数据量要求。
技术实现要素：3.为解决上述技术问题，本技术的实施例提供了一种图像标注方法、装置、存储介质和电子设备。进而至少在一定程度上实现对图片信息进行快速高效的影像标注，提高标注效率，减少标注成本。
4.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
5.根据本技术实施例的一个方面，提供了一种图像标注方法，方法包括：获取原始数据集，原始数据集包括原始图像数据、与原始图像数据对应的图像报告信息和知识图谱信息；将原始数据集输入至分句模型，得到图像报告信息的不同频率的分句结果，分句模型基于预设的知识图谱信息与图像报告信息之间的对应关系建立；根据预设的频率阈值对分句结果进行分组，得到高频分句和低频分句，通过知识图谱节点将高频分句进行标注，生成第一图谱标签，通过知识图谱节点对所述低频分句对应的图像报告信息进行标注，生成第二图谱标签；根据第一图谱标签和第二图谱标签，对目标图像数据进行标注，得到标注结果，以使通过所述标注结果生成目标图像数据的结构化标签。
6.根据本技术实施例的一个方面，提供了一种图像标注装置，包括：采集模块，用于获取原始数据集，原始数据集包括原始图像数据、与原始图像数据对应的图像报告信息和知识图谱信息；分句模型，分句模型基于预设的知识图谱信息与图像报告信息之间的对应关系建立；输入输出模块，用于将原始数据集输入至分句模型，得到图像报告信息的不同频率的分句结果；分组模块，用于根据预设的频率阈值对分句结果进行分组，得到高频分句和低频分句，通过知识图谱节点将高频分句进行标注，生成第一图谱标签，通过知识图谱节点对所述低频分句对应的图像报告信息进行标注，生成第二图谱标签；标注模块，用于根据第一图谱标签和第二图谱标签，对目标图像数据进行标注，得到标注结果，以使通过标注结果生成目标图像数据的结构化标签。
7.在本技术的实施例所提供的技术方案中，还包括预处理模块，预处理模块包括：第
一预处理单元，第一预处理单元配置为对原始数据集进行第一预处理，得到第一预处理结果，第一预处理包括对原始图像数据和图像报告信息中的重复数据进行删除，并根据目标图像数据的种类对原始图像数据和图像报告信息中的异类数据进行删除；第二预处理单元，第二预处理单元配置为对第一预处理结果进行第二预处理，第二预处理包括根据预设的信息删除规则对第一预处理结果中的敏感信息进行删除。
8.在本技术的实施例所提供的技术方案中，还包括初始模型，初始模型配置为：根据知识图谱信息中的实体和预设的标点符号特征对预处理后的数据进行初始分句，得到训练集，并根据所述训练集建立初始模型；分句模型，用于对训练集进行编码，将编码后的训练集输入至所述初始模型进行迭代训练，以得到分句模型。
9.在本技术的实施例所提供的技术方案中，还包括训练模块，训练模块配置为：用于对训练集进行字词编码，得到训练集的分句中每个字的字词向量；通过多层编码对所述字词向量进行多头注意力机制迭代训练；参数更新模块，根据交叉熵损失函数计算模型损失，并更新模型参数，直至损失下降至预设的阈值时，停止所述迭代训练。
10.在本技术的实施例所提供的技术方案中，标注模块配置为：对目标图像数据进行语义识别，得到识别结果，所述识别结果包括相似数据和正常描述语句，所述相似数据是基于预先设置的语义相似度对目标图像数据进行筛选后得到的；根据第一图谱标签和第二图谱标签将所述相似数据标注为相同的结构化标签；对识别结果中的正常描述分句，不进行标注处理。
11.在本技术的实施例所提供的技术方案中，标注模块还配置为：获取目标图像数据的标签数量；若所述标签数量大于0，则获取与所述知识图谱信息对应的知识图谱数据库的对应实体、属性、属性值和位置关系信息，以生成所述目标图像数据的结构化标签；若所述标签数量等于0，则输出目标图像数据的空标签；通过对象简谱对所述目标图像数据和与所述结构化标签进行存储，以生成结构化数据集。
12.根据本技术实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的图像处理方法。
13.根据本技术实施例的一个方面，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的图像处理方法中的步骤。
14.在本技术的一些实施例所提供的技术方案中，通过分句模型得到图像报告信息的不同频率的分句结果，通过分别对高频分句和低频分句进行标注，生成不同的图谱标签，需要一次标注即可实现对下次出现相同或相似含义句子自动标注，提高标注效率，减少标注成本，适用于不同形式影像数据的通用结构化标注，通过本技术中的快速高效图像标注方式，可以从半结构化的影像报告检查所见中提取结构化的关键字信息组成结构化字段，将结构化标签分配给其他相对应图像，为影像领域的深度学习提高海量、高质量的标注数据，进而推动深度学习方法在影像领域的研究。
15.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
16.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1是本技术的一示例性实施例示出的示例性系统架构的示意图；图2是本技术的一示例性实施例示出的图像标注方法的流程图；图3是本技术的一示例性实施例示出的图像标注方法中的分句模型的结构示意图；图4是本技术的一示例性实施例示出的图像标注方法中的医学影像标注的流程示意图；图5是本技术的一示例性实施例示出的图像标注方法中的模型训练的示意图；图6示出了适于用来实现本技术实施例的图像标注装置的框图；图7示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
17.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
18.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
19.在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
20.在本技术中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
21.首先需要说明的是，基于深度学习的自动标注工具，如目前最大的开源数胸部x线片数据集chestx-ray 14，就是利用自然语言处理 (natural language processing, nlp)从相关放射学报告挖掘的 14 类疾病的图像标签（每个图像可以有多个标签）。然而尽管医生在写报告的时候会遵循一定的模式并在一个受控词表中选择用词，但不同的医生有着不同的用词习惯，而由于nlp本身固有的局限性，难免会遗漏关键信息。
22.知识图谱，是由节点和边组成，节点表示实体，边表示实体与实体之间的关系，这是最直观、最易于理解的知识表示和实现知识推理的框架，奠定了第三代人工智能研究的
基础。读片知识图谱是一种应用于医学影像学人工智能诊断的专业知识图谱。知识图谱是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系。其本质上是一种大规模的语义网络，其主要目的是对真实世界里实体或概念之间的关联关系进行描述，广泛应用于包括医学在内的各个行业。医学知识图谱可以将各种医疗信息系统中琐碎、零散的知识相互连接，对信息进行分析，进行支持医疗信息获取、医疗文本消歧、综合性知识检索以及问答、辅助决策支持、疾病风险估计等智能医疗应用。读片知识图谱是应用于医学影像学专业的一种医学知识图谱，旨在利用结构化的语义知识库描述影像专科医生在临床读片过程中的读片思维以及相关医学知识及其相互关系，主要应用于医学影像学人工智能诊断的相关研究和系统开发。
23.bert（bidirectional encoder representation from transformers，基于变形的双向编码器表示）模型，是一个预训练的语言表征模型，它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的 mlm（masked language model，掩码语言模型），以致能生成深度的双向语言表征。bert 模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的表征，即：文本的语义表示，然后将文本的语义表示在特定nlp（natural language processing，自然语言处理）任务中作微调，最终应用于该nlp任务。bert模型训练文本语义表示的过程类似于夯实基础知识；而模型在特定nlp任务中的参数微调就相当于基于已有基础知识的进一步强化，从而获得能够应用于实际场景的专业技能。
24.多头注意力机制（multi-head-attention），如果将自注意力模型可以看作为在一个线性投影空间中建立输入向量中不同形式之间的交互关系。多头注意力就是在多个不同的投影空间中建立不同的投影信息。将输入矩阵，进行不同的投影，得到许多输出矩阵后，将其拼接在一起。与使用单独的一个注意力池化不同，通过独立学习得到多组不同的线性投影（linear projections）来变换查询、键和值。然后，变换后的查询、键和值将并行地进行注意力池化。最后，将注意力池化的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，以产生最终输出。这种设计被称为多头注意力，其中注意力池化输出中的每一个输出都被称作一个头。
25.计算机视觉技术(computer vision，简称cv)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
26.本技术实施例的技术方案涉及图像处理领域、人工智能的机器学习、计算机视觉技术等技术，具体通过如下实施例进行说明:图1是本技术的一示例性实施例示出的示例性系统架构的示意图。
27.参照图1所示，系统架构可以包括图像标注设备101、云端设备102和服务器组103。其中，图像标注设备101可以是台式图形处理器(graphic processing unit，gpu)计算机、
gpu计算集群、神经网络计算机等中的至少一种。相关技术人员可以使用该图像标注设备101实现对产品图像的处理，通过获取不同模态影像读片知识图谱，适用于不同的影像数据标注，如应用在医学影像领域中，例如x线、ct、mri等；另一方面，还提出了一套快速结构化标注的流程，利用影像报告自身的半结构化特性，仅需要一次人工标注即可实现对下次出现相同或相似含义句子自动标注，提高标注效率，减少标注成本。图像标注设备101用于对图像进行标注，在本实施例中图像标注设备101采用医学影像标注平台。
28.示意性的，同样以医学影像为例，图像标注设备101可以通过云端设备102和服务器组103获取图像信息，还可以由相关技术人员将图像输入到图像标注设备101中。在获取之后可以对目标图像进行标注，通过系统的快速高效影像标注方式，从半结构化的影像报告检查所见中提取结构化的关键字信息组成结构化字段，将结构化标签分配给其他相对应医学图像。可见，本技术实施例的技术方案能够通过图像标注，将结构化标签分配给其他相对应图像，为影像领域的深度学习提高海量、高质量的标注数据，有效提高了标注效率。
29.需要说明的是，本技术实施例所提供的图像处理方法一般由图像标注设备101执行，相应地，图像处理装置一般设置于图像标注设备101中。
30.以下对本技术实施例的技术方案的实现细节进行详细阐述：图2是本技术的一示例性实施例示出的图像标注方法的流程图。
31.如图2所示，该图像处理方法可以通过图像标注设备来执行，该图像标注设备可以是图1中所示的图像标注设备101。参照图2所示，该图像处理方法至少包括步骤s210至步骤s240，详细介绍如下：在步骤s210中，获取原始数据集，原始数据集包括原始图像数据、与原始图像数据对应的图像报告信息和知识图谱信息。
32.在本技术的一个实施例中，以医学影像为例，原始数据集可以通过已有的医学影像文字数据检查报告获取，原始数据集包括原始图像数据、与原始图像数据对应的图像报告信息和知识图谱信息，本实施例中的原始图像数据可以包括医学影像，图像报告信息可以包括结构化检查所见，知识图谱信息可以包括读片知识图谱。知识图谱是揭示实体之间关系的语义网络，以实体（概念）为节点，以关系为边，可用图结构表，用于存储结构化的语义知识库，实现基于推理的概念检索。在本实施例中，读片知识图谱可以表示为：g∈（e，r，s）其中，g表示知识图谱，e=（e1，e2，
……
，e
n1
）表示知识图谱n1个不同实体集合，r=（r1，r2，
……
，r
n2
）表示知识图谱n2个不同关系集合，s=（s1，s2，
……
，s
n3
）表示n3个不同属性集合，获取的知识图谱以（e-r-e）三元组表示。
33.在本实施例中，以胸部正位片为例。例如，胸部正位片的具体检查项目实体包括胸部正位读片知识图谱第一层节点或根节点，主要包括胸廓、气管、纵隔、肺纹理、肺门、肺实质、主动脉、心影、胸膜及胸腔、膈面、肋膈角、骨骼及体内异物13个器官或身体部位节点。根据第一级节点对应异常影像特征，抽取实体、属性和相应关系，获得对应第二级节点，对于每一个一级节点，可以对应多个二级节点。如气管，对应二级节点包括变窄、欠居中。部分第二级节点对应有多个第三级节点，第三级节点是第二级节点更详细影像细节特征（如位置、数量、分布、边界、形态、边缘形态特征等），如欠居中，对应三级节点左偏、右偏。以气管-影像特征-欠居中表示（e-r-e）。
34.在本技术的一个实施例中，在执行步骤s220之前，还包括对原始数据集进行预处理，预处理包括：s310、对原始数据集进行第一预处理，得到第一预处理结果，第一预处理包括对原始图像数据和图像报告信息中的重复数据进行删除，并根据目标图像数据的种类对原始图像数据和图像报告信息中的异类数据进行删除。
35.在本技术的一个实施例中，第一预处理包括对原始数据集进行数据清洗，同样以医学影像为例，删除非该项医学影像检查、图像，报告质量差、重复和错误等因素导致的不完整数据。例如删除除胸部x片以外的所有其余部位的x片，并且删除如体位不正，影像报告不全导致的不完整数据。
36.s310、对第一预处理结果进行第二预处理，第二预处理包括根据预设的信息删除规则对第一预处理结果中的敏感信息进行删除。通过第二预处理对清洗后的数据集进行数据脱敏，删除数据中dicom文件中患者姓名、性别、年龄、身份证号、住院号等隐私信息。通过上述预处理过程，获取清洗脱敏后的数据中的医学图像和该图像的检查报告中对该图像的医学描述即检查所见。由于医学影像存在“同病异影，同影异病”的特殊性，仅通过胸部x片不结合临床信息很难做出明确的疾病诊断，本实施例中的方案仅对医生对医学图像的描述即检查报告中检查所见进行标注，在此不再赘述。
37.在步骤s220中，将原始数据集输入至分句模型，得到图像报告信息的不同频率的分句结果，分句模型基于预设的知识图谱信息与图像报告信息之间的对应关系建立。
38.在本技术的一个实施例中，对预处理后的检查所见依据读片知识图谱中的实体和预定标点符号等特征词进行手工分句作为bert模型的训练集。知识图谱第一级节点包含胸片上解剖器官和身体部位，分为胸廓、气管、纵隔、肺纹理、肺门、肺实质、主动脉、心影、胸膜及胸腔、膈面、肋膈角、骨骼及体内异物13个实体一级节点。将检查所见依据知识图谱一级节点及预定标点符号如“，”、“；”“：”和“。”手动分句。例如“胸廓对称，气管受压左偏。两肺纹理增多，肺实质内未见明显异常改变。双侧肺门密度增高，心影大小形态未见明显异常，主动脉弓可见弧形钙化影，双侧膈面光整，肋膈角清晰锐利。”分句结果是“（胸廓对称），（气管受压左移）。（两肺纹理增多），（肺实质内未见明显异常改变）。（双侧肺门密度增高），（心影大小形态未见明显异常），（主动脉弓可见弧形钙化影），（双侧膈面光整），（肋膈角清晰锐利。通过使用分句模型，即可对检查所见依据读片知识图谱实体和预定符号进行自动分句。可以对分句结果统计句子出现频率，将分句分为高频分句和低频分句。
39.在步骤s220之前，还包括对分句模型进行训练，训练过程包括：s410、根据读片知识图谱中的实体和预定标点符号特征对预处理后的数据进行初始分句，得到训练集，并根据所述训练集建立初始模型。
40.在本技术的一个实施例中，根据读片知识图谱中的实体和预定标点符号特征进行分句，作为初始模型的训练集。对分句后的每个字经过双向transformer（变形）编码器得到文本向量化表示，对知识图谱的实体和预定标点符号给与更大的权重与文本的向量矩阵相乘输入初始模型，在本实施例中，初始模型采用bert模型，本实施例中的transformer编码器是一个利用注意力机制来提高模型训练速度的模型，是完全基于自注意力机制的一个深度学习模型。transformer编码器采用堆叠式自关注和点对点的全连接层，在本实施例中，采用由n=6个相同的层组成的堆栈。在两个子层周围分别采用残差连接(cite)，然后进行层
归一化(cite)。每个子层的输出为layernorm(x+sublayer(x))，其中sublayer(x)是子层自己实现的函数。在每个子层的输出中应用dropout(引用)，然后再加到子层的输入中并进行归一化。模型中的所有子层以及嵌入层都会产生维度为dmodel=512的输出。每层有两个子层。第一层是一个多头自注意机制，第二层是一个简单的、基于位置的全连接前馈网络。
41.s420、对训练集进行编码，将编码后的训练集输入至初始模型进行迭代训练，以得到分句模型。
42.在在本技术的一个实施例中，步骤s420中的对训练集进行编码，将编码后的训练集输入至初始模型进行迭代训练，具体包括如下s510-s530步骤：s510、对训练集进行字词编码，得到训练集的分句中每个字的字词向量。
43.在本技术的一个实施例中，将编码后的字词向量输入多层encode（编码）模块，使用多头注意力机制迭代训练。在医学报告中，字词的顺序同样重要，不同的顺序可能代表不同的信息如：“心影增大，肺门偏左”表示心脏影像增大，肺门偏向左边，“肺门增大，心影偏左”表示肺门结构增大，心脏偏向左边。本实施例中的bert将输入字的位置信息加在输入层的字嵌入表示上，共同输入bert的encode模块。即在进入 multi-headed self-attention 层之前，字嵌入表示矩阵已经融合了位置信息，bert的encode由multi-headed self-attention（多头注意力层），add&norm（残差链接和归一化层），feed forward（前馈神经层）和add&norm（残差链接和归一化层）构成，如图3所示。其中，最重要的multi-headed self-attention使用多个self-attention增强模型的学习能力，更多的关注不同每个字相邻或更远的字词信息，将不同的self-attention矩阵进行横向拼接，与附加权重矩阵相乘，输出一个矩阵，计算公式如下：multihead（q，k，v）=concat（head1，head2，
……
，headk）wo;headi=attention（qw
iq
，kw
ik
，vw
iv
）；其中，（q，k，v）表示n
×dq
，n
×dq
，n
×dq
维的矩阵，每一行分别对应输入句子中一个字的query，key，value向量，w
iq
，w
ik
，w
iv
表示第i个head的wq，wk，wv权重，wo表示附加的权重。
44.s520、通过多层编码对字词向量进行多头注意力机制迭代训练。
45.在本技术的一个实施例中，可以应用softmax回归模型的分布函数为p=(y=j|x)计算输入样本x属于j个类别的概率，其中，概率最大的类别为样本所属的类别。在本实施例中，分句模型可以通过计算输入字词间属于“，”和“。”的概率以判断不同字词是否属于同一句。
46.s530、根据交叉熵损失函数计算模型损失，并更新模型参数，直至损失下降至预设的阈值时，停止所述迭代训练。
47.在本技术的一个实施例中，经过softmax层后，矩阵的行向量被等比压缩至[0,1]，且压缩后的向量和为1，通过交叉熵loss函数计算loss并更新模型参数，直到loss下降到预设的阈值，完成模型训练。其中交叉熵loss函数公式如下：其中，n表示输入的检查所见字符数，pi为第i个字符为两句之间分割处的概率，为第i个字符识别为“，”“。”正确的概率即分句正确的概率。
[0048]
在步骤s230中，根据预设的频率阈值对分句结果进行分组，得到高频分句和低频分句，通过知识图谱节点将高频分句进行标注，生成第一图谱标签，通过知识图谱节点对所述低频分句对应的图像报告信息进行标注，生成第二图谱标签。
[0049]
图4是本技术的一示例性实施例示出的图像标注方法中的医学影像标注的流程示意图。
[0050]
如图4所示，在本技术的一个实施例中，通过预设的频率阈值对所述分句结果进行分组，例如频率阈值可以设置为200，当规定句频率≥200的句子为高频分句，否则为低频分句。并去除低频分句中包含比较信息、无法解释、错别字段或未提及任何影像检查或诊断的句子。本实施例中的比较信息是指医生通过与历史的检查进行比较写下的内容，这部分信息对于只基于当前报告的模型来说很难预测，故不标注。
[0051]
在本技术的一个实施例中，对于高频分句，在标注模块上对句子进行标注，结合标注模块上构建的读片知识图谱节点进行勾选，即给此高频句子标注一个或多个图谱标签，即第一图谱标签。如句子描述为“双下肺纹理增多，增粗”勾选肺纹理，增多，增粗；位置，左下肺，右下肺。对于低频分句，在标注模块上对报告进行标注，给与此低频分句的报告和医学图像，结合标注模块上构建的读片知识图谱节点进行勾选，即给此低频分句标注一个或多个图谱标签，即第二图谱标签。比如在医学影像学报告中还存在很多的句子没有主语，如“双侧肺纹理增多，走形紊乱”，从中可以看出“走形紊乱”这句话缺乏主语，在这种情况下需要联系上下文，才明白这句话是说“肺纹理-紊乱-位置-左肺-右肺。”在步骤s240中，根据第一图谱标签和第二图谱标签，对目标图像数据进行标注，得到标注结果，以使通过所述标注结果生成目标图像数据的结构化标签。
[0052]
在本技术的一个实施例中，可以对目标图像数据进行语义识别，得到识别结果，识别结果包括相似数据和正常描述语句，相似数据是基于预先设置的语义相似度对目标图像数据进行筛选后得到的。针对已经标注的句子，可以对相似或相同的句子进行系统自动标注。具体描述如下：为实现报告描述为“肺纹理增多，增粗”与“肺纹理增粗，增多”其中一个标注为结构化标签“肺纹理-增多-增粗”，以后分句结果为以上两种相似的句子自动标注为“肺纹理-增多-增粗”，使用数据相似度方法计算两个句子之间的相似度，对相似或相同的句子做同样的标注处理，使用余弦值算法计算两句话的相似度，通过设置相似度阈值进行筛选，例如相似度大于90%，就视为两句相似，做同样的标注处理。
[0053]
在本技术的一个实施例中，对于正常描述语句，不标注任何标签。如：（两侧胸廓对称）（所见骨质未见异常）（两侧肺野透亮度均匀，未经异常密度增高影）（肺纹理清晰，正常）（肺门无增大，增浓）（心影大小，形态正常）（主动脉未见异常）（纵隔居中）（膈面光滑）（肋膈角锐利）（其余未见明显异常）此分检查所见描述均为正常描述，在实际标注工作中，可以无需在标注模块上勾选标签。
[0054]
在本技术的一个实施例中，对标注结果获取图形化的读片知识图谱的对应实体、属性、属性值和包含位置等的关系信息，生成该医学图像的结构化标签。如在上述实施例的标注示例中勾选肺纹理，增多，增粗；位置，左下肺，右下肺。通过对目标图像数据进行标注，得到标注结果，以使通过标注结果生成所述目标图像数据的结构化标签。例如：生成结构化标签结果为肺纹理-增多-位置-左下肺-右下肺，肺纹理-增粗-位置-左下肺-右下肺。
[0055]
在本技术的一个实施例中，获取目标图像数据的标签数量，若标签数量大于0，则
获取与知识图谱信息对应的知识图谱数据库的对应实体、属性、属性值和位置关系信息，以生成所述目标图像数据的结构化标签并替换原标签；若标签数量等于0，则输出目标图像数据的空标签。例如：对于已标注数据，获取其标签数量n，n》0，则获取图形化的读片知识图谱的对应实体、属性、属性值和包含位置等的关系信息，生成该医学图像的结构化标签。否则输出该影像空标签中存储的该项影像检查的正常描述。以医疗影像图像中的胸片为例，胸片的正常描述可以包括：两侧胸廓对称，所见骨质未见异常。两侧肺野透亮度均匀，未经异常密度增高影。肺纹理清晰。肺门无增大，增浓。心影大小，形态正常，主动脉未见异常。纵隔居中，膈面光滑，肋膈角锐利，其余未经明显异常。在本实施例中，当标签数量等于0时，直接该影像空标签中存储的该项影像检查的正常描述即可。
[0056]
在本实施例中，获取医学图像和该图像对应的结构化标签，可以以对象简谱（java script object notation，json）形式储存，形成医学影像的结构化数据集，方便后续检索以及分析。
[0057]
以下介绍本技术的装置实施例，可以用于执行本技术上述实施例中的图像标注方法。对于本技术装置实施例中未披露的细节，请参照本技术上述的图像标注方法的实施例。
[0058]
图6是本技术的一示例性实施例示出的图像处理装置的框图。该装置可以应用于图2所示的实施环境，并具体配置在图像标注设备101中。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。
[0059]
如图6所示，该示例性的图像处理装置包括：采集模块601、分句模型602、输入输出模块603、分组模块604和标注模块605。
[0060]
其中，采集模块601，用于获取原始数据集，原始数据集包括原始图像数据、与所述原始图像数据对应的图像报告信息和知识图谱信息。本实施例中的原始图像数据可以通过ct成像设备，mri核磁共振成像设备，超声成像设备和x射线成像设备等。通过获取数据中的医学图像和图像的检查报告中对图像的医学描述即检查所见。
[0061]
在本技术的一个实施例中，分句模型602基于预设的知识图谱信息与图像报告信息之间的对应关系建立。首先，根据读片知识图谱中的实体和预定标点符号特征进行分句，作为初始模型的训练集。然后，对分句后的每个字经过双向transformer（变形）编码器得到文本向量化表示，对知识图谱的实体和预定标点符号给与更大的权重与文本的向量矩阵相乘输入初始模型，在本实施例中，初始模型采用bert模型，本实施例中的transformer编码器是一个利用注意力机制来提高模型训练速度的模型，是完全基于自注意力机制的一个深度学习模型。transformer编码器采用堆叠式自关注和点对点的全连接层，在本实施例中，可以采用由n=6个相同的层组成的堆栈。在两个子层周围分别采用残差连接(cite)，然后进行层归一化(cite)。
[0062]
在本技术的一个实施例中，输入输出模块603配置为将原始数据集输入至分句模型，得到图像报告信息的不同频率的分句结果。
[0063]
在本技术的一个实施例中，分组模块604配置为根据预设的频率阈值对分句结果进行分组，得到高频分句和低频分句，通过知识图谱节点将高频分句进行标注，生成第一图谱标签，通过知识图谱节点对所述低频分句对应的图像报告信息进行标注，生成第二图谱标签。通过分组模块604可以对分句结果统计句子出现频率，将分句分为高频分句和低频分句，例如可以规定句频率≥200的句子为高频分句，否则为低频分句。在本实施例中，去除低
频分句中包含比较信息、无法解释、错别字段或未提及任何影像检查或诊断的句子。
[0064]
在本技术的一个实施例中，标注模块605配置为根据第一图谱标签和第二图谱标签，对目标图像数据进行标注，得到标注结果，以使通过标注结果生成目标图像数据的结构化标签。对于高频分句，在标注模块605上对句子进行标注，结合标注模块605上构建的读片知识图谱节点进行勾选，即给此高频分句标注一个或多个图谱标签。如句子描述为“双下肺纹理增多，增粗”勾选肺纹理，增多，增粗；位置，左下肺，右下肺。对于低频分句，在标注模块605上对报告进行标注，给与此低频分句的报告和医学图像，结合标注模块605上构建的读片知识图谱节点进行勾选，即给此低频分句标注一个或多个图谱标签。比如在医学影像学报告中还存在很多的句子没有主语，如“双侧肺纹理增多，走形紊乱”，从中可以看出“走形紊乱”这句话缺乏主语，在这种情况下需要联系上下文，才明白这句话是说“肺纹理-紊乱-位置-左肺-右肺。”对于已经标注的分句，对于相似或相同的句子进行系统自动标注。具体描述如下：为实现报告描述为“肺纹理增多，增粗”与“肺纹理增粗，增多”其中一个标注为结构化标签“肺纹理-增多-增粗”，以后分句结果为以上两种相似的句子自动标注为“肺纹理-增多-增粗”，使用数据相似度方法计算两个句子之间的相似度，对相似或相同的句子做同样的标注处理，使用余弦值算法计算两句话的相似度，相似度大于90%，就视为两句相似，做同样的标注处理。最后，对标注结果获取图形化的读片知识图谱的对应实体、属性、属性值和包含位置等的关系信息，生成该医学图像的结构化标签。
[0065]
需要说明的是，上述实施例所提供的图像标注装置与上述实施例所提供的图像标注方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的图像标注装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
[0066]
本技术的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的图像处理方法。
[0067]
图7示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0068]
如图7所示，计算机系统700包括中央处理单元（central processing unit，cpu）701，其可以根据存储在只读存储器（read-only memory，rom）702中的程序或者从储存部分708加载到随机访问存储器（random access memory，ram）703中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在ram 703中，还存储有系统操作所需的各种程序和数据。cpu701、rom 702以及ram 703通过总线704彼此相连。输入/输出（input /output，i/o）接口05也连接至总线704。
[0069]
以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管（cathode ray tube，crt）、液晶显示器（liquid crystal display，lcd）等以及扬声器等的输出部分707；包括硬盘等的储存部分708；以及包括诸如lan（local area network，局域网）卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、
磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入储存部分708。
[0070]
特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元（cpu）701执行时，执行本技术的系统中限定的各种功能。
[0071]
需要说明的是，本技术实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（erasable programmable read only memory，eprom）、闪存、光纤、便携式紧凑磁盘只读存储器（compact disc read-only memory，cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0072]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0073]
描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0074]
本技术的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的图像处理方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
[0075]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单
元，但是这种划分并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0076]
本技术的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的图像处理方法。
[0077]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本技术实施方式的方法。
[0078]
在上述实施例中，除非另外规定，否则通过使用“第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。
[0079]
在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。
[0080]
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构（例如，动态ram（dram））可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
[0081]
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
技术特征：1.一种图像标注方法，其特征在于，包括：获取原始数据集，所述原始数据集包括原始图像数据、与所述原始图像数据对应的图像报告信息和知识图谱信息；将所述原始数据集输入至分句模型，得到图像报告信息的不同频率的分句结果，所述分句模型基于预设的知识图谱信息与图像报告信息之间的对应关系建立；根据预设的频率阈值对所述分句结果进行分组，得到高频分句和低频分句，通过知识图谱节点将高频分句进行标注，生成第一图谱标签，通过知识图谱节点对所述低频分句对应的图像报告信息进行标注，生成第二图谱标签；根据第一图谱标签和第二图谱标签，对目标图像数据进行标注，得到标注结果，以使通过所述标注结果生成目标图像数据的结构化标签。2.根据权利要求1所述的图像标注方法，其特征在于，将原始数据集输入至分句模型之前，还包括对原始数据集进行预处理，所述预处理包括：对原始数据集进行第一预处理，得到第一预处理结果，所述第一预处理包括对原始图像数据和图像报告信息中的重复数据进行删除，并根据目标图像数据的种类对原始图像数据和图像报告信息中的异类数据进行删除；对所述第一预处理结果进行第二预处理，所述第二预处理包括根据预设的信息删除规则对第一预处理结果中的敏感信息进行删除。3.根据权利要求2所述的图像标注方法，其特征在于，将原始数据集输入至分句模型，得到所述图像报告信息中的不同频率的分句结果之前，还包括：根据知识图谱信息中的实体和预定标点符号特征对预处理后的数据进行初始分句，得到训练集，并根据所述训练集建立初始模型；对所述训练集进行编码，将编码后的训练集输入至所述初始模型进行迭代训练，以得到所述分句模型。4.根据权利要求3所述的图像标注方法，其特征在于，对所述训练集进行编码，将编码后的训练集输入至所述初始模型进行迭代训练，以得到所述分句模型，包括：对所述训练集进行字词编码，得到训练集的分句中每个字的字词向量；通过多层编码对所述字词向量进行多头注意力机制迭代训练；根据交叉熵损失函数计算模型损失，并更新模型参数，直至损失下降至预设的阈值时，停止所述迭代训练。5.根据权利要求1所述的图像标注方法，其特征在于，根据第一图谱标签和第二图谱标签，对目标图像数据进行标注，得到标注结果，以使通过所述标注结果生成目标图像数据的结构化标签，包括：对目标图像数据进行语义识别，得到识别结果，所述识别结果包括相似数据和正常描述语句，所述相似数据是基于预先设置的语义相似度对目标图像数据进行筛选后得到的；根据所述第一图谱标签和第二图谱标签将所述相似数据标注为相同的结构化标签；对识别结果中的正常描述分句，不进行标注处理。6.根据权利要求5所述的图像标注方法，其特征在于，根据所述第一图谱标签和第二图谱标签，对目标图像数据进行标注，得到标注结果，以使通过标注结果生成所述目标图像数据的结构化标签，还包括：
获取目标图像数据的标签数量；若所述标签数量大于0，则获取与所述知识图谱信息对应的知识图谱数据库的对应实体、属性、属性值和位置关系信息，以生成所述目标图像数据的结构化标签；若所述标签数量等于0，则输出目标图像数据的空标签；通过对象简谱对所述目标图像数据和与所述结构化标签进行存储，以生成结构化数据集。7.一种图像标注装置，其特征在于，包括：采集模块，用于获取原始数据集，所述原始数据集包括原始图像数据、与所述原始图像数据对应的图像报告信息和知识图谱信息；分句模型，所述分句模型基于预设的知识图谱信息与图像报告信息之间的对应关系建立；输入输出模块，用于将所述原始数据集输入至分句模型，得到图像报告信息的不同频率的分句结果；分组模块，用于根据预设的频率阈值对所述分句结果进行分组，得到高频分句和低频分句，通过知识图谱节点将高频分句进行标注，生成第一图谱标签，通过知识图谱节点对所述低频分句对应的图像报告信息进行标注，生成第二图谱标签；标注模块，用于根据第一图谱标签和第二图谱标签，对目标图像数据进行标注，得到标注结果，以使通过所述标注结果生成目标图像数据的结构化标签。8.根据权利要求7所述的图像标注装置，其特征在于，还包括预处理模块，用于对原始数据集进行预处理；所述预处理模块包括：第一预处理单元，用于对原始数据集进行第一预处理，得到第一预处理结果，所述第一预处理包括对原始图像数据和图像报告信息中的重复数据进行删除，并根据目标图像数据的种类对原始图像数据和图像报告信息中的异类数据进行删除；第二预处理单元，用于对所述第一预处理结果进行第二预处理，所述第二预处理包括根据预设的信息删除规则对第一预处理结果中的敏感信息进行删除。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至6中任一项所述的图像结构化标注方法。10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1至6中任一项所述的图像结构化标注方法。
技术总结本发明提供一种图像标注方法、装置、存储介质和电子设备，方法包括：获取原始数据集；将原始数据集输入至分句模型，得到高频分句和低频分句，通过知识图谱节点将高频分句进行标注，生成第一图谱标签，通过知识图谱节点对所述低频分句对应的图像报告信息进行标注，生成第二图谱标签；根据第一图谱标签和第二图谱标签，对目标图像数据进行标注，得到标注结果，以使通过标注结果生成目标图像数据的结构化标签；本申请通过分别对高频分句和低频分句进行标注，生成不同的图谱标签，需要一次标注即可实现对下次出现相同或相似含义句子自动标注，提高标注效率，减少标注成本，适用于不同形式影像数据的通用结构化标注。影像数据的通用结构化标注。影像数据的通用结构化标注。
技术研发人员：汤进 赵海峰 黄莉莉 李传富
受保护的技术使用者：合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）
技术研发日：2022.06.02
技术公布日：2022/7/5
