图像类型识别方法及其装置、设备、介质、产品与流程

allin2023-05-06  73



1.本技术涉及图像识别技术领域,尤其涉及一种图像类型识别方法及其相应的装置、计算机设备、计算机可读存储介质,以及计算机程序产品。


背景技术:

2.利用人工神经网络模型进行图像识别已是技术主流。对于电商平台之类的应用场景来说,每天都会产生海量的广告图片或者其他图片,出于电商平台对敏感性人物广告图片的有关限制,一般都需要对用户上传的广告图片中的图像内容进行检测和识别,然后因应不同的图像内容和需要做进一步的处理。
3.对于电商平台这样的应用场景而言,如果商家上传的用于展示广告信息的广告图片中包含违规内容,例如涉黄图片,出于维护平台信息安全所需,有必要对相关图片进行前置检测处理。
4.面对成千上万的图像,完全依靠人工审核是不太现实的,因为会耗费大量的人力,而且工作效率比较低。对于某些特定类型的图片,传统技术中,如常用的识别模型或检测模型都存在误检率较高或漏检率较高的问题。
5.因此,如何准确高效地从图片中识别出特定类型的图片,使识别结果更精确,成为本领域需要解决的技术问题。


技术实现要素:

6.本技术的目的在于解决上述问题至少之一而提供一种图像类型识别方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。
7.适应本技术的各个目的,采用如下技术方案:
8.一个方面,适应本技术的目的之一而提供一种图像类型识别方法,包括如下步骤:
9.获取待检测图像;
10.调用二分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第一置信度,所述二分类模型预先被训练至收敛状态;
11.调用多分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第二置信度,所述多分类模型预先被训练至收敛状态;
12.融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型。
13.部分实施例中,调用二分类模型对所述待检测图像进行类型判别的步骤之前,包括如下步骤:
14.采用数据集中的训练样本对二分类模型实施迭代训练至收敛状态,所述训练样本包括标注为目标类型的正样本的待检测图像和标注为非目标类型的负样本的待检测图像,所述二分类模型的分类器的分类数目被配置为大于两个,其中两个分类分别对应所述目标类型、非目标类型。
15.部分实施例中,调用多分类模型对所述待检测图像进行类型判别的步骤之前,包括如下步骤:
16.采用训练至收敛状态的所述二分类模型对所述数据集中的训练样本进行测试,预测各个训练样本的分类;
17.根据每个训练样本在被分类前的全连接层中的被激活的神经元组合进行聚类,调整所述数据集的训练样本的标注信息,将所述数据集中神经元组合及原始标注类型相同的训练样本标注为相同类型,其中两个类型分别对应所述目标类型和非目标类型,将所述数据集中神经元组合或原始标注类型不同的训练样本相应标注为不同类型;
18.根据聚类结果统计总类别数,将该总类别数配置为多分类模型的分类数目;
19.采用所述数据集中的训练样本对所述多分类模型实施迭代训练至收敛状态。
20.深化的部分实施例中,所述二分类模型与所述多分类模型包含相同的网络模型架构,该网络模型架构针对每个待检测图像执行如下步骤:
21.经图像特征提取模型提取待检测图像的图像特征信息;
22.经第一全连接层对所述图像特征信息执行全连接操作而获得综合特征信息;
23.经第二全连接层对所述综合特征信息执行全连接操作而获得分类特征信息,所述分类特征信息的维度低于所述综合特征信息;
24.经分类器的输出层将分类特征信息映射到其预设分类数目相对应的各个分类,获得各个分类相对应的置信度。
25.部分实施例中,融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型,包括如下步骤:
26.将第一置信度与第二置信度分别匹配预设权重进行加权求和,获得综合置信度;
27.判断所述综合置信度是否大于预设阈值,当大于预设阈值时,判定待检测图像为所述目标类型。
28.另部分实施例中,融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型,包括如下步骤:
29.将第一置信度与第二置信度输入全连接层,由全连接层关联已学习的权重将第一置信度和第二置信度映射到二分类器的两个分类,分别获得两个分类相对应的综合置信度,两个分类分别对应所述目标类型和非目标类型,所述全连接层预先采用所述数据集中的训练样本实施训练至收敛状态以获得所述的权重;
30.判断所述目标类型相对应的分类的综合置信度是否大于预设阈值,当大于预设阈值时,判定待检测图像为所述目标类型。
31.扩展的部分实施例中,确认待检测图像为所述目标类型之后,包括如下步骤:
32.暂停该待检测图像的处理业务的处理流程;
33.构造包含所述待检测图像的通知消息传输至审核接口;
34.监听该审核接口返回的表征同意发布的指令,恢复所述处理流程。
35.另一方面,适应本技术的目的之一而提供的一种图像类型识别装置,包括图像获取模块、第一识别模块、第二识别模块,以及融合判定模块,其中:所述图像获取模块,用于获取待检测图像;所述第一识别模块,用于调用二分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第一置信度,所述二分类模型预先被训练至收敛状态;所述第二
识别模块,用于调用多分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第二置信度,所述多分类模型预先被训练至收敛状态;所述融合判定模块,用于融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型。
36.部分实施例中,先于第一识别模块,还包括:第一训练模块,用于采用数据集中的训练样本对二分类模型实施迭代训练至收敛状态,所述训练样本包括标注为目标类型的正样本的待检测图像和标注为非目标类型的负样本的待检测图像,所述二分类模型的分类器的分类数目被配置为大于两个,其中两个分类分别对应所述目标类型、非目标类型。
37.部分实施例中,先于第二识别模块,包括测试实施模块,用于采用训练至收敛状态的所述二分类模型对所述数据集中的训练样本进行测试,预测各个训练样本的分类;聚类评估模块,用于根据每个训练样本在被分类前的全连接层中的被激活的神经元组合进行聚类,调整所述数据集的训练样本的标注信息,将所述数据集中神经元组合及原始标注类型相同的训练样本标注为相同类型,其中两个类型分别对应所述目标类型和非目标类型,将所述数据集中神经元组合或原始标注类型不同的训练样本相应标注为不同类型;类别设定模块,用于根据聚类结果统计总类别数,将该总类别数配置为多分类模型的分类数目;第二训练模块,用于采用所述数据集中的训练样本对所述多分类模型实施迭代训练至收敛状态。
38.深化的部分实施例中,所述二分类模型与所述多分类模型包含相同的网络模型架构,该网络模型架构包括:特征提取单元,被配置为经图像特征提取模型提取待检测图像的图像特征信息;第一连接单元,被配置为经第一全连接层对所述图像特征信息执行全连接操作而获得综合特征信息;第二连接单元,被配置为经第二全连接层对所述综合特征信息执行全连接操作而获得分类特征信息,所述分类特征信息的维度低于所述综合特征信息;分类映射单元,被配置为经分类器的输出层将分类特征信息映射到其预设分类数目相对应的各个分类,获得各个分类相对应的置信度。
39.部分实施例中,所述融合判定模块,包括:加权求和单元,用于将第一置信度与第二置信度分别匹配预设权重进行加权求和,获得综合置信度;图像判定单元,用于判断所述综合置信度是否大于预设阈值,当大于预设阈值时,判定待检测图像为所述目标类型。
40.另部分实施例中,所述融合判定模块,包括连接综合单元,用于将第一置信度与第二置信度输入全连接层,由全连接层关联已学习的权重将第一置信度和第二置信度映射到二分类器的两个分类,分别获得两个分类相对应的综合置信度,两个分类分别对应所述目标类型和非目标类型,所述全连接层预先采用所述数据集中的训练样本实施训练至收敛状态以获得所述的权重;分类判定单元,用于判断所述目标类型相对应的分类的综合置信度是否大于预设阈值,当大于预设阈值时,判定待检测图像为所述目标类型。
41.扩展的部分实施例中,后于所述融合判定模块,包括:流程暂停单元,用于暂停该待检测图像的处理业务的处理流程;接口调用单元,用于构造包含所述待检测图像的通知消息传输至审核接口;流程恢复单元,用于监听该审核接口返回的表征同意发布的指令,恢复所述处理流程。
42.又一方面,适应本技术的目的之一而提供的一种计算机设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所
述的图像类型识别方法的步骤。
43.又一方面,适应本技术的另一目的而提供的一种计算机可读存储介质,其以计算机可读指令的形式存储有依据所述的图像类型识别方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行该方法所包括的步骤。
44.又一方面,适应本技术的另一目的而提供的一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本技术任意一种实施例中所述方法的步骤。
45.相对于现有技术,,本技术具有多方面优势,至少包括如下各方面:
46.本技术针对同一待检测图像,分别采用二分类模型和多分类模型进行检测,获得每个模型输出的该待检测图像的深度语义特征映射到目标类型的置信度,然后,根据两个分类模型的置信度进行融合获得综合置信度,将综合置信度大于预设阈值的待检测图像识别出目标类型,从而利用两个模型不同粒度的分类能力实现对待检测图像的类型的精准识别。
47.由于对待检测图像的识别过程综合了两个模型的判断结果,其中,二分类模型可以集中在待检测图像的全局信息上获得其分类结果,多分类模型可以集中在待检测图像的细节信息上获得其分类结果,最后利用两路分类结果中与目标类型相对应的置信度综合判定待检测图像是否为目标类型的图像,更为全面且准确。
48.因此,本技术对待检测图像中是否包含目标类型的图像所做出的判决结果具有更高可置信度,可被高度信赖,适于电商平台之类的应用场景中对广告图片是否存在目标类型的图像进行检测,对于诸如涉黄图片之类的需求能提供更为精准的判定结果,从而可维护电商平台的信息安全,避免其广告图片中出现违规图像。
附图说明
49.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
50.图1为本技术的图像类型识别方法的典型实施例的流程示意图;
51.图2为本技术一个实施例中,所述二分类模型和/或多分类模型所采用的网络基础架构的结构示意图;
52.图3为本技术本技术另一实施例中,所述二分类模型和/或多分类模型所采用的网络基础架构的结构示意图;
53.图4为本技术一个实施例中对所述二分类模型和多分类模型实施训练的训练过程的流程示意图;
54.图5为本技术的实施例中采用图2所示的络基础架构的神经网络模型的工作过程的流程示意图;
55.图6为本技术的实施例中采用全连接层融合二分类模型和多分类模型输出的目标类型的置信度获得目标类型相对应的综合置信度的过程的流程示意图;
56.图7为本技术的实施例中根据图像识别结果控制处理业务的过程的流程示意图;
57.图8为本技术的图像类型识别装置的原理框图;
58.图9为本技术所采用的一种计算机设备的结构示意图。
具体实施方式
59.下面详细描述本技术的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本技术,而不能解释为对本技术的限制。
60.本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
61.本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
62.本技术领域技术人员可以理解,这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他诸如个人计算机、平板电脑之类的通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;pcs(personal communications service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;pda(personal digital assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或gps(global positioning system,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是pda、mid(mobile internet device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
63.本技术所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的电子设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。
64.需要指出的是,本技术所称的“服务器”这一概念,同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一
台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本技术的网络部署方式的实施方式。
65.本技术的一个或数个技术特征,除非明文指定,既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问,也可直接部署并运行于客户端来实施访问。
66.本技术中所引用或可能引用到的神经网络模型,除非明文指定,既可部署于远程服务器且在客户端实施远程调用,也可部署于设备能力胜任的客户端直接调用,某些实施例中,当其运行于客户端时,其相应的智能可通过迁移学习来获得,以便降低对客户端硬件运行资源的要求,避免过度占用客户端硬件运行资源。
67.本技术所涉及的各种数据,除非明文指定,既可远程存储于服务器,也可存储于本地终端设备,只要其适于被本技术的技术方案所调用即可。
68.本领域技术人员对此应当知晓:本技术的各种方法,虽然基于相同的概念而进行描述而使其彼此间呈现共通性,但是,除非特别说明,否则这些方法都是可以独立执行的。同理,对于本技术所揭示的各个实施例而言,均基于同一发明构思而提出,因此,对于相同表述的概念,以及尽管概念表述不同但仅是为了方便而适当变换的概念,应被等同理解。
69.本技术即将揭示的各个实施例,除非明文指出彼此之间的相互排斥关系,否则,各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例,只要这种结合不背离本技术的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通,本领域技术人员应当知晓。
70.本技术的一种图像类型识别方法,可被编程为计算机程序产品,部署于客户端或服务器中运行而实现,例如,本技术的示例性应用场景中,可以在电商平台的服务器中部署实现,藉此可以通过访问该计算机程序产品运行后开放的接口,通过图形用户界面与该计算机程序产品的进程进行人机交互而执行该方法。
71.请参阅图1,本技术的图像类型识别方法在其典型实施例中,包括如下步骤:
72.步骤s1100、获取待检测图像:
73.待检测图像可以有多种来源,例如,一种方式中,可从商家用户提交的或预先存储的商品图片、文案图片中获取待检测图像,或者由平台利用定时触发机制对各个平台内相关线上店铺的独立站点的相关图片进行逐一调用获取相应的待检测图像。通常,考虑到本技术示例性的电商场景,可重点针对具有广告推广性质的图片进行相关检测,因而,可从用户主要是线上店铺的商家用户提交的广告图片中获取所述的待检测图像以便进行相应的目标类型图片的检测。
74.当然,本技术的图片识别技术并不局限于所述示例性的电商场景,理论上可应用到任意需要进行图片类型识别的任意场景,只要利用本技术的技术方案实现对特定类型的图像的识别,理论上均为本技术的创造精神所涵盖,而不受其载体图片的来源、命名的限制,对此,本领域技术人员应当知晓。
75.出于后续不同分类模型的标准化处理所需,一个实施例中,可根据各个分类模型的入参约束所需,对一张载体图片进行适当的图像预处理,例如进行图像缩放、裁剪等图像标准化操作,获得各个分类模型进行识别所需的待检测图像。
76.步骤s1200、调用二分类模型对所述待检测图像进行类型判别,确定其属于目标类
型的第一置信度,所述二分类模型预先被训练至收敛状态:
77.本技术预备一个二分类模型,二分类模型的重点应用,在于对的待检测图像进行特征提取之后映射至两个分类,获得这两个分类的置信度,而这两个分类分别对应表示待检测图像是目标类型或不是目标类型,对于表征不是目标类型的分类,本技术中,为避免歧义,此处特别说明其被命名为特定的“非目标类型”。
78.所述的二分类模型,可如图2所示,可采用任意图像特征提取模型为骨干模型并接入分类器构造而成,其被采用两类训练样本训练至收敛而投入使用,两类训练样本分别为正样本和负样本,其中正样本是预先标注为所述目标类型的待检测图像,负样本是预先标注为所述非目标类型的待检测图像。本领域技术人员可根据常规的神经网络模型训练原理,采用足量的所述训练样本对该二分类模型实施训练,将其训练至收敛状态,使其获得根据输入的待检测图像判定出其属于所述目标类型相对应的分类的置信度即可。
79.所述图像特征提取模型的选型,包括但不限于以cnn、rnn为基础的各类成熟模型,例如resnet、swintrasformer、effiencynet等等,可由本领域技术人员根据各个成熟模型的实际表现灵活选型,不影响本技术的创造精神的体现。
80.本技术扩展变通的一个实施例中,如图3所示,图像特征提取模型78被接入分类器70的输出层703时,经过前后两个全连接层701、702进行全连接,其中第一全连接层701负责从所述图像特征提取模型中提取足够丰富的特征,具有相对较多的神经元个数,相对应输出较高维度的结果,而第二全连接层702则负责让同类的待检测图像的图像特征在输出层之前能共享相同的特征组合,对应减少图像特征中心点的个数,因而具有相对较少的神经元个数。后续将对此进一步揭示,此处暂且按下不表。
81.待检测图像经二分类模型进行分类映射后,便可获得其目标类型相对应的置信度,即本技术所称的第一置信度,其表征待检测图像经二分类模型识别为目标类型的分类概率。
82.步骤s1300、调用多分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第二置信度,所述多分类模型预先被训练至收敛状态:
83.本技术还预备一个多分类模型,该多分类模型与所述二分类模型同理,在于将待检测图像进行特征提取之后映射至多个分类,获得各个分类的置信度,其中也有两个分类分别对应表示所述的目标类型和非目标类型。
84.一种实施例中,多分类模型与二分类模型可以是完全同构的模型,但其彼此的训练过程及分类器的分类数量可以不同,因此,可以理解,多分类模型的网络结构与二分类模型的网络结构可以完全相同。采用同构实现所述多分类模型和二分类模型,可以尽量共享训练过程中的有用信息,使在后训练的模型更快收敛,从而节省总体训练成本。
85.另一实施例中,多分类模型与二分类模型中,作为彼此骨干模型的图像特征提取模型可以各不相同,例如二分类模型可以采用resnet,而多分类模型可以采用swintransfomer或efficientnet。采用不同图像特征提取模型可以实现对差异化能力的利用,从而从多方面对待检测图像提取特征信息,为待检测图像的分类判别提供丰富的判据。
86.待检测图像经多分类模型进行分类映射后,便可获得其目标类型相对应的置信度,即本技术所称的第二置信度,其表征待检测图像经多分类模型识别为目标类型的分类概率。
87.需要指出的是,对于步骤s1200和步骤s1300,尽管本实施例中按照先后顺序说明,但本技术并未以此限制其执行顺序,因此,两者可互换执行顺序,也可并发执行,对此,本领域技术人员应当理解。
88.据此变通的一个实施例中,为节省算力,可令步骤s1200或步骤s1300先判断所述待检测图像是否属于所述目标类型,当经第一步判定属于所述目标类型之后,再进行步骤s1300或步骤s1200的判断,确保通过双重检测确认所述待检测图像是否属于所述目标类型。而当经第一步判定不属于所述目标类型或属于所述非目标类型之后,则可直接确认该待检测图像不属于所述目标类型,而不必再行另一步骤的判定,这一实施例充分照顾到电商平台中大量图片为非目标类型的图片的现实,因而可期望本技术的技术方案得以在计算机设备实施时,能节省大量的算力资源。
89.步骤s1400、融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型:
90.所述待检测图像经所述二分类模型和多分类模型分别获得映射到目标类型的置信度即第一置信度和第二置信度后,可以对第一置信度和第二置信度进行数据融合进行联立判断,一种示例性的简单的融合方式可以是利用两者简单加和获得的综合置信度与预设阈值进行比较,当综合置信度大于预设阈值时,便可确认待检测图像为所述的目标类型,也即将所述待检测图像的原始载体图片判定为所述的目标类型,否则,可判定原始载体图片为所述的非目标类型。不难理解,当所述目标类型为涉黄图片类型时,即意味着所述原始载体图片为涉黄图片。据此,电商平台便可基于自身预设的信息安全业务规则,做出进一步的响应。
91.除以上简单融合方式之外,所述综合置信度也可采用诸如加权融合、模型融合等方式来获得,后续本技术的其他实施例将进一步揭示其他融合方式,在此暂且按下不表。
92.此处所采用的用于判定综合置信度的预设阈值,可以是经验阈值,也可以是实测阈值,由本领域技术人员灵活设定即可。
93.根据此处揭示的实施例,可以理解,相对于现有技术,本技术具有多方面优势,至少包括如下各方面:
94.本技术针对同一待检测图像,分别采用二分类模型和多分类模型进行检测,获得每个模型输出的该待检测图像的深度语义特征映射到目标类型的置信度,然后,根据两个分类模型的置信度进行融合获得综合置信度,将综合置信度大于预设阈值的待检测图像识别出目标类型,从而利用两个模型不同粒度的分类能力实现对待检测图像的类型的精准识别。
95.由于对待检测图像的识别过程综合了两个模型的判断结果,其中,二分类模型可以集中在待检测图像的全局信息上获得其分类结果,多分类模型可以集中在待检测图像的细节信息上获得其分类结果,最后利用两路分类结果中与目标类型相对应的置信度综合判定待检测图像是否为目标类型的图像,更为全面且准确。
96.因此,本技术对待检测图像中是否包含目标类型的图像所做出的判决结果具有更高可置信度,可被高度信赖,适于电商平台之类的应用场景中对广告图片是否存在目标类型的图像进行检测,对于诸如涉黄图片之类的需求能提供更为精准的判定结果,从而可维护电商平台的信息安全,避免其广告图片中出现违规图像。
97.请参阅图4,部分实施例中,所述步骤s1200、调用二分类模型对所述待检测图像进行类型判别的步骤之前,包括如下步骤:
98.步骤s2100、采用数据集中的训练样本对二分类模型实施迭代训练至收敛状态,所述训练样本包括标注为目标类型的正样本的待检测图像和标注为非目标类型的负样本的待检测图像,所述二分类模型的分类器的分类数目被配置为大于两个,其中两个分类分别对应所述目标类型、非目标类型:
99.如前所述,所述二分类模型被投入使用之前,被采用足量的训练样本预先训练至收敛状态,据此,在训练之前,预备一个数据集,所述数据集可包括海量的训练样本,每个训练样本均包含一个待检测图像,然后按照正样本和负样本分别对各个训练样本进行标注,即对于属于正样本的待检测图像,将其标注为目标类型;对于属于负样本的待检测图像,均标注为所述的非目标类型。
100.在预备好所述的数据集的基础上,对所述二分类模型进行的分类器的分类数目进行配置,本实施例中,二分类模型的分类数目被配置为大于两个类别,例如500个,也即,尽管最终期望采用所述二分类模型用于进行二分类预测,但在其训练阶段,按照多分类预测对其实施训练,其目的在于在所述正样本和负样本的监督训练之下,使二分类模型输出的判定为目标类型的置信度更具可信赖性,避免仅设置两个分类时出现的目标类型、非目标类型相对应的分类的置信度都非常高的情况。后续,二分类模型被训练至收敛后,当需取其目标类型、非目标类型相对应的分类的置信度时,对应获取其中的置信度即可,对于其他分类可不予采用,因此其在投入使用之后,本质上仍然是一个二分类模型。
101.在完成所述的二分类模型的配置后,便可采用所述数据集中的训练样本对其实施迭代训练,其每次训练过程可包括如下步骤:
102.首先,将所述数据集中的一个训练样本中的待检测图像输入二分类模型,由其中的图像特征提取模型对其提取深层语义信息,获得相应的图像特征信息;
103.其次,经所述分类器中的全连接层对所述图像特征信息进行全连接,然后映射到分类器的输出层,计算出其映射到所述分类数目相对应的各个分类,获得各个分类之下的置信度;
104.然后,根据该训练样本相对应的标签,即所述的目标类型或非目标类型,应用交叉熵损失函数,对模型输出结果计算模型损失值;
105.最后,根据模型损失值是否达到预设阈值决策是否继续迭代训练。具体而言,当所述模型损失值达到所述预设阈值时,可视为二分类模型已经被训练至收敛状态,从而可以终止二分类模型的训练,否则,表明二分类模型尚未收敛,于是,根据模型损失值对二分类模型反向传播实现梯度更新,然后从所述数据集中调用下一训练样本继续对二分类模型实施迭代训练,直至模型被训练至收敛状态为止。
106.此处揭示的实施例显示二分类模型在被训练的阶段中,预先配置多个分类数目,采用两类训练样本进行训练,使其对应所述目标类型、非目标类型两个分类获得的置信度更为可信,从而提高二分类模型在推理阶段的识别结果的可靠性,提升了其识别待检测图像所属的类型的精准程度。
107.需要注意的是,在此处揭示的实施例中,可无需考虑多分类模型的训练方法,也即,多分类模型的训练方法并不影响此处的二分类模型的分类识别能力的取得,对此,本领
域技术人员应当知晓。
108.请继续参阅图4,部分实施例中,可在前文各实施例训练而得的二分类模型的基础上关联制备多分类模型,据此,所述步骤s1300、调用多分类模型对所述待检测图像进行类型判别的步骤之前,包括如下步骤:
109.步骤s2200、采用训练至收敛状态的所述二分类模型对所述数据集中的训练样本进行测试,预测各个训练样本的分类:
110.所述二分类模型被训练至收敛状态后,被用于对一个数据集进行测试,针对该数据集中的各个训练样本进行测试,此处所称的数据集可以是据以对所述二分类模型进行训练的数据集,或者来源于该数据集的一个子集,或者由领域技术人员另行根据所述数据集的构造对应预备均可。
111.将所述数据集中的每个训练样本逐一输入所述二分类模型进行分类预测,对应获得各个训练样本的分类结果,这一过程中,可以获得每个训练样本对应到所述目标类型和所述非目标类型相应的分类的置信度,从而确定各个训练样本是否属于所述目标类型或非目标类型。
112.步骤s2300、根据每个训练样本在被分类前的全连接层中的被激活的神经元组合进行聚类,调整所述数据集的训练样本的标注信息,将所述数据集中神经元组合及原始标注类型相同的训练样本标注为相同类型,其中两个类型分别对应所述目标类型和非目标类型,将所述数据集中神经元组合或原始标注类型不同的训练样本相应标注为不同类型:
113.为了配置将被训练的多分类模型的分类数目,本实施例在利用所述二分类模型对所述数据集的各个训练样本预测分类的过程中,对该二分类模型的最后一个全连接层的神经元激活表现进行分析聚类,以获得用于配置多分类模型的分类数目。
114.具体而言,将所述二分类模型在其分类器的输出层之前的最后一个全连接层进行二次激活,当该全连接层中一个神经元的值大于预设阈值时,其输出值为1,表征该神经元被激活,否则,其输出值为0,表征该神经元未被激活。由此,每个训练样本被预测后,其在所述最后一个全连接层获得的被激活的神经元组合便是确定的。
115.进而,根据以下原理对所述数据集中的各个训练样本调整其标注的类型:
116.对于原始被标注为相同类型(同为目标类型或非目标类型)的多个训练样本,当其各自被二分类模型预测后,被激活的神经元组合是一致的情况,保留这些训练样本为原来标注的类型(目标类型或非目标类型)进行相应的标注。
117.对于原始被标注为不同类型(目标类型和非目标类型)的多个训练样本,当其各自被二分类模型预测后,被激活的神经元组合是一致的情况,则将这些训练样本视为各不相同的类型进行相应的标注。
118.当然,对于神经元组合不同的任意训练样本,其本身即视为同类型,可据此进行相应的标注。
119.根据以上揭示的类型划分原理,也即根据二分类模型中最后一个全连接层的被激活的神经元组合对所述各个训练样本相对应的类型进行聚类,便可获得相应的聚类结果。
120.步骤s2400、根据聚类结果统计总类别数,将该总类别数配置为多分类模型的分类数目:
121.进一步,根据聚合后获得的所述聚类结果,统计出其中的总类别数,然后将其配置
为将被训练的多分类模型的分类数目,便可多分类模型的训练前的配置。据此可见,本实施例中的多分类模型,其利用了所述二分类模型习得的分类预测能力,根据该二分类模型的最后一个全连接层的被激活的神经元组合进行聚类,根据聚类所得的总类别数配置自身的分类数目,获得了由所述二分类模型习得的初步分类能力指导的标注信息,免去人工标注的时间成本,却能促使自身在被训练时更快速收敛,大大提升了多分类模型的训练速度。特别是对于二分类模型与多分类模型同构的实施例而言,由于两个模型同构,多分类模型可以实现对二分类模型的特征提取能力的对应映射,从而使多分类模型在实质上继承了二分类模型训练所得的部分能力。
122.步骤s2500、采用所述数据集中的训练样本对所述多分类模型实施迭代训练至收敛状态:
123.在完成所述多分类模型的分类数目配置及其数据集制备的基础上,便可根据所述二分类模型相同的训练过程,采用所述数据集中的各个训练样本对该多分类模型实施迭代训练,使该多分类模型快速被训练至收敛状态,以投入本技术的推理使用。由于所述多分类模型的训练原理与二分类模型的训练原理相同,因而,此处恕不赘述。
124.此外的实施例,揭示本技术的多分类模型的数据集根据所述二分类模型习得的分类能力进行标注,通过二分类模型的分类器的输出层之前的最后一个全连接层的被激活的神经元组合进行聚类划分而确定其相应的分类数目,完成相应的训练样本的标注,实现将原始数据集中的训练样本的目标类型、非目标类型进行更细粒度的划分,将拥有同类神经元组合特征的同类数据进行聚类,同时将拥有相同神经元组合特征的不同类数据进行类别拆分,经过多分类再训练的方式,将在二分类模型中分类错误或易错的样本在多分类模型中进行纠正,大大提升了多分类模型的特征泛化能力,从而使多分类模型更易快速收敛,并且确保其获得精准的分类预测结果,可提升对待检测图像的分类精准识别能力。
125.请参阅图5,深化的部分实施例中,所述二分类模型与所述多分类模型包含相同的网络模型架构,其示例性的架构如图3所示,包括图像特征提取模型78及分类器70,其分类器中包括两个全连接层701、702及一个输出层703,该网络模型架构针对每个待检测图像执行如下步骤:
126.步骤s3100、经图像特征提取模型提取待检测图像的图像特征信息:
127.如前所述,当将待检测图像输入所述的二分类模型或多分类模型时,由其中的图像特征提取模型对该待检测图像提取深层语义信息,从而获得其相应的图像特征信息。本实施例中,所述图像特征提取模型推荐使用swintransformer,该模型在本技术的实测中取得较优的表现,当然也不排除其他可能的选型。
128.步骤s3200、经第一全连接层对所述图像特征信息执行全连接操作而获得综合特征信息:
129.图像特征提取模型后接分类器中的第一全连接层,因而,所述图像特征提取模型经第一全连接层进行全连接,执行全连接操作后,获得综合特征信息。第一全连接层拥有的神经元个数,可设置为数量较多的数目,例如2048个,由此,该综合特征信息可从所述图像特征信息中提取到足够丰富的特征。
130.步骤s3300、经第二全连接层对所述综合特征信息执行全连接操作而获得分类特征信息,所述分类特征信息的维度低于所述综合特征信息:
131.进一步将所述综合特征信息输入第二全连接层,第二全连接层的神经元个数被设置为相对于第一全连接层大幅减少的数目,例如64个,以便将高维度的综合特征信息进一步映射为更少的维度,由此同理,由第二全连接层对所述综合特征信息执行全连接操作,将所述综合特征信息抽取为维度更低的分类特征信息。
132.步骤s3400、经分类器的输出层将分类特征信息映射到其预设分类数目相对应的各个分类,获得各个分类相对应的置信度:
133.最后,由分类器的输出层,可选用softmax函数构造,由输出层根据所述分类特征信息计算出其映射到相应的二分类模型或多分类模型所配置的分类数目相对应的各个分类的分类概率,每个分类的分类概率,便为该分类相对应的置信度,当所述目标类型相对应的分类的置信度最高时,对于相应的二分类模型或多分类模型而言,待检测图像即为所述的目标类型。
134.根据此处所揭示的实施例可知,二分类模型与多分类模型同构的情况下,对于每个待检测图像,均经过第一全连接层提取丰富的特征,后经第二全连接层进行特征归类,最终经输出层做出分类预测,在两个模型均在相同数据集上训练且多分类模型根据二分类模型调整数据集的标注信息的情况下,可确保两个模型获得的置信度均较为可信。
135.部分实施例中,所述步骤s1400、融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型,包括如下步骤:
136.步骤s1411、将第一置信度与第二置信度分别匹配预设权重进行加权求和,获得综合置信度:
137.本实施例中,考虑到二分类模型与多分类模型各有侧重,可在计算综合置信度时,采用加权求和的方式,分配对所述二分类模型对应目标类型输出的第一置信度和所述多分类模型对应目标类型输出的第二置信度分别匹配预设权重,在匹配权重的基础上将两者进行加和,从而获得综合置信度。
138.一个实施例中,可采用超参数对第一置信度与第二置信度进行匹配权重,实现平滑和归一化,获得所述的综合置信度。
139.步骤s1412、判断所述综合置信度是否大于预设阈值,当大于预设阈值时,判定待检测图像为所述目标类型:
140.最后,采用一个预设阈值,判断所述综合置信度是否大于该预设阈值,当大于该预设阈值时,便可确认所述待检测图像是目标类型,从而可据此进行下一步的业务操作。同理,所述预设阈值可为经验阈值或者实验阈值,由本领域技术人员灵活设定即可。
141.此处的实施例通过对第一置信度和第二置信度进行加权求和确定综合置信度,以此为基础做出待检测图像是否属于目标类型的图像的判定,实现简便,却可通过调节第一置信度和第二置信度的权重灵活调节二分类模型和多分类模型在图像识别过程中所占的份量,方便根据实际情况进行调整,提升了实施本技术的灵活度。
142.另部分实施例中,所述步骤s1400、融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型,包括如下步骤:
143.步骤s1421、将第一置信度与第二置信度输入全连接层,由全连接层关联已学习的权重将第一置信度和第二置信度映射到二分类器的两个分类,分别获得两个分类相对应的综合置信度,两个分类分别对应所述目标类型和非目标类型,所述全连接层预先采用所述
数据集中的训练样本实施训练至收敛状态以获得所述的权重:
144.请参阅图6,本技术进一步采用一个全连接层901对所述的第一置信度和第二置信度匹配可学习权重进行综合,使其经输出层映射到两个分类,该两个分类分别对应所述的目标类型和非目标类型,由此,该全连接层901实际构造出一个二分类器90,从而获得图6所示的网络模型,据此,不难理解,该二分类器90可接入二分类模型91和多分类模型92实施联合训练,使该二分类器90的全连接层901经训练后获得所述的权重,后续在投入推理使用时,针对同一待检测图像,二分类模型91输出的第一置信度与多分类模型92输出的第二置信度,分别匹配已学习的权重,经分类映射,获得其对应所述目标类型、非目标类型的分类的综合置信度。
145.步骤s1422、判断所述目标类型相对应的分类的综合置信度是否大于预设阈值,当大于预设阈值时,判定待检测图像为所述目标类型:
146.同理,采用一个预设阈值,判断所述目标类别相对应的综合置信度是否大于该预设阈值,当大于该预设阈值时,便可确认所述待检测图像是目标类型,从而可据此进行下一步的业务操作。所述预设阈值可为经验阈值或者实验阈值,由本领域技术人员灵活设定即可。
147.此处的实施例揭示对所述的第一置信度和第二置信度的融合判断可通过联合训练的分类器实现,从而使待检测图像的类别识别更加智能平滑,可期望对待检测图像的类别识别的准确度更可信赖。
148.请参阅图7,结合本技术示例性的电商广告应用场景,扩展的部分实施例中,确认待检测图像为所述目标类型之后,包括如下步骤:
149.步骤s4100、暂停该待检测图像的处理业务的处理流程:
150.所述的待检测图像来源于商家用户发布的广告图片。当商家用户提升所述的广告图片时,提交到服务器,期望执行广告发布相对应的处理业务。服务器获取该广告图片后,将其作为原始载体图片,经图像预处理后获得其中的待检测图像。
151.然后应用本技术任意一种实施例的方法,对所述待检测图像实施图像识别,通过识别确认出该待检测图像为所述的目标类型时,便暂停该所述的处理业务的处理流程,转而调用信息安全审核流程。
152.步骤s4200、构造包含所述待检测图像的通知消息传输至审核接口:
153.为了调用信息安全审核流程,将所述广告图片和/或其待检测图像、所述目标类型以及商家用户和/或其线上店铺的特征信息,封装为通知消息,传输至预设的审核接口。所述审核接口可为人工审核接口,例如通过电子邮箱或者专用的数据存储地址,或专门的接口函数来表现,最终可经人工用户接收并处理,而返回该人工用户相应的表征同意发布或拒绝发布的指令。
154.步骤s4300、监听该审核接口返回的表征同意发布的指令,恢复所述处理流程:
155.服务器在将所述通知消息提交给所述审核接口后,便开始监听该审核接口返回的指令,当该审核接口返回表征拒绝发布的指令时,可中断所述的处理业务的处理流程,并向相应的商家用户返回相应的通知消息;当该审核接口返回表征同意发布的指令时,表明经人工审核后,所述的待检测图像并非违规类型,便可恢复所述处理业务的处理流程,实现广告发布。
156.此处揭示的实施例,示例性完善了本技术在具体应用场景下的业务流程,可见,通过进一步提供审核接口审核环节,借助人工检测结果进一步对模型识别出的结果查漏补缺,可确保电商平台的广告图片的健康,从而维护电商平台的信息生态,由于本技术的技术方案可期望获得精准识别的效果,因而,调用审核接口是低概率事件,但起到兜底作用,可预期以较低的人力成本实现对电商平台的海量图片信息进行精准的安全检测的结果。
157.请参阅图8,适应本技术的目的之一而提供的一种图像类型识别装置,是对本技术的图像类型识别方法的功能化体现,该装置包括:图像获取模块1100、第一识别模块1200、第二识别模块1300,以及融合判定模块1400,其中:所述图像获取模块1100,用于获取待检测图像;所述第一识别模块1200,用于调用二分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第一置信度,所述二分类模型预先被训练至收敛状态;所述第二识别模块1300,用于调用多分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第二置信度,所述多分类模型预先被训练至收敛状态;所述融合判定模块1400,用于融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型。
158.部分实施例中,先于第一识别模块1200,还包括:第一训练模块,用于采用数据集中的训练样本对二分类模型实施迭代训练至收敛状态,所述训练样本包括标注为目标类型的正样本的待检测图像和标注为非目标类型的负样本的待检测图像,所述二分类模型的分类器的分类数目被配置为大于两个,其中两个分类分别对应所述目标类型、非目标类型。
159.部分实施例中,先于第二识别模块1300,包括测试实施模块,用于采用训练至收敛状态的所述二分类模型对所述数据集中的训练样本进行测试,预测各个训练样本的分类;聚类评估模块,用于根据每个训练样本在被分类前的全连接层中的被激活的神经元组合进行聚类,调整所述数据集的训练样本的标注信息,将所述数据集中神经元组合及原始标注类型相同的训练样本标注为相同类型,其中两个类型分别对应所述目标类型和非目标类型,将所述数据集中神经元组合或原始标注类型不同的训练样本相应标注为不同类型;类别设定模块,用于根据聚类结果统计总类别数,将该总类别数配置为多分类模型的分类数目;第二训练模块,用于采用所述数据集中的训练样本对所述多分类模型实施迭代训练至收敛状态。
160.深化的部分实施例中,所述二分类模型与所述多分类模型包含相同的网络模型架构,该网络模型架构包括:特征提取单元,被配置为经图像特征提取模型提取待检测图像的图像特征信息;第一连接单元,被配置为经第一全连接层对所述图像特征信息执行全连接操作而获得综合特征信息;第二连接单元,被配置为经第二全连接层对所述综合特征信息执行全连接操作而获得分类特征信息,所述分类特征信息的维度低于所述综合特征信息;分类映射单元,被配置为经分类器的输出层将分类特征信息映射到其预设分类数目相对应的各个分类,获得各个分类相对应的置信度。
161.部分实施例中,所述融合判定模块1400,包括:加权求和单元,用于将第一置信度与第二置信度分别匹配预设权重进行加权求和,获得综合置信度;图像判定单元,用于判断所述综合置信度是否大于预设阈值,当大于预设阈值时,判定待检测图像为所述目标类型。
162.另部分实施例中,所述融合判定模块1400,包括连接综合单元,用于将第一置信度与第二置信度输入全连接层,由全连接层关联已学习的权重将第一置信度和第二置信度映
射到二分类器的两个分类,分别获得两个分类相对应的综合置信度,两个分类分别对应所述目标类型和非目标类型,所述全连接层预先采用所述数据集中的训练样本实施训练至收敛状态以获得所述的权重;分类判定单元,用于判断所述目标类型相对应的分类的综合置信度是否大于预设阈值,当大于预设阈值时,判定待检测图像为所述目标类型。
163.扩展的部分实施例中,后于所述融合判定模块1400,包括:流程暂停单元,用于暂停该待检测图像的处理业务的处理流程;接口调用单元,用于构造包含所述待检测图像的通知消息传输至审核接口;流程恢复单元,用于监听该审核接口返回的表征同意发布的指令,恢复所述处理流程。
164.为解决上述技术问题,本技术实施例还提供计算机设备。如图9所示,计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中,该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种图像类型识别方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行本技术的图像类型识别方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图9中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
165.本实施方式中处理器用于执行图8中的各个模块及其子模块的具体功能,存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本技术的图像类型识别装置中执行所有模块/子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
166.本技术还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行本技术任一实施例的图像类型识别方法的步骤。
167.本技术还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被一个或多个处理器执行时实现本技术任一实施例所述方法的步骤。
168.本领域普通技术人员可以理解实现本技术上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)等计算机可读存储介质,或随机存储记忆体(random access memory,ram)等。
169.综上所述,本技术对待检测图像中是否包含目标类型的图像所做出的判决结果具有更高可置信度,可被高度信赖,适于电商平台之类的应用场景中对广告图片是否存在目标类型的图像进行检测,对于诸如涉黄图片之类的需求能提供更为精准的判定结果,从而可维护电商平台的信息安全,避免其广告图片中出现违规图像。
170.本技术领域技术人员可以理解,本技术中已经讨论过的各种操作、方法、流程中的
步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本技术中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本技术中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
171.以上所述仅是本技术的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。

技术特征:
1.一种图像类型识别方法,其特征在于,包括如下步骤:获取待检测图像;调用二分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第一置信度,所述二分类模型预先被训练至收敛状态;调用多分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第二置信度,所述多分类模型预先被训练至收敛状态;融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型。2.根据权利要求1所述的图像类型识别方法,其特征在于,调用二分类模型对所述待检测图像进行类型判别的步骤之前,包括如下步骤:采用数据集中的训练样本对二分类模型实施迭代训练至收敛状态,所述训练样本包括标注为目标类型的正样本的待检测图像和标注为非目标类型的负样本的待检测图像,所述二分类模型的分类器的分类数目被配置为大于两个,其中两个分类分别对应所述目标类型、非目标类型。3.根据权利要求2所述的图像类型识别方法,其特征在于,调用多分类模型对所述待检测图像进行类型判别的步骤之前,包括如下步骤:采用训练至收敛状态的所述二分类模型对所述数据集中的训练样本进行测试,预测各个训练样本的分类;根据每个训练样本在被分类前的全连接层中的被激活的神经元组合进行聚类,调整所述数据集的训练样本的标注信息,将所述数据集中神经元组合及原始标注类型相同的训练样本标注为相同类型,其中两个类型分别对应所述目标类型和非目标类型,将所述数据集中神经元组合或原始标注类型不同的训练样本相应标注为不同类型;根据聚类结果统计总类别数,将该总类别数配置为多分类模型的分类数目;采用所述数据集中的训练样本对所述多分类模型实施迭代训练至收敛状态。4.根据权利要求1至3中任意一项所述的图像类型识别方法,其特征在于,所述二分类模型与所述多分类模型包含相同的网络模型架构,该网络模型架构针对每个待检测图像执行如下步骤:经图像特征提取模型提取待检测图像的图像特征信息;经第一全连接层对所述图像特征信息执行全连接操作而获得综合特征信息;经第二全连接层对所述综合特征信息执行全连接操作而获得分类特征信息,所述分类特征信息的维度低于所述综合特征信息;经分类器的输出层将分类特征信息映射到其预设分类数目相对应的各个分类,获得各个分类相对应的置信度。5.根据权利要求1至3中任意一项所述的图像类型识别方法,其特征在于,融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型,包括如下步骤:将第一置信度与第二置信度分别匹配预设权重进行加权求和,获得综合置信度;判断所述综合置信度是否大于预设阈值,当大于预设阈值时,判定待检测图像为所述目标类型。
6.根据权利要求1至3中任意一项所述的图像类型识别方法,其特征在于,融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型,包括如下步骤:将第一置信度与第二置信度输入全连接层,由全连接层关联已学习的权重将第一置信度和第二置信度映射到二分类器的两个分类,分别获得两个分类相对应的综合置信度,两个分类分别对应所述目标类型和非目标类型,所述全连接层预先采用所述数据集中的训练样本实施训练至收敛状态以获得所述的权重;判断所述目标类型相对应的分类的综合置信度是否大于预设阈值,当大于预设阈值时,判定待检测图像为所述目标类型。7.根据权利要求1至3中任意一项所述的图像类型识别方法,其特征在于,确认待检测图像为所述目标类型之后,包括如下步骤:暂停该待检测图像的处理业务的处理流程;构造包含所述待检测图像的通知消息传输至审核接口;监听该审核接口返回的表征同意发布的指令,恢复所述处理流程。8.一种图像类型识别装置,其特征在于,包括:图像获取模块,用于获取待检测图像;第一识别模块,用于调用二分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第一置信度,所述二分类模型预先被训练至收敛状态;第二识别模块,用于调用多分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第二置信度,所述多分类模型预先被训练至收敛状态;融合判定模块,用于融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型。9.一种计算机设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。10.一种计算机可读存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。

技术总结
本申请涉及图像识别技术领域中一种图像类型识别方法及其装置、设备、介质、产品,所述方法包括:获取待检测图像;调用二分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第一置信度,所述二分类模型预先被训练至收敛状态;调用多分类模型对所述待检测图像进行类型判别,确定其属于目标类型的第二置信度,所述多分类模型预先被训练至收敛状态;融合第一置信度和第二置信度获得综合置信度,当综合置信度大于预设阈值时,确认待检测图像为所述目标类型。本申请对待检测图像中是否包含目标类型的图像所做出的判决结果具有更高可置信度,可被高度信赖,适于电商平台之类的应用场景中对广告图片是否存在目标类型的图像进行检测。进行检测。进行检测。


技术研发人员:兴百桥
受保护的技术使用者:广州欢聚时代信息科技有限公司
技术研发日:2022.04.19
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-11353.html

最新回复(0)