1.本技术涉及人工智能技术领域,具体涉及一种图像检测方法、装置、存储介质、电子设备及产品。
背景技术:2.图像检测即对图像进行检测分析的工作,图像检测工作中通常具有检测分析图像的花屏状态的需求。目前,存在通过训练后的检测模型对图像进行花屏检测的相关方案,目前的方案中,检测模型通常时通过标定有花屏标签信息的图像进行训练得到的。
3.由于花屏标签信息的标定通常不可避免具有主观性错误,使得图像的花屏标签信息具有噪声,进而训练的检测模型的检测性能较差,花屏检测误差较高,导致图像花屏检测的准确性较低。
技术实现要素:4.本技术实施例提供一种图像检测方法、装置、存储介质、电子设备及产品,可以有效提升检测模型的花屏检测性能,提升图像花屏检测的准确性。
5.为解决上述技术问题,本技术实施例提供以下技术方案:
6.根据本技术的一个实施例,一种图像检测方法,该方法包括:获取待检测图像;将所述待检测图像输入检测模型进行花屏检测处理,得到花屏检测信息,所述检测模型为根据样本集中有效图像训练得到的,所述有效图像为所述样本集中除噪声图像之外的图像,所述噪声图像为从所述样本集中检测出的标定了具有噪声的花屏标签信息的图像;根据所述花屏检测信息确定所述待检测图像的花屏状态。
7.根据本技术的一个实施例,一种图像检测装置,所述装置包括:获取模块,用于获取待检测图像;检测模块,用于将所述待检测图像输入检测模型进行花屏检测处理,得到花屏检测信息,所述检测模型为根据样本集中有效图像训练得到的,所述有效图像为所述样本集中除噪声图像之外的图像,所述噪声图像为从所述样本集中检测出的标定了具有噪声的花屏标签信息的图像;确定模块,用于根据所述花屏检测信息确定所述待检测图像的花屏状态。
8.在本技术的一些实施例中,所述图像检测装置还包括:样本集获取模块,用于获取所述样本集,所述样本集中包括至少一张图像,所述图像标定对应的花屏标签信息;噪声图像检测模块,用于从所述至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到所述噪声图像;有效图像确定模块,用于将所述至少一张图像中除所述噪声图像之外的图像确定为所述有效图像;模型训练模块,用于根据所述有效图像对预设的所述检测模型进行训练,得到训练后的所述检测模型。
9.在本技术的一些实施例中,所述模型训练模块,用于:根据所述有效图像及所述噪声图像对预设的所述检测模型进行联合训练,得到训练后的所述检测模型。
10.在本技术的一些实施例中,所述模型训练模块,包括:花屏检测单元,用于采用预
设的所述检测模型,对所述噪声图像对应的至少两张增强图像及所述有效图像分别进行花屏检测处理,得到所述至少两张增强图像及所述有效图像对应的花屏检测信息;第一检测误差分析单元,用于根据所述至少两张增强图像的花屏检测信息,确定所述第一检测误差;第二检测误差分析单元,用于根据所述有效图像对应的花屏检测信息,确定所述第二检测误差;联合调整单元,用于根据所述第一检测误差与所述第二检测误差联合调整预设的所述检测模型,得到训练后的所述检测模型。
11.在本技术的一些实施例中,所述第一检测误差分析单元,包括:差异信息分析子单元,用于针对所述至少两张增强图像,确定每两张增强图像之间的花屏检测信息的差异信息,得到至少一个差异信息;第一检测误差计算子单元,用于根据所述至少一个差异信息,得到所述第一检测误差。
12.在本技术的一些实施例中,所述有效图像为至少一张;所述第二检测误差分析单元,包括:检测误差计算子单元,用于根据每张所述有效图像对应的花屏检测信息与花屏标签信息的差异信息,确定每张所述有效图像对应的检测误差;第二检测误差计算子单元,用于将至少一张所述有效图像对应的检测误差进行运算处理,得到所述第二检测误差。
13.在本技术的一些实施例中,所述联合调整单元,包括:融合运算子单元,用于将所述第一检测误差与所述第二检测误差进行融合运算处理,得到预设的所述检测模型对应的目标检测误差;参数调整子单元,用于根据所述目标检测误差对预设的所述检测模型进行参数调整,直至预设的所述检测模型满足停止训练条件,得到训练后的所述检测模型。
14.在本技术的一些实施例中,所述噪声图像检测模块,包括:标签分析单元,用于对每张所述图像对应的花屏标签信息进行分析处理,得到每张所述图像对应的花屏标签信息的标定误差信息;噪声花屏标签信息确定单元,用于检测高于预定误差条件的标定误差信息所对应的花屏标签信息,得到噪声花屏标签信息;噪声图像确定单元,用于将所述至少一张图像中所述噪声花屏标签信息对应的图像确定为所述噪声图像。
15.在本技术的一些实施例中,所述标签分析单元,用于:采用预设的所述检测模型对每张所述图像进行花屏检测处理,得到每张所述图像对应的花屏检测信息;将每张所述图像对应的花屏检测信息与花屏标签信息融合,得到每张所述图像对应的融合花屏信息;分析每张所述图像对应的融合花屏信息与花屏检测信息的第一差异度,得到每张所述图像对应的第一差异度;分析每张所述图像对应的融合花屏信息与花屏标签信息的第二差异度,得到每张所述图像对应的第二差异度;根据每张所述图像对应的第一差异度与第二差异度,得到每张所述图像对应的花屏标签信息的标定误差信息。
16.根据本技术的另一个实施例,一种图像检测方法,该方法包括:获取所述样本集,所述样本集中包括至少一张图像,所述图像标定对应的花屏标签信息;从所述至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到所述噪声图像;将所述至少一张图像中除所述噪声图像之外的图像确定为所述有效图像;根据所述有效图像对预设的所述检测模型进行训练,得到训练后的所述检测模型,训练后的所述检测模型用于对待检测图像进行花屏检测处理。
17.根据本技术的另一个实施例,一种图像检测装置,该装置包括:样本集获取模块,用于获取所述样本集,所述样本集中包括至少一张图像,所述图像标定对应的花屏标签信息;噪声图像检测模块,用于从所述至少一张图像中,检测具有噪声的花屏标签信息对应的
图像,得到所述噪声图像;有效图像确定模块,用于将所述至少一张图像中除所述噪声图像之外的图像确定为所述有效图像;模型训练模块,用于根据所述有效图像对预设的所述检测模型进行训练,得到训练后的所述检测模型,训练后的所述检测模型用于对待检测图像进行花屏检测处理。
18.根据本技术的另一实施例,一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行本技术实施例所述的方法。
19.根据本技术的另一实施例,一种电子设备,包括:存储器,存储有计算机程序;处理器,读取存储器存储的计算机程序,以执行本技术实施例所述的方法。
20.根据本技术的另一实施例,一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本技术实施例所述的各种可选实现方式中提供的方法。
21.本技术实施例中,获取待检测图像;将所述待检测图像输入检测模型进行花屏检测处理,得到花屏检测信息,所述检测模型为根据样本集中有效图像训练得到的,所述有效图像为所述样本集中除噪声图像之外的图像,所述噪声图像为从所述样本集中检测出的标定了具有噪声的花屏标签信息的图像;根据所述花屏检测信息确定所述待检测图像的花屏状态。
22.以这种方式,针对样本集中图像划分为噪声图像和有效图像,噪声图像即标定了具有噪声的花屏标签信息的图像,有效图像即除噪声图像之外的图像,依次,根据样本集中有效图像训练得到检测模型,可以提升检测模型的检测性能,花屏检测误差低,进而提升图像花屏检测的准确性。
附图说明
23.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
24.图1示出了一种可以应用本技术实施例的系统的示意图。
25.图2示出了根据本技术的一个实施例的图像检测方法的流程图。
26.图3示出了根据本技术的另一个实施例的图像检测方法的流程图。
27.图4示出了一种场景下场景下进行样本集中图像检测的流程图。
28.图5示出了一种场景下进行检测模型训练的流程图。
29.图6示出了根据本技术的另一个实施例的图像检测装置的框图。
30.图7示出了根据本技术的另一个实施例的图像检测装置的框图。
31.图8示出了根据本技术的一个实施例的电子设备的框图。
具体实施方式
32.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于
本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
33.可以理解的是,在本技术的具体实施方式中,涉及到内容信息及交互行为信息等相关的数据,当本技术以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
34.图1示出了可以应用本技术实施例的系统100的示意图。如图1所示,系统100可以包括服务器101及终端102。
35.服务器101可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
36.终端102可以是任意的设备,终端102包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、vr/ar设备、智能手表以及计算机等等。一些实施方式中,终端102及服务器101可以是区块链网络中的节点。一些实施方式中,待检测图像可以是地图车联网平台中的图像。
37.本示例的一种实施方式中,服务器101或终端102可以:获取待检测图像;将所述待检测图像输入检测模型进行花屏检测处理,得到花屏检测信息,所述检测模型为根据样本集中有效图像训练得到的,所述有效图像为所述样本集中除噪声图像之外的图像,所述噪声图像为从所述样本集中检测出的标定了具有噪声的花屏标签信息的图像;根据所述花屏检测信息确定所述待检测图像的花屏状态。
38.图2示意性示出了根据本技术的一个实施例的图像检测方法的流程图。该图像检测方法的执行主体可以是任意的设备,例如图1所示的服务器101或终端102。
39.如图2所示,该图像检测方法可以包括步骤s210至步骤s230。
40.步骤s210,获取待检测图像;步骤s220,将待检测图像输入检测模型进行花屏检测处理,得到花屏检测信息,检测模型为根据样本集中有效图像训练得到的,有效图像为样本集中除噪声图像之外的图像,噪声图像为从样本集中检测出的标定了具有噪声的花屏标签信息的图像;步骤s230,根据花屏检测信息确定待检测图像的花屏状态。
41.待检测图像即待检测花屏状态的图像。待检测图像可以根据实际需求指定设备获取。检测模型即预先训练的基于机器学习或深度学习的模型,例如基于神经网络的模型。
42.样本集中包括至少一张图像,每张图像标定对应的花屏标签信息,花屏标签信息即可以指示图像的花屏状态的标签信息,例如图像属于花屏的置信度或图像属于不同花屏类型的置信度等标签信息。
43.噪声图像为从样本集中检测出的标定了具有噪声的花屏标签信息的图像,具有噪声的花屏标签信息即误差高于预定标准的花屏标签信息。有效图像为样本集中除噪声图像之外的图像。
44.根据样本集中有效图像训练得到检测模型,有效图像所标定的花屏标签信息的噪声较低,训练得到的检测模型检测性能高,将待检测图像输入检测模型可以进行花屏检测处理,得到待检测图像对应的花屏检测信息。花屏检测信息即可以指示图像的花屏状态的检测信息,例如图像属于花屏的置信度或图像属于不同花屏类型的置信度等检测信息。
45.获得待检测图像对应的花屏检测信息后,即可根据花屏检测信息确定待检测图像的花屏状态,例如,花屏检测信息为图像属于花屏的置信度,该置信度高于预定阈值则可以确定待检测图像的花屏状态为花屏图像,又例如,花屏检测信息为图像属于不同花屏类型的置信度,若某个花屏类型的置信度最高则可以确定待检测图像的花屏状态为置信度最高花屏类型。
46.以这种方式,基于步骤s210至步骤s230,针对样本集中图像划分为噪声图像和有效图像,噪声图像即标定了具有噪声的花屏标签信息的图像,有效图像即除噪声图像之外的图像,依次,根据样本集中有效图像训练得到检测模型,可以提升检测模型的检测性能,花屏检测误差低,进而提升图像花屏检测的准确性。
47.下面进一步描述图像检测时所进行的步骤的具体实施例。
48.参阅图3,一种实施例中,检测模型按照以下步骤训练:
49.步骤s310,获取样本集,样本集中包括至少一张图像,图像标定对应的花屏标签信息;步骤s320,从至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到噪声图像;步骤s330,将至少一张图像中除噪声图像之外的图像确定为有效图像;步骤s340,根据有效图像对预设的检测模型进行训练,得到训练后的检测模型。
50.从预定位置可以获取用于训练检测模型的样本集,通过对样本集中每张图像的花屏标签信息进行检测,可以检测出具有噪声的花屏标签信息,进而可以确定具有噪声的花屏标签信息对应的图像作为噪声图像。并将至少一张图像中除噪声图像之外的图像确定为有效图像。根据有效图像对预设的检测模型进行训练,有效图像所标定的花屏标签信息的噪声较低,通过训练可以得到检测性能优秀的训练后的检测模型。
51.一种实施例中,步骤s320,从至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到噪声图像,包括:
52.对每张图像对应的花屏标签信息进行分析处理,得到每张图像对应的花屏标签信息的标定误差信息;检测高于预定误差条件的标定误差信息所对应的花屏标签信息,得到噪声花屏标签信息;将至少一张图像中噪声花屏标签信息对应的图像确定为噪声图像。
53.标定误差信息即描述花屏标签信息的标定误差的信息(例如误差等级或权重等)。对每张图像对应的花屏标签信息进行分析处理,得到每张图像对应的花屏标签信息的标定误差信息,将高于预定误差条件(例如预定等级阈值或预定权重阈值等)的标定误差信息所对应的花屏标签信息确定为噪声花屏标签信息,噪声花屏标签信息对应的图像即为噪声图像,进而,可以通过检测标定误差信息从样本集中检测出噪声图像。
54.可以理解,另一种实施例中,步骤s320,从至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到噪声图像,包括:基于专家审核系统(例如人工审核系统)从至少一张图像中检测具有噪声的花屏标签信息对应的图像,得到噪声图像。
55.一种实施例中,对每张图像对应的花屏标签信息进行分析处理,得到每张图像对应的花屏标签信息的标定误差信息,包括:
56.采用预设的检测模型对每张图像进行花屏检测处理,得到每张图像对应的花屏检测信息;将每张图像对应的花屏检测信息与花屏标签信息融合,得到每张图像对应的融合花屏信息;分析每张图像对应的融合花屏信息与花屏检测信息的第一差异度,得到每张图像对应的第一差异度;分析每张图像对应的融合花屏信息与花屏标签信息的第二差异度,
得到每张图像对应的第二差异度;根据每张图像对应的第一差异度与第二差异度,得到每张图像对应的花屏标签信息的标定误差信息。
57.将每张图像对应的花屏检测信息与花屏标签信息融合的方式,例如图像a对应的花屏检测信息为第一置信度p,花屏标签信息为第二置信度y,则融合的方式可以包括将第一置信度p与第二置信度y通过相乘或相加等方式融合,融和结果即图像a对应的融合花屏信息q。
58.本示例的一种实施方式中,计算第一置信度p与第二置信度y的平均值,即图像a对应的融合花屏信息q=(p+y)/2。
59.分析每张图像对应的融合花屏信息与花屏检测信息的第一差异度的方式,例如,一种方式中,分析图像a对应的融合花屏信息与花屏检测信息的差值作为图像a对应的第一差异度。
60.本示例的一种实施方式中,分析第一差异度的方式为计算融合花屏信息与花屏检测信息的kl散度,例如,图像a对应的融合花屏信息为q,图像a对应的花屏检测信息为第一置信度p,则第一差异度为kl(p||q)=p*log(p)-p*log(q)。
61.分析每张图像对应的融合花屏信息与花屏标签信息的第二差异度的方式,例如,一种方式中,分析图像a对应的融合花屏信息与花屏标签信息的差值作为图像a对应的第二差异度。
62.本示例的一种实施方式中,分析第二差异度的方式为计算融合花屏信息与花屏标签信息的kl散度,例如,图像a对应的融合花屏信息为q,图像a对应的花屏检测信息为第二置信度y,则第二差异度为kl(y||q)=y*log(y)-y*log(q)。
63.根据每张图像对应的第一差异度与第二差异度,得到每张图像对应的花屏标签信息的标定误差信息,例如将图像a对应的第一差异度与第二差异度求和或相乘等处理的结果作为图像a对应的花屏标签信息的标定误差信息。
64.本示例的一种实施方式中,得到每张图像对应的花屏标签信息的标定误差信息的方式,标定误差信息w=(kl(p||q))/2+(kl(y||q))/2。
65.一种实施例中,步骤s340,根据有效图像对预设的检测模型进行训练,得到训练后的检测模型,包括:仅根据有效图像对预设的检测模型进行训练,得到训练后的检测模型。
66.例如仅将有效图像输入预设的检测模型进行检测处理,得到有效图像对应的花屏检测信息,然后比较有效图像对应的花屏检测信息及花屏标签信息得到检测损失,根据检测损失函数调整预设的检测模型的参数直至预设的检测模型的检测准确性或训练次数等符合要求,得到训练后的检测模型。
67.一种实施例中,步骤s340,根据有效图像对预设的检测模型进行训练,得到训练后的检测模型,包括:根据有效图像及噪声图像对预设的检测模型进行联合训练,得到训练后的检测模型。
68.该实施例下,联合有效图像及噪声图像对预设的检测模型进行联合训练,通过联合有效图像及噪声图像,训练样本图像的量级高,同时可以训练检测模型进行鲁棒式学习,可以进一步提升检测模型的检测可靠性及稳定性。
69.一种实施例中,根据有效图像及噪声图像对预设的检测模型进行联合训练,得到训练后的检测模型,包括:
70.采用预设的检测模型,对噪声图像对应的至少两张增强图像及有效图像分别进行花屏检测处理,得到至少两张增强图像及有效图像对应的花屏检测信息;根据至少两张增强图像的花屏检测信息,确定第一检测误差;根据有效图像对应的花屏检测信息,确定第二检测误差;根据第一检测误差与第二检测误差联合调整预设的检测模型,得到训练后的检测模型。
71.将噪声图像进行随机增强可以得到噪声图像对应的至少两张增强图像,将噪声图像进行随机增强的增强手段不局限于对光照、对比度、饱和度等增强,还可以通过更加复杂的数据增强手段进行增强。
72.根据至少两张增强图像的花屏检测信息确定第一检测误差,根据有效图像对应的花屏检测信息确定第二检测误差,可以根据第一检测误差与第二检测误差联合调整预设的检测模型,例如调整预设的检测模型中的参数,直至符合要求,得到训练后的检测模型。
73.以这种方式,通过对噪声图像增强,联合噪声图像的至少两张增强图像与有效图像对检测模型进行训练,可以进一步实现检测模型的鲁棒式学习,可以进一步提升检测模型的检测可靠性及稳定性。
74.一种实施例中,噪声图像为至少一张;根据至少两张增强图像的花屏检测信息,确定第一检测误差,包括:
75.针对至少两张增强图像,确定每两张增强图像之间的花屏检测信息的差异信息,得到至少一个差异信息;根据至少一个差异信息,得到第一检测误差。
76.将至少一张的噪声图像进行随机增强共得到n张增强图像可以包括x1至xn,n张增强图像的花屏检测信息可以为n个置信度p1至pn,第i张增强图像与第j张增强图像之间的花屏检测信息的差异信息即(p
i-pj),i及j属于1至n。
77.根据至少一个差异信息得到第一检测误差的方式,一个示例中,可以将至少一个差异信息求平均值作为第一检测误差。本示例的一种实施方式中,根据公式对至少一个差异信息(p
i-pj)进行计算处理得到第一检测误差le,第一检测误差le即n个置信度p1至pn的一致性损失。
78.一种实施例中,有效图像为至少一张;根据有效图像对应的花屏检测信息,确定第二检测误差,包括:
79.根据每张有效图像对应的花屏检测信息与花屏标签信息的差异信息,确定每张有效图像对应的检测误差;将至少一张有效图像对应的检测误差进行运算处理,得到第二检测误差。
80.第i张有效图像对应的花屏检测信息pi与花屏标签信息yi的差异信息即p
i-yi,也即第i张有效图像对应的检测误差为p
i-yi。
81.将n张有效图像对应的检测误差进行运算处理得到第二检测误差的方式,一个示例中,可以将n张有效图像对应的检测误差相乘并乘以预设系数的结果作为第二检测误差,本示例的一种实施方式中,根据公式将至少一张有效图像对应的检测误差(p
i-yi)进行运算处理,得到第二检测误差lc。
82.一种实施例中,根据第一检测误差与第二检测误差联合调整预设的检测模型,得到训练后的检测模型,包括:
83.将第一检测误差与第二检测误差进行融合运算处理,得到预设的检测模型对应的目标检测误差;根据目标检测误差对预设的检测模型进行参数调整,直至预设的检测模型满足停止训练条件,得到训练后的检测模型。
84.将第一检测误差与第二检测误差进行融合运算处理得到目标检测误差的方式,一种示例中,可以将第一检测误差与第二检测误差通过相乘进行融合运算处理得到乘积作为目标检测误差,本示例的一种实施方式中,根据损失函数l=lc+αle将第一检测误差le与第二检测误差lc进行融合运算处理得到目标检测误差l,其中,α为用来控制对应的两项损失的权重。
85.以下结合一种应用场景下进行图像检测的流程进一步描述前述实施例。参阅图4及图5,图4示出该场景下进行样本集中图像检测的流程图。图5示出该场景下进行检测模型训练的流程图。
86.参阅图4,该场景下图像检测的流程可以包括步骤s410至步骤s440。
87.步骤s410,获取样本集,样本集中包括至少一张图像,图像标定对应的花屏标签信息。
88.步骤s420包括步骤s421至步骤s424。
89.其中,在步骤s421,从至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到“噪声图像”。
90.其中,步骤s421,从至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到噪声图像,具体包括:对每张图像对应的花屏标签信息进行分析处理,得到每张图像对应的花屏标签信息的标定误差信息;检测高于预定误差条件的标定误差信息所对应的花屏标签信息,得到噪声花屏标签信息;将至少一张图像中噪声花屏标签信息对应的图像确定为噪声图像。
91.进一步的,对每张图像对应的花屏标签信息进行分析处理,得到每张图像对应的花屏标签信息的标定误差信息,包括:采用预设的检测模型对每张图像进行花屏检测处理,得到每张图像对应的花屏检测信息;将每张图像对应的花屏检测信息与花屏标签信息融合,得到每张图像对应的融合花屏信息;分析每张图像对应的融合花屏信息与花屏检测信息的第一差异度,得到每张图像对应的第一差异度;分析每张图像对应的融合花屏信息与花屏标签信息的第二差异度,得到每张图像对应的第二差异度;根据每张图像对应的第一差异度与第二差异度,得到每张图像对应的花屏标签信息的标定误差信息。
92.该场景下,将每张图像对应的花屏检测信息与花屏标签信息融合的方式,例如图像a对应的花屏检测信息为第一置信度p,花屏标签信息为第二置信度y,则融合的方式具体为计算第一置信度p与第二置信度y的平均值,即图像a对应的融合花屏信息q=(p+y)/2。
93.分析每张图像对应的融合花屏信息与花屏检测信息的第一差异度的方式,该场景下为计算融合花屏信息与花屏检测信息的kl散度,例如,图像a对应的融合花屏信息为q,图像a对应的花屏检测信息为第一置信度p,则第一差异度为kl(p||q)=p*log(p)-p*log(q)。
94.分析每张图像对应的融合花屏信息与花屏标签信息的第二差异度的方式,该场景下为分析第二差异度的方式为计算融合花屏信息与花屏标签信息的kl散度,例如,图像a对
应的融合花屏信息为q,图像a对应的花屏检测信息为第二置信度y,则第二差异度为kl(y||q)=y*log(y)-y*log(q)。
95.该场景下,根据每张图像对应的第一差异度与第二差异度,得到每张图像对应的花屏标签信息的标定误差信息的方式,具体为标定误差信息w=(kl(p||q))/2+(kl(y||q))/2。
96.在步骤s422,去除具有噪声的花屏标签信息,即去除“噪声图像”对应的花屏标签信息。
97.在步骤s423,将至少一张图像中除噪声图像之外的图像确定为“有效图像”。
98.在步骤s424,保留花屏标签信息,即保留“有效图像”对应的花屏标签信息。
99.步骤s430,鲁棒训练,具体地,根据有效图像对预设的检测模型进行训练,得到训练后的检测模型。其中,根据有效图像对预设的检测模型进行训练,得到训练后的检测模型,具体包括:根据有效图像及噪声图像对预设的检测模型进行联合训练,得到训练后的检测模型。
100.其中,参阅图5,根据有效图像及噪声图像对预设的检测模型进行联合训练,得到训练后的检测模型,包括:步骤s510至步骤s550,以及步骤s550后,根据第一检测误差与第二检测误差联合调整预设的检测模型,得到训练后的检测模型的步骤。其中,联合训练时预设的检测模型“共享权重”,即联合训练预设的检测模型时“联合调整模型参数”。
101.在步骤s510,将噪声图像进行“随机增强”可以得到噪声图像对应的至少两张增强图像。其中,将噪声图像进行随机增强的增强手段不局限于对光照、对比度、饱和度等增强,还可以通过更加复杂的数据增强手段进行增强。
102.在步骤s520,采用预设的检测模型,对噪声图像对应的至少两张增强图像进行花屏检测处理,得到至少两张增强图像对应的花屏检测信息。
103.在步骤s530,根据至少两张增强图像的花屏检测信息,确定第一检测误差(即一致性损失)。
104.根据至少两张增强图像的花屏检测信息,确定第一检测误差,包括:针对至少两张增强图像,确定每两张增强图像之间的花屏检测信息的差异信息,得到至少一个差异信息;根据至少一个差异信息,得到第一检测误差。
105.具体地,将至少一张的噪声图像进行随机增强共得到n张增强图像可以包括x1至xn,n张增强图像的花屏检测信息可以为n个置信度p1至pn,第i张增强图像与第j张增强图像之间的花屏检测信息的差异信息即(p
i-pj),i及j属于1至n。
106.该场景下,根据公式对至少一个差异信息(p
i-pj)进行计算处理得到第一检测误差le,第一检测误差le即n个置信度p1至pn的一致性损失。
107.在步骤s540,采用预设的检测模型,对有效图像进行花屏检测处理,得到有效图像对应的花屏检测信息。
108.在步骤s550,根据有效图像对应的花屏检测信息,确定第二检测误差(即分类损失)。
109.根据有效图像对应的花屏检测信息,确定第二检测误差,包括:根据每张有效图像对应的花屏检测信息与花屏标签信息的差异信息,确定每张有效图像对应的检测误差;将
至少一张有效图像对应的检测误差进行运算处理,得到第二检测误差。
110.第i张有效图像对应的花屏检测信息pi与花屏标签信息yi的差异信息即p
i-yi,也即第i张有效图像对应的检测误差为p
i-yi。将n张有效图像对应的检测误差进行运算处理得到第二检测误差的方式,该场景下,根据公式将至少一张有效图像对应的检测误差(p
i-yi)进行运算处理,得到第二检测误差lc(即分类损失)。
111.进一步的,根据第一检测误差与第二检测误差联合调整预设的检测模型,得到训练后的检测模型的步骤包括:将第一检测误差与第二检测误差进行融合运算处理,得到预设的检测模型对应的目标检测误差;根据目标检测误差对预设的检测模型进行参数调整,直至预设的检测模型满足停止训练条件,得到训练后的检测模型。
112.将第一检测误差与第二检测误差进行融合运算处理得到目标检测误差的方式,该场景下,根据损失函数l=lc+αle将第一检测误差le与第二检测误差lc进行融合运算处理得到目标检测误差l,其中,α为用来控制对应的两项损失的权重。
113.步骤s440,输出结果。具体地,获取待检测图像;将待检测图像输入检测模型进行花屏检测处理,得到花屏检测信息;根据花屏检测信息确定待检测图像的花屏状态。
114.获得待检测图像对应的花屏检测信息后,即可根据花屏检测信息确定待检测图像的花屏状态,例如,花屏检测信息为图像属于花屏的置信度,该置信度高于预定阈值则可以确定待检测图像的花屏状态为花屏图像,又例如,花屏检测信息为图像属于不同花屏类型的置信度,若某个花屏类型的置信度最高则可以确定待检测图像的花屏状态为置信度最高花屏类型。
115.以这种方式,该场景下通过应用本技术的实施例,至少具有如下有益效果:针对样本集中图像划分为噪声图像和有效图像,噪声图像即标定了具有噪声的花屏标签信息的图像,有效图像即除噪声图像之外的图像,依次,根据样本集中有效图像训练得到检测模型,可以提升检测模型的检测性能,花屏检测误差低,进而提升图像花屏检测的准确性。
116.为便于更好的实施本技术实施例提供的图像检测方法,本技术实施例还提供一种基于上述图像检测方法的图像检测装置。其中名词的含义与上述图像检测方法中相同,具体实现细节可以参考方法实施例中的说明。图6示出了根据本技术的一个实施例的图像检测装置的框图。图7示出了根据本技术的另一个实施例的图像检测装置的框图。
117.如图6所示,图像检测装置600中可以包括获取模块610、检测模块620确定模块630。
118.获取模块610,可以用于获取待检测图像;检测模块620,可以用于将所述待检测图像输入检测模型进行花屏检测处理,得到花屏检测信息,所述检测模型为根据样本集中有效图像训练得到的,所述有效图像为所述样本集中除噪声图像之外的图像,所述噪声图像为从所述样本集中检测出的标定了具有噪声的花屏标签信息的图像;确定模块630,可以用于根据所述花屏检测信息确定所述待检测图像的花屏状态。
119.在本技术的一些实施例中,所述图像检测装置还包括:样本集获取模块,可以用于获取所述样本集,所述样本集中包括至少一张图像,所述图像标定对应的花屏标签信息;噪声图像检测模块,可以用于从所述至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到所述噪声图像;有效图像确定模块,可以用于将所述至少一张图像中除所述噪声
图像之外的图像确定为所述有效图像;模型训练模块,可以用于根据所述有效图像对预设的所述检测模型进行训练,得到训练后的所述检测模型。
120.在本技术的一些实施例中,所述模型训练模块,用于:根据所述有效图像及所述噪声图像对预设的所述检测模型进行联合训练,得到训练后的所述检测模型。
121.在本技术的一些实施例中,所述模型训练模块,包括:花屏检测单元,用于采用预设的所述检测模型,对所述噪声图像对应的至少两张增强图像及所述有效图像分别进行花屏检测处理,得到所述至少两张增强图像及所述有效图像对应的花屏检测信息;第一检测误差分析单元,用于根据所述至少两张增强图像的花屏检测信息,确定所述第一检测误差;第二检测误差分析单元,用于根据所述有效图像对应的花屏检测信息,确定所述第二检测误差;联合调整单元,用于根据所述第一检测误差与所述第二检测误差联合调整预设的所述检测模型,得到训练后的所述检测模型。
122.在本技术的一些实施例中,所述第一检测误差分析单元,包括:差异信息分析子单元,用于针对所述至少两张增强图像,确定每两张增强图像之间的花屏检测信息的差异信息,得到至少一个差异信息;第一检测误差计算子单元,用于根据所述至少一个差异信息,得到所述第一检测误差。
123.在本技术的一些实施例中,所述有效图像为至少一张;所述第二检测误差分析单元,包括:检测误差计算子单元,用于根据每张所述有效图像对应的花屏检测信息与花屏标签信息的差异信息,确定每张所述有效图像对应的检测误差;第二检测误差计算子单元,用于将至少一张所述有效图像对应的检测误差进行运算处理,得到所述第二检测误差。
124.在本技术的一些实施例中,所述联合调整单元,包括:融合运算子单元,用于将所述第一检测误差与所述第二检测误差进行融合运算处理,得到预设的所述检测模型对应的目标检测误差;参数调整子单元,用于根据所述目标检测误差对预设的所述检测模型进行参数调整,直至预设的所述检测模型满足停止训练条件,得到训练后的所述检测模型。
125.在本技术的一些实施例中,所述噪声图像检测模块,包括:标签分析单元,用于对每张所述图像对应的花屏标签信息进行分析处理,得到每张所述图像对应的花屏标签信息的标定误差信息;噪声花屏标签信息确定单元,用于检测高于预定误差条件的标定误差信息所对应的花屏标签信息,得到噪声花屏标签信息;噪声图像确定单元,用于将所述至少一张图像中所述噪声花屏标签信息对应的图像确定为所述噪声图像。
126.在本技术的一些实施例中,所述标签分析单元,用于:采用预设的所述检测模型对每张所述图像进行花屏检测处理,得到每张所述图像对应的花屏检测信息;将每张所述图像对应的花屏检测信息与花屏标签信息融合,得到每张所述图像对应的融合花屏信息;分析每张所述图像对应的融合花屏信息与花屏检测信息的第一差异度,得到每张所述图像对应的第一差异度;分析每张所述图像对应的融合花屏信息与花屏标签信息的第二差异度,得到每张所述图像对应的第二差异度;根据每张所述图像对应的第一差异度与第二差异度,得到每张所述图像对应的花屏标签信息的标定误差信息。
127.根据本技术的另一个实施例,参阅图7,一种图像检测装置700,该装置包括:样本集获取模块710,可以用于获取所述样本集,所述样本集中包括至少一张图像,所述图像标定对应的花屏标签信息;噪声图像检测模块720,可以用于从所述至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到所述噪声图像;有效图像确定模块730,可以用于
将所述至少一张图像中除所述噪声图像之外的图像确定为所述有效图像;模型训练模块740,可以用于根据所述有效图像对预设的所述检测模型进行训练,得到训练后的所述检测模型,训练后的所述检测模型用于对待检测图像进行花屏检测处理。
128.应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本技术的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
129.此外,本技术实施例还提供一种电子设备,该电子设备可以为终端或者服务器,如图8所示,其示出了本技术实施例所涉及的电子设备的结构示意图,具体来讲:
130.该电子设备可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、电源803和输入单元804等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
131.处理器801是该电子设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器802内的软件程序和/或模块,以及调用存储在存储器802内的数据,执行计算机设备的各种功能和处理数据,从而对电子设备进行检测。可选的,处理器801可包括一个或多个处理核心;优选的,处理器801可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户页面和应用程序等,调制解调处理器主要处理无线通讯。可以理解的是,上述调制解调处理器也可以不集成到处理器801中。
132.存储器802可用于存储软件程序以及模块,处理器801通过运行存储在存储器802的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器802还可以包括存储器控制器,以提供处理器801对存储器802的访问。
133.电子设备还包括给各个部件供电的电源803,优选的,电源803可以通过电源管理系统与处理器801逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
134.该电子设备还可包括输入单元804,该输入单元804可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
135.尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器801会按照如下的指令,将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器802中,并由处理器801来运行存储在存储器802中的计算机程序,从而实现本技术前述实施例的各种功能,
136.如一种实施例中,处理器801可以执行:检测本地的浏览内容对应的内容信息,并
检测本地的内容浏览交互行为对应的交互行为信息;获取服务器下发的候选推荐内容,所述候选推荐内容为所述服务器响应本地的内容浏览请求进行分析处理得到的;基于所述内容信息及所述交互行为信息进行分析处理,得到目标浏览信息;根据所述目标浏览信息对所述候选推荐内容进行调整处理,得到目标推荐内容,所述目标推荐内容用于进行图像检测。
137.又例如一种实施例中,处理器801可以执行:接收终端发送的内容浏览请求;响应于所述内容浏览请求进行分析处理,得到候选推荐内容;将所述候选推荐内容下发至所述终端,以使所述终端根据目标浏览信息调整所述候选推荐内容得到目标推荐内容,所述目标推荐内容用于进行图像检测,所述目标浏览信息为所述终端基于检测的内容浏览交互行为对应的交互行为信息以及浏览内容对应的内容信息进行分析处理得到的。
138.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
139.为此,本技术实施例还提供一种计算机可读存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本技术实施例所提供的任一种方法中的步骤。
140.其中,该计算机可读存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。
141.由于该计算机可读存储介质中所存储的计算机程序,可以执行本技术实施例所提供的任一种方法中的步骤,因此,可以实现本技术实施例所提供的方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
142.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本技术上述实施例中各种可选实现方式中提供的方法。
143.本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
144.应当理解的是,本技术并不局限于上面已经描述并在附图中示出的实施例,而可以在不脱离其范围的情况下进行各种修改和改变。
技术特征:1.一种图像检测方法,其特征在于,包括:获取待检测图像;将所述待检测图像输入检测模型进行花屏检测处理,得到花屏检测信息,所述检测模型为根据样本集中有效图像训练得到的,所述有效图像为所述样本集中除噪声图像之外的图像,所述噪声图像为从所述样本集中检测出的标定了具有噪声的花屏标签信息的图像;根据所述花屏检测信息确定所述待检测图像的花屏状态。2.根据权利要求1所述的方法,其特征在于,所述检测模型按照以下步骤训练:获取所述样本集,所述样本集中包括至少一张图像,所述图像标定对应的花屏标签信息;从所述至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到所述噪声图像;将所述至少一张图像中除所述噪声图像之外的图像确定为所述有效图像;根据所述有效图像对预设的所述检测模型进行训练,得到训练后的所述检测模型。3.根据权利要求2所述的方法,其特征在于,所述根据所述有效图像对预设的所述检测模型进行训练,得到训练后的所述检测模型,包括:根据所述有效图像及所述噪声图像对预设的所述检测模型进行联合训练,得到训练后的所述检测模型。4.根据权利要求3所述的方法,其特征在于,所述根据所述有效图像及所述噪声图像对预设的所述检测模型进行联合训练,得到训练后的所述检测模型,包括:采用预设的所述检测模型,对所述噪声图像对应的至少两张增强图像及所述有效图像分别进行花屏检测处理,得到所述至少两张增强图像及所述有效图像对应的花屏检测信息;根据所述至少两张增强图像的花屏检测信息,确定所述第一检测误差;根据所述有效图像对应的花屏检测信息,确定所述第二检测误差;根据所述第一检测误差与所述第二检测误差联合调整预设的所述检测模型,得到训练后的所述检测模型。5.根据权利要求4所述的方法,其特征在于,所述根据所述至少两张增强图像的花屏检测信息,确定所述第一检测误差,包括:针对所述至少两张增强图像,确定每两张增强图像之间的花屏检测信息的差异信息,得到至少一个差异信息;根据所述至少一个差异信息,得到所述第一检测误差。6.根据权利要求4所述的方法,其特征在于,所述有效图像为至少一张;所述根据所述有效图像对应的花屏检测信息,确定所述第二检测误差,包括:根据每张所述有效图像对应的花屏检测信息与花屏标签信息的差异信息,确定每张所述有效图像对应的检测误差;将至少一张所述有效图像对应的检测误差进行运算处理,得到所述第二检测误差。7.根据权利要求4所述的方法,其特征在于,所述根据所述第一检测误差与所述第二检测误差联合调整预设的所述检测模型,得到训练后的所述检测模型,包括:将所述第一检测误差与所述第二检测误差进行融合运算处理,得到预设的所述检测模
型对应的目标检测误差;根据所述目标检测误差对预设的所述检测模型进行参数调整,直至预设的所述检测模型满足停止训练条件,得到训练后的所述检测模型。8.根据权利要求2至7任一项所述的方法,其特征在于,所述从所述至少一张图像中,检测具有噪声的花屏标签信息对应的图像,得到所述噪声图像,包括:对每张所述图像对应的花屏标签信息进行分析处理,得到每张所述图像对应的花屏标签信息的标定误差信息;检测高于预定误差条件的标定误差信息所对应的花屏标签信息,得到噪声花屏标签信息;将所述至少一张图像中所述噪声花屏标签信息对应的图像确定为所述噪声图像。9.根据权利要求8所述的方法,其特征在于,所述对每张所述图像对应的花屏标签信息进行分析处理,得到每张所述图像对应的花屏标签信息的标定误差信息,包括:采用预设的所述检测模型对每张所述图像进行花屏检测处理,得到每张所述图像对应的花屏检测信息;将每张所述图像对应的花屏检测信息与花屏标签信息融合,得到每张所述图像对应的融合花屏信息;分析每张所述图像对应的融合花屏信息与花屏检测信息的第一差异度,得到每张所述图像对应的第一差异度;分析每张所述图像对应的融合花屏信息与花屏标签信息的第二差异度,得到每张所述图像对应的第二差异度;根据每张所述图像对应的第一差异度与第二差异度,得到每张所述图像对应的花屏标签信息的标定误差信息。10.一种图像检测装置,其特征在于,包括:获取模块,用于获取待检测图像;检测模块,用于将所述待检测图像输入检测模型进行花屏检测处理,得到花屏检测信息,所述检测模型为根据样本集中有效图像训练得到的,所述有效图像为所述样本集中除噪声图像之外的图像,所述噪声图像为从所述样本集中检测出的标定了具有噪声的花屏标签信息的图像;确定模块,用于根据所述花屏检测信息确定所述待检测图像的花屏状态。11.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行权利要求1至9任一项所述的方法。12.一种电子设备,其特征在于,包括:存储器,存储有计算机程序;处理器,读取存储器存储的计算机程序,以执行权利要求1至9任一项所述的方法。13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至9任一项的方法。
技术总结本申请公开了一种图像检测方法、装置、存储介质、电子设备及产品,涉及人工智能技术领域,本申请可以应用于区块链、地图车联网等技术领域,该方法应用于终端,该方法包括:获取待检测图像;将所述待检测图像输入检测模型进行花屏检测处理,得到花屏检测信息,所述检测模型为根据样本集中有效图像训练得到的,所述有效图像为所述样本集中除噪声图像之外的图像,所述噪声图像为从所述样本集中检测出的标定了具有噪声的花屏标签信息的图像;根据所述花屏检测信息确定所述待检测图像的花屏状态。本申请可以有效提升检测模型的花屏检测性能,提升图像花屏检测的准确性。升图像花屏检测的准确性。升图像花屏检测的准确性。
技术研发人员:张博深
受保护的技术使用者:腾讯科技(上海)有限公司
技术研发日:2022.03.22
技术公布日:2022/7/5