1.本公开涉及图像处理技术领域，尤其涉及一种基于数据处理的森林防火监控方法及电子设备。
背景技术：2.根据火灾产生规律，火情烟雾的出现早于明火的出现，因此烟雾检测技术被广泛应用于火情早期预警中。森林是火灾的重灾区，森林火灾频发，给国家和人民造成巨大的损失。如何有效地对森林火灾进行早期预警，成为降低森林火灾损失一个十分重要的问题。近年来，对森林场景进行监控的视频系统已经开始用于森林防火，而使这些视频系统具有智能性，自动监测森林中是否存在火情以进行早期预警，将成为降低森林火灾损失，减低森林维护成本的一个重要有效途径，具有广泛的应用前景。
3.公开于本技术背景技术部分的信息仅仅旨在加深对本技术的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
技术实现要素：4.本公开实施例提供一种基于数据处理的森林防火监控方法，能够准确识别火情，降低火情误报率，并且能够准确对可能引起火情的目标进行标记，至少解决现有技术中的部分问题。
5.本公开实施例的第一方面，提供一种基于数据处理的森林防火监控方法,包括：
6.采集多个时刻目标区域的监控图像，基于每两个相邻时刻的监控图像是否变化，判断所述监控图像中是否存在运动目标；
7.若存在，则提取所述运动目标的运动特征，基于预先训练好的目标类别识别模型，生成所述运动目标的图像特征与预设标准图像特征的特征比值，根据所述特征比值，判断所述运动目标的图像特征对应的目标类别，
8.若所述目标类别与预设预警类别相匹配，则基于所述目标类别、所述目标区域对应的属性信息，通过预先训练好的火情预警模型，输出火情信息。
9.在一种可选的实施方式中，
10.提取所述运动目标的运动特征的方法包括：
11.将当前监控图像中运动目标所在区域进行像素分类，提取当前监控图像中与背景信息不同像素类别的运动目标的二值图；
12.基于当前监控图像中运动目标的二值图对应的当前帧，获取所述当前帧与相邻时刻的监控图像中的历史帧的交并比，生成所述运动目标的边缘轨迹；
13.在所述运动目标的边缘轨迹中设置采样点，对采样点的历史形态特征和运动特征进行膨胀处理，提取所述运动目标的运动特征。
14.在一种可选的实施方式中，
15.获取所述当前帧与相邻时刻的监控图像中的历史帧的交并比，生成所述运动目标的边缘轨迹的方法包括：
16.将当前帧与历史帧的第t帧图像和t-1帧图像进行差分运算，对第t帧图像和第t+1帧图像进行差分运算，分别得到当前帧对应的当前三帧差分运算结果和历史帧对应的历史三帧差分运算结果；
17.将所述当前三帧差分运算结果与所述历史三帧差分运算结果进行中值滤波后，提取各自图像中运动目标的轮廓的质心位置和等距初始轮廓点；
18.基于所述运动目标的轮廓的质心位置、当前帧图像和历史帧的边缘梯度信息，以及所述等距初始轮廓点，通过轮廓实例分割算法收缩初始轮廓曲线，直至符合预设收缩条件，生成所述运动目标的边缘轨迹。
19.在一种可选的实施方式中，
20.基于所述运动目标的轮廓的质心位置、当前帧图像和历史帧的边缘梯度信息，以及所述等距初始轮廓点，通过轮廓实例分割算法收缩初始轮廓曲线，直至符合预设收缩条件，生成所述运动目标的边缘轨迹的方法包括：
21.按照如下公式所示的方法生成所述运动目标的边缘轨迹：
[0022][0023]
其中，na表示点集a中点的个数，n
t+1
(u,v)表示t+1时刻像素点的(u,v)的灰度值，b
t
(x,y)表示t时刻像素点的(x,y)的灰度值，δ表示像素点((x,y)和(u,v))的差分角点，v(s)表示初始轮廓曲线的一阶导数，e(v(s))ds表示能量函数，能量函数包括内部能量函数和外部能量函数。
[0024]
在一种可选的实施方式中，
[0025]
所述目标类别识别模型包括用于区域聚类的第一层、用于识别区域中心的第二层以及用于确定形状类别的第三层；
[0026]
基于预先训练好的目标类别识别模型，生成所述运动目标的图像特征与预设标准图像特征的特征比值的方法包括：
[0027]
基于预先训练好的目标类别识别模型的第一层，对所述运动目标的运动特征进行超像素分割，并对超像素分割后的结果进行聚类，确定多个运动区域；
[0028]
基于预先训练好的目标类别识别模型的第二层，确定所述多个运动区域的像素均值和像素方差，根据所述像素均值之差对应的第一权重值、所述像素方差对应的第二权重值，确定所述多个运动区域的中心点；
[0029]
基于预先训练好的目标识别模型的第三层，根据所述多个运动区域的像素值、所述多个运动区域的中心点、所述中心点与所述运动区域中每个像素点的距离的平均值以及预设标准图像特征，生成所述运动目标的图像特征与预设标准图像特征的特征比值。
[0030]
在一种可选的实施方式中，
[0031]
在生成所述运动目标的图像特征与预设标准图像特征的特征比值之前，所述方法还包括：
[0032]
训练所述目标类别识别模型，所述训练方法包括：
[0033]
基于预先获取的训练数据集，输入待训练的目标类别识别模型，确定多个第一候选区域，其中，所述训练数据集包括带样本标签和目标标识的第一图像数据，以及无样本标签和无标识的第二图像数据；
[0034]
从所述多个第一候选区域中选出属于同一类别的第二候选区域，并将所述第二候选区域进行区域融合，确定融合候选区域；
[0035]
获取所述第一候选区域与所述融合候选区域的一致性损失值，根据所述一致性损失值与所述第一图像数据中目标对象的特征值的差值，训练所述目标类别识别模型的损失函数，直至所述损失函数满足预设收敛条件。
[0036]
在一种可选的实施方式中，
[0037]
按照如下公式所述的方法训练所述目标类别识别模型的损失函数：
[0038][0039]
其中，m表示训练数据集的第一候选区域的个数，n表示训练数据集的第二候选区域的个数，α
t
表示所述第一候选区域与所述融合候选区域的一致性损失值，h
t
(x)表示所述一致性损失值与所述第一图像数据中目标对象的特征值的差值,表示t时刻预测为c的概率值，r表示类别。
[0040]
在一种可选的实施方式中，
[0041]
所述火情信息包括预警信息和火警信息，所述火情信息还包括所述目标区域的位置信息；
[0042]
基于所述目标类别、所述目标区域对应的属性信息，通过预先训练好的火情预警模型，输出火情信息的方法包括：
[0043]
通过预先训练好的火情预警模型，分别为所述目标类别设置第一权重评估值、为所述目标区域对应的属性信息设置第二权重评估值；
[0044]
根据所述第一权重评估值、所述第二权重评估值，确定所述目标类别在所述目标区域的火情预测值；
[0045]
若所述火情预测值低于所述目标类别预设的火情阈值，则输出预警信息；
[0046]
若所述火情预测值高于所述目标类别预设的火情阈值，则输出火警信息。
[0047]
在一种可选的实施方式中，
[0048]
根据所述第一权重评估值、所述第二权重评估值，确定所述目标类别在所述目标区域的火情预测值的方法包括：
[0049]
按照如下公式所示的方法确定火情预测值：
[0050][0051]
其中，di表示第i个目标类别对应的第一权重评估值，ci表示第i个目标区域对应的第二权重评估值，h表示目标类别的个数，k表示目标区域的个数。
[0052]
本公开实施例的另一方面，提供一种电子设备，包括：
[0053]
处理器；
[0054]
用于存储处理器可执行指令的存储器；
[0055]
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述中任意一项所述的基于数据处理的森林防火监控方法。
[0056]
本公开提供一种基于数据处理的森林防火监控方法，包括：
[0057]
采集多个时刻目标区域的监控图像，基于每两个相邻时刻的监控图像是否变化，判断所述监控图像中是否存在运动目标；
[0058]
通过采集多个时刻目标区域的监控图像，能够保证实时监控目标区域的同时，还能够降低数据处理的压力，避免大流量数据出现，不利于后期数据分析；基于每两个相邻时刻的监控图像是否变化，能够判断监控图像中是否存在运动目标，其中，运动目标是火情预警的重要标志，能够保证进行早期预警，降低森林火宅损失。
[0059]
若存在，则提取所述运动目标的运动特征，基于预先训练好的目标类别识别模型，生成所述运动目标的图像特征与预设标准图像特征的特征比值，根据所述特征比值，判断所述运动目标的图像特征对应的目标类别，
[0060]
通过提取运动目标的运动特征，并且根据目标类别识别模型，能够判断运动目标的图像特征对应的目标类别，不仅能够识别静态监控图像中的运动目标，还能够判断运动目标的目标类别，有效排除树枝晃动、云的飘逸以及其他动物奔跑对烟雾的干扰。
[0061]
若所述目标类别与预设预警类别相匹配，则基于所述目标类别、所述目标区域对应的属性信息，通过预先训练好的火情预警模型，输出火情信息。
[0062]
若目标类别与预设预警类别相匹配，则结合目标类别本身，以及目标区域对应的属性信息，通过火情预警模型，输出火情信息，针对目标区域当地的属性信息，输出针对性的火情信息，不仅能够预防火警，还能够按梯次和层级进行火警预防。
附图说明
[0063]
图1示例性地示出本公开实施例一种基于数据处理的森林防火监控方法的流程示意图；
[0064]
图2示例性地示出本公开实施例一种监控图像的示意图；
[0065]
图3示例性地示出本公开实施例一种基于数据处理的森林防火监控装置的结构示意图。
具体实施方式
[0066]
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0067]
本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0068]
应当理解，在本公开的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
[0069]
应当理解，在本公开中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0070]
应当理解，在本公开中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
[0071]
应当理解，在本公开中，“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
[0072]
取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
[0073]
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0074]
现有的基于图像烟雾检测技术是对图像求取帧间差异，找出图像亮度变化区域或通过对图像进行边缘检测，找出边缘变化频度高的区域，然后采用区域直方图或运动检测的方法判断检测区域是否为烟雾区域。然而，由于森林场景的火情烟雾检测是开放大环境下的检测，存在着树枝晃动、云的飘移和其它物体运动，同时空间精度信息损失严重，且存在烟雾区域检测不完整和易对较远距离的烟雾漏检的缺陷，因此无法满足实际森林火情烟雾检测要求。
[0075]
图1示例性地示出本公开实施例一种基于数据处理的森林防火监控方法的流程示意图，如图1所示，所述方法包括：
[0076]
s101、采集多个时刻目标区域的监控图像，基于每两个相邻时刻的监控图像是否变化，判断所述监控图像中是否存在运动目标；
[0077]
示例性地，可以通过采集多个时刻目标区域的监控图像，其中，每个时刻的间距可以结合目标区域的属性信息进行适应性调整，具体地：
[0078]
针对不同的目标区域，可以采集目标区域森林的天气属性信息、林木密集程度信息、目标区域年、月降雨量信息；
[0079]
针对目标区域的各种属性信息，设定目标区域监控图像采集的频率，示例性地，若目标区域天气较为湿冷、林木密集程度不高并且年、月降雨量信息均低于平均水平，说明目标区域引起火灾的概率，相对低于平均水平，则采集目标区域的监控图像的时刻间隔可以高于平均水平，降低数据处理的压力，避免大流量数据出现，不利于后期数据分析。
[0080]
在本公开实施例中，采集目标区域的监控图像的设备可以包括固定摄像系统和/或移动摄像系统，其中，固定摄像系统可以包括固定在特定位置、设定特定角度的固定摄像
头，固定摄像头可以进一步包括可见光摄像头和红外光摄像头中任意一种；其中，移动摄像系统可以包括搭载在无人机设备上的摄像系统，通过无人机拍摄目标区域的监控图像。图2示例性地示出本公开实施例一种监控图像的示意图。
[0081]
基于每两个相邻时刻的监控图像是否变化，判断所述监控图像中是否存在运动目标；
[0082]
其中，可以通过比较每两个相邻时刻的监控图像中同一区域的像素是否发生改变，其中，同一区域的像素是否改变可以包括像素大小、像素数量的改变中任意一种；
[0083]
通过像素是否改变，可以判断监控图像中是否存在运动目标，其中，运动目标可以包括树枝晃动、云的飘逸、动物的跑动等；通过运动目标的检测能够先确定当前目标区域是否可能存在烟雾的出现，后续可以进一步判别运动目标的类别。
[0084]
s102、若存在，则提取所述运动目标的运动特征，基于预先训练好的目标类别识别模型，生成所述运动目标的图像特征与预设标准图像特征的特征比值，根据所述特征比值，判断所述运动目标的图像特征对应的目标类别，
[0085]
示例性地，若存在运动目标，则提取运动目标的运动特征，基于运动目标的运动特征，再进一步对运动特征进行类别分析，能够准确判断运动目标的目标类别，从而将有效排除树枝晃动、云的飘逸以及其他动物奔跑对烟雾的干扰。
[0086]
在一种可选的实施方式中，
[0087]
提取所述运动目标的运动特征的方法包括：
[0088]
将当前监控图像中运动目标所在区域进行像素分类，提取当前监控图像中与背景信息不同像素类别的运动目标的二值图；
[0089]
基于当前监控图像中运动目标的二值图对应的当前帧，获取所述当前帧与相邻时刻的监控图像中的历史帧的交并比，生成所述运动目标的边缘轨迹；
[0090]
在所述运动目标的边缘轨迹中设置采样点，对采样点的历史形态特征和运动特征进行膨胀处理，提取所述运动目标的运动特征。
[0091]
可选地，将当前监控图像中运动目标所在区域进行像素分类的方法包括按照如下公式所示的方法进行像素分类：
[0092][0093]
其中，w(x,y)表示第(x,y)个像素点的高斯窗口函数，n
t+1
(u,v)表示t+1时刻像素点的(u,v)的灰度值，b
t
(x,y)表示t时刻像素点的(x,y)的灰度值，δ表示像素点((x,y)和(u,v))的差分角点，r表示预设阈值，i(x+u,y+v)表示像素点(x,y)平移(u,v)个像素的灰度值，i
x
+iy表示像素点(x,y)的阶梯度，o(x2+y2)表示第(x,y)个像素点的高阶无穷小。
[0094]
通过将当前监控图像中运动目标所在区域进行像素分类，能够区分当前监控图像中，当前帧图像中与背景信息不同像素类别的运动目标，从而降低图像分析的工作量，提高整体的识别效率。
[0095]
将像素进行分类后，可以提取当前监控图像中与背景信息不同像素类别的运动目
标的二值图，其中，运动目标的二值图能够准确对监控图像中背景像素和运动目标对应的像素进行分类。
[0096]
在一种可选的实施方式中，
[0097]
获取所述当前帧与相邻时刻的监控图像中的历史帧的交并比，生成所述运动目标的边缘轨迹的方法包括：
[0098]
将当前帧与历史帧的第t帧图像和t-1帧图像进行差分运算，对第t帧图像和第t+1帧图像进行差分运算，分别得到当前帧对应的当前三帧差分运算结果和历史帧对应的历史三帧差分运算结果；
[0099]
分别将当前帧与历史帧不同时刻的图像进行差分运算，相比于现有的只针对单一图像进行差分运算，能够有效比较当前帧与历史帧图像中相同时刻不同帧图像的像素差，增加了历史图像的运动维度，从而更能有利于提取运动目标的边缘轨迹，所得到的运动轨迹也更加符合实际轨迹，有利于降低误报概率。
[0100]
将所述当前三帧差分运算结果与所述历史三帧差分运算结果进行中值滤波后，提取各自图像中运动目标的轮廓的质心位置和等距初始轮廓点；
[0101]
基于所述运动目标的轮廓的质心位置、当前帧图像和历史帧的边缘梯度信息，以及所述等距初始轮廓点，通过轮廓实例分割算法收缩初始轮廓曲线，直至符合预设收缩条件，生成所述运动目标的边缘轨迹。
[0102]
在一种可选的实施方式中，
[0103]
基于所述运动目标的轮廓的质心位置、当前帧图像和历史帧的边缘梯度信息，以及所述等距初始轮廓点，通过轮廓实例分割算法收缩初始轮廓曲线，直至符合预设收缩条件，生成所述运动目标的边缘轨迹的方法包括：
[0104]
按照如下公式所示的方法生成所述运动目标的边缘轨迹：
[0105][0106]
其中，na表示点集a中点的个数，n
t+1
(u,v)表示t+1时刻像素点的(u,v)的灰度值，b
t
(x,y)表示t时刻像素点的(x,y)的灰度值，δ表示像素点((x,y)和(u,v))的差分角点，v(s)表示初始轮廓曲线的一阶导数，e(v(s))ds表示能量函数，能量函数包括内部能量函数和外部能量函数。
[0107]
通过中值滤波，能够降低图像中的噪点信息，而运动目标的轮廓的质心位置和等距初始轮廓点，通过轮廓实例分割算法收缩初始轮廓曲线，直至符合预设收缩条件，使得提取出的运动目标的初始轮廓进行距离变换，得到距离映射图，在距离空间内，在距离映射图上进行平移匹配，能够有效减少部分像素点偏差的影响，并且可以通过少量样本即可实现对运动轨迹进行记录，大大降低运算量。
[0108]
在一种可选的实施方式中，
[0109]
基于预先训练好的目标类别识别模型，生成所述运动目标的图像特征与预设标准图像特征的特征比值的方法包括：
[0110]
基于预先训练好的目标类别识别模型的第一层，对所述运动目标的运动特征进行超像素分割，并对超像素分割后的结果进行聚类，确定多个运动区域；
[0111]
基于预先训练好的目标类别识别模型的第二层，确定所述多个运动区域的像素均值和像素方差，根据所述像素均值之差对应的第一权重值、所述像素方差对应的第二权重值，确定所述多个运动区域的中心点；
[0112]
基于预先训练好的目标识别模型的第三层，根据所述多个运动区域的像素值、所述多个运动区域的中心点、所述中心点与所述运动区域中每个像素点的距离的平均值以及预设标准图像特征，生成所述运动目标的图像特征与预设标准图像特征的特征比值。
[0113]
示例性地，本公开的目标类别识别模型包括用于区域聚类的第一层、用于识别区域中心的第二层以及用于确定形状类别的第三层；其中，
[0114]
第一层对所述运动目标的运动特征进行超像素分割，并对超像素分割后的结果进行聚类，确定多个运动区域；
[0115]
第二层确定所述多个运动区域的像素均值和像素方差，根据所述像素均值之差对应的第一权重值、所述像素方差对应的第二权重值，确定所述多个运动区域的中心点；
[0116]
通过确定运动区域的中心点，能够有效对火点进行定位，火灾现场烟雾经常扩散，有时可能导致画面被烟雾占据，这种情况下，需要对火点本身以及烟雾进行定位和标记，而通过超像素分割，可以确定运动区域，也即扩散烟雾对应的区域，结合像素均值和像素方差，并且分别为两者分配对应的权重值，则可以确定烟雾对应的中心点，也即火点所在位置。
[0117]
第三层根据所述多个运动区域的像素值、所述多个运动区域的中心点、所述中心点与所述运动区域中每个像素点的距离的平均值以及预设标准图像特征，生成所述运动目标的图像特征与预设标准图像特征的特征比值；
[0118]
本公开根据运动目标的图像特征与预设标准图像特征的特征比值，以及预设的特征比值与目标类别的对应关系，确定运动目标的图像特征对应的目标类别。
[0119]
示例性地，特征比值与目标类别的对应关系可以包括一定数值区间的特征比值对应一类目标类别，例如，特征比值的值为0.8，位于0.5-1的数值区间，则其对应的目标类别为烟雾类别中的浓烟类型；若特征比值的值为0.3，位于0-0.5的数值区间，则其对应的目标类别为非烟雾类别的动物类型。需要说明的是，特征比值与目标类别的对应关系只是示例性地说明，本公开实施例对此并不进行限定。
[0120]
在一种可选的实施方式中，
[0121]
在生成所述运动目标的图像特征与预设标准图像特征的特征比值之前，所述方法还包括：
[0122]
训练所述目标类别识别模型，所述训练方法包括：
[0123]
基于预先获取的训练数据集，输入待训练的目标类别识别模型，确定多个第一候选区域，其中，所述训练数据集包括带样本标签和目标标识的第一图像数据，以及无样本标签和无标识的第二图像数据；
[0124]
从所述多个第一候选区域中选出属于同一类别的第二候选区域，并将所述第二候选区域进行区域融合，确定融合候选区域；
[0125]
获取所述第一候选区域与所述融合候选区域的一致性损失值，根据所述一致性损失值与所述第一图像数据中目标对象的特征值的差值，训练所述目标类别识别模型的损失函数，直至所述损失函数满足预设收敛条件。
[0126]
本公开实施例通过带样本标签和目标标识的第一图像数据，以及无样本标签和无标识的第二图像数据，进行半监督学习训练，并且通过第一图像数据进行结果验证，能够提高模型识别的准确度。
[0127]
通过获取第一候选区域与融合候选区域的一致性损失值，能够进一步判断图像中同一区域的目标类别前后是否一致，若一致，则可以提高此次训练模型对应的参数占比，若不一致，则需要适当调整模型的训练参数，以使结果更加接近。
[0128]
可以按照如下公式所述的方法训练所述目标类别识别模型的损失函数：
[0129][0130]
其中，m表示训练数据集的第一候选区域的个数，n表示训练数据集的第二候选区域的个数，α
t
表示所述第一候选区域与所述融合候选区域的一致性损失值，h
t
(x)表示所述一致性损失值与所述第一图像数据中目标对象的特征值的差值,表示t时刻预测为c的概率值，r表示类别。
[0131]
通过采集多个时刻目标区域的监控图像，能够保证实时监控目标区域的同时，还能够降低数据处理的压力，避免大流量数据出现，不利于后期数据分析；基于每两个相邻时刻的监控图像是否变化，能够判断监控图像中是否存在运动目标，其中，运动目标是火情预警的重要标志，能够保证进行早期预警，降低森林火宅损失。
[0132]
s103、若所述目标类别与预设预警类别相匹配，则基于所述目标类别、所述目标区域对应的属性信息，通过预先训练好的火情预警模型，输出火情信息。
[0133]
在一种可选的实施方式中，
[0134]
所述火情信息包括预警信息和火警信息，所述火情信息还包括所述目标区域的位置信息；
[0135]
基于所述目标类别、所述目标区域对应的属性信息，通过预先训练好的火情预警模型，输出火情信息的方法包括：
[0136]
通过预先训练好的火情预警模型，分别为所述目标类别设置第一权重评估值、为所述目标区域对应的属性信息设置第二权重评估值；
[0137]
根据所述第一权重评估值、所述第二权重评估值，确定所述目标类别在所述目标区域的火情预测值；
[0138]
若所述火情预测值低于所述目标类别预设的火情阈值，则输出预警信息；
[0139]
若所述火情预测值高于所述目标类别预设的火情阈值，则输出火警信息。
[0140]
示例性地，本公开实施例中，预设预警类别可以包括明火类别、引起火情的烟雾类别以及自然烟雾类别中一种或多种的结合；通过设定不同类别的预警类别，能够针对性地输出火情信息，对于明火类别和引起火情的烟雾类别，第一时间同步至管理部门，并且基于图像识别，确定火情位置，将火情信息与火情位置均发送至一线人员，及时处理，降低火情危害；对于自然烟雾类别，则只是输出预警信息，避免其他区域的不当操作引起火宅。
[0141]
其中，通过结合目标区域对应的属性信息，并对属性信息和目标设备设定权重评估值，能够得到火情预测值，其中，火情预测值可以是0-1之间的自然数；
[0142]
可选地，目标类别预设的火情阈值可以为0.5，也即若火情预测值高于0.5，可以认
定为容易引起火灾，则输出火警信息；若火情预测值低于0.5，则可以认定为不易引起火灾，则输出预警信息即可。
[0143]
在一种可选的实施方式中，
[0144]
根据所述第一权重评估值、所述第二权重评估值，确定所述目标类别在所述目标区域的火情预测值的方法包括：
[0145]
按照如下公式所示的方法确定火情预测值：
[0146][0147]
其中，di表示第i个目标类别对应的第一权重评估值，ci表示第i个目标区域对应的第二权重评估值，h表示目标类别的个数，k表示目标区域的个数。
[0148]
若目标类别与预设预警类别相匹配，则结合目标类别本身，以及目标区域对应的属性信息，通过火情预警模型，输出火情信息，针对目标区域当地的属性信息，输出针对性的火情信息，不仅能够预防火警，还能够按梯次和层级进行火警预防。
[0149]
本公开提供一种基于数据处理的森林防火监控方法，包括：
[0150]
采集多个时刻目标区域的监控图像，基于每两个相邻时刻的监控图像是否变化，判断所述监控图像中是否存在运动目标；
[0151]
通过采集多个时刻目标区域的监控图像，能够保证实时监控目标区域的同时，还能够降低数据处理的压力，避免大流量数据出现，不利于后期数据分析；基于每两个相邻时刻的监控图像是否变化，能够判断监控图像中是否存在运动目标，其中，运动目标是火情预警的重要标志，能够保证进行早期预警，降低森林火宅损失。
[0152]
若存在，则提取所述运动目标的运动特征，基于预先训练好的目标类别识别模型，生成所述运动目标的图像特征与预设标准图像特征的特征比值，根据所述特征比值，判断所述运动目标的图像特征对应的目标类别，
[0153]
通过提取运动目标的运动特征，并且根据目标类别识别模型，能够判断运动目标的图像特征对应的目标类别，不仅能够识别静态监控图像中的运动目标，还能够判断运动目标的目标类别，有效排除树枝晃动、云的飘逸以及其他动物奔跑对烟雾的干扰。
[0154]
若所述目标类别与预设预警类别相匹配，则基于所述目标类别、所述目标区域对应的属性信息，通过预先训练好的火情预警模型，输出火情信息。
[0155]
若目标类别与预设预警类别相匹配，则结合目标类别本身，以及目标区域对应的属性信息，通过火情预警模型，输出火情信息，针对目标区域当地的属性信息，输出针对性的火情信息，不仅能够预防火警，还能够按梯次和层级进行火警预防。
[0156]
图3示例性地示出本公开实施例一种基于数据处理的森林防火监控装置的结构示意图，如图3所示，本公开实施例的基于数据处理的森林防火监控装置可以包括：
[0157]
图像采集单元31，用于采集多个时刻目标区域的监控图像，基于每两个相邻时刻的监控图像是否变化，判断所述监控图像中是否存在运动目标；
[0158]
类别判断单元32，用于若图像采集单元所采集的监控图像中存在运动目标，则提取所述运动目标的运动特征，基于预先训练好的目标类别识别模型，生成所述运动目标的图像特征与预设标准图像特征的特征比值，根据所述特征比值，判断所述运动目标的图像
特征对应的目标类别，
[0159]
火情输出单元33，用于若类别判断单元判定的所述目标类别与预设预警类别相匹配，则基于所述目标类别、所述目标区域对应的属性信息，通过预先训练好的火情预警模型，输出火情信息。
[0160]
本公开实施例的另一方面，提供一种电子设备，包括：
[0161]
处理器；
[0162]
用于存储处理器可执行指令的存储器；
[0163]
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述中任意一项所述的基于数据处理的森林防火监控方法。
[0164]
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
[0165]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0166]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0167]
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(i sa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如sma l l ta l k、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
[0168]
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0169]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0170]
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0171]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0172]
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
[0173]
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
[0174]
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。
技术特征：1.一种基于数据处理的森林防火监控方法，其特征在于，包括：采集多个时刻目标区域的监控图像，基于每两个相邻时刻的监控图像是否变化，判断所述监控图像中是否存在运动目标；若存在，则提取所述运动目标的运动特征，基于预先训练好的目标类别识别模型，生成所述运动目标的图像特征与预设标准图像特征的特征比值，根据所述特征比值，判断所述运动目标的图像特征对应的目标类别，若所述目标类别与预设预警类别相匹配，则基于所述目标类别、所述目标区域对应的属性信息，通过预先训练好的火情预警模型，输出火情信息。2.根据权利要求1所述的基于数据处理的森林防火监控方法，其特征在于，提取所述运动目标的运动特征的方法包括：将当前监控图像中运动目标所在区域进行像素分类，提取当前监控图像中与背景信息不同像素类别的运动目标的二值图；基于当前监控图像中运动目标的二值图对应的当前帧，获取所述当前帧与相邻时刻的监控图像中的历史帧的交并比，生成所述运动目标的边缘轨迹；在所述运动目标的边缘轨迹中设置采样点，对采样点的历史形态特征和运动特征进行膨胀处理，提取所述运动目标的运动特征。3.根据权利要求2所述的基于数据处理的森林防火监控方法，其特征在于，获取所述当前帧与相邻时刻的监控图像中的历史帧的交并比，生成所述运动目标的边缘轨迹的方法包括：将当前帧与历史帧的第t帧图像和t-1帧图像进行差分运算，对第t帧图像和第t+1帧图像进行差分运算，分别得到当前帧对应的当前三帧差分运算结果和历史帧对应的历史三帧差分运算结果；将所述当前三帧差分运算结果与所述历史三帧差分运算结果进行中值滤波后，提取各自图像中运动目标的轮廓的质心位置和等距初始轮廓点；基于所述运动目标的轮廓的质心位置、当前帧图像和历史帧的边缘梯度信息，以及所述等距初始轮廓点，通过轮廓实例分割算法收缩初始轮廓曲线，直至符合预设收缩条件，生成所述运动目标的边缘轨迹。4.根据权利要求3所述的基于数据处理的森林防火监控方法，其特征在于，基于所述运动目标的轮廓的质心位置、当前帧图像和历史帧的边缘梯度信息，以及所述等距初始轮廓点，通过轮廓实例分割算法收缩初始轮廓曲线，直至符合预设收缩条件，生成所述运动目标的边缘轨迹的方法包括：按照如下公式所示的方法生成所述运动目标的边缘轨迹：其中，n
a
表示点集a中点的个数，n
t+1
(u,v)表示t+1时刻像素点的(u,v)的灰度值，b
t
(x,y)表示t时刻像素点的(x,y)的灰度值，δ表示像素点((x,y)和(u,v))的差分角点，v(s)表示初始轮廓曲线的一阶导数，e(v(s))ds表示能量函数，能量函数包括内部能量函数和外部能量函数。
5.根据权利要求1所述的基于数据处理的森林防火监控方法，其特征在于，所述目标类别识别模型包括用于区域聚类的第一层、用于识别区域中心的第二层以及用于确定形状类别的第三层；基于预先训练好的目标类别识别模型，生成所述运动目标的图像特征与预设标准图像特征的特征比值的方法包括：基于预先训练好的目标类别识别模型的第一层，对所述运动目标的运动特征进行超像素分割，并对超像素分割后的结果进行聚类，确定多个运动区域；基于预先训练好的目标类别识别模型的第二层，确定所述多个运动区域的像素均值和像素方差，根据所述像素均值之差对应的第一权重值、所述像素方差对应的第二权重值，确定所述多个运动区域的中心点；基于预先训练好的目标识别模型的第三层，根据所述多个运动区域的像素值、所述多个运动区域的中心点、所述中心点与所述运动区域中每个像素点的距离的平均值以及预设标准图像特征，生成所述运动目标的图像特征与预设标准图像特征的特征比值。6.根据权利要求5所述的基于数据处理的森林防火监控方法，其特征在于，在生成所述运动目标的图像特征与预设标准图像特征的特征比值之前，所述方法还包括：训练所述目标类别识别模型，所述训练方法包括：基于预先获取的训练数据集，输入待训练的目标类别识别模型，确定多个第一候选区域，其中，所述训练数据集包括带样本标签和目标标识的第一图像数据，以及无样本标签和无标识的第二图像数据；从所述多个第一候选区域中选出属于同一类别的第二候选区域，并将所述第二候选区域进行区域融合，确定融合候选区域；获取所述第一候选区域与所述融合候选区域的一致性损失值，根据所述一致性损失值与所述第一图像数据中目标对象的特征值的差值，训练所述目标类别识别模型的损失函数，直至所述损失函数满足预设收敛条件。7.根据权利要求6所述的基于数据处理的森林防火监控方法，其特征在于，按照如下公式所述的方法训练所述目标类别识别模型的损失函数：其中，m表示训练数据集的第一候选区域的个数，n表示训练数据集的第二候选区域的个数，α
t
表示所述第一候选区域与所述融合候选区域的一致性损失值，h
t
(x)表示所述一致性损失值与所述第一图像数据中目标对象的特征值的差值,表示t时刻预测为c的概率值，r表示类别。8.根据权利要求1所述的基于数据处理的森林防火监控方法，其特征在于，所述火情信息包括预警信息和火警信息，所述火情信息还包括所述目标区域的位置信息；基于所述目标类别、所述目标区域对应的属性信息，通过预先训练好的火情预警模型，输出火情信息的方法包括：通过预先训练好的火情预警模型，分别为所述目标类别设置第一权重评估值、为所述
目标区域对应的属性信息设置第二权重评估值；根据所述第一权重评估值、所述第二权重评估值，确定所述目标类别在所述目标区域的火情预测值；若所述火情预测值低于所述目标类别预设的火情阈值，则输出预警信息；若所述火情预测值高于所述目标类别预设的火情阈值，则输出火警信息。9.根据权利要求8所述的基于数据处理的森林防火监控方法，其特征在于，根据所述第一权重评估值、所述第二权重评估值，确定所述目标类别在所述目标区域的火情预测值的方法包括：按照如下公式所示的方法确定火情预测值：其中，d
i
表示第i个目标类别对应的第一权重评估值，c
i
表示第i个目标区域对应的第二权重评估值，h表示目标类别的个数，k表示目标区域的个数。10.一种电子设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至9中任意一项所述的方法。
技术总结本公开提供一种基于数据处理的森林防火监控方法，包括采集多个时刻目标区域的监控图像，基于每两个相邻时刻的监控图像是否变化，判断所述监控图像中是否存在运动目标；若存在，则提取所述运动目标的运动特征，基于预先训练好的目标类别识别模型，生成所述运动目标的图像特征与预设标准图像特征的特征比值，根据所述特征比值，判断所述运动目标的图像特征对应的目标类别，若所述目标类别与预设预警类别相匹配，则基于所述目标类别、所述目标区域对应的属性信息，通过预先训练好的火情预警模型，输出火情信息。本公开的基于数据处理的森林防火监控方法，能够准确识别火情，降低火情误报率，并且能够准确对可能引起火情的目标进行标记。行标记。行标记。
技术研发人员：刘文珍 宋敬洁 谢言
受保护的技术使用者：刘文珍
技术研发日：2022.04.18
技术公布日：2022/7/4
