1.本发明属于视频质量评估领域，具体涉及一种监控视频质量评估方法、系统及存储介质。
背景技术：2.目前运行的监控系统中存在大量非正常运行的摄像机，而且监控系统的运维工作基本还是依靠人工检测和处理，即使监控系统中存在了一些故障监测的机制或者手段，也只是简单地判断网络是否联通，摄像机是否在线等功能，无法真正做到对监控系统中存在问题的摄像头进行甄别。另一方面，如今随着计算机网络和监控网络的迅速发展，摄像头数量增长迅猛，单纯地依靠人力来对监控摄像质量进行判断逐渐变得不现实。
3.随着人工智能的迅速发展，由机器代替人工完成相对固定的工作已经成为一种趋势，这不仅可以作为人工的辅助手段，更能降低人工成本。目前视频质量的评估方法大多局限于对图像质量的评估，停留在对图像模糊、色彩异常、雪花干扰、云台失控等方面的检测上，而没有提出一种能够从监控内容着手的、与人的主观判断相符的适用于监控摄像这种特殊视频的质量评估方法，这在针对监控视频做分析时，常常表现出局限性。
技术实现要素：4.本发明的目的在于提供一种监控视频质量评估方法、系统及存储介质，通过对视频内容进行区域有效性和目标有效性两方面的打分并加权得到评估分数，工作人员根据监控视频评分确定监控区域布设不合理的监控设备并进行人工调整，降低监控系统检测过程中人工成本。
5.为达到上述目的，本发明所采用的技术方案是：
6.本发明第一方面提供了一种监控视频质量评估方法，包括：
7.采集监控设备拍摄的监控视频，并由监控视频提取各帧的监控图像；
8.将前若干帧对应的监控图像输入至异常检测模块，判断监控视频是否存在质量缺陷；
9.当判断监控视频存在质量缺陷时，放弃评估并输出监控视频权限预警；否则，将剩余的监控图像根据用户设置分别输入至预先训练好的场景分割模型和预先训练好的目标检测模型，获得场景分割评分和目标检测评分；
10.将场景分割评分和目标检测评分进行加权求和得监控视频评分，通过监控视频评分辅助人工对监控设备的检测。
11.优选的，将前若干帧对应的监控图像输入至异常检测模块，判断监控视频是否存在质量缺陷的方法包括：
12.对监控图像进行灰度化处理，计算监控图像内灰度值超过预设阈值的像素点数量；当监控图像内灰度值超过预设阈值的像素点大于80％总像素点数量时，输出黑屏或蓝屏的质量缺陷预警；
13.当监控图像内灰度值超过预设阈值的像素点小于80％总像素点数量时，通过sobel算法计算监控图像的边缘梯度g；根据边缘梯度g判断监控图像是否存在清晰度质量缺陷。
14.优选的，通过sobel算法计算监控图像的边缘梯度g的方法包括：
15.将模板矩阵sx和模板矩阵sy分别与监控图像进行平面卷积，得到的横向亮度差gx和纵向亮度差gy；
16.模板矩阵sx和模板矩阵sy的公式为：
[0017][0018]
根据横向亮度差gx和纵向亮度差gy计算监控图像的边缘梯度g，公式为：
[0019][0020]
优选的，将监控图像输入至预先训练好的场景分割模型，获得场景分割评分的方法包括：
[0021]
将监控图像输入进行场景分割模型获得预测图；统计目标区域与场景区域的占比情况，计算场景分割评分s
seg
的表达公式为：
[0022]sseg
＝n
target
/(width
×
height)
×
100％
[0023]
其中，n
target
表示目标区域的像素点数量；width为监控图像宽度方向的像素点数量；height为监控图像的高度方向的像素点数量。
[0024]
优选的，将监控图像输入进行场景分割模型获得预测图的方法包括：
[0025]
通过场景分割模型的主干网络对监控图像提取监控特征和浅层特征；
[0026]
将监控特征依次输入至aspp网络结构进行空洞卷积计算后，并通过拼接获取叠加特征；对叠加特征进行1
×
1卷积获得融合特征；
[0027]
将浅层特征经过1
×
1卷积细化特征后与4倍上采样的融合特征在通道方向拼接，然后通过经过3
×
3卷积和4倍上采样得到预测图。
[0028]
优选的，将监控图像输入至预先训练好的目标检测模型，获得目标检测评分的方法包括：
[0029]
将监控图像输入至yolo网络提取目标特征，对目标特征进行分类获得置信度；
[0030]
计算目标特征中心与图像下边缘中点的欧氏距离，将目标特征的欧氏距离和置信度的乘积作为目标检测评分。
[0031]
优选的，所述监控视频评分的计算公式为：
[0032]ssum
＝α1·sseg
+(α2+α3)
·sdet
[0033]
其中，s
sum
为监控视频评分，s
det
表示为目标检测评分，α1表示为场景分割评分的加权系数，α2和α3为目标检测评分的加权系数，当目标特征的所占像素区域大于历史最大值时，α3等于0；当目标特征的所占像素区域大于历史最大值时，α3等于设定值。
[0034]
优选的，所述场景分割模型和目标检测模型训练过程包括：采集监控场所的相关训练图像，通过labelme对训练图像进行标注，构建训练数据集；通过训练数据集对场景分割模型和目标检测模型进行训练。
[0035]
本发明第二方面提供了一种监控视频质量评估系统，包括：
[0036]
采集模块，用于采集监控设备拍摄的监控视频，并由监控视频提取各帧的监控图像；
[0037]
检测模块，用于将前若干帧对应的监控图像输入至异常检测模块，判断监控视频是否存在质量缺陷；
[0038]
评分模块，用于将剩余的监控图像根据用户设置分别输入至预先训练好的场景分割模型和预先训练好的目标检测模型，获得场景分割评分和目标检测评分；
[0039]
加权求和模块，用于将场景分割评分和目标检测评分进行加权求和得监控视频评分，通过监控视频评分辅助人工对监控设备的检测。
[0040]
本发明第三方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行所述的监控视频质量评估方法。
[0041]
与现有技术相比，本发明的有益效果：
[0042]
(1)本发明将前若干帧对应的监控图像输入至异常检测模块，判断监控视频是否存在质量缺陷；当判断监控视频存在质量缺陷时，放弃评估并输出监控视频权限预警；初步筛选出存在蓝屏、黑屏或清晰度差等质量缺陷的监控视频，辅助人工确定存在质量缺陷的监控设备。
[0043]
(2)本发明将剩余的监控图像根据用户设置分别输入至预先训练好的场景分割模型和预先训练好的目标检测模型，获得场景分割评分和目标检测评分；将场景分割评分和目标检测评分进行加权求和得监控视频评分，通过监控视频评分辅助人工对监控设备的检测；将场景分割评分和目标检测评分进行加权求和得监控视频评分，工作人员根据监控视频评分确定监控区域布设不合理的监控设备并进行人工调整，提高了监控质量并降低了检测过程中工作人员的劳动强度。
附图说明
[0044]
图1是本发明实施例提供的一种监控视频质量评估方法的流程图；
[0045]
图2是本发明实施例提供的场景分割模型的结构图；
[0046]
图3是本发明实施例提供的目标检测模型的结构图。
具体实施方式
[0047]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0048]
实施例一
[0049]
如图1至图3所示，一种监控视频质量评估方法，包括：
[0050]
采集监控设备拍摄的监控视频，利用ffmpeg对监控视频解码，将解码得到的yuv格式数据转为rgb格式数据，并由监控视频提取各帧的监控图像；
[0051]
将前若干帧对应的监控图像输入至异常检测模块，判断监控视频是否存在质量缺陷的方法包括：
[0052]
对监控图像通过opencv转化为灰度图，计算监控图像内灰度值超过预设阈值的像素点数量；当监控图像内灰度值超过预设阈值的像素点大于80％总像素点数量时，输出黑屏或蓝屏的质量缺陷预警；
[0053]
当监控图像内灰度值超过预设阈值的像素点小于80％总像素点数量时，通过sobel算法计算监控图像的边缘梯度g；根据边缘梯度g判断监控图像是否存在清晰度质量缺陷。
[0054]
通过sobel算法计算监控图像的边缘梯度g的方法包括：
[0055]
将模板矩阵sx和模板矩阵sy分别与监控图像进行平面卷积，得到的横向亮度差gx和纵向亮度差gy；
[0056]
模板矩阵sx和模板矩阵sy的公式为：
[0057][0058]
根据横向亮度差gx和纵向亮度差gy计算监控图像的边缘梯度g，公式为：
[0059][0060]
当判断监控视频存在质量缺陷时，放弃评估并输出监控视频权限预警；否则，将剩余的监控图像根据用户设置分别输入至预先训练好的场景分割模型和预先训练好的目标检测模型，获得场景分割评分和目标检测评分；
[0061]
所述场景分割模型和目标检测模型训练过程包括：采集监控场所的相关训练图像，通过labelme对训练图像进行标注，构建训练数据集；通过训练数据集对场景分割模型和目标检测模型进行训练。
[0062]
将监控图像输入至预先训练好的场景分割模型，获得场景分割评分的方法包括：
[0063]
通过场景分割模型的主干网络对监控图像进行deeplabv3+运算，提取监控特征和浅层特征；
[0064]
如图2所示，将监控特征依次输入至atrous spatialpyramidpooling(aspp)网络结构进行空洞卷积计算后，并通过拼接获取叠加特征，aspp网络结构能够捕捉更多的尺度信息，同时避免全卷积网络在提取特征时由于池化导致的细节丢失，aspp网络结构中encoder-decoder结构可以更好地保护原图中的边缘信息，实现像素级的语义分割；对叠加特征进行1
×
1卷积获得融合特征；
[0065]
将浅层特征经过1
×
1卷积细化特征后与4倍上采样的融合特征在通道方向拼接，然后通过经过3
×
3卷积和4倍上采样得到预测图。
[0066]
统计预测图中目标区域与场景区域的占比情况，计算场景分割评分s
seg
的表达公式为：
[0067]sseg
＝n
target
/(width
×
height)
×
100％
[0068]
其中，n
target
表示目标区域的像素点数量；width为监控图像宽度方向的像素点数量；height为监控图像的高度方向的像素点数量；目标区域主要包括道路、桥梁、建筑和草地等人车目标能够进行活动的区域，根据目标区域在场景中的占比衡量摄像头架设的角度及位置是否合理。
[0069]
将监控图像输入至预先训练好的目标检测模型，获得目标检测评分的方法包括：
[0070]
将监控图像输入至yolo网络提取目标特征，目标特征主要包括交通工具(包含小客车、巴士、货车及电动车)、行人和车牌；对目标特征进行分类获得置信度；本实施例yolo网络为yolov3，其主干网络为如图3的darknet-53，该网络由52个卷积层和1个全连接层组
成，它借鉴了resnet的残差结构，通过residual避免深层网络出现退化，同时避免使用pooling层，而是利用stride来获取更大的感受野，使得它相较于resnet-101精度没有明显下降，但计算速度有了明显的提升。同时，yolov3在主干网络中利用多个尺度的特征图进行预测，兼顾了对于大中小目标的检测精度。
[0071]
计算目标特征中心与图像下边缘中点的欧氏距离，将目标特征的欧氏距离和置信度的乘积作为目标检测评分。
[0072]
将场景分割评分和目标检测评分进行加权求和得监控视频评分，通过监控视频评分辅助人工对监控设备的检测。
[0073]
所述监控视频评分的计算公式为：
[0074]ssum
＝α1·sseg
+(α2+α3)
·sdet
[0075]
其中，s
sum
为监控视频评分，s
det
表示为目标检测评分，α1表示为场景分割评分的加权系数，α2和α3为目标检测评分的加权系数，当目标特征的所占像素区域大于历史最大值时，α3等于0；当目标特征的所占像素区域大于历史最大值时，α3等于设定值。
[0076]
检测过程中对于某个局域网内的摄像头，利用前端页面实现摄像头评估的可选择性，根据用户设置的单个摄像头评估时长以及合格分数，对用户选择的这若干摄像头进行轮询评估，评估结束后对分数低于合格分数的摄像头做出警报，同时提供评估过程中的摄像头视频供工作人员查看，由工作人员确认该摄像头是否存在问题。
[0077]
实施例二
[0078]
本发明第二方面提供了一种监控视频质量评估系统，本系统可以应用于实施例一所述监控视频质量评估方法，包括：
[0079]
采集模块，用于采集监控设备拍摄的监控视频，并由监控视频提取各帧的监控图像；
[0080]
检测模块，用于将前若干帧对应的监控图像输入至异常检测模块，判断监控视频是否存在质量缺陷；
[0081]
评分模块，用于将剩余的监控图像根据用户设置分别输入至预先训练好的场景分割模型和预先训练好的目标检测模型，获得场景分割评分和目标检测评分；
[0082]
加权求和模块，用于将场景分割评分和目标检测评分进行加权求和得监控视频评分，通过监控视频评分辅助人工对监控设备的检测。
[0083]
实施例三
[0084]
本发明第三方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，所述程序执行实施例一所述的监控视频质量评估方法。
[0085]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0086]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0087]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0088]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0089]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
技术特征：1.一种监控视频质量评估方法，其特征在于，包括：采集监控设备拍摄的监控视频，并由监控视频提取各帧的监控图像；将前若干帧对应的监控图像输入至异常检测模块，判断监控视频是否存在质量缺陷；当判断监控视频存在质量缺陷时，放弃评估并输出监控视频权限预警；否则，将剩余的监控图像根据用户设置分别输入至预先训练好的场景分割模型和预先训练好的目标检测模型，获得场景分割评分和目标检测评分；将场景分割评分和目标检测评分进行加权求和得监控视频评分，通过监控视频评分辅助人工对监控设备的检测。2.根据权利要求1所述的一种基于步态信息的疲劳检测方法，其特征在于，将前若干帧对应的监控图像输入至异常检测模块，判断监控视频是否存在质量缺陷的方法包括：对监控图像进行灰度化处理，计算监控图像内灰度值超过预设阈值的像素点数量；当监控图像内灰度值超过预设阈值的像素点大于80％总像素点数量时，输出黑屏或蓝屏的质量缺陷预警；当监控图像内灰度值超过预设阈值的像素点小于80％总像素点数量时，通过sobel算法计算监控图像的边缘梯度g；根据边缘梯度g判断监控图像是否存在清晰度质量缺陷。3.根据权利要求2所述的一种基于步态信息的疲劳检测方法，其特征在于，通过sobel算法计算监控图像的边缘梯度g的方法包括：将模板矩阵sx和模板矩阵sy分别与监控图像进行平面卷积，得到的横向亮度差gx和纵向亮度差gy；模板矩阵sx和模板矩阵sy的公式为：根据横向亮度差gx和纵向亮度差gy计算监控图像的边缘梯度g，公式为：4.根据权利要求1所述的一种基于步态信息的疲劳检测方法，其特征在于，将监控图像输入至预先训练好的场景分割模型，获得场景分割评分的方法包括：将监控图像输入进行场景分割模型获得预测图；统计目标区域与场景区域的占比情况，计算场景分割评分s
seg
的表达公式为：s
seg
＝n
target
/(width
×
height)
×
100％其中，n
target
表示目标区域的像素点数量；width为监控图像宽度方向的像素点数量；height为监控图像的高度方向的像素点数量。5.根据权利要求4所述的一种基于步态信息的疲劳检测方法，其特征在于，将监控图像输入进行场景分割模型获得预测图的方法包括：通过场景分割模型的主干网络对监控图像提取监控特征和浅层特征；将监控特征依次输入至aspp网络结构进行空洞卷积计算后，并通过拼接获取叠加特征；对叠加特征进行1
×
1卷积获得融合特征；将浅层特征经过1
×
1卷积细化特征后与4倍上采样的融合特征在通道方向拼接，然后通过经过3
×
3卷积和4倍上采样得到预测图。
6.根据权利要求5所述的一种基于步态信息的疲劳检测方法，其特征在于，将监控图像输入至预先训练好的目标检测模型，获得目标检测评分的方法包括：将监控图像输入至yolo网络提取目标特征，对目标特征进行分类获得置信度；计算目标特征中心与图像下边缘中点的欧氏距离，将目标特征的欧氏距离和置信度的乘积作为目标检测评分。7.根据权利要求6所述的一种基于步态信息的疲劳检测方法，其特征在于，所述监控视频评分的计算公式为：s
sum
＝α1·
s
seg
+(α2+α3)
·
s
det
其中，s
sum
为监控视频评分，s
det
表示为目标检测评分，α1表示为场景分割评分的加权系数，α2和α3为目标检测评分的加权系数，当目标特征的所占像素区域大于历史最大值时，α3等于0；当目标特征的所占像素区域大于历史最大值时，α3等于设定值。8.根据权利要求1所述的一种基于步态信息的疲劳检测方法，其特征在于，所述场景分割模型和目标检测模型训练过程包括：采集监控场所的相关训练图像，通过labelme对训练图像进行标注，构建训练数据集；通过训练数据集对场景分割模型和目标检测模型进行训练。9.一种监控视频质量评估系统，其特征在于，包括：采集模块，用于采集监控设备拍摄的监控视频，并由监控视频提取各帧的监控图像；检测模块，用于将前若干帧对应的监控图像输入至异常检测模块，判断监控视频是否存在质量缺陷；评分模块，用于将剩余的监控图像根据用户设置分别输入至预先训练好的场景分割模型和预先训练好的目标检测模型，获得场景分割评分和目标检测评分；加权求和模块，用于将场景分割评分和目标检测评分进行加权求和得监控视频评分，通过监控视频评分辅助人工对监控设备的检测。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至权利要求8任意一项所述的监控视频质量评估方法。
技术总结本发明公开了视频质量评估领域的一种监控视频质量评估方法、系统及存储介质，包括：采集监控设备拍摄的监控视频，并由监控视频提取各帧的监控图像；将前若干帧对应的监控图像输入至异常检测模块，判断监控视频是否存在质量缺陷；当判断监控视频存在质量缺陷时，放弃评估并输出监控视频权限预警；否则，将剩余的监控图像根据用户设置分别输入至预先训练好的场景分割模型和预先训练好的目标检测模型，获得场景分割评分和目标检测评分；将场景分割评分和目标检测评分进行加权求和得监控视频评分，本发明根据监控视频评分确定监控区域布设不合理的监控设备并进行人工调整，降低监控系统检测过程中人工成本。统检测过程中人工成本。统检测过程中人工成本。
技术研发人员：李晓飞 赵云杰
受保护的技术使用者：南京邮电大学
技术研发日：2022.03.23
技术公布日：2022/7/5
