本发明属于土木工程，具体涉及一种基于计算机视觉的砌体建筑遗产残损识别与定位方法。
背景技术：
1、建筑遗产具有很高的历史价值、艺术价值和科学价值，是国家“文化自信”和“文化强国”的重要物质载体。砌体建筑遗产是建筑遗产的最重要组成部分，其数量繁多，分布广泛，而由于长期风化、雨水冲刷等自然因素以及交通、施工等人为因素的叠加，许多砌体建筑遗产存在残损、风化、开裂、变形、植物生长等残损病害。这些残损病害一旦累积到一定程度，就会造成砌体建筑遗产不可逆的破坏，严重时会造成文物本体的损毁，因此，迫切需要对砌体建筑遗产进行预防性保护，做到风险提前预知，最大限度地降低风险发生的概率。砌体建筑遗产的结构安全监测是预防性保护的主要内容，而砌体建筑遗产的一项重要残损指标就是残损，如何基于所采集的有限图片数据，在图片具有复杂背景的情况下对其残损进行自动检测以及量化是目前所面临的一项困难。因此，亟需针对砌体建筑遗产保护开发一种基于计算机视觉的残损检测方法。
2、目前，传统的检测方法依靠人工目测，辅以测量或检测设备，存在检测效率低、精度差、风险高、难度大等问题，而计算机视觉方法在土木行业、制造业的质量检测领域逐渐焕发出巨大的活力，其检测精度大大超过传统的目视检查。但目前，砌体建筑遗产的残损自动检测与量化还存在以下问题：(a)建筑遗产残损病害相关数据集的建立多数掺杂了人为筛选的因素，例如砌体建筑遗产残损病害数据集内图片通常只包含破损部分的表面，而非整体建筑，图片的噪声较小，目标残损病害占比较大，泛化能力较弱；(b)建筑遗产目标检测相关研究中，网络对于背景杂乱的航拍图片的特征提取能力较弱，且没有关注到大体量建筑遗产日常巡检中检测速度的重要性；(c)结构表面裂缝、剥落残损的图像分割算法发展较为全面，但其图像通常噪声较小，且背景与目标处在同一个平面，其所适用的图像分割算法难以分割大视角的图片，而对于位于野外的砌体建筑遗产，需要结合多种图像分割算法以提高分割的精度。
技术实现思路
1、为解决上述问题，本发明公开了一种基于计算机视觉的砌体建筑遗产残损识别与定位方法，支持快速检测、支持二次开发、支持重复利用，具有自动化、智能化的特点，通过计算机视觉的方法确保残损检测的准确性。
2、为达到上述目的，本发明的技术方案如下：
3、一种基于计算机视觉的砌体建筑遗产残损识别与定位方法，包括以下步骤：
4、a)设置砌体建筑遗产残损自动识别模块：
5、第一步，形成数据集。使用无人机对砌体建筑遗产(包括建筑遗产本体以及环境)进行拍摄，得到初始高精度图片数据，分析典型砌体建筑遗产残损病害特征，使用深度学习标注软件labelme对图片进行标注，得到砌体建筑遗产缺残损害数据集。
6、第二步，针对uav图像特点改进yolov5n网络得到improved-yolov5n自动识别网络。无人机航拍图片由于背景占比较大，而目标残损病害区域较小，多通道检测中存在目标物体的有效通道数量较少，因此引入seattention，从通道的角度赋予图像不同位置不同的权重，从而关注更重要的特征信息。无人机航拍图片通常背景部分占比较大，容易在训练时产生目标与背景分类不平衡问题，因此引入focal loss思想，使得模型更关注难分类样本，将focal-ciou作为模型的bounding box regression loss具有良好的效果。由于砌体建筑遗产，例如长城、城墙、桥梁、古塔、建筑群等，体量往往较大，因此对目标检测模型的大小、推理速度、时效性要求较高，而通过引入剪枝方法，能够在不影响模型性能的前提下，减小模型尺寸，提高推理速度。通过剪枝降低模型的大小之后，仍然需要保持模型的性能，因此引入模型蒸馏技术，通过学习复杂模型的输出来训练较小的目标模型，从而使其性能接近复杂模型，最终得到检测精度(map@0.5)达到85.5％，检测速度(fps)达到824.3的improved-yolov5n目标检测网络。
7、b)设置砌体建筑遗产残损自动定位与量化模块：
8、第一步，在待预测砌体建筑遗产表面设置靶标，根据已知物理信息的靶标在拍摄图像上所呈现的位置和大小得到图像相应的透视变换矩阵以及像素标定值，透视变换方法如下：
9、
10、式中，[x,y,z]t为变换后的目标点，[x,y,1]t为变换前源点，均可根据已知物理信息的靶标得到，m为透视变换矩阵。
11、像素标定方法如下：
12、wa＝kωi
13、式中，wa为真实物理长度；ωi为图像中目标所占像素个数；k为像素长度与物理距离之间的转换系数。
14、第二步，标识残损所在的目标平面，获取目标平面角点相对于原图的位置。
15、第三步，将待预测图像送入improved-yolov5n检测网络进行检测，得到残损的预测框后进行裁剪，接着对裁剪后的目标残缺区域进行基于遗传算法的多阈值图像分割，首先将图像转换为灰度图，像素点的灰度范围为0到l-1，图像像素数为n，i-level灰度值的像素数为ni，pi表示i-level灰度值的像素出现的概率：
16、
17、式中，i表示第i级灰度，范围为0～l-1，l-1为灰度的最大值。
18、使用阈值t将图像分割目标c0(target)和c1(background)，ω0(t)和ω1(t)分别表示阈值为t时，c0和c1发生的概率，ω0(t)和ω1(t)可通过下式得到：
19、
20、ω1(t)＝1-ω0(t)
21、co与c1的灰度均值分别为μ0(t)、μ1(t)，全图的灰度均值为μ，可由下式得到：
22、
23、μ＝ω0μ0+ω1μ1
24、阈值为t的类间方差定义如下：
25、σ2(t)＝ω0(μ0-μ)2+ω1(μ1-μ)2
26、将单阈值扩展到多阈值，即：threshold＝[t1，t2，…，tn]，累计每个阈值区间内的类间方差如下式所示：
27、
28、式中，n表示阈值的个数；ωk表示灰度值位于[tk-1，tk]区间内的概率。
29、此时最大类间方差定义如下：
30、
31、当类间方差σ2(t1，t2，…，tn)达到最大值时，可以获得otsu多阈值分割的最优阈值集合该过程采用遗传算法进行搜优。根据最优阈值集合对图像进行二值化分割，而后进一步使用开、闭运算消除图像噪声，获取清晰残损边缘，即可获得残损边缘相对于原图的位置。
32、第四步，采用第一步得到的图像像素标定值以及透视变换矩阵对目标角点以及残损边缘点进行变换以及量化，得到残损在所在平面的位置，以及其长度等真实物理信息。
33、本发明的有益效果为：
34、本发明在使用的过程中，首先在残损自动识别模块部分，建立了包涵建筑遗产本体和自然背景的大视角下砌体建筑遗产残损病害数据集；而后，针对大视角航拍图像的特点提出了improved-yolov5n目标检测网络，其检测精度更高，map@0.5达到了0.855，检测速度更快，fps达到824.3。然后，残损自动定位与量化模块部分，日常巡检的拍摄过程中通过在被拍摄砌体建筑遗产表面设置靶标，可以得到图像相应的像素标定值以及透视变换矩阵；通过标识目标平面，可以得到目标平面角点相对于原图的位置；将拍摄图像经过improved-yolov5n进行检测，得到识别后的图像，裁剪目标检测框后得到主要包涵目标残损的图像，采用基于遗传算法的多阈值图像分割算法对图像进行分割，在最优阈值集合的指导下进行二值化分割，接着进行开、闭运算来消除图像噪声，判断清晰残损边缘，获取残损边缘相对于原图的位置；最后根据像素标定值以及透视变换矩阵，对目标平面角点以及残损边缘相对于原图位置进行标定与变换，获取残损在所在平面的位置，以及其长度等真实物理信息。本发明的残损检测方法具有支持快速检测、支持二次开发、支持重复利用的特点，采用了自动化、信息化的智能判断方式，通过计算机视觉的方法确保残损检测的准确性。
1.一种基于计算机视觉的砌体建筑遗产残损识别与定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于计算机视觉的砌体建筑遗产残损识别与定位方法，其特征在于，步骤a)所述的设置砌体建筑遗产残损自动识别模块，具体如下：
3.根据权利要求1所述的一种基于计算机视觉的砌体建筑遗产残损识别与定位方法，其特征在于，步骤b)所述的设置砌体建筑遗产残损自动定位与量化模块，具体如下：
