本发明涉及深度学习、目标检测、关键点定位、弓网几何参数检测,更具体地说涉及一种基于车载单目视觉的弓网几何参数检测方法。
背景技术:
1、电气化铁路运输,通过弓网接触为列车提供动能,良好的弓网接触状态是保障列车安全运行的重要条件。为了保证良好的接触,接触网通常被设计了一组合理的几何参数,其中包括接触线的导高和拉出值,当导高和拉出值大于或小于合理的工作范围,可能造成弓网系统异常磨耗甚至损坏,造成运营事故。设计接触网几何参数实时检测系统,为接触网的巡检和维护工作提供指导意见,是具有重要意义的研究。
2、目前接触线几何参数测量方法大致分为接触式和非接触式两类:
3、1)接触式测量包括人工登顶或加装传感器等方式。
4、2)非接触式包括:图像、激光、雷达等测量方式。
5、人工测量方式操作繁琐、效率低、覆盖范围小;一些非车载式的自动测量方法,虽然效率较高但是测量不连续线路覆盖面也较小;基于多目相机的车载式测量方法设备相对较为复杂。
技术实现思路
1、为了克服上述现有技术中存在的缺陷,本发明公开了一种基于车载单目视觉的弓网几何参数检测方法,本发明的目的是解决现有技术中接触式和非接触式接触线几何参数测量方法存在的问题。本发明只用到了一个车载单目相机非接触式采集弓网图像,设备复杂度较低;弓网接触关键点检测模型融合编码空间注意力,提升了弓网接触关键点检测模型的坐标敏感度,进而提升弓网接触点的回归精度。
2、为了实现以上目的,本发明采用的技术方案:
3、一种基于车载单目视觉的弓网几何参数检测方法,包括以下步骤:
4、一、图像采集
5、s1、利用车载单目相机采集弓网图像;
6、上述步骤中,使用单目相机非接触式采集弓网图像,也即非接触式进行几何参数检测,系统简单、效率高、测量覆盖范围广。
7、二、受电弓检测数据标注
8、s2、标注弓网图像中的受电弓区域,建立受电弓检测数据集;
9、本发明中,为了保证检测精度,检测方法采用两级检测,一级检测为受电弓所在区域,二级检测为弓网接触关键点,一级检测采用yolo目标检测算法。
10、三、弓网接触点及受电弓端点标注
11、s3、标注受电弓检测数据集中的弓网接触关键点,建立弓网接触关键点检测数据集;
12、优选的,所述弓网接触关键点包括碳滑板平面左端点、弓网接触点和碳滑板平面右端点。
13、本发明中,二级检测的对象为与接触线导高和拉出值计算相关的关键点,需要标注三个点,分别为碳滑板平面左端点、弓网接触点、碳滑板平面右端点。
14、四、模型搭建
15、s4、搭建受电弓检测模型和融合编码空间注意力的弓网接触关键点检测模型;
16、本发明中,为了保证精度和实时性要求,本文一级检测算法采用受电弓检测模型(yolov8s模型),二级检测为融合编码空间注意力(encoding spatial attention module,esam)机制的hrnet(high-resolution net)关键点检测模型(esam-hrnet)。
17、优选的,所述受电弓检测模型为yolov8s模型。
18、优选的,所述弓网接触关键点检测模型中包括编码空间注意力模块,所述编码空间注意力模块增强弓网接触关键点检测模型对空间坐标的敏感度,具体包括以下步骤:
19、输入尺寸为w×h×c的输入特征图,并在输入特征图c方向压缩,得到尺寸为w×h的空间信息图;
20、将空间信息图在x轴方向求均值压缩,得到高度为h的y方向特征向量;
21、将空间信息图在y轴方向求均值压缩,得到宽度为w的x方向特征向量;
22、将y方向特征向量进行空间编码,之后输入全连接层fc1;
23、将x方向特征向量进行空间编码,之后输入全连接层fc2;
24、将全连接层fc1和全连接层fc2的输出进行相乘得到空间注意力图;
25、将输入特征图和空间注意力图相乘,对输入特征图进行空间增强。
26、优选的,所述将y方向特征向量进行空间编码,以及将x方向特征向量进行空间编码,均包括:基于偏态函数进行空间编码,通过对不同空间位置的点赋予不同的权重进行编码。
27、优选的,所述弓网接触关键点检测模型将3个尺度的特征图从低分辨率到高分辨率逐级融合并进行空间注意力增强,得到关键点预测结果。
28、五、模型训练
29、s5、将受电弓检测数据集和弓网接触关键点检测数据集,分别输入受电弓检测模型和弓网接触关键点检测模型中进行模型训练;
30、优选的,受电弓检测模型训练的损失函数包括分类损失函数和回归损失函数;
31、所述分类损失函数为:
32、
33、其中,lcls为分类损失;n为样本数量;m为类别数量;i表示第i个样本;c表示类别;yic为第i个样本为受电弓的真实概率,当第i样本包含真实类别为c时,yic为1,否则,为0;pic为第i个样本的预测概率;
34、上述分类损失函数中,第i个图像样本中,可能包含m种类别,遍历m次,当c=1时,如果图像i中真的包含该类别的真实物体,则yic=1,如果不包含则,yic=0。
35、所述回归损失函数为:
36、
37、其中,lciou为分类损失;iou是交并比;b和bgt表示两个矩形框的中心点;ρ表示两个矩形框之间的欧式距离;c表示两个矩形框闭合区域的对角线距离;v用于测量两个矩形框相对比例的一致性;α是权重系数。
38、优选的,弓网接触关键点检测模型训练的损失函数为:
39、
40、其中,lmes为损失函数;n为样本数量;i表示第i个样本;hi为关键点真实位置;为模型预测值。
41、六、接触点导高和拉出值计算
42、s6、利用训练好的受电弓检测模型和弓网接触关键点检测模型,检测弓网几何参数。
43、优选的,所述弓网几何参数包括接触线的导高和拉出值。
44、优选的,所述利用训练好的受电弓检测模型和弓网接触关键点检测模型,检测弓网几何参数,包括:
45、将弓网图像输入受电弓检测模型中,检测弓网图像中是否存在受电弓,若存在受电弓则将受电弓区域裁剪出来,若不存在受电弓则结束;
46、将裁剪出来的受电弓区域图像输入弓网接触关键点检测模型中,检测出弓网接触关键点并判断检测出的弓网接触关键点坐标是否正确,若弓网接触关键点坐标正确则计算接触线的导高和拉出值,若弓网接触关键点坐标不正确则结束。
47、优选的,所述判断检测出的弓网接触关键点坐标是否正确,包括:
48、计算弓网接触点到碳滑板平面左端点的距离s10、弓网接触点到碳滑板平面右端点的距离s12,以及s10和s12之和s012;
49、计算碳滑板平面左端点和碳滑板平面右端点的距离s02;
50、判断s012减去s02的差值,是否小于阈值,若是则接触点回归正确,否则接触点回归不正确。
51、优选的,所述接触线的导高和拉出值为:
52、s=x1·fx;
53、h=y1·fy+h0;
54、其中,s为拉出值;x1弓网接触点的横坐标,单位为像素;fx为水平方向的标定系数;h为导高;y1为弓网接触点的纵坐标,单位为像素;fy为导高方向的标定系数;h0为导高的基值,即相机到车底的距离。
55、本发明的有益效果:
56、本发明提供的弓网几何参数检测方法,利用车载单目相机采集弓网图像,也即使用单目相机进行非接触式几何参数检测,系统简单、效率高、测量覆盖范围广。
57、本发明提供的弓网几何参数检测方法,弓网接触关键点检测模型融合编码空间注意力,提升了弓网接触关键点检测模型的坐标敏感度,进而提升弓网接触点的回归精度。
1.一种基于车载单目视觉的弓网几何参数检测方法,其特征在于,包括以下步骤:
2.如权利要求1所述的弓网几何参数检测方法,其特征在于,所述弓网接触关键点包括碳滑板平面左端点、弓网接触点和碳滑板平面右端点。
3.如权利要求1所述的弓网几何参数检测方法,其特征在于,所述弓网接触关键点检测模型中包括编码空间注意力模块,所述编码空间注意力模块增强弓网接触关键点检测模型对空间坐标的敏感度,具体包括以下步骤:
4.如权利要求3所述的弓网几何参数检测方法,其特征在于,所述将y方向特征向量进行空间编码,以及将x方向特征向量进行空间编码,均包括:基于偏态函数进行空间编码,通过对不同空间位置的点赋予不同的权重进行编码。
5.如权利要求3所述的弓网几何参数检测方法,其特征在于,所述弓网接触关键点检测模型将3个尺度的特征图从低分辨率到高分辨率逐级融合并进行空间注意力增强,得到关键点预测结果。
6.如权利要求1所述的弓网几何参数检测方法,其特征在于,受电弓检测模型训练的损失函数包括分类损失函数和回归损失函数;
7.如权利要求1所述的弓网几何参数检测方法,其特征在于,弓网接触关键点检测模型训练的损失函数为:
8.如权利要求1所述的弓网几何参数检测方法,其特征在于,所述利用训练好的受电弓检测模型和弓网接触关键点检测模型,检测弓网几何参数,包括:
9.如权利要求8所述的弓网几何参数检测方法,其特征在于,所述判断检测出的弓网接触关键点坐标是否正确,包括:
10.如权利要求8所述的弓网几何参数检测方法,其特征在于,所述接触线的导高和拉出值为: