基于cnn特征空间匹配定位系统及方法
技术领域
1.本发明涉及定位技术领域,具体为基于cnn特征空间匹配定位系统及方法。
背景技术:2.物体识别和定位是机器人视觉导航﹑智能监控、服务型机器人、工业自动化和汽车安全驾驶等领域的非常关键的技术,与之相关的技术也得到了前所未有的发展和重视。
3.传统对于物体定位的方法包括gps定位、雷达测距定位、红外线测距定位等,然而这些方法容易受到环境的干扰,导致定位不够精确。
技术实现要素:4.针对现有技术的不足,本发明提供了基于cnn特征空间匹配定位系统及方法,解决了传统对于物体定位的方法包括gps定位、雷达测距定位、红外线测距定位等,然而这些方法容易受到环境的干扰,导致定位不够精确的问题。
5.为实现以上目的,本发明通过以下技术方案予以实现:基于cnn特征空间匹配定位系统及方法,包括图像输入模块和图像预处理模块、物体识别模块以及物体定位模块,所述图像输入模块用于对物体进行采集,采集后所述图像预处理模块对采集的图像进行预处理工作,处理后所述物体识别模块对物体进行识别,判断物体的类型以及物体所在大致位置,之后所述物体定位模块对物体进行定位,判断物体的具体位置信息。
6.进一步的,所述图像输入模块采用两个摄像机对物体信息进行采集,两个摄像机代表cnn双目信息采集。
7.进一步的,所述图像预处理模块包括有图像灰度化模块和图像矫正模块以及图像裁剪模块,所述图像灰度化模块用于对采集的图像进行灰度化处理,处理后所述图像矫正模块对图像进行矫正处理,减少误差,之后所述图像裁剪模块对所采集的图像进行裁剪处理。
8.进一步的,所述物体定位模块对物体进行定位时,采用左右图像特征点进行匹配,计算局域的匹配点视差,然后计算出物体具体的位置。
9.进一步的,所述物体定位模块对特征点进行匹配时,包括特征点提取和特征点描述以及利用特征点描述向量的匹配。
10.进一步的,一种基于cnn特征空间匹配定位系统的方法,其定位方法包括以下步骤:
11.s1、采用两个摄像机对物体信息进行采集,两个摄像机代表cnn双目信息采集,采集后图像灰度化模块对采集的图像进行灰度化处理,处理后图像矫正模块对图像进行矫正处理,减少误差,之后图像裁剪模块对所采集的图像进行裁剪处理;
12.s2、利用cnn算法对物体进行初步识别,判断物体的类型以及其大致位置信息;
13.s3、根据采集的图像对特征点进行提取和特征点描述以及利用特征点描述向量的匹配,从而判断出物体具体的位置信息,根据物体的匹配特征点进行三维建模,通过神经网
络到目标的区域,计算区域内的匹配点视差,从而得到物体三维数据的信息。
14.进一步的,所述步骤s3中,对物体特征点进行提取时,计算图像的积分图像,采用方框滤波近似代替二阶高斯滤波,然后计算出待候选点和周围点的hessian值,判断候选点与周围值是否最大,若为最大,则为特征点;对物体特征进行描述时,在检测到的特征点周围小区域上计算haar小波,并计算出其构建特征的描述。
15.进一步的,所述步骤s3中,在对特征点进行匹配时,采用欧式距离来判断匹配特征点,以其中一个摄像头采集的图像为参考图像,然后提取另外一个摄像头采集的图像特征点,之后与参考图像进行对比判断,提高其匹配精度。
16.进一步的,所述步骤s3中,在计算匹配点的视差时,由采集的两个摄像机与被采集的物体形成一个三角形,根据摄像机的位置判断出物体特征点的三维坐标,以其中一个摄像机为原点坐标系,然后通过另一个摄像机的标定和矫正,得出重映射矩阵以及世界坐标系和摄像机坐标系的关系,从而计算出物体的三维坐标信息。
17.进一步的,所述步骤s3中,在计算视差的同时,通过中值滤波后的视差值,去除异常的视差点,保证定位的精度。
18.有益效果
19.本发明提供了一种基于cnn特征空间匹配定位系统,与现有技术相比具备以下有益效果:
20.1、该基于cnn特征空间匹配定位系统及方法,采用cnn特征与定位系统实现物体的识别,使其识别精度也有所提高,同时对误差进行分析,滤除定位的异常点,从而提高物体定位精度。
21.2、该基于cnn特征空间匹配定位系统及方法,通过cnn结合以实现物体识别和定位,使其识别速度、精度和定位精度达到实用性要求,可以广泛应用于机器人视觉方面,同时通过gpu加速,能够提高匹配速度,实现更高要求的实用场景中进行应用。
附图说明
22.图1为本发明的原理框架图;
23.图2为本发明图像预处理模块图;
24.图3为本发明的原理流程框图。
25.图中:1、图像输入模块;2、图像预处理模块;21、图像灰度化模块;22、图像矫正模块;23、图像裁剪模块;3、物体识别模块;4、物体定位模块。
具体实施方式
26.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
27.请参阅图1-2,本发明提供一种技术方案,一种基于cnn特征空间匹配定位系统,包括图像输入模块1和图像预处理模块2、物体识别模块3以及物体定位模块4,图像输入模块1用于对物体进行采集,采集后图像预处理模块2对采集的图像进行预处理工作,处理后物体
识别模块3对物体进行识别,判断物体的类型以及物体所在大致位置,之后物体定位模块4对物体进行定位,判断物体的具体位置信息。
28.本发明实施例中,图像输入模块1采用两个摄像机对物体信息进行采集,两个摄像机代表cnn双目信息采集。
29.本发明实施例中,图像预处理模块2包括有图像灰度化模块21和图像矫正模块22以及图像裁剪模块23,图像灰度化模块21用于对采集的图像进行灰度化处理,处理后图像矫正模块22对图像进行矫正处理,减少误差,之后图像裁剪模块23对所采集的图像进行裁剪处理。
30.本发明实施例中,物体定位模块4对物体进行定位时,采用左右图像特征点进行匹配,计算局域的匹配点视差,然后计算出物体具体的位置。
31.本发明实施例中,物体定位模块4对特征点进行匹配时,包括特征点提取和特征点描述以及利用特征点描述向量的匹配。
32.请参阅图3,本发明实施例中,一种基于cnn特征空间匹配定位系统的方法,其定位方法包括以下步骤:
33.s1、采用两个摄像机对物体信息进行采集,两个摄像机代表cnn双目信息采集,采集后图像灰度化模块21对采集的图像进行灰度化处理,处理后图像矫正模块22对图像进行矫正处理,减少误差,之后图像裁剪模块23对所采集的图像进行裁剪处理;
34.s2、利用cnn算法对物体进行初步识别,判断物体的类型以及其大致位置信息;
35.s3、根据采集的图像对特征点进行提取和特征点描述以及利用特征点描述向量的匹配,从而判断出物体具体的位置信息,根据物体的匹配特征点进行三维建模,通过神经网络到目标的区域,计算区域内的匹配点视差,从而得到物体三维数据的信息。
36.本发明实施例中,步骤s3中,对物体特征点进行提取时,计算图像的积分图像,采用方框滤波近似代替二阶高斯滤波,然后计算出待候选点和周围点的hessian值,判断候选点与周围值是否最大,若为最大,则为特征点;对物体特征进行描述时,在检测到的特征点周围小区域上计算haar小波,并计算出其构建特征的描述。
37.本发明实施例中,步骤s3中,在对特征点进行匹配时,采用欧式距离来判断匹配特征点,以其中一个摄像头采集的图像为参考图像,然后提取另外一个摄像头采集的图像特征点,之后与参考图像进行对比判断,提高其匹配精度。
38.本发明实施例中,步骤s3中,在计算匹配点的视差时,由采集的两个摄像机与被采集的物体形成一个三角形,根据摄像机的位置判断出物体特征点的三维坐标,以其中一个摄像机为原点坐标系,然后通过另一个摄像机的标定和矫正,得出重映射矩阵以及世界坐标系和摄像机坐标系的关系,从而计算出物体的三维坐标信息。
39.本发明实施例中,步骤s3中,在计算视差的同时,通过中值滤波后的视差值,去除异常的视差点,保证定位的精度。
40.同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
41.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。