基于密度滤波和地标显著性的拓扑图场景识别方法及装置

1.本发明涉及图像处理领域，尤其是涉及基于密度滤波和地标显著性的拓扑图场景识别方法及装置。


背景技术：

2.同步定位与建图(slam)是将机器人置于未知环境中，并使机器人移动，同时逐渐对周围环境进行建图的过程。机器人需要能够在重复的遍历环境过程中成功匹配来自相同位置的图像，以纠正随着时间累积在地图上的漂移错误。这被称为闭环检测(也称为视觉场景识别)。当移动机器人在视角变化剧烈的环境中，由于严重的漂移和状态估计误差大，闭环检测性能下降。因此，在视角变化的情况下，视觉场景识别成为一个非常具有挑战性的问题。
3.从最近的研究上来看，在严重的视角变化环境中一些方法使用地标和拓扑图的方法来解决这类挑战，结果表明获得了较好的性能改进。但是，地标的提取是通过目标检测得到的，提取的地标对剧烈的视角变化不够鲁棒，因此场景识别可能失败。此外，在构造拓扑图的过程中，这些方法并没有充分利用帧中所包含的地标的信息。如果提取的地标具有较低的辨识度，可能会引起场景的混淆，最终导致场景识别方法匹配失败。


技术实现要素：

4.为解决现有技术的不足，提高视角变化下的场景识别能力，本发明采用如下的技术方案：
5.基于密度滤波和地标显著性的拓扑图场景识别方法及装置，克服由视角变化给场景识别结果带来的不利影响，保证场景识别系统的准确性和鲁棒性。在目标检测算法的基础上，通过密度滤波算法对地标中sift关键点进行量化和建模，计算每个地标中关键点的数量和分布来获得具有视角不变性的地标，克服地标依赖于检测器的问题，提高场景匹配的性能和准确性。然后，提取查询帧和参考帧中地标的深度全局描述子，通过交叉认证进行地标的初步匹配，再利用匹配地标的形状相似性消除误匹配。应用地标定位网络(landmark localization network)获取地标的显著性，在构造拓扑图的过程中，通过编码地标是否具有高辨识度的属性、地标间的空间关系、地标的外观来计算查询帧和参考帧匹配分数，解决低辨识度地标引起匹配场景混淆、在视角变化下场景识别系统鲁棒性差、准确性不高的问题。能够保证在视角变化下场景识别系统的鲁棒性，能够保证场景匹配结果的准确性。
6.基于密度滤波和地标显著性的拓扑图场景识别方法，包括如下步骤：
7.步骤一：使用目标检测算法从输入帧中提取地标；
8.步骤二：利用密度滤波算法，对地标中的sift关键点进行量化和建模，计算每个地标中关键点的数量和分布，利用sift关键点对视角变化有较好鲁棒性的属性，获得具有视角不变性的地标；
9.步骤三：采用卷积神经网络对查询帧和参考帧中视角不变性地标，提取深度全局
描述子，通过交叉认证完成地标的初步匹配；
10.步骤四：利用匹配地标的形状相似性消除误匹配，得到查询帧与参考帧中相互匹配的地标；
11.步骤五：采用地标定位网络获取地标的显著性；
12.步骤六：将查询帧和参考帧中地标的空间关系、地标显著性、地标外观，编码至拓扑图结构中，并计算查询帧和参考帧的相似度分数，得分最高帧则为匹配帧。
13.进一步地，所述步骤二中，通过计算每个地标频率和变异系数来获得对视角具有不变性的地标，具体包括如下步骤：
14.步骤2.1：对当前地标中的关键点频率进行量化和建模：
[0015][0016]
其中cr表示量化和建模地标中关键点的频率，kh表示关键点的数量，hh表示地标的高，wh表示地标的宽，f表示缩放因子；
[0017]
步骤2.2：将地标划分为一组格子，对当前地标中的关键点分布进行量化和建模：
[0018][0019]
其中std_sum表示变异系数，是对地标中每个格子值变化程度的统计度量，并反映关键点的离散程度，std(g)表示m个网格的关键点个数标准差，avg(g)表示m个网格的关键点个数平均值，m表示格子数；
[0020]
步骤2.3：当cr大于第一阈值t1，std_sum小于第二阈值t2时，对应的地标具有视角不变性。
[0021]
进一步地，所述步骤四中，为了保证地标匹配的准确性，引入匹配地标的形状相似性：
[0022][0023]
其中shape
ab
表示初步匹配地标的形状相似分数，wa，ha，wb，hb分别是初步匹配的地标的宽度和高度，a表示查询帧a的地标，b表示参考帧b的地标，a和b为通过初步特征匹配的a帧与b帧的地标。
[0024]
进一步地，所述步骤六中，查询帧和参考帧的相似度分数的计算包括如下步骤：
[0025]
步骤s6.1：计算查询帧与参考帧中角度的相似度分数：
[0026][0027][0028]
其中，w
θ
表示查询帧与参考帧中角度的相似度分数，表示查询帧和参考帧中地标空间关系中的空间角度相似度，z
ii
′
，z
jj
′
，z
kk
′
表示构造三角形的三对匹配地标的外观相似度分数，si，si′
，sj，sj′
，sk，sk′
分别表示查询帧和参考帧中三对地标的归一化后的地标显著性，avg表示求取平均值，max表示获取最大值；
[0029]
步骤s6.2：计算查询帧与参考帧中距离的相似度分数：
[0030][0031]
其中，wd表示查询帧与参考帧中距离的相似度分数，d
ii
′
,jj
′
表示查询帧和参考帧中地标空间关系中的空间距离相似度，z
ii
′
，z
jj
′
表示构造边的两对匹配地标的外观相似度分数，si，si′
，sj，sj′
分别表示查询帧和参考帧中两对地标的归一化后的地标显著性，avg表示求取平均值，max表示获取最大值；
[0032]
步骤s6.3：由于不同帧之间匹配的地标的数量不一样，为了将相似度分数的范围限制在[0,1]，计算帧与帧之间的最终的相似度分数：
[0033][0034]
其中，score表示帧与帧之间的相似度分数，n表示帧与帧之间匹配的地标数量。
[0035]
进一步地，所述步骤六中的空间关系包括距离空间关系，距离空间关系的构造如下：
[0036]dii
′
,jj
′
＝exp(-|e
i,j-ei′
,j
′
|)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0037]
其中d
ii
′
,jj
′
表示查询帧和参考帧中地标空间距离相似度，e
i,j
、ei′
,j
′
分别表示查询帧和参考帧中由地标构造的拓扑图的边，i、i’和j、j’分别表示两对查询帧和参考帧中的地标，即编码进拓扑图中的第i、i’和j、j’个节点。
[0038]
进一步地，所述步骤六中的空间关系包括角度空间关系，角度空间关系的构造如下：
[0039][0040]
其中表示查询帧和参考帧中地标空间角度相似度，k、k’表示一对查询帧和参考帧中的地标，即编码进拓扑图中的第k、k’个节点，θu,u∈{i,j,k}表示查询帧中由地标构造的拓扑图中三角形的角，θv,v∈{i
′
,j
′
,k
′
}表示参考帧中由地标构造的拓扑图中三角形的角。
[0041]
进一步地，所述步骤六中，将地标显著性进行归一化处理编码进拓扑图构造：
[0042][0043]
其中s
l
表示归一化后的地标显著性，s
l
表示归一化处理前的地标显著性，min(s
l
)表示所有地标显著性中的最小值，max(s
l
)表示所有地标显著性中的最大值。
[0044]
进一步地，所述关键点为sift关键点。
[0045]
进一步地，所述步骤2.2中的格子，为一组大小相同的格子。
[0046]
基于密度滤波和地标显著性的拓扑图场景识别装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现所述的基于密度滤波和地标显著性的拓扑图场景识别方法。
[0047]
本发明的优势和有益效果在于：
[0048]
本技术的基于密度滤波的地标以及地标显著性的图匹配方法，很好的解决了在剧烈的视角变化下，提取的地标不够鲁棒、帧中地标信息利用不充分的场景识别问题。在提高视角变化下的场景识别匹配精度和鲁棒性上，本发明获得了较好的实验结果。
附图说明
[0049]
图1是本发明的方法流程图。
[0050]
图2是本发明中利用密度滤波方法获取具有视角不变性地标的模型表示效果图。
[0051]
图3a-图3c是本发明中地标显著性可视化效果图。
[0052]
图4是本发明中构造拓扑图进行帧匹配的演示效果图。
[0053]
图5是本发明的方法和其他方法auc值的对比结果表。
[0054]
图6是本发明的方法和其他方法r
p＝100
值的对比结果表。
[0055]
图7是本发明设计的不同的剧烈视角变化下的场景。
[0056]
图8是本发明的方法和其他方法在剧烈视角变化下的auc值的对比结果表。
[0057]
图9是本发明的方法和其他方法在剧烈视角变化下的r
p＝100
值的对比结果表。
[0058]
图10是本发明的装置结构示意图。
具体实施方式
[0059]
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0060]
针对在视角变化下的场景识别技术，需要在提高场景匹配准确率的同时增加技术的鲁棒性，这样才具有实际意义。本发明提供了一种基于地标、地标显著性和拓扑图结合的方法。算法流程如图1所示。
[0061]
在目标检测算法的基础上，对得到的地标提取sift关键点，充分利用sift关键点对视角变化具有鲁棒性的特性，采用所设计的密度滤波算法，将获取具有视角不变性的地标转化为sift关键点的分布和数量问题。然后对查询帧和参考帧中视角不变性地标，提取深度全局描述子，通过交叉认证完成地标的初步匹配，然后利用匹配地标的形状相似性消除误匹配，得到两帧中相互匹配的地标。考虑到低辨识度的地标会引起匹配场景的混淆以及拓扑图结构在解决视角变化下的场景识别问题的较好性能，本发明提出将地标显著性与构造拓扑图相结合的方法。应用地标定位网络(landmark localization network)获取地标的显著性，充分利用地标是否具有高辨识度的属性、地标间的空间关系、外观构造拓扑图结构计算查询帧和参考帧匹配分数。本发明在视角变化的场景识别任务中具有较高的准确度和鲁棒性。
[0062]
一种基于密度滤波和地标显著性的拓扑图场景识别方法，具体实施步骤如下：
[0063]
步骤一：如图2所示，对输入的查询帧使用现有的目标检测算法提取地标，并提取sift关键点。
[0064]
步骤二：利用sift关键点对视角变化有较好鲁棒性的属性，将获得具有视角不变性的地标，转化为当前地标中sift关键点的数量和分布问题。通过密度滤波算法，对地标中关键点进行量化和建模，通过计算每个地标频率和变异系数来获得对视角具有不变性的地标。
[0065]
具体地，将获得具有视角不变性地标的问题转化为当前地标中sift关键点的数量和分布问题。包括如下步骤：
[0066]
步骤2.1：首先对当前地标中的sift关键点频率进行量化和建模。
[0067][0068]
其中cr用于量化和建模地标中sift关键点的频率，kh是sift关键点的数量，hh代表地标的高，wh代表地标的宽，f是一个缩放因子。
[0069]
步骤2.2：将地标划分为9个大小相同的格子，对当前地标中的sift关键点分布进行量化和建模。
[0070][0071]
其中std_sum是变异系数，是对地标中每个格子值变化程度的统计度量，并反映关键点的离散程度，std(g)为9个网格的sift关键点个数标准差，avg(g)为9个网格的sift关键点个数平均值。
[0072]
步骤2.3：如果cr大于阈值t1，std_sum小于阈值t2，则该地标具有视角不变性。
[0073]
步骤三：本发明利用卷积神经网络对每帧的地标提取深度全局描述子，通过交叉认证完成地标的初步匹配；
[0074]
具体地，对查询帧和参考帧中视角不变性地标，提取深度全局描述子，通过交叉认证完成地标的初步匹配。
[0075]
步骤四，利用匹配地标的形状相似性消除误匹配，得到两帧中相互匹配的地标。
[0076]
具体地，为了保证地标匹配的准确性，引入匹配地标的形状相似性
[0077][0078]
其中shape
ab
是初步匹配地标的形状相似分数，wa，ha，wb，hb分别是初步匹配的地标的宽度和高度。
[0079]
步骤五：本发明针对低辨识度的地标会引起匹配场景的混淆的问题，应用地标定位网络(landmark localization network)获取地标的显著性，如图3a-3c所示。
[0080]
步骤六，本发明将地标显著性、地标间的空间关系、地标外观编码至拓扑图结构中，构造过程的效果如图4所示。通过计算查询帧和参考帧的相似度分数，得分最高的参考帧则为最终匹配帧。
[0081]
具体地，将查询帧和参考帧中地标的空间关系编码进拓扑图中，空间关系分为距离空间关系和角度空间关系。
[0082]
首先构造距离空间关系：
[0083]dii
′
,jj
′
＝exp(-|e
i,j-ei′
,j
′
|)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0084]
其中d
ii
′
,jj
′
代表查询帧和参考帧中地标空间距离相似度，e
i,j
、ei′
,j
′
分别是查询帧和参考帧中由地标构造的拓扑图的边。
[0085]
然后构造角度空间关系：
[0086][0087]
其中代表查询帧和参考帧中地标空间角度相似度，u∈{i,j,k}，v∈{i
′
,j
′
,k
′
}，θu，θv分别是查询帧和参考帧中由地标构造的拓扑图中三角形的角。
[0088]
将地标显著性引入拓扑图构造中，首先将地标显著性进行归一化处理：
[0089][0090]
其中s
l
代表归一化后的地标显著性，s
l
代表归一化处理前的地标显著性，min(s
l
)表示所有地标显著性中的最小值，max(s
l
)表示所有地标显著性中的最大值。
[0091]
为了得到正确的匹配帧，我们基于地标间的空间关系、外观相似度分数和图像显著性构造拓扑图结构来计算查询帧和参考帧的匹配分数。计算帧与帧之间的最终的相似度分数得分。
[0092][0093]
其中，w
θ
代表查询帧与参考帧中角度的相似度分数，由公式(5)计算得到，z
ii
′
，z
jj
′
，z
kk
′
代表构造三角形的三对匹配地标的外观相似度分数，si，si′
，sj，sj′
，sk，sk′
由公式(6)计算得到，avg表示求取平均值，max表示获取最大值。
[0094][0095]
其中，wd代表查询帧与参考帧中距离的相似度分数，d
ii
′
,jj
′
由公式(4)计算得到，z
ii
′
，z
jj
′
代表构造边的两对匹配地标的外观相似度分数，si，si′
，sj，sj′
由公式(6)计算得到，avg表示求取平均值，max表示获取最大值。
[0096]
由于不同帧之间匹配的地标的数量不一样，为了将相似度分数的范围限制在[0,1]，帧与帧之间的最终的相似度分数为：
[0097][0098]
其中，score代表帧与帧之间的相似度分数，n表示帧与帧之间匹配的地标数量。
[0099]
本发明针对视角变化下场景识别系统不鲁棒的问题。场景匹配的结果如图5、图6所示。从显示的结果上来看，本发明的算法降低了视角变化对场景识别的影响。为了验证本发明在剧烈视角变化下的性能，本发明通过对场景增加平移、旋转、两者相结合的变换，增加视角变化的剧烈程度，如图7所示。在剧烈视角变化下的场景识别结果如图8、图9所示。结果显示本发明的算法效果较好。
[0100]
综上所述，基于密度滤波和地标显著性的拓扑图场景识别算法，能够克服由视角变化给场景识别结果带来的不利影响，解决匹配过程中地标依赖于检测器、低辨识度地标引起匹配场景混淆、场景识别系统性能差的问题，保证场景识别的准确性和鲁棒性。
[0101]
本发明充分考虑了视角变化下场景识别的局限性，提供了一种基于密度滤波算法、地标显著性和拓扑图的算法。通过设计的密度滤波算法，在现有的目标检测算法的基础上，将获得具有视角不变性的地标问题转化为当前地标中sift关键点的数量和分布问题，克服了提取地标过分依赖于检测器、地标面对视角变化不鲁棒的问题；为了解决低辨识度的地标会引起匹配场景的混淆的问题，本发明应用地标定位网络(landmark localization network)获取地标的显著性，将地标显著性、地标间的空间关系、地标外观编码至拓扑图结构中进行查询帧和参考帧的匹配。本发明通过设计的密度滤波算法、地标显著性、拓扑图来确保场景识别系统在视角变化下的准确性和强鲁棒性，为本发明的方法运行提供了可靠保
障。
[0102]
与前述基于密度滤波和地标显著性的拓扑图场景识别方法的实施例相对应，本发明还提供了基于密度滤波和地标显著性的拓扑图场景识别装置的实施例。
[0103]
参见图10，本发明实施例提供的基于密度滤波和地标显著性的拓扑图场景识别装置，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的基于密度滤波和地标显著性的拓扑图场景识别方法。
[0104]
本发明基于密度滤波和地标显著性的拓扑图场景识别装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图10所示，为本发明基于密度滤波和地标显著性的拓扑图场景识别装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图10所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
[0105]
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0106]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0107]
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于密度滤波和地标显著性的拓扑图场景识别方法。
[0108]
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、sd卡、闪存卡(flash card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
[0109]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

技术特征：
1.基于密度滤波和地标显著性的拓扑图场景识别方法，其特征在于包括如下步骤：步骤一：使用目标检测算法从输入帧中提取地标；步骤二：利用密度滤波算法，对地标中的关键点进行量化和建模，计算每个地标中关键点的数量和分布，获得具有视角不变性的地标；步骤三：采用卷积神经网络对查询帧和参考帧中视角不变性地标，提取深度全局描述子，通过交叉认证完成地标的初步匹配；步骤四：利用匹配地标的形状相似性消除误匹配，得到查询帧和参考帧中相互匹配的地标；步骤五：采用地标定位网络获取地标的显著性；步骤六：将查询帧和参考帧中地标的空间关系、地标显著性、地标外观，编码至拓扑图结构中，并计算查询帧和参考帧的相似度分数，得分最高帧则为匹配帧。2.根据权利要求1所述的基于密度滤波和地标显著性的拓扑图场景识别方法，其特征在于所述步骤二中，通过计算每个地标频率和变异系数来获得对视角具有不变性的地标，具体包括如下步骤：步骤2.1：对当前地标中的关键点频率进行量化和建模：其中cr表示量化和建模地标中关键点的频率，k
h
表示关键点的数量，h
h
表示地标的高，w
h
表示地标的宽，f表示缩放因子；步骤2.2：将地标划分为一组格子，对当前地标中的关键点分布进行量化和建模：其中std_sum表示变异系数，是对地标中每个格子值变化程度的统计度量，并反映关键点的离散程度，std(g)表示m个网格的关键点个数标准差，avg(g)表示m个网格的关键点个数平均值，m表示格子数；步骤2.3：当cr大于第一阈值t1，std_sum小于第二阈值t2时，对应的地标具有视角不变性。3.根据权利要求1所述的基于密度滤波和地标显著性的拓扑图场景识别方法，其特征在于所述步骤四中，引入匹配地标的形状相似性：其中shape
ab
表示初步匹配地标的形状相似分数，w
a
，h
a
，w
b
，h
b
分别是初步匹配的地标的宽度和高度，a表示查询帧的地标，b表示参考帧的地标。4.根据权利要求1所述的基于密度滤波和地标显著性的拓扑图场景识别方法，其特征在于所述步骤六中，查询帧和参考帧的相似度分数的计算包括如下步骤：步骤s6.1：计算查询帧与参考帧中角度的相似度分数：
其中，w
θ
表示查询帧与参考帧中角度的相似度分数，表示查询帧和参考帧中地标空间关系中的空间角度相似度，z
ii
′
，z
jj
′
，z
kk
′
表示构造三角形的三对匹配地标的外观相似度分数，s
i
，s
i
′
，s
j
，s
j
′
，s
k
，s
k
′
分别表示查询帧和参考帧中三对地标的归一化后的地标显著性，avg表示求取平均值，max表示获取最大值；步骤s6.2：计算查询帧与参考帧中距离的相似度分数：其中，w
d
表示查询帧与参考帧中距离的相似度分数，d
ii
′
,jj
′
表示查询帧和参考帧中地标空间关系中的空间距离相似度，z
ii
′
，z
jj
′
表示构造边的两对匹配地标的外观相似度分数，s
i
，s
i
′
，s
j
，s
j
′
分别表示查询帧和参考帧中两对地标的归一化后的地标显著性，avg表示求取平均值，max表示获取最大值；步骤s6.3：计算帧与帧之间的最终的相似度分数：其中，score表示帧与帧之间的相似度分数，n表示帧与帧之间匹配的地标数量。5.根据权利要求1或4所述的基于密度滤波和地标显著性的拓扑图场景识别方法，其特征在于所述步骤六中的空间关系包括距离空间关系，距离空间关系的构造如下：d
ii
′
,jj
′
＝exp(-|e
i,j-e
i
′
,j
′
|)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中d
ii
′
,jj
′
表示查询帧和参考帧中地标空间距离相似度，e
i,j
、e
i
′
,j
′
分别表示查询帧和参考帧中由地标构造的拓扑图的边，i、i’和j、j’分别表示两对查询帧和参考帧中的地标，即编码进拓扑图中的第i、i’和j、j’个节点。6.根据权利要求1或4所述的基于密度滤波和地标显著性的拓扑图场景识别方法，其特征在于所述步骤六中的空间关系包括角度空间关系，角度空间关系的构造如下：其中表示查询帧和参考帧中地标空间角度相似度，k、k’表示一对查询帧和参考帧中的地标，即编码进拓扑图中的第k、k’个节点，θ
u
,u∈{i,j,k}表示查询帧中由地标构造的拓扑图中三角形的角，θ
v
,v∈{i
′
,j
′
,k
′
}表示参考帧中由地标构造的拓扑图中三角形的角。7.根据权利要求1或4所述的基于密度滤波和地标显著性的拓扑图场景识别方法，其特征在于所述步骤六中，将地标显著性进行归一化处理编码进拓扑图构造：其中s
l
表示归一化后的地标显著性，s
l
表示归一化处理前的地标显著性，min(s
l
)表示所有地标显著性中的最小值，max(s
l
)表示所有地标显著性中的最大值。8.根据权利要求1所述的基于密度滤波和地标显著性的拓扑图场景识别方法，其特征在于所述关键点为sift关键点。9.根据权利要求2所述的基于密度滤波和地标显著性的拓扑图场景识别方法，其特征在于所述步骤2.2中的格子，为一组大小相同的格子。10.基于密度滤波和地标显著性的拓扑图场景识别装置，其特征在于，包括存储器和一
个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-9中任一项所述的基于密度滤波和地标显著性的拓扑图场景识别方法。

技术总结
本发明公开了基于密度滤波和地标显著性的拓扑图场景识别方法及装置，有效解决视角变化下的场景识别问题，在目标检测算法的基础上，对得到的地标提取SIFT关键点，充分利用SIFT关键点对视角变化具有鲁棒性的特性，采用密度滤波算法获取具有视角不变性的地标，然后，通过对查询帧和参考帧中视角不变性地标的深度全局描述子进行交叉认证以及地标的形状分数的对比，得到两帧中相互匹配的地标，考虑到提取的地标仅仅代表图像的一小部分，一些低辨识度的地标可能会引起混淆，从而对匹配结果产生负面影响，因此使用地标定位网络获得地标显著性，然后利用基于地标间的空间关系、外观和图像显著性的拓扑图结构计算查询帧和参考帧匹配分数。帧匹配分数。帧匹配分数。


技术研发人员：张云洲 刘英达 秦操 杨非 杜承垚
受保护的技术使用者：东北大学
技术研发日：2022.02.24
技术公布日：2022/7/5