本技术涉及飞行器导航，特别是涉及一种基于一致语义约束实例分割匹配的飞行器视觉导航方法。
背景技术：
1、飞行器视觉导航技术主要通过飞行平台搭载的视觉传感器（可见光、红外等）对地成像并结合含有地理位置信息的基准图以及图像匹配算法实现飞行器位姿等导航参数的估计，相比于卫星导航和惯性导航，视觉导航具有高精度、无漂移以及抗电磁干扰等优势。现有视觉导航技术可以分为相对视觉导航和绝对视觉导航两类，相对视觉导航方法通过对图像序列进行匹配，并根据前后帧图像之间的几何关系来估计飞行器的相对姿态，主要包括视觉里程计（visual odometry，vo）与即时定位与地图构建（simultaneouslocalization and mapping， slam）等方法。绝对视觉导航方法利用飞行器拍摄的实时图与带有地理坐标信息的基准图进行匹配，再根据基准图信息和成像模型求解飞行器的绝对位姿。相对视觉导航方法需要对未知的飞行环境进行建图，在室内导航中效果较好，但无人机的室外飞行条件（飞行高度100米以上）及观测方式（单目下视）往往难以支撑slam进行同步三维地图构建和精确定位。基于基准图匹配的绝对导航方法已在各个领域得到大量应用，但这些算法大都适用于高空正下视拍摄的观测场景，在低空飞行（按照当前低空经济的主要关注范围为100米以上，1公里以下），大倾角倾斜观测条件下，受目标立体效应及视角差异的影响，现有方法仍难以实现高精度的实时图-基准图匹配导航。此外，城市场景结构复杂多样，重复纹理多，现有的大部分匹配方法并未关注匹配区域的语义特征，许多误匹配点对出现在树木、水域及移动物体等非刚体或非固定目标上，导致难以获得准确的位姿解算结果。
2、对于图像视角差异大、重叠率低带来的宽基线图像匹配问题，传统图像匹配方法（如sift、surf、orb）等难以实现鲁棒匹配；近年来基于深度学习的图像匹配模型在宽基线匹配问题上取得了系列进展，以superpoint、superglue、loftr、dkm等为代表的深度学习模型对视角差异具有一定的鲁棒性，但仍无法满足高精度视觉导航的需求。为了充分利用深度学习技术在图像内容理解上的优势，近几年来有学者研究采用其他视觉任务的模型来克服视角差异及低重叠率等因素对图像匹配算法的影响，比如chen ying等首先使用深度学习方法对待匹配图像的重叠区域进行计算，然后再在重叠区域上进行特征点匹配；赵辰豪等采用yolo-v5对图像进行目标检测，然后以目标框为中心提取特征点，并将语义信息和位置信息融入特征编码器，最后通过检验匹配点对的语义一致性来去除误匹配点；zhangyesheng等采用了由面到点的匹配策略，首先使用基于语义特征和几何特征的区域匹配方法（semantic and geometry area matching, sgam)进行区域级匹配，然后对匹配区域进行像素级配准，这一方法可以利用图像区域的整体语义和几何信息为后续特征点匹配提供先验；zhang yesheng等还提出了通过分割一切来匹配一切的方法（matching everythingby segmenting anything, mesa）,首先使用sam（segment anything model）对图像区域进行分割，然后再对分割结果进行图匹配（graph matching），这一方法的匹配精度比sgam更高，并在下游视觉导航任务中验证了性能。此外，li siyuan等提出的matching anythingby segmenting anything（masa）框架也利用了sam模型的强大分割能力，通过将图像分割和实例级匹配跟踪任务联合在一起训练，该框架对视频序列中的多种目标具有稳健的帧间匹配和跟踪能力。以上提到的方法中，chen ying等人的方法需要提前训练图像重叠区域判别模型并且无法消除重叠区域视角差异带来的负面影响；赵辰豪等人的方法采用yolo-v5进行目标检测，不具备对图像中所有类型目标的识别和检测能力，也没有提供更细粒度的区域分割结果，相同目标区域中仍然存在许多背景信息干扰；sgam、mesa及masa并未用到图像区域或特定目标的显示语义信息，这一操作虽然可以避免图像区域的错误识别对后续匹配的干扰，但也忽略了显示语义信息对匹配过程的强约束作用，对于视角差异大，重叠率低，目标种类多样的飞行器遥感图像的匹配鲁棒性不足。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够提高飞行器在低空飞行，大视角倾斜观测等条件下的匹配鲁棒性和定位精度的基于一致语义约束实例分割匹配的飞行器视觉导航方法。
2、一种基于一致语义约束实例分割匹配的飞行器视觉导航方法，所述方法包括：
3、获取空天遥感图像数据集和根据空天遥感图像数据集训练好的通用图像基础模型；空天遥感图像数据集包括多个空天飞行器机载相机拍摄的地面场景光学图像；通用图像基础模型包括通用图像标记模型、开集目标检测模型和通用图像分割模型；
4、建立以刚体目标和平面区域目标为主的导航目标库，将带有地理编码和地面高程信息的空天光学影像作为基准图，将地面场景光学图像作为实时图，根据通用图像标记模型分别提取基准图和实时图中的地物信息获取同时存在于实时图、基准图以及导航目标库中的目标集合；
5、利用开集目标检测模型检测目标集合中的所有语义元素在实时图和基准图上的位置，获得不同元素的目标框集合；
6、利用通用图像分割模型分割目标框集合中所有的目标框中的轮廓，获得目标区域信息；
7、基于目标区域信息和图像匹配算法对实时图和基准图中具有相同语义内涵的区域进行特征点匹配，获得基准图和实时图之间的匹配点对；
8、根据基准图和实时图之间匹配点对建立实时图上二维匹配点与对应的基准图三维信息的关系，之后再结合机载相机内参通过pnp算法计算得到当前相机的位置及姿态，再根据相机坐标系和飞行器坐标之间的平移旋转关系，计算出飞行器位姿实现飞行器视觉导航。
9、上述基于一致语义约束实例分割匹配的飞行器视觉导航方法，首先建立以刚体目标和平面区域目标为主的导航目标库，将带有地理编码和地面高程信息的空天光学影像作为基准图，将地面场景光学图像作为实时图，根据通用图像标记模型分别提取基准图和实时图中的地物信息获取同时存在于实时图、基准图以及导航目标库中的目标集合，事先构建导航数据库的方式能够提前筛选出在飞行场景中常见的，固定的，刚体或平面区域目标，对这些目标进行检测、分割和匹配可以进一步提升算法的实用性和匹配精度；然后将目标类型输入开集目标检测模型来获得目标框的位置，最后再将目标文本及空间提示输入通用图像分割模型来获得对应目标的细粒度分割结果，通过通用图像智能处理模型实现视觉导航过程中基准图和实时图语义提取及实例分割，可以同时获取遥感图像中所有关键目标的所有分布区域的精细轮廓信息，通过分别对实时图和基准图中相同语义区域进行特征点匹配可以充分利用图像区域的语义信息来提供先验，从而克服视角变化、光照变化、低重叠率及传感器模态差异等因素带来的干扰，避免了不同语义区域之间的误匹配。综上所述，本技术能够有效提升基于图像匹配的视觉导航算法在低空飞行，大视角倾斜观测等条件下的匹配鲁棒性和定位精度。本技术可应用于无人机、飞艇等多种飞行平台单目视觉导航任务，具有广泛的应用前景和经济价值。
1.一种基于一致语义约束实例分割匹配的飞行器视觉导航方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通用图像标记模型为基于深度学习的神经网络模型；根据通用图像标记模型分别提取所述基准图和实时图中的地物信息获取同时存在于实时图、基准图以及导航目标库中的目标集合，包括：
3.根据权利要求1所述的方法，其特征在于，所述开集目标检测模型为基于深度学习的神经网络模型；利用开集目标检测模型检测所述目标集合中的所有语义元素在实时图和基准图上的位置，获得不同元素的目标框集合，包括：
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述通用图像分割模型能够根据文本或空间提示生成任意图像分割掩码，又能在无文本或空间提示时全自动地分割图像，还能零样本地适应新的目标分割任务；利用通用图像分割模型分割所述目标框集合中所有的目标框中的轮廓，获得目标区域信息，包括：
5.根据权利要求4所述的方法，其特征在于，所述图像匹配算法包括但不限于传统特征点匹配算法或深度学习模型；基于所述目标区域信息和图像匹配算法对实时图和基准图中具有相同语义内涵的区域进行特征点匹配，获得基准图和实时图之间的匹配点对，包括：
6.根据权利要求1所述的方法，其特征在于，根据基准图和实时图之间匹配点对建立实时图上二维匹配点与对应的基准图三维信息的关系，之后再结合机载相机内参通过pnp算法计算得到当前相机的位置及姿态，包括：
