本公开涉及图像处理,尤其涉及一种图像深度估计方法、装置、电子设备和存储介质。
背景技术:
1、对图像进行深度估计是三维建模领域中的重要组成部分,图像的深度估计结果的精准性直接影响三维建模效果。目前可以通过基于深度学习的神经网络对图像进行深度估计。然而,现有的深度估计方案中,神经网络只学习到了图像纹理与深度之间的映射关系,导致通过神经网络估计得到的深度信息精准性差。
技术实现思路
1、本公开实施例提供了一种图像深度估计方法、装置、电子设备和存储介质,以缓解现有技术中通过神经网络估计得到的深度信息精准性差的问题,使得利用估计到的深度信息建立的模型中,平面能够保持合理的结构关系。
2、第一方面,本公开实施例提供了一种图像深度估计方法,包括:
3、获取待处理图像和预先训练的深度估计模型;其中,所述深度估计模型根据样本图像、所述样本图像对应的第一深度图像和所述样本图像对应的第二深度图像训练得到;所述第一深度图像中的深度值通过结构光设备采集得到;所述第二深度图像中位于同一平面上的每个像素点的深度值均符合预设的深度值要求;所述深度值要求包括:根据位于同一平面上的每个像素点的深度值分别计算得到的所述样本图像的采集相机到所述平面的距离都相等;
4、通过所述深度估计模型,对所述待处理图像进行深度估计,得到所述待处理图像对应的深度图像。
5、第二方面,本公开实施例提供了一种图像深度估计装置,包括:
6、图像获取单元,用于获取待处理图像和预先训练的深度估计模型;其中,所述深度估计模型根据样本图像、所述样本图像对应的第一深度图像和所述样本图像对应的第二深度图像训练得到;所述第一深度图像中的深度值通过结构光设备采集得到;所述第二深度图像中位于同一平面上的每个像素点的深度值均符合预设的深度值要求;所述深度值要求包括:根据位于同一平面上的每个像素点的深度值分别计算得到的所述样本图像的采集相机到所述平面的距离都相等;
7、深度估计单元,用于通过所述深度估计模型,对所述待处理图像进行深度估计,得到所述待处理图像对应的深度图像。
8、第三方面,本公开实施例提供了一种电子设备,包括:处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器实现上述第一方面所述的方法的步骤。
9、第四方面,本公开实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现上述第一方面所述的方法的步骤。
10、在本公开一个或多个实施例中,首先获取待处理图像和预先训练的深度估计模型,然后通过深度估计模型,对待处理图像进行深度估计,得到待处理图像对应的深度图像。其中,深度估计模型根据样本图像、样本图像对应的第一深度图像和样本图像对应的第二深度图像训练得到,第一深度图像中的深度值通过结构光设备采集得到,第二深度图像中位于同一平面上的每个像素点的深度值均符合预设的深度值要求,深度值要求包括:根据位于同一平面上的每个像素点的深度值分别计算得到的样本图像的采集相机到平面的距离都相等。由于第二深度图像中,根据位于同一平面上的每个像素点的深度值分别计算得到的样本图像的采集相机到平面的距离都相等,因此根据第二深度图像中的位于同一平面上的每个像素点的深度值构建得到的该平面的模型中,每个像素点对应的点云数据都落在该平面上,使得该平面较为平整,能够保持合理的结构关系,进而利用第二深度图像训练深度估计模型,并利用深度估计模型估计图像深度时,估计得到的深度信息精准性高,利用估计到的深度信息建立的模型中,平面能够保持合理的结构关系,从而缓解现有技术中通过神经网络估计得到的深度信息精准性差、利用估计到的深度信息建立的模型中,平面无法保持合理的结构关系的问题。
1.一种图像深度估计方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述深度估计模型通过以下步骤得到;
3.根据权利要求2所述的方法,其特征在于,所述根据所述深度估计图像、所述第一深度图和所述第二深度图,反馈调节所述深度估计网络的参数,包括:
4.根据权利要求2所述的方法,其特征在于,所述第二深度图像通过以下步骤得到:
5.根据权利要求4所述的方法,其特征在于,所述在所述样本图像中确定每个平面,包括:
6.根据权利要求5所述的方法,其特征在于,所述根据每个平面的所述第一平面区域和每个平面的所述第二平面区域,在所述样本图像中确定每个平面,包括:
7.根据权利要求5所述的方法,其特征在于,通过以下方式获取所述样本图像对应的语义分割图像:
8.根据权利要求5所述的方法,其特征在于,通过以下方式获取所述样本图像对应的户型估计图像:
9.根据权利要求4所述的方法,其特征在于,所述根据所述深度值要求,确定每个所述平面中的每个像素点的符合所述深度值要求的深度值,包括:
10.根据权利要求9所述的方法,其特征在于,所述根据所述平面中的每个像素点的像素坐标、每个像素点的参考深度值和每个像素点对应的法线方向,确定所述平面中的每个像素点的符合所述深度值要求的深度值,包括:
11.根据权利要求10所述的方法,其特征在于,所述根据所述平面中的每个像素点的像素坐标、每个像素点的参考深度值和每个像素点对应的法线方向,确定所述平面中的每个像素点对应的所述平面到所述采集相机的距离,包括:
12.根据权利要求10所述的方法,其特征在于,所述根据所述深度值要求和所述平面中的每个像素点对应的所述平面到所述采集相机的距离,确定所述平面中的每个像素点的符合所述深度值要求的深度值,包括:
13.根据权利要求4所述的方法,其特征在于,所述平面根据所述样本图像对应的语义分割图像和所述样本图像对应的户型估计图像确定得到;所述语义分割图像通过语义分割网络得到;所述户型估计图像通过户型估计网络得到;每个所述平面中的每个像素点的符合所述深度值要求的深度值基于每个像素点的参考深度值确定得到;
14.根据权利要求13所述的方法,其特征在于,在所述获取所述样本图像之后,所述方法还包括:
15.根据权利要求14所述的方法,其特征在于,所述根据所述语义分割图像、所述户型估计图像、所述样本图像对应的语义分割真值图像、所述样本图像对应的户型估计真值图像,反馈调节所述语义分割网络和所述户型估计网络的参数,包括:
16.根据权利要求15所述的方法,其特征在于,所述深度估计模型中,所述深度估计网络、所述语义分割网络和所述户型估计网络共用特征提取网络;所述特征提取网络用于提取所述样本图像的图像特征;
17.一种图像深度估计装置,其特征在于,包括:
18.一种电子设备,其特征在于,包括:
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现上述权利要求1-16任一项所述的方法的步骤。