1.本技术实施例涉及机器视觉技术领域，特别涉及一种深度相机的校准方法、装置、电子设备和存储介质。
背景技术：2.深度相机可以实时获取目标对象的深度信息，其为动作捕捉识别、人脸识别、自动驾驶领域的三维建模、巡航和避障、工业领域的零件扫描检测分拣、安防领域的监控、人数统计等复杂的应用场景了技术支持，具有广泛的消费级、工业级应用需求，在这些应用场景中使用深度相机，需要保证深度相机拍摄出的彩色图、红外图和深度图三者是像素对齐的，这样可以获取目标对象的更多的特征信息，以增加单个像素点的特征维度，从而提升深度成像的效果和精度。
3.彩色图、红外图和深度图的三图对齐算法需要对彩色镜头和红外镜头的内参(内部参数)、彩色镜头和红外镜头的外参(外部参数)、以及目标对象的深度数据进行逐像素解算，镜头的内参和外参都是在相机出产前进行标定并烧录到相机内部的存储中的，以便在需要时访问获取，但是随着长时间使用，相机难免会受到高温环境、低温环境和潮湿环境的影响，也难免会遇到相机的组装结构应力释放问题，这些因素会造成相机的内部结构出现形变，这导致红外镜头和彩色镜头之间的相对关系，也就是彩色镜头和红外镜头的外参发生偏差，这些偏差会降低三图对齐的精度，进而影响下游应用的准确性、可靠性，在相机内部结构方面进行加固可以在一定程度上缓解相机外参偏差带来的问题，但是进行加固的成本很高，使得相机的结构设计更加复杂，鲁棒性不高。
技术实现要素：4.本技术实施例的目的在于提供一种深度相机的校准方法、装置、电子设备和存储介质，在无需设置额外的装置器件的情况下即可大大提高三图对齐的精度，成本很低，校准过程的鲁棒性很高。
5.为解决上述技术问题，本技术的实施例提供了一种深度相机的校准方法，包括以下步骤：分别对深度相机拍摄的红外图和彩色图进行人脸检测，获得若干关键点对；其中，所述红外图与所述彩色图的内容相同，所述关键点对包括所述红外图上的第一关键点和所述彩色图上的第二关键点；根据所述若干关键点对构建超定方程组；对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵；对所述基础矩阵进行分解，得到解算出的旋转矩阵和解算出的平移矩阵；用所述解算出的旋转矩阵校准所述深度相机的旋转矩阵，并用所述解算出的平移矩阵校准所述深度相机的平移矩阵。
6.本技术的实施例还提供了一种深度相机的校准装置，包括：人脸检测模块、构建与解算模块和校准模块；所述人脸检测模块用于分别对深度相机拍摄的红外图和彩色图进行人脸检测，获得若干关键点对，其中，所述红外图与所述彩色图的内容相同，所述关键点对包括所述红外图上的第一关键点和所述彩色图上的第二关键点；所述构建与解算模块用于
根据所述若干关键点对构建超定方程组，对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，并对所述基础矩阵进行分解，得到解算出的旋转矩阵和解算出的平移矩阵；所述校准模块用于用所述解算出的旋转矩阵校准所述深度相机的旋转矩阵，并用所述解算出的平移矩阵校准所述深度相机的平移矩阵。
7.本技术的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述深度相机的校准方法。
8.本技术的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述深度相机的校准方法。
9.本技术实施例提供的深度相机的校准方法、装置、电子设备和存储介质，分别对深度相机拍摄的内容相同的一组红外图和彩色图进行人脸检测，获得若干关键点对，获得的关键点对包括红外图上的第一关键点和彩色图上的第二关键点，再根据获得的若干关键点对构建超定方程组，并对该超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，服务器对基础矩阵进行分解，得到解算出的旋转矩阵和解算出的平移矩阵，最后用解算出的旋转矩阵校准深度相机的旋转矩阵，并用解算出的平移矩阵校准深度相机的平移矩阵，校准后的旋转矩阵和平移矩阵可以将深度相机的红外镜头和彩色镜头之间的相对关系的变化纳入三图对齐的过程中，即消除了彩色镜头和红外镜头的外参发生偏差带来的影响，考虑到无论是在深度相机内部结构方面进行加固，还是选择硬度高的材料生产相机，再或者采用元器件分离式设计通过堆叠的方式安装，都只能在很小地程度上缓解彩色镜头和红外镜头的外参发生偏差带来的影响，并且势必导致深度相机成本的增加，而本技术的实施例在无需设置额外的装置器件的情况下即可大大提高三图对齐的精度，成本很低，校准过程的鲁棒性很高。
10.另外，在所述获得若干关键点对之后，所述根据所述若干关键点对构建超定方程组之前，包括：根据所述关键点对的总数、各所述关键点对的坐标和预设的归一化公式，确定所述红外图对应的第一变换矩阵和所述彩色图对应的第二变换矩阵；其中，所述关键点对的坐标包括所述第一关键点的坐标和所述第二关键点的坐标；根据各所述关键点对的坐标、所述第一变换矩阵和所述第二变换矩阵，对所述若干关键点对进行同向性变换，得到若干归一化的关键点对；所述根据所述若干关键点对构建超定方程组，包括：根据若干归一化的关键点对构建超定方程组，本技术的实施例基于关键点对虽然可以求解出基础矩阵，并进一步解算出旋转矩阵和平移矩阵，但由于噪声的存在、数值取舍的误差的存在，求解基础矩阵的过程并不稳定，因此本实施例基于各关键点对的坐标先对原始图像进行归一化处理、同向性变换，从而降低噪声对求解基础矩阵的干扰。
11.另外，所述对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，包括：对所述超定方程组进行最小二乘法求解和奇异值分解，得到归一化的基础矩阵；根据所述第一变换矩阵和所述第二变换矩阵对所述归一化的基础矩阵进行反归一化，得到基础矩阵，本技术的实施例求解基于归一化的特征点对构建的超定方程组，得到的基础矩阵也是归一化的，并不能直接进行分解，需要根据第一变换矩阵和第二变换矩阵进行反归一化，得到基础矩阵，从而保证解算出的平移矩阵和旋转矩阵是正确的、符合深度相机实际情况
的。
12.另外，所述对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，包括：构建一个n行9列的求解矩阵q，根据最小二乘法和所述求解矩阵q，确定所述超定方程组的最小二乘解；其中，n为所述特征点对的总数，所述最小二乘解即矩阵q*q
t
的最小特征值对应的特征向量；将所述最小二乘解转化为3行3列的粗基础矩阵，并对所述粗基础矩阵进行奇异值分解；其中，奇异值分解后的粗基础矩阵包括左奇异向量、奇异值矩阵和右奇异向量；令所述奇异值矩阵中第3行第3列的奇异值置0，得到基础矩阵，使用最小二乘法和奇异值分解，可以大大降低基础矩阵的获取难度，减少运算量，提升深度相机的校准速度，从而提高用户的使用体验。
附图说明
13.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
14.图1是根据本技术的一个实施例的深度相机的校准方法的流程图一；
15.图2是根据本技术的另一个实施例的深度相机的校准方法的流程图二；
16.图3是根据本技术的一个实施例中，对超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵的流程图一；
17.图4是根据本技术的一个实施例中，对超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵的流程图二；
18.图5是根据本技术的另一个实施例的深度相机的校准装置的结构示意图；
19.图6是根据本技术的另一个实施例的电子设备的结构示意图。
具体实施方式
20.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本技术各实施例中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本技术所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本技术的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
21.本技术的一个实施例涉及一种深度相机的校准方法，应用于电子设备，其中，电子设备可以为终端或服务器，本实施例以及以下个各个实施例中电子设备以服务器为例进行说明，下面对本实施例的深度相机的校准方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
22.本实施例的深度相机的校准方法的具体流程可以如图1所示，包括：
23.步骤101，分别对深度相机拍摄的红外图和彩色图进行人脸检测，获得若干关键点对。
24.具体而言，服务器可以分别对深度相机拍摄的红外图和彩色图进行人脸检测，获得若干关键点对，其中，关键点对包括红外图上的第一关键点和彩色图上的第二关键点。
25.在具体实现中，服务器在对深度相机进行校准时，可以根据预设的人脸检测算法，
分别对深度相机拍摄的红外图和彩色图进行人脸检测，检测出红外图中的若干关键点和彩色图中的若干关键点，由于红外图与彩色图的内容相同，并且服务器对红外图和彩色图进行的人脸检测，使用的人脸检测算法是相同的，因此红外图和彩色图中的关键点无论是位置还是特征都是一一对应的，这样的两个关键点组成一组关键点对，每组关键点对均包括一个红外图上的第一关键点和一个彩色图上的第二关键点，其中，预设的人脸检测算法可以由本领域的技术人员根据实际需要进行设置，本技术的实施例对此不作具体限定。
26.在一个例子中，服务器分别在红外图和彩色图中各检测出68个关键点，基于此组成68组关键点对。
27.步骤102，根据若干关键点对构建超定方程组。
28.具体而言，基础矩阵f是一个3*3的矩阵，共有9个未知参数，服务器可以通过8点法估算基础矩阵，假设一组关键点对的坐标为p1＝[a1，b1，1]，p2＝[a2，b2，1]，根据基础矩阵可得方程一：服务器可以把基础矩阵f的各个元素当作一个向量处理：f＝[f1,f2,f3,f4,f5,f6,f7,f8,f9]，上述方程可以改写为方程二：
[0029]
[a1a2,a1b2,a1,b1a2,b1b2,b1,a2,b2,1]*f＝0
[0030]
服务器求解方程二可以得到基础矩阵f的各个元素，但由于噪声，数值的舍入误差等等，通过上述方程组得到的基础矩阵f非常不稳定。
[0031]
在具体实现中，为了使得估算的基础矩阵f更加稳定，服务器可以根据检测出的若干关键点对分别得到若干超定方程，基于这些超定方程构建超定方程组，求解超定方程组得到的基础矩阵f是稳定、可靠的基础矩阵。
[0032]
步骤103，对超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵。
[0033]
具体而言，超定方程组即方程个数大于未知量个数的方程组，超定方程组没有精确解，服务器可以使用最小二乘法即曲线拟合的方式，为超定方程组求出一个最接近的解，即最小二乘解，服务器先对根据若干关键点对构建的超定方程组进行最小二乘法求解，得到该超定方程组的最小二乘解，再对求得的超定方程组进行奇异值分解(svd分解)，从而得到基础矩阵。
[0034]
步骤104，对基础矩阵进行分解，得到解算出的旋转矩阵和解算出的平移矩阵。
[0035]
具体而言，服务器计算得到基础矩阵f后，可以根据旋转矩阵、平移矩阵与基础矩阵的关系，对基础矩阵f进行分解，得到解算出的旋转矩阵r和解算出的平移矩阵t。
[0036]
步骤105，用解算出的旋转矩阵校准深度相机的旋转矩阵，并用解算出的平移矩阵校准深度相机的平移矩阵。
[0037]
具体而言，解算出的旋转矩阵r和解算出的平移矩阵t，已经涵盖了红外镜头和彩色镜头外参变化，即相较于深度相机初始的的旋转矩阵和平移矩阵，存在一定的差异，服务器用解算出的旋转矩阵校准深度相机的旋转矩阵，并用解算出的平移矩阵校准深度相机的平移矩阵，从而实现对深度相机的校准，校准后的深度相机再进行拍摄，可以大大提高三图对齐的精度。
[0038]
在一个例子中，服务器可以直接用解算出的旋转矩阵替换深度相机的旋转矩阵，并用解算出的平移矩阵替换深度相机的平移矩阵。
[0039]
本实施例，服务器分别对深度相机拍摄的内容相同的一组红外图和彩色图进行人脸检测，获得若干关键点对，获得的关键点对包括红外图上的第一关键点和彩色图上的第二关键点，再根据获得的若干关键点对构建超定方程组，并对该超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，服务器对基础矩阵进行分解，得到解算出的旋转矩阵和解算出的平移矩阵，最后用解算出的旋转矩阵校准深度相机的旋转矩阵，并用解算出的平移矩阵校准深度相机的平移矩阵，校准后的旋转矩阵和平移矩阵可以将深度相机的红外镜头和彩色镜头之间的相对关系的变化纳入三图对齐的过程中，即消除了彩色镜头和红外镜头的外参发生偏差带来的影响，考虑到无论是在深度相机内部结构方面进行加固，还是选择硬度高的材料生产相机，再或者采用元器件分离式设计通过堆叠的方式安装，都只能在很小地程度上缓解彩色镜头和红外镜头的外参发生偏差带来的影响，并且势必导致深度相机成本的增加，而本技术的实施例在无需设置额外的装置器件的情况下即可大大提高三图对齐的精度，成本很低，校准过程的鲁棒性很高。
[0040]
本技术的另一个实施例涉及一种深度相机的校准方法，下面对本实施例的深度相机的校准方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的深度相机的校准方法的具体流程可以如图2所示，包括：
[0041]
步骤201，分别对深度相机拍摄的红外图和彩色图进行人脸检测，获得若干关键点对。
[0042]
其中，步骤201与步骤101大致相同，此处不再赘述。
[0043]
步骤202，根据关键点对的总数、各关键点对的坐标和预设的归一化公式，确定红外图对应的第一变换矩阵和彩色图对应的第二变换矩阵。
[0044]
步骤203，根据各关键点对的坐标、第一变换矩阵和第二变换矩阵，对若干关键点对进行同向性变换，得到若干归一化的关键点对。
[0045]
在具体实现中，基于关键点对虽然可以求解出基础矩阵，并进一步解算出旋转矩阵和平移矩阵，但由于噪声的存在、数值取舍的误差的存在，求解基础矩阵的过程并不稳定，因此服务器可以采用对所有关键点对进行归一化的方式来降低噪声对求解基础矩阵的干扰，服务器先根据关键点对的总数、各关键点对的坐标和预设的归一化公式，确定红外图对应的第一变换矩阵和彩色图对应的第二变换矩阵，再根据各关键点对的坐标、第一变换矩阵和第二变换矩阵，对若干关键点对进行同向性变换，得到若干归一化的关键点对，其中，关键点对的坐标包括第一关键点的坐标和第二关键点的坐标，服务器根据第一关键点的坐标和第一变换矩阵，对第一关键点进行同向性变换，得到归一化的第一关键点；根据第二关键点的坐标和第二变换矩阵，对第二关键点进行同向性变换，得到归一化的第二关键点，从而得到若干归一化的关键点对。
[0046]
在一个例子中，服务器根据关键点对的总数、各关键点对的坐标和预设的归一化公式，确定红外图对应的第一变换矩阵和彩色图对应的第二变换矩阵，可以通过以下公式实现：
[0047]
[0048][0049][0050][0051]
式中，u
1i
为第i个第一关键点的横坐标，v
1i
为第i个第一关键点的纵坐标，u
2i
为第i个第二关键点的横坐标，v
2i
为第i个第二关键点的纵坐标，n为关键点对的总数，h1为红外图对应的第一变换矩阵，h2为彩色图对应的第二变换矩阵。
[0052]
在一个例子中，服务器根据第一关键点的坐标和第一变换矩阵，对第一关键点进行同向性变换，得到归一化的第一关键点，即用第一关键点的坐标乘上第一变换矩阵，从而得到归一化的第一关键点的坐标。
[0053]
在一个例子中，服务器根据第二关键点的坐标和第二变换矩阵，对第二关键点进行同向性变换，得到归一化的第二关键点，即用第二关键点的坐标乘上第二变换矩阵，从而得到归一化的第二关键点的坐标。
[0054]
步骤204，根据若干归一化的关键点对构建超定方程组。
[0055]
具体而言，服务器可以根据若干归一化的关键点对分别得到若干超定方程，基于这些超定方程构建超定方程组，求解超定方程组得到的基础矩阵f是更稳定、更可靠的基础矩阵。
[0056]
步骤205，对超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵。
[0057]
在一个例子中，服务器对超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，可以通过如图3所示的各子步骤实现，具体包括：
[0058]
子步骤2051，对超定方程组进行最小二乘法求解和奇异值分解，得到归一化的基础矩阵。
[0059]
子步骤2052，根据第一变换矩阵和第二变换矩阵对所述归一化的基础矩阵进行反归一化，得到基础矩阵。
[0060]
具体而言，由于服务器在构建超定方程组之前对关键点对进行了归一化处理，因此构建的超定方程组实际上是一个归一化的超定方程组，服务器对超定方程组进行最小二乘法求解和奇异值分解，得到的是归一化的基础矩阵，无法直接使用，服务器需要根据第一变换矩阵和第二变换矩阵对所述归一化的基础矩阵进行反归一化，从而得到基础矩阵，保证解算出的平移矩阵和旋转矩阵是正确的、符合深度相机实际情况的。
[0061]
在一个例子中，服务器根据第一变换矩阵和第二变换矩阵对所述归一化的基础矩阵进行反归一化，得到基础矩阵，可以通过以下公式实现：
[0062][0063]
式中，h1为第一变换矩阵，h2为第二变换矩阵，f
′
为归一化的基础矩阵，f为基础矩阵。
[0064]
步骤206，对基础矩阵进行分解，得到解算出的旋转矩阵和解算出的平移矩阵。
[0065]
步骤207，用解算出的旋转矩阵校准深度相机的旋转矩阵，并用解算出的平移矩阵
校准深度相机的平移矩阵。
[0066]
其中，步骤206至步骤207与步骤104至步骤105大致相同，此处不再赘述。
[0067]
本实施例，在所述获得若干关键点对之后，所述根据所述若干关键点对构建超定方程组之前，包括：根据所述关键点对的总数、各所述关键点对的坐标和预设的归一化公式，确定所述红外图对应的第一变换矩阵和所述彩色图对应的第二变换矩阵；其中，所述关键点对的坐标包括所述第一关键点的坐标和所述第二关键点的坐标；根据各所述关键点对的坐标、所述第一变换矩阵和所述第二变换矩阵，对所述若干关键点对进行同向性变换，得到若干归一化的关键点对；所述根据所述若干关键点对构建超定方程组，包括：根据若干归一化的关键点对构建超定方程组，基于原始的关键点对虽然可以求解出基础矩阵，并进一步解算出旋转矩阵和平移矩阵，但由于噪声的存在、数值取舍的误差的存在，求解基础矩阵的过程并不稳定，因此本实施例基于各关键点对的坐标先对原始图像进行归一化处理、同向性变换，从而降低噪声对求解基础矩阵的干扰。
[0068]
在一个实施例中，服务器对超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，可以通过如图所示的各步骤实现，具体包括：
[0069]
步骤301，构建一个n行9列的求解矩阵q，根据最小二乘法和求解矩阵q，确定超定方程组的最小二乘解。
[0070]
在具体实现中，服务器在对超定方程组进行最小二乘法求解时，先构建一个n行9列的求解矩阵q，n为关键点对的总数，服务器根据最小二乘法和求解矩阵q，确定超定方程组的最小二乘解为矩阵q*q
t
的最小特征值对应的特征向量。
[0071]
在一个例子中，服务器在对彩色图和红外图进行人脸检测时，检测到68组关键点对，因此服务器在对超定方程组进行最小二乘法求解时，需要构建一个68行9列的求解矩阵q。
[0072]
步骤302，将最小二乘解转化为3行3列的粗基础矩阵，并对粗基础矩阵进行奇异值分解。
[0073]
具体而言，服务器将最小二乘解转化为3行3列的粗基础矩阵f
″
，并对粗基础矩阵f
″
进行奇异值分解，奇异值分解后的粗基础矩阵f
″
包括左奇异向量、奇异值矩阵和右奇异向量。
[0074]
在一个例子中，粗基础矩阵f
″
可以通过以下公式表示：f”＝s*diag(d1，d2，d3)*v
t
，式中，s为左奇异向量，v
t
为右奇异向量，diag(d1，d2，d3)为奇异值矩阵，d1为第1行第1列的奇异值，d2为第2行第2列的奇异值，d3为第3行第3列的奇异值，f
″
为粗基础矩阵。
[0075]
步骤303，令奇异值矩阵中第3行第3列的奇异值置0，得到基础矩阵。
[0076]
具体而言，基础矩阵f具有一个重要的性质，即基础矩阵f的秩为2，因此服务器令粗基础矩阵f
″
中的奇异值矩阵中第3行第3列的奇异值置0，即可基础矩阵f。
[0077]
在一个例子中，基础矩阵f可以通过以下公式表示：f＝s*diag(d1，d2，0)*v
t
，式中，s为左奇异向量，v
t
为右奇异向量，diag(d1，d2，0)为第3行第3列的奇异值置0的奇异值矩阵，f为基础矩阵。
[0078]
本实施例，所述对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，包括：构建一个n行9列的求解矩阵q，根据最小二乘法和所述求解矩阵q，确定所述超定方程组的最小二乘解；其中，n为所述特征点对的总数，所述最小二乘解即矩阵q*qt的最
小特征值对应的特征向量；将所述最小二乘解转化为3行3列的粗基础矩阵，并对所述粗基础矩阵进行奇异值分解；其中，奇异值分解后的粗基础矩阵包括左奇异向量、奇异值矩阵和右奇异向量；令所述奇异值矩阵中第3行第3列的奇异值置0，得到基础矩阵，使用最小二乘法和奇异值分解，可以大大降低基础矩阵的获取难度，减少运算量，提升深度相机的校准速度，从而提高用户的使用体验。
[0079]
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0080]
本技术的另一个实施例涉及一种深度相机的校准装置，下面对本实施例的深度相机的校准装置的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的深度相机的校准装置的示意图可以如图5所示，包括：人脸检测模块401、构建与解算模块402和校准模块403。
[0081]
人脸检测模块401用于分别对深度相机拍摄的红外图和彩色图进行人脸检测，获得若干关键点对，其中，所述红外图与所述彩色图的内容相同，所述关键点对包括所述红外图上的第一关键点和所述彩色图上的第二关键点。
[0082]
构建与解算模块402用于根据所述若干关键点对构建超定方程组，对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，并对所述基础矩阵进行分解，得到解算出的旋转矩阵和解算出的平移矩阵。
[0083]
校准模块403用于用所述解算出的旋转矩阵校准所述深度相机的旋转矩阵，并用所述解算出的平移矩阵校准所述深度相机的平移矩阵。
[0084]
值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本技术的创新部分，本实施例中并没有将与解决本技术所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。
[0085]
本技术另一个实施例涉及一种电子设备，如图6所示，包括：至少一个处理器501；以及，与所述至少一个处理器501通信连接的存储器502；其中，所述存储器502存储有可被所述至少一个处理器501执行的指令，所述指令被所述至少一个处理器501执行，以使所述至少一个处理器501能够执行上述各实施例中的深度相机的校准方法。
[0086]
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
[0087]
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
[0088]
本技术另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
[0089]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称：rom)、随机存取存储器(random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0090]
本领域的普通技术人员可以理解，上述各实施例是实现本技术的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本技术的精神和范围。
技术特征：1.一种深度相机的校准方法，其特征在于，包括：分别对深度相机拍摄的红外图和彩色图进行人脸检测，获得若干关键点对；其中，所述红外图与所述彩色图的内容相同，所述关键点对包括所述红外图上的第一关键点和所述彩色图上的第二关键点；根据所述若干关键点对构建超定方程组；对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵；对所述基础矩阵进行分解，得到解算出的旋转矩阵和解算出的平移矩阵；用所述解算出的旋转矩阵校准所述深度相机的旋转矩阵，并用所述解算出的平移矩阵校准所述深度相机的平移矩阵。2.根据权利要求1所述的深度相机的校准方法，其特征在于，在所述获得若干关键点对之后，所述根据所述若干关键点对构建超定方程组之前，包括：根据所述关键点对的总数、各所述关键点对的坐标和预设的归一化公式，确定所述红外图对应的第一变换矩阵和所述彩色图对应的第二变换矩阵；其中，所述关键点对的坐标包括所述第一关键点的坐标和所述第二关键点的坐标；根据各所述关键点对的坐标、所述第一变换矩阵和所述第二变换矩阵，对所述若干关键点对进行同向性变换，得到若干归一化的关键点对；所述根据所述若干关键点对构建超定方程组，包括：根据若干归一化的关键点对构建超定方程组。3.根据权利要求2所述的深度相机的校准方法，其特征在于，通过以下公式，根据所述关键点对的总数、各所述关键点对的坐标和预设的归一化公式，确定所述红外图对应的第一变换矩阵和所述彩色图对应的第二变换矩阵：一变换矩阵和所述彩色图对应的第二变换矩阵：一变换矩阵和所述彩色图对应的第二变换矩阵：一变换矩阵和所述彩色图对应的第二变换矩阵：其中，u
1i
为第i个所述第一关键点的横坐标，v
1i
为第i个所述第一关键点的纵坐标，u
2i
为第i个所述第二关键点的横坐标，v
2i
为第i个所述第二关键点的纵坐标，n为所述关键点对的总数，h1为所述红外图对应的第一变换矩阵，h2为所述彩色图对应的第二变换矩阵。4.根据权利要求2所述的深度相机的校准方法，其特征在于，所述对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，包括：对所述超定方程组进行最小二乘法求解和奇异值分解，得到归一化的基础矩阵；根据所述第一变换矩阵和所述第二变换矩阵对所述归一化的基础矩阵进行反归一化，得到基础矩阵。5.根据权利要求4所述的深度相机的校准方法，其特征在于，通过以下公式，根据所述
第一变换矩阵和所述第二变换矩阵对所述归一化的基础矩阵进行反归一化，得到基础矩阵：其中，h1为所述第一变换矩阵，h2为所述第二变换矩阵，f
′
为所述归一化的基础矩阵，f为所述基础矩阵。6.根据权利要求1-3中任一项所述的深度相机的校准方法，其特征在于，所述对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，包括：构建一个n行9列的求解矩阵q，根据最小二乘法和所述求解矩阵q，确定所述超定方程组的最小二乘解；其中，n为所述关键点对的总数，所述最小二乘解即矩阵q*q
t
的最小特征值对应的特征向量；将所述最小二乘解转化为3行3列的粗基础矩阵，并对所述粗基础矩阵进行奇异值分解；其中，奇异值分解后的粗基础矩阵包括左奇异向量、奇异值矩阵和右奇异向量；令所述奇异值矩阵中第3行第3列的奇异值置0，得到基础矩阵。7.根据权利要求6所述的深度相机的校准方法，其特征在于，所述基础矩阵通过以下公式表示：f＝s*diag(d1，d2，0)*v
t
其中，s为所述左奇异向量，v
t
为所述右奇异向量，diag(d1，d2，0)为第3行第3列的奇异值置0的奇异值矩阵，f为所述基础矩阵。8.一种深度相机的校准装置，其特征在于，包括：人脸检测模块、构建与解算模块和校准模块；所述人脸检测模块用于分别对深度相机拍摄的红外图和彩色图进行人脸检测，获得若干关键点对，其中，所述红外图与所述彩色图的内容相同，所述关键点对包括所述红外图上的第一关键点和所述彩色图上的第二关键点；所述构建与解算模块用于根据所述若干关键点对构建超定方程组，对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵，并对所述基础矩阵进行分解，得到解算出的旋转矩阵和解算出的平移矩阵；所述校准模块用于用所述解算出的旋转矩阵校准所述深度相机的旋转矩阵，并用所述解算出的平移矩阵校准所述深度相机的平移矩阵。9.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的深度相机的校准方法。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的深度相机的校准方法。
技术总结本申请实施例涉及机器视觉技术领域，公开了一种深度相机的校准方法、装置、电子设备和存储介质，该方法包括：分别对深度相机拍摄的红外图和彩色图进行人脸检测，获得若干关键点对；其中，所述关键点对包括所述红外图上的第一关键点和所述彩色图上的第二关键点；根据所述若干关键点对构建超定方程组；对所述超定方程组进行最小二乘法求解和奇异值分解，得到基础矩阵；对所述基础矩阵进行分解，得到解算出的旋转矩阵和解算出的平移矩阵；用所述解算出的旋转矩阵校准所述深度相机的旋转矩阵，并用所述解算出的平移矩阵校准所述深度相机的平移矩阵，在无需设置额外的装置器件的情况下即可大大提高三图对齐的精度，成本很低，校准过程的鲁棒性很高。程的鲁棒性很高。程的鲁棒性很高。
技术研发人员：化雪诚 付贤强 王海彬 刘祺昌 李东洋 户磊
受保护的技术使用者：合肥的卢深视科技有限公司
技术研发日：2022.02.24
技术公布日：2022/7/5
