参数标定方法和装置、计算机可读存储介质与流程

1.本发明涉及相机技术领域，尤其涉及一种参数标定方法、一种参数标定装置和一种计算机可读存储介质。


背景技术：

2.在移动机器人领域，常应用tof(time of flight，飞行时间)相机加rgb相机的方案来解决机器人运动中面临感知、避障和导航等问题。在实际的工作中，常单独选择rgb相机和tof相机组合的方式在一起来解决实际问题，这将导致二者相机存在分辨率大小不同、帧率不同和坐标系不统一问题，其中坐标系不统一是最急需解决的问题，解决rgb相机与tof相机坐标系统一的方式称为rgb相机与tof相机的外参标定。
3.现有技术中rgb相机与tof相机外参标定是基于二维图像和复杂三维数据结合二维图像进行。但是此种方式基于二维图像的外参标定方法受图像大小分辨率限制，当rgb相机和tof相机分辨率大小不同时方法不适用，基于复杂三维数据结合二维图像的标定方法常需要更多的数据对，效率低下，且适应性、可操作性和精确度较差。


技术实现要素：

4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种参数标定方法，通过基于rgb数据和tof数据进行处理后得到标定参数，并确定待定标定参数，对待定标定参数进行修正后，根据目标标定参数统一各数据对中的rgb数据的和tof数据的坐标，由此能够解决rgb数据的和tof数据的坐标不统一问题，且该标定方法效率高、精确度高，易于实现自动化。
5.本发明的第二个目的在于提出一种参数标定装置。
6.本发明的第三个目的在于提出一种计算机可读存储介质。
7.为达到上述目的，本发明第一方面实施例提出了一种参数标定方法，包括：确定至少一对标定数据对，标定数据对包括rgb数据和tof数据；基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数；根据各标定数据对对应的标定参数确定待定标定参数；对待定标定参数进行修正得到目标标定参数，目标标定参数用于统一各标定数据对中的rgb数据的和tof数据的坐标。
8.根据本发明实施例的参数标定方法，首先确定至少一对标定数据对，标定数据对包括rgb数据和tof数据，然后基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数，接着根据各标定数据对对应的标定参数确定待定标定参数，最后对待定标定参数进行修正得到目标标定参数，目标标定参数用于统一各标定数据对中的rgb数据的和tof数据的坐标。由此，该方法能够解决rgb数据的和tof数据的坐标不统一问题，且该标定方法效率高、精确度高，易于实现自动化。
9.另外，根据本发明上述实施例的参数标定方法还可以具有如下的附加技术特征：
10.根据本发明的一个实施例，根据各标定数据对对应的标定参数确定待定标定参
数，包括：从各对标定参数中确定满足预设条件的一个标定参数作为待定标定参数；或者，利用光束法平差法从各对标定数据对应的标定参数中确定一个待定标定参数；或者，将各对标定数据对划分为至少两个标定数据组，各标定数据组中包括至少一对标定数据对，从各标定数据组中确定满足预设条件的一个标定参数得到多个标定数据，利用光束法平差法从得到的多个标定数据中确定一个待定标定参数。
11.根据本发明的一个实施例，根据各标定数据对对应的标定参数确定待定标定参数之后还包括：确定待定标定参数所对应的标定数据对，重新基于标定数据对中的rgb数据和tof数据计算得到标定数据对对应的标定参数，将重新计算得到的标定参数与原计算得到的标定参数进行比对，若两者差值小于预设阈值时，确定重新计算得到的标定参数为待定标定参数；否则，重新执行参数标定方法的各个步骤。
12.根据本发明的一个实施例，基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数包括：根据各标定数据对中的rgb数据构建第一平面方程；根据标定数据对中的tof数据构建第二平面方程；基于第一平面方程和第二平面方程确定标定数据对对应的标定参数；基于各个标定数据计算得到对应各个标定数据对对应的标定参数。
13.根据本发明的一个实施例，tof数据包括ir二维图像和深度图像，则根据标定数据对中的tof数据构建第二平面方程，包括：提取ir二维图像中棋盘格四个角点和角点索引；根据角点索引采用最大似然估计算法对深度图像进行处理，以获得有效像素点，其中，有效像素点用于指示可信度高于设定阈值的深度值对应的像素点；根据四个角点和有效像素点确定有效棋盘格区域；根据有效棋盘格内的有效像素点获取三维点云数据，并根据三维点云数据构建第二平面方程。
14.根据本发明的一个实施例，根据各标定数据对中的rgb数据构建第一平面方程，包括：根据rgb相机坐标系与棋盘格世界坐标系之间相对位置关系获取平移距离和旋转角度；根据平移距离和旋转角度对待定标定参数进行变换；根据变换后的待定标定参数和rgb数据确定第一平面方程。
15.根据本发明的一个实施例，基于第一平面方程和第二平面方程确定标定数据对对应的标定参数，包括：获取多组rgb数据和tof数据对应的平面方程，其中，每组数据中包括多个配准对，每个配准对包括一个第一平面方程和一个第二平面方程；采用面对面模型的配准方式获取每个配准对的标定参数；根据每个配准对的标定参数确定每组中的最小标定参数；根据每组中的最小标定参数和对应的第一平面方程和第二平面方程确定标定数据对对应的标定参数。
16.根据本发明的一个实施例，对待定标定参数进行修正得到目标标定参数包括：构建对rgb数据进行处理时的第一代价函数，并获取对tof数据进行处理时的第二代价函数，以及获取确定标定参数时的第三代价函数；根据第一代价函数、第二代价函数和第三代价函数采用图论优化算法对待定标定参数进行修正得到目标标定参数。
17.为达到上述目的，本发明第二方面实施例提出了一种参数标定装置，包括：数据获取模块，用于确定至少一对标定数据对，标定数据对包括基于相同位姿采集到的rgb数据和tof数据；数据处理模块，用于基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数；第一确定模块，用于根据各标定数据对对应的标定参数确定待定标
定参数；第二确定模块，用于对待定标定参数进行修正得到目标标定参数，目标标定参数用于统一各标定数据对中的rgb数据的和tof数据的坐标。
18.根据本发明实施例的参数标定装置，数据获取模块用于确定至少一对标定数据对，标定数据对包括rgb数据和tof数据，数据处理模块用于基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数，第一确定模块用于根据各标定数据对对应的标定参数确定待定标定参数，第二确定模块用于对待定标定参数进行修正得到目标标定参数，目标标定参数用于统一各标定数据对中的rgb数据的和tof数据的坐标。由此，该参数标定装置能够解决rgb数据的和tof数据的坐标不统一问题，且该标定方法效率高、精确度高，易于实现自动化。
19.为达到上述目的，本发明第三方面实施例提出了一种计算机可读存储介质，其上存储有参数标定程序，该参数标定程序被处理器执行时实现上述的参数标定方法。
20.根据本发明实施例的计算机可读存储介质，通过执行参数标定方法，能够解决rgb数据的和tof数据的坐标不统一问题，且该标定方法效率高、精确度高，易于实现自动化。
21.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
22.图1为根据本发明实施例的参数标定方法的流程图；
23.图2为根据本发明一个具体示例的参数标定方法的流程图；
24.图3为根据本发明实施例的参数标定装置的方框示意图。
具体实施方式
25.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
26.下面参考附图描述本发明实施例提出的参数标定方法、参数标定装置和计算机可读存储介质。
27.图1为根据本发明实施例的参数标定方法的流程图。
28.如图1所示，本发明实施例的参数标定方法可包括以下步骤：
29.s1，确定至少一对标定数据对，标定数据对包括rgb数据和tof数据。
30.具体而言，在确定至少一对标定数据对时，可通过rgb相机与tof相机同时对标定用的棋盘格采集获取的rgb数据和tof数据为一组标定数据对，rgb相机采集的棋盘格的世界坐标系数据与tof相机采集获取的点云数据是共面的，通过这二者的共面关系可以求解出rgb相机与tof相机之间的坐标系关系。由此，参数标定的核心关系是根据rgb相机获取的棋盘格的世界坐标系与tof相机获取的点云数据的共面性来维持的，因此，只需关注棋盘格部分的数据的获取和处理。首先将标定用的棋盘格放置位于rgb相机与tof相机共同的视野范围内，在视野范围内进行采集数据，例如，在视野范围的中间、上下、左右和远近等位置进行获取rgb数据和tof数据，让rgb相机和tof相机获取的数据都是有效可靠的，可采集多组数据，如采集获取6至12组数据，作为标定数据对，其中标定数据对至少包括一对rgb数据和
tof数据，在一些示例中，基于相同位姿采集到的rgb数据和tof数据，当然在另外的一些示例中，采集rgb数据和tof数据的位姿可以不一样，本发明实施例以基于相同位姿采集到的rgb数据和tof数据为例继续介绍本发明实施例提供的参数标定方法。保存rgb相机的二维图像和tof相机的ir(infrared radiation，红外线)二维图像(也即灰度图)和深度图像。
31.s2，基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数。
32.在本发明实施例的一些示例中，基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数包括：根据各标定数据对中的rgb数据构建第一平面方程；根据标定数据对中的tof数据构建第二平面方程；基于第一平面方程和第二平面方程确定标定数据对对应的标定参数；基于各个标定数据计算得到对应各个标定数据对对应的标定参数。
33.在本发明实施例的一些示例中，tof数据包括ir二维图像和深度图像，则根据标定数据对中的tof数据构建第二平面方程，包括：提取ir二维图像中棋盘格四个角点和角点索引；根据角点索引采用最大似然估计算法对深度图像进行处理，以获得有效像素点，其中，有效像素点用于指示可信度高于设定阈值的深度值对应的像素点；根据四个角点和有效像素点确定有效棋盘格区域；根据有效棋盘格内的有效像素点获取三维点云数据，并根据三维点云数据构建第二平面方程。其中，设定阈值可根据实际情况而定。
34.具体而言，tof数据包括ir(infrared radiation，红外线)二维图像(也即灰度图)和深度图像，根据标定数据对中的tof数据构建第二平面方程时，可先可通过harris角点检测算法提取ir二维图像中棋盘格四个角点，并保存角点索引，角点索引可根据棋盘格的格数确定。然后在获取到角点索引后，可根据角点索引在tof相机获取的深度图像中通过采用最大似然估计算法进行处理，以获取有效像素点，由于每个像素点对应一个深度值，有效像素点即表示可信度较高(高于设定阈值)的深度值对应的像素点。根据ir二维图像中棋盘格四个角点和有效像素点构成的四边形框选出深度图像中有效的棋盘格区域，最后可根据有效棋盘格内的有效像素点计算出棋盘格区域内的三维点云数据，即通过tof相机提供的内参矩阵(三维点云数据能够与有效像素点进行转换的矩阵)计算出三维点云数据。在获取到三维点云数据后，可根据三维点云数据使用ransac(random sample consensus，随机抽样一致)算法构建第二平面方程，ransac算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。即根据三维点云数据确定第二平面方程时可将tof相机计算出棋盘格区域的三维点云数据通过ransac算法拟合出平面参数(即第二平面方程)，在处理完三维点云数据后，保存平面参数信息，即第二平面方程a2x+b2y+c2z+d2＝0(a2、b2、c2、d2是描述第二平面空间特征的常数)。
35.在本发明实施例的一些示例中，根据各标定数据对中的rgb数据构建第一平面方程，包括：根据rgb相机坐标系与棋盘格世界坐标系之间相对位置关系获取平移距离和旋转角度；根据平移距离和旋转角度对待定标定参数进行变换；根据变换后的待定标定参数和rgb数据确定第一平面方程。
36.具体而言，在根据各标定数据对中的rgb数据构建第一平面方程时，先对rgb数据进行处理，例如，可通过张正友算法对rgb数据进行处理，得出rgb相机的内参和rgb相机坐标系与棋盘格世界坐标系之间的外参变换参数，即rgb相机的内参矩阵和外参矩阵。
37.基于rgb相机采集得到图像建立棋盘格世界坐标系，rgb相机坐标系与棋盘格世界坐标系之间是一一对应的关系，以rgb相机坐标系为参照物，根据rgb相机坐标系与棋盘格世界坐标系之间相对位置关系获取平移距离d和旋转角度θ(基于外参矩阵)，在确定平移距离d和旋转角度θ后，可根据平移距离d和旋转角度θ对待定标定参数进行变换，最后可基于变换后的待定变换参数和获取的rgb数据确定平面参数信息，即第一平面方程a1x+b1y+c1z+d1＝0(a1、b1、c1、d1是描述第一平面空间特征的常数)。
38.在本发明实施例的一些示例中，基于第一平面方程和第二平面方程确定标定数据对对应的标定参数，包括：获取多组rgb数据和tof数据对应的平面方程，其中，每组数据中包括多个配准对，每个配准对包括一个第一平面方程和一个第二平面方程；采用面对面模型的配准方式获取每个配准对的标定参数；根据每个配准对的标定参数确定每组中的最小标定参数；根据每组中的最小标定参数和对应的第一平面方程和第二平面方程确定标定数据对对应的标定参数。
39.具体而言，获取多组rgb数据和tof数据对应的平面方程，即同一个点分别通过rgb和rof采集的数据对。例如，可通过排列组合(随机)的方式获取三组rgb数据和tof数据，每一组数据可包括多个配准对，如每一组数据包括三个配准对，每个配准对包括一个第一平面方程和一个第二平面方程。举例而言，第一组包含三个配准对，即配准对1(第一平面方程1和第二平面方程1)，配准对2(第一平面方程2和第二平面方程2)，配准对3(第一平面方程3和第二平面方程3)。
40.配准方式有点对点、点对面和面对面模型等，在本发明中，由于两个面不一定是平行关系，会存在一定的角度，可通过面对面模型的配准方式，即将一个面上的所有点到另外一个面上的距离都是最小的配准方式，将rgb平面参数上的各个点和对应的tof平面参数上的各个点进行坐标匹配，计算得出rgb平面参数和tof平面参数的标定参数，即每个配准对的标定参数。其中，标定参数为一个4*4的矩阵，旋转矩阵为3*3的矩阵，平移矩阵为列矩阵[x,y,z,1]
t
，经旋转矩阵和平移矩阵组合后其余的位置补0(第四行的前三列)即可得到4*4的矩阵。可以理解的是，第一平面方程和第二平面方程之间的差值越小，说明第一平面方程和第二平面方程拟合的越好。
[0041]
在多个配准对的标定参数中，确定每一组中最小的标定参数，即通过4*4矩阵的模值的大小进行判断，每组中矩阵模值最小的确定为每组中的最小标定参数。在获取到每组数据中的最小标定参数后，可根据最小标定参数和最小标定参数对应的第一平面方程和第二平面方程确定标定数据对对应的标定参数，从而计算得到对应各个标定数据对对应的标定参数。
[0042]
s3，根据各标定数据对对应的标定参数确定待定标定参数。
[0043]
在本发明实施例的一些示例中，根据各标定数据对对应的标定参数确定待定标定参数，包括：从各对标定参数中确定满足预设条件的一个标定参数作为待定标定参数；或者，利用光束法平差法从各对标定数据对应的标定参数中确定一个待定标定参数；或者，将各对标定数据对划分为至少两个标定数据组，各标定数据组中包括至少一对标定数据对，从各标定数据组中确定满足预设条件的一个标定参数得到多个标定数据，利用光束法平差法从得到的多个标定数据中确定一个待定标定参数。
[0044]
具体而言，在获取到多个标定数据对对应的标定参数后，可从各对标定参数中确
定满足预设条件的一个标定参数作为待定标定参数，例如，可从多个标定参数中直接选择最大的或者最小的一个标定参数为待定标定参数，或者设定一个阈值，确定与这个阈值最接近的一个标定参数为待定标定参数等。或者，可以采用bundle adjustment(光束平差法)从各对标定数据对中筛选出最优的面与面配准组合对，将该对数据对应的标定参数作为待定标定参数，并标记出配准对的序号，即记录是哪一对rgb平面参数和tof平面参数，便于进行重新核算。或者，还可以将多个标定数据对划分为至少两个标定数据组，例如，第一标定数据组和第二标定数据组，每一个标定数据组中都包含至少一对标定数据对，例如，第一标定数据组中包含三对标定数据对，第二标定数据组中包含三对标定数据对，从各标定数据组(如第一标定数据组和第二标定数据组)中确定满足预设条件的一个标定参数得到多个标定数据，例如，在第一标定数据组中确定最小的标定参数所对应的标定数据，在第二标定数据组中确定最小的标定参数所对应的标定数据，每一组确定一个则共确定两个标定数据，然后利用光束法平差法从得到的两个标定数据中确定最优标定数据对，从而可根据最优标定数据对确定一个待定标定参数。其中，最优的配准对是指rgb平面参数和tof平面参数配准得最接近的一对rgb平面参数和tof平面参数，对应计算得到的待标定参数也是最小的。
[0045]
进一步地，在本发明实施例的一些示例中，根据各标定数据对对应的标定参数确定待定标定参数之后还包括：确定待标定参数所对应的标定数据对，重新基于标定数据对中的rgb数据和tof数据计算得到标定数据对对应的标定参数，将重新计算得到的标定参数与原计算得到的标定参数进行比对，若两者差值小于预设阈值时，确定重新计算得到的标定参数为待定标定参数；否则，重新执行参数标定方法的各个步骤。其中，预设阈值可根据实际情况而定。
[0046]
具体而言，在确定待定标定参数后，根据待定标定参数确定所对应的标定数据对，再次根据标定数据对中的rgb数据和tof数据采用面对面模型的配准方式进行坐标匹配，以获取新的标定数据对对应的标定参数。将新的标定参数与上一次计算得到的标定参数进行比较，若当前新的标定参数与上一次计算得到的标定参数之间的差值小于预设阈值时，可将新的标定参数作为待定标定参数；若当前新的标定参数与上一次计算得到的标定参数之间的差值大于或等于预设阈值时，则继续执行参数标定的方法，重新确定至少一对标定数据对，并根据各标定数据计算得到标定数据对对应的标定参数，并根据各标定数据对对应的标定参数确定待定标定参数。
[0047]
s4，对待定标定参数进行修正得到目标标定参数，目标标定参数用于统一各标定数据对中的rgb数据的和tof数据的坐标。
[0048]
在本发明实施例的一些示例中，对待定标定参数进行修正得到目标标定参数包括：构建对rgb数据进行处理时的第一代价函数，并获取对tof数据进行处理时的第二代价函数，以及获取确定标定参数时的第三代价函数；根据第一代价函数、第二代价函数和第三代价函数采用图论优化算法对待定标定参数进行修正得到目标标定参数。
[0049]
具体而言，由于rgb相机与tof相机因受到畸变参数的影响，rgb相机与tof相机采集的图像会出现微小移动，即与物体实际位置存在误差，这些变换对标定的参数都会产生影响，本发明采用图论优化方法来同时优化上述相机的畸变参数对标定参数的影响，最终得出高精度的标定参数，以实现更好的应用。例如，在rgb数据进行处理时(如对rgb数据进
行处理以获得外参变换参数)获取第一代价函数，在tof数据进行处理时(如对tof数据进行处理以获得三维点云数据)获取第二代价函数，以及在确定标定参数时获取第三代价函数。其中，代价函数指任何能够衡量模型预测出来的值h(θ)与真实值y之间的差异的函数c(θ)，另外，如果有多个样本数据，还可以将所有代价函数的取值求均值，记做j(θ)。代价函数有如下性质：对于每种算法来说，代价函数不是唯一的；代价函数是参数θ的函数；总的代价函数j(θ)可以用来评价模型的好坏，代价函数越小说明模型和参数越符合训练样本(x，y)；j(θ)是一个标量。在获取到第一代价函数、第二代价函数和第三代价函数后，可采用图论优化方法或者lm算法(levenberg-marquarelt，一种迭代求函数极值的算法)，以进行对待定标定参数的修正以及优化，最终可根据修正后的标定参数(目标标定参数)使rgb相机和tof相机的坐标系统一，即对于tof相机采用三维点云数据与目标标定参数进行相乘的方式，对于rgb相机可以人为的规定一个常数，如1或2等，构成一个行矩阵如[x,y,1]，与目标标定参数进行相乘，相乘时目标标定参数(4*4的矩阵)的最后一行可以删除，由此解决了不同分辨率大小rgb相机和tof相机坐标系统一问题，使rgb数据的和tof数据的坐标统一。
[0050]
下面结合图2来描述本发明的参数标定方法。
[0051]
作为一个具体示例，本发明的参数标定方法可包括以下步骤：
[0052]
rgb相机参数标定部分包括以下步骤：
[0053]
s101，获取rgb数据。
[0054]
s102，采用张正友算法对rgb数据进行处理，以获得rgb相机坐标系与棋盘格世界坐标系之间的外参变换参数。
[0055]
s103，根据rgb相机坐标系与棋盘格世界坐标系之间相对位置关系获取平移距离和旋转角度，根据平移距离和旋转角度对待定标定参数进行变换。
[0056]
s104，根据变换后的待定标定参数和rgb数据确定第一平面方程，进入步骤s301。
[0057]
tof相机的参数标定部分包括以下步骤：
[0058]
s201，获取tof数据。
[0059]
s202，采用harris算法提取ir二维图像中棋盘格四个角点和角点索引。
[0060]
s203，根据角点索引采用最大似然估计算法对深度图像进行处理，以获得有效像素点。
[0061]
s204，根据四个角点和有效像素点确定有效棋盘格区域。
[0062]
s205，根据有效棋盘格内的有效像素点获取三维点云数据。
[0063]
s206，根据三维点云数据采用ransac算法获得第二平面方程，进入步骤s301。
[0064]
s301，获取多组rgb数据和tof数据对应的平面方程，采用面对面模型的配准方式获取每个配准对的标定参数，确定其中最小标定参数以及目标配准对，根据目标配准对确定标定参数。
[0065]
s302，根据各标定数据对对应的标定参数确定待定标定参数。
[0066]
s303，构建第一代价函数、第二代价函数和第三代价函数并采用图论优化算法对待定标定参数进行修正，求出最终的目标标定参数使rgb数据的和tof数据的坐标统一。
[0067]
综上所述，根据本发明实施例的参数标定方法，首先确定至少一对标定数据对，标定数据对包括rgb数据和tof数据，然后基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数，接着根据各标定数据对对应的标定参数确定待定标定参
数，最后对待定标定参数进行修正得到目标标定参数，目标标定参数用于统一各标定数据对中的rgb数据的和tof数据的坐标。由此，该方法能够解决rgb数据的和tof数据的坐标不统一问题，且该标定方法效率高、精确度高，易于实现自动化。
[0068]
对应上述实施例，本发明还提出了一种参数标定装置。
[0069]
如图3所示，本发明实施例提出的参数标定装置100包括：数据获取模块110、数据处理模块120、第一确定模块130和第二确定模块140。
[0070]
其中，数据获取模块110用于确定至少一对标定数据对，标定数据对包括rgb数据和tof数据。数据处理模块120用于基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数。第一确定模块130用于根据各标定数据对对应的标定参数确定待定标定参数。第二确定模块140用于对待定标定参数进行修正得到目标标定参数，目标标定参数用于统一各标定数据对中的rgb数据的和tof数据的坐标。
[0071]
在本发明实施例的一些示例中，第一确定模块130根据各标定数据对对应的标定参数确定待定标定参数，具体用于：从各对标定参数中确定满足预设条件的一个标定数据作为待定标定数据；或者，利用光束法平差法从各对标定数据对应的标定参数中确定一个待标定参数；或者，将各对标定数据对划分为至少两个标定数据组，各标定数据组中包括至少一对标定数据对，从各标定数据组中确定满足预设条件的一个标定参数得到多个标定数据，利用光束法平差法从得到的多个标定数据中确定一个待标定参数。
[0072]
在本发明实施例的一些示例中，第一确定模块130根据各标定数据对对应的标定参数确定待定标定参数之后还用于：确定待标定参数所对应的标定数据对，重新基于标定数据对中的rgb数据和tof数据计算得到标定数据对对应的标定参数，将重新计算得到的标定参数与原计算得到的标定参数进行比对，若两者差值小于预设阈值时，确定重新计算得到的标定参数为待定标定参数；否则，重新执行参数标定方法的各个步骤。
[0073]
在本发明实施例的一些示例中，数据处理模块120基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数，具体用于：根据各标定数据对中的rgb数据构建第一平面方程；根据标定数据对中的tof数据构建第二平面方程；基于第一平面方程和第二平面方程确定标定数据对对应的标定参数；基于各个标定数据计算得到对应各个标定数据对对应的标定参数。
[0074]
在本发明实施例的一些示例中，tof数据包括ir二维图像和深度图像，数据处理模块120则根据标定数据对中的tof数据构建第二平面方程，具体用于：提取ir二维图像中棋盘格四个角点和角点索引；根据角点索引采用最大似然估计算法对深度图像进行处理，以获得有效像素点，其中，有效像素点用于指示可信度高于设定阈值的深度值对应的像素点；根据四个角点和有效像素点确定有效棋盘格区域；根据有效棋盘格内的有效像素点获取三维点云数据，并根据三维点云数据构建第二平面方程。
[0075]
在本发明实施例的一些示例中，数据处理模块120根据各标定数据对中的rgb数据构建第一平面方程，具体用于：根据rgb相机坐标系与棋盘格世界坐标系之间相对位置关系获取平移距离和旋转角度；根据平移距离和旋转角度对待定标定参数进行变换；根据变换后的待定标定参数和rgb数据确定第一平面方程。
[0076]
在本发明实施例的一些示例中，第一确定模块130基于第一平面方程和第二平面方程确定标定数据对对应的标定参数，具体用于：获取多组rgb数据和tof数据对应的平面
方程，其中，每组数据中包括多个配准对，每个配准对包括一个第一平面方程和一个第二平面方程；采用面对面模型的配准方式获取每个配准对的标定参数；根据每个配准对的标定参数确定每组中的最小标定参数；根据每组中的最小标定参数和对应的第一平面方程和第二平面方程确定标定数据对对应的标定参数。
[0077]
在本发明实施例的一些示例中，第二确定模块140对待定标定参数进行修正得到目标标定参数，具体用于：构建对rgb数据进行处理时的第一代价函数，并获取对tof数据进行处理时的第二代价函数，以及获取确定标定参数时的第三代价函数；根据第一代价函数、第二代价函数和第三代价函数采用图论优化算法对待定标定参数进行修正得到目标标定参数。
[0078]
需要说明的是，本发明实施例的参数标定装置中未披露的细节，请参照本发明实施例的参数标定方法中所披露的细节，具体这里不再赘述。
[0079]
根据本发明实施例的参数标定装置，数据获取模块用于确定至少一对标定数据对，标定数据对包括rgb数据和tof数据，数据处理模块用于基于各标定数据对中的rgb数据和tof数据计算得到各标定数据对对应的标定参数，第一确定模块用于根据各标定数据对对应的标定参数确定待定标定参数，第二确定模块用于对待定标定参数进行修正得到目标标定参数，目标标定参数用于统一各标定数据对中的rgb数据的和tof数据的坐标。由此，该参数标定装置能够解决rgb数据的和tof数据的坐标不统一问题，且该标定方法效率高、精确度高，易于实现自动化。
[0080]
对应上述实施例，本发明还提出了一种计算机可读存储介质。
[0081]
本发明实施例的计算机可读存储介质，其上存储有参数标定程序，该参数标定程序被处理器执行时实现上述的参数标定方法。
[0082]
根据本发明实施例的计算机可读存储介质，通过执行上述的参数标定方法，能够解决rgb数据的和tof数据的坐标不统一问题，且该标定方法效率高、精确度高，易于实现自动化。
[0083]
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0084]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件
或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0085]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0086]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0087]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0088]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。