标定方法、装置、航拍设备和存储介质与流程

本申请涉及机器视觉技术领域，尤其涉及一种标定方法、装置、航拍设备和存储介质。

背景技术：

智能设备越来越多地包括一个或多个相机或其它类型的图像捕获设备，以使得用户能够捕获图像。例如，智能手机或飞行器包括可在多种场景中捕获图像的相机。许多相机系统可在制造期间被标定。然而，现有的标定方法，往往分步标定时间偏差以及传感器外参，没有联合估计的精度高，忽略了两种参数之间的潜在联系，标定精度较低。

因此，如何提供一种标定精度高的方案，是本领域技术人员亟待解决的技术问题。

技术实现要素：

本申请提供一种标定方法、装置、航拍设备和存储介质，旨在解决现有的标定方案标定不够精确的技术问题。

第一方面，本申请提供一种标定方法，应用于航拍设备，所述航拍设备包括相机和惯性传感器，所述方法包括：

获取所述相机在运动过程中拍摄标定板的多张图像时，所述相机在世界坐标系下的多个相机位姿；

根据所述多个相机位姿，获得所述相机在不同时刻的相机角速度和相机加速度；

获取所述惯性传感器在所述相机在运动过程中测量的传感器角速度和传感器加速度；

根据所述相机和所述惯性传感器的预设的空间外参，将所述相机角速度和所述相机加速度从所述相机的相机坐标系变换到所述惯性传感器的传感器坐标系，以得到第一预测角速度和预测加速度；

根据所述第一预测角速度、所述预测加速度、所述传感器角速度、及所述传感器加速度，构造加速度误差项；

优化所述空间外参和时间偏差，得到使得所述加速度误差项最小的空间外参和时间偏差，其中，所述时间偏差为所述惯性传感器定义的时间，相对所述相机拍摄定义的时间偏差。

优选地，所述获取所述相机在运动过程中拍摄标定板的多张图像时，所述相机在世界坐标系下的多个相机位姿，包括：

分别提取所述多张图像中所述标定板的角点；

分别根据所述多张图像中每张图像中所述标定板的角点，计算所述相机在所述世界坐标系下的所述多个相机位姿。

优选地，所述根据所述多个相机位姿，获得所述相机在不同时刻的相机角速度和相机加速度，包括：

对所述多个相机位姿进行样条拟合以获得位姿曲线；

对所述位姿曲线进行微分以获得所述相机在不同时刻的所述相机角速度和所述相机加速度。

优选地，所述分别提取所述多张图像中所述标定板的角点，包括：

分别对所述多张图像进行二值化处理；

对二值化处理后的所述多张图像中的白色像素进行像素膨胀；

提取像素膨胀后的所述多张图像中的四边形，所述多张图像中的每张图像中包括多个四边形；

在所述每张图像中多个四边形中，提取对角在同一直线且相邻的两个四边形的相邻的两个角的点之间的中点，作为所述角点。

优选地，所述分别根据所述多张图像中每张图像中所述标定板的角点，计算所述相机在所述世界坐标系下的所述多个相机位姿，包括：

分别根据每张所述图像中所述标定板的角点使用相机标定算法计算所述相机在所述世界坐标系下的所述多个相机位姿。

优选地，所述方法还包括：

在预设的时间偏差范围内连续改变所述时间偏差，以获得对应的传感器角速度；

计算所述相机角速度的模长和所述传感器角速度的模长的互相关系数，并将使得所述互相关系数最大的时间偏差作为时间偏差初始估计；

其中，所述时间偏差初始估计用于作为优化所述时间偏差时所述时间偏差的初始值。

优选地，所述方法还包括：

根据所述预设的空间外参中的外参旋转分量把所述相机角速度从所述相机的相机坐标系变换到惯性传感器的传感器坐标系以得到第二预测角速度；

计算所述相机角速度和第二预测角速度的差以得到所述角速度误差项；

优化所述外参旋转分量，并将使得所述角速度误差项最小的外参旋转分量作为初始旋转分量；

其中，所述初始旋转分量用于作为优化所述空间外参的初始值。

第二方面，本发明还提供一种标定装置，应用于航拍设备，所述航拍设备包括相机和惯性传感器，所述标定装置包括：

位姿获取模块，用于获取所述相机在运动过程中拍摄标定板的多张图像时，所述相机在世界坐标系下的多个相机位姿；

相机速度获取模块，用于根据所述多个相机位姿，获得所述相机在不同时刻的相机角速度和相机加速度；

传感器速度获取模块，用于获取所述惯性传感器在所述相机在运动过程中测量的传感器角速度和传感器加速度；

预测模块，用于根据所述相机和所述惯性传感器的预设的空间外参，将所述相机角速度和所述相机加速度从所述相机的相机坐标系变换到所述惯性传感器的传感器坐标系，以得到第一预测角速度和预测加速度；

误差模块，用于根据所述第一预测角速度、所述预测加速度、所述传感器角速度、及所述传感器加速度，构造加速度误差项；

优化模块，用于优化所述空间外参和时间偏差，得到使得所述加速度误差项最小的空间外参和时间偏差，其中，所述时间偏差为所述惯性传感器定义的时间，相对所述相机拍摄定义的时间偏差。

第三方面，本申请还提供一种航拍设备，所述航拍设备包括：

相机；

惯性传感器；

存储器，用于存储标定程序；以及

处理器，所述处理器与所述相机和所述惯性传感器通信连接，所述处理器用于执行所述标定程序时实现本申请第一方面实施例所述的标定方法。

第四方面，本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质中存储有标定程序，所述标定程序被处理器执行时实现本申请第一方面实施例所述的标定方法。

与现有技术相比，本发明的标定方法、装置、航拍设备和存储介质，可以优化空间外参和时间偏差以进行标定，充分考虑了时间偏差以及空间外参的潜在联系，有效提高了标定的精度。

附图说明

图1为本申请第一实施例提供的标定方法的流程图。

图2为图1中步骤s11的流程图。

图3a为本申请中对图像进行二值化处理后的示意图。

图3b为本申请中对图像的白色像素膨胀后的示意图。

图3c为本申请中对图像提取四边形后的示意图。

图3d为本申请中对图像中角点位置的示意图。

图4为图2中步骤s111的流程图。

图5为图1中步骤s12的流程图。

图6为本申请第二实施例提供的标定方法的流程图。

图7为本申请第三实施例提供的标定装置的模块示意图。

图8为本申请第四实施例提供的航拍设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，如下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

请参阅图1，图1为本申请第一实施例提供的一种标定方法，该标定方法可由标定装置来执行，该标定装置可通过硬件和/或软件的方式来实现，用于精确地对相机和惯性传感器(inertialmeasurementunit，imu)进行标定，应用于航拍设备，航拍设备包括相机和惯性传感器，相机和惯性传感器之间固定连接。标定的结果可以应用于无人机上。该标定方法包括：

s11：获取所述相机在运动过程中拍摄标定板的多张图像时，所述相机在世界坐标系下的多个相机位姿。

在进行标定时，需要先提供一个物理尺寸已知的标定板，在本实施例中，标定板为黑白棋盘样式的标定板。由标定板即可确定世界坐标系，世界坐标系包括x轴、y轴和z轴。通过相机能确定相机坐标系，通过惯性传感器能确定传感器坐标系，通过相机拍摄的图像能确定图像坐标系、像素坐标系。使相机和惯性传感器同时运动，在运动过程中相机拍摄标定板，可通过相机标定算法计算出相机在不同时刻和位置的相机位姿。其中，所述相机位姿包括相机位置和相机姿态。优选地，在相机和惯性传感器同时运动时，使相机和惯性传感器充分发挥旋转和平移的自由度。

相机在运动过程中，相机和惯性传感器同时运动，每隔第一时间，相机拍摄一次标定板的图像。第一时间不做限定，如第一时间为0.1s，则每隔0.1s相机拍摄一次标定板的图像。在经过一段时间后，则可拍摄多张图像。优选地，拍摄标定板的图像的数量大于10个。

请参阅图2，步骤s11可以包括：

s111：分别提取所述多张图像中所述标定板的角点。

请一并参阅图3a、图3b、图3c、图3d和图4，步骤s112可以包括：

s1111：分别对所述多张图像进行二值化处理。

即拍摄的每张标定板的图像都分别进行二值化处理，其中，图3a是二值化处理后的示意图。

s1112：对二值化处理后的所述多张图像中的白色像素进行像素膨胀。

多张图像中，每张二值化处理后的图像的白色像素都进行像素膨胀。白色像素点膨胀，能够分离各个黑块四边形的衔接。图3b是白色像素膨胀后的示意图。

s1113：提取像素膨胀后的所述多张图像中的四边形，所述多张图像中的每张图像中包括多个四边形。

提取像素膨胀后的所述多张图像中的四边形，可以进行轮廓提取，计算每个轮廓的凸包，并判断提取出来的多边形是否只有四个顶点；若经检测只有四个顶点，则是四边形。可以把干扰的四边形删去，如用长宽比、周长、面积等约束去除一些干扰四边形。图3c是提取四边形后的示意图。

s1114：在所述每张图像中多个四边形中，提取对角在同一直线且相邻的两个四边形的相邻的两个角的点之间的中点，作为所述角点。

四边形中不相邻的两个角为对角，对角在同一直线且相邻的两个四边形，仅由两个角相邻。该两个四边形相邻的两个角即为对角。图3d是角点位置的示意图。

s112：分别根据所述多张图像中每张图像中所述标定板的角点，计算所述相机在所述世界坐标系下的所述多个相机位姿。

具体的，步骤s112包括：

分别根据每张所述图像中所述标定板的角点使用相机标定算法计算所述相机在所述世界坐标系下的所述多个相机位姿。

其中，每张图像能确定相机的一个相机位姿。使用相机标定算法计算相机位姿，是本领域常见的现有技术，本实施例仅做简单说明。

具体的，位姿是三维空间下描述物体运动的变量，位置指物体在规定坐标系下的(x，y，z)坐标，姿态为绕x轴旋转、绕y轴旋转和绕z轴旋转，可用符号表示为(tx，ty，tz，rx，ry，rz)。tx、ty、tz表示平移，rx、ry、rz表示旋转。标定板是世界坐标系下已知的物体，标定板上的每个角点在世界坐标系上的三维坐标也是已知的，角点的像素坐标已知，由角点的三维坐标点、像素坐标以及相机自身的相机标定参数，即可进行世界坐标系上的点向二维点的投影，可用下列公式描述：

p＝p1*p2*p3(1)

其中，

其中，矩阵p1为世界坐标系与相机坐标系之间互相变换的刚体变换矩阵，该矩阵可将点从世界坐标系变换到相机坐标系，矩阵p2为相机坐标系和图像坐标系之间的互相变换关系，其中，f指相机焦距，利用该矩阵p2可将相机坐标系下的三维坐标变为成像平面上的二维坐标，矩阵p3为图像坐标系与像素坐标系之间的互相变换关系，即矩阵p3为相机的内参矩阵，k指焦距与物理尺寸之间的缩放系数，u，v指图像的横轴与纵轴，可将成像平面上的二维坐标变换为标准的像素坐标，dx与dy分别表示每个像素在横轴x和纵轴y上的物理尺寸。矩阵p为把世界坐标系上的点变换到像素坐标系上的矩阵表示。其中，矩阵p2和矩阵p3是相机自身参数确定的，矩阵p1可以和位姿进行等价的转化，故而列出一系列的角点投影方程即可求第一个矩阵中的未知量，以确定相机在所述标定板确定的世界坐标系下的多个相机位姿。

s12：根据所述多个相机位姿，获得所述相机在不同时刻的相机角速度和相机加速度。

请参阅图5，在部分实施例中，步骤s12包括：

s121：对所述多个相机位姿进行样条拟合以获得位姿曲线。

每个相机位姿相当于一个点，对多个相机位姿进行样条拟合即可获得位姿曲线。在本实施例中，对多个位姿进行b样条拟合。对一系列点进行b样条拟合是现有技术，本申请中不再进行详述。选择b样条拟合表达相机位姿曲线，其原因是，一、b样条曲线具有局部特性，调整单个参数只在样条的局部有影响；二、b样条基函数为多项式，可以简单地进行微分与积分操作，易于评估误差项，以正确标定。进行样条拟合以获得位姿曲线，可将离散问题转换为连续问题。

s122：对对所述位姿曲线进行微分以获得所述相机在不同时刻的所述相机角速度和所述相机加速度。

对位姿曲线进行微分即可获得相机在不同时刻的相机角速度和相机加速度。相机角速度和相机加速度可以是连续的，即形成了相机角速度曲线和相机加速度曲线。其中，位姿曲线共有六个维度，包括x轴、y轴和z轴的位置与姿态，对x轴、y轴和z轴的位置分量进行微分可得相机角速度，对x轴、y轴和z轴的姿态分量进行微分可得相机角速度。

s13：获取所述惯性传感器在所述相机在运动过程中测量的传感器角速度和传感器加速度。

惯性传感器和相机是相对固定的，相机在运动时，惯性传感器也随着相机同步运动。相机运动过程中，惯性传感器也在工作，即可获取惯性传感器工作过程中，在相机在运动过程中所测得的传感器角速度和传感器加速度。传感器角速度为传感器测得的角速度，传感器加速度即为传感器测得的传感器加速度。优选地，获取传感器角速度和传感器加速度时，可以连续获取传感器角速度和传感器加速度，即能获得传感器角速度曲线和传感器加速度曲线。传感器角速度和多个传感器加速度都是向量，包括了方向和大小。可以理解，惯性传感器定义的时间，和相机定义的时间可能有误差，即时间偏差。例如，认为相机在时刻t1拍摄一张图像a，惯性传感器的系统中认为测量的相机角速度b和相机加速度c为时刻t1获取的，但实际上，两者的时间有差别，如相机角速度b和相机加速度c实际获得的是时刻t1+0.05s时的相机角速度和相机加速度。故本申请中定义出时间偏差，时间偏差为所述惯性传感器定义的时间，相对所述相机拍摄定义的时间偏差。本申请后续对时间偏差进行优化，以获得准确的标定。

s14：根据所述相机和所述惯性传感器的预设的空间外参，将所述相机角速度和所述相机加速度从所述相机的相机坐标系变换到所述惯性传感器的传感器坐标系，以得到第一预测角速度和预测加速度。

相机和惯性传感器的空间外参即为从相机坐标系通过刚体变换变换到传感器坐标系的变换关系，相机的和惯性传感器的相对位置是固定的、且是根据需要设定的，故从相机坐标系通过刚体变换变换到传感器坐标系的变换关系是已知的，即相机和惯性传感器的空间外参是已知的。故根据相机和惯性传感器的预设的空间外参能把相机角速度从所述相机的相机坐标系变换到惯性传感器的传感器坐标系以得到第一预测角速度，根据相机和惯性传感器的预设的空间外参能把相机加速度从所述相机坐标系变换到所述传感器坐标系以得到预测加速度。可以将相机角速度曲线中的相机角速度都进行坐标系变换，从而获得第一预测角速度曲线，将相机加速度曲线中的相机加速度都进行坐标系变换，从而获得预测加速度曲线。对位姿曲线进行微分求取第一预测角速度和预测加速度，避免了惯性传感器的测量值的积分过程，增加了标定的准确性。可以理解，空间外参虽然是已知的，但相机和惯性传感器的空间外参可能存在误差，例如，相机的和惯性传感器的距离在测量时存在误差，会造成相机和惯性传感器的空间外参确定时存在误差。本申请后续后对相机和惯性传感器的空间外参进行优化，以获得准确的标定。

s15：根据所述第一预测角速度、所述预测加速度、所述传感器角速度、及所述传感器加速度，构造加速度误差项。

第一预测角速度、所述预测加速度、所述传感器角速度、及所述传感器加速度，可以为获得的所有的第一预测角速度、所述预测加速度、所述传感器角速度、及所述传感器加速度。即相机角速度曲线中的相机角速度，相机加速度曲线中的相机加速度，第一预测角速度曲线中的第一预设角速度，预测加速度曲线中的预测加速度。加速度误差项为第一预测角速度的值与预测加速度的值与传感器角速度的值与感器加速度的值的差的平方。其中，所述第一预测角速度、所述预测加速度、所述传感器角速度、所述传感器加速度都为向量，假定第一预测角速度为a1，预测加速度为a2，传感器角速度为a3，传感器加速度为a4，则加速度误差项可用公式表示为：

(a1-a3).transpose()*(a1-a3)+(a2-a4).transpose()*(a2-a4)(6)

s16：优化所述空间外参和时间偏差，得到使得所述加速度误差项最小的空间外参和时间偏差，其中，所述时间偏差为所述惯性传感器定义的时间，相对所述相机拍摄定义的时间偏差。

具体的，时间偏差改变，即将传感器角速度的传感器角速度曲线在时间轴上整体平移，传感器加速度曲线在时间轴上整体平移。如对于绝对时间t2，认为在绝对时间t2获取的相机角速度h和相机加速度i，实际上获取的相机角速度h和相机加速度i在绝对时间t2－0.01，惯性传感器认为在绝对时间t2获取了传感器角速度j和传感器加速度k，而传感器角速度j和传感器加速度k是在绝对时间t2+0.02s获取的。而若需要加速度误差项变小，则需要把惯性传感器的时间轴向前平移0.03s，惯性传感器的时间轴平移时，则惯性传感器在时刻t2的传感器角速度和传感器加速度发生改变。在实际过程中，和绝对时间相差的具体时间不确定，则需连续改变时间偏差，通过加速度误差项的值判定变化的误差项是否合适。在空间外参改变时，第一预测角速度、所述预测加速度也会随之改变。故空间外参和时间偏差是自变量，加速度误差项是因变量，加速度误差项随着空间外参和时间偏差的改变而改变。对空间外参和时间偏差进行优化时，可采用非线性优化方法进行优化，具体的，如采用梯度下降法，对于最小值不存在解析解的函数，可在初始值开始求其梯度，沿着梯度的方向移动自变量，重复数次直到梯度足够小。梯度下降法是现有技术，本申请不再对如何使用梯度下降法优化所述空间外参和时间偏差进行具体说明，最终得到使加速度误差项最小的空间外参和时间偏差即可。得到合适的空间外参和时间偏差，即完成了标定。

本实施例提供的标定方法，优化空间外参和时间偏差以进行标定，充分考虑了时间偏差以及空间外参的潜在联系，有效提高了标定的精度。

请参阅图6，本申请第二实施例也提供了一种标定方法，本实施例以前述实施例为基础，提供了一种给空间外参和时间偏差提供初始值的方案，该标定方法包括：

s21：获取所述相机在运动过程中拍摄标定板的多张图像时，所述相机在世界坐标系下的多个相机位姿。

s22：根据所述多个相机位姿，获得所述相机在不同时刻的相机角速度和相机加速度。

s23：获取所述惯性传感器在所述相机在运动过程中测量的传感器角速度和传感器加速度。

s24：在预设的时间偏差范围内连续改变所述时间偏差，以获得对应的传感器角速度。

在预设的时间偏差范围内连续改变时间偏差，即连续平移把惯性传感器的时间轴，从而在相同时刻的传感器的角速度会发生改变，如原来获得传感器角速度d是时刻t1+0.05s时的相机角速度，改变时间偏差0.02s，则传感器角速度d为时刻t+0.03s时的传感器角速度，时刻t1+0.05s的传感器角速度不再是传感器角速度d。预设的时间偏差范围可根据需要进行设置。

s25：计算所述相机角速度的模长和所述传感器角速度的模长的互相关系数，并将得所述互相关系数最大的时间偏差作为时间偏差初始估计。

互相关系数是是用以反映变量之间相关关系密切程度的统计指标，即反映了相机角速度和所述传感器角速度的相关关系密切程度。求取两个边路之间的互相关系数是现有技术，本申请中仅做简要说明。具体的，假设相机角速度为(ax1，ay1，az1)，传感器角速度为(ax2，ay2，az2)，则相相机角速度的模长用{xn}表示，传感器角速度的模长用{yn}表示，则，

则相机角速度的模长{xn}和传感器角速度的模长{yn}的互相关系数的公式为，

其中，m即为时间偏差。﹣3≤m≤3为假定的预设值。

通过连续滑动改变时间偏差，即可得到不同的互相关系数，使所述互相关系数最大的时间偏差作为时间偏差初始估计。其中，时间偏差初始估计用于作为优化所述时间偏差时所述时间偏差的初始值。

s26：根据所述预设的空间外参中的外参旋转分量把所述相机角速度从所述相机的相机坐标系变换到惯性传感器的传感器坐标系以得到第二预测角速度；

相机和所述惯性传感器的预设的空间外参是已知的。其中，空间外参包括外参旋转分量和外参平移分量。外参旋转分量为从相机坐标系通过刚体旋转变换旋转到和传感器坐标系方向一致的变换关系。外参平移分量为从相机坐标系通过刚体平移变换平移到和传感器坐标系位置一致的变换关系。其中，外参旋转分量和外参平移分量都是已知的。故根据外参旋转分量能把相机角速度从所述相机的相机坐标系变换到惯性传感器的传感器坐标系以得到第二预测角速度。

s27：计算所述相机角速度和第二预测角速度的差以得到所述角速度误差项；

角速度误差项为相机角速度和第二预测角速度之间的差值。

s28：优化所述外参旋转分量，并将使得所述角速度误差项最小的外参旋转分量作为初始旋转分量；

在外参旋转分量改变时，角速度误差项也会随之改变。故外参旋转分量是自变量，角速度误差项是因变量，角速度误差项随着外参旋转分量的改变而改变。

对外参旋转分量进行优化时，可采用非线性优化方法进行优化，具体的，如采用梯度下降法，对于最小值不存在解析解的函数，可在初始值开始求其梯度，沿着梯度的方向移动自变量，重复数次直到梯度足够小。梯度下降法是现有技术，本申请不再对如何使用梯度下降法优化外参旋转分量进行具体说明，最终得到使角速度误差项最小的外参旋转分量即可。其中，所述初始旋转分量用于作为优化所述空间外参的初始值。

s29：根据所述相机和所述惯性传感器的预设的空间外参，将所述相机角速度和所述相机加速度从所述相机的相机坐标系变换到所述惯性传感器的传感器坐标系，以得到第一预测角速度和预测加速度。

s210：根据所述第一预测角速度、所述预测加速度、所述传感器角速度、及所述传感器加速度，构造加速度误差项。

s211：优化所述空间外参和时间偏差，得到使得所述加速度误差项最小的空间外参和时间偏差，其中，所述时间偏差为所述惯性传感器定义的时间，相对所述相机拍摄定义的时间偏差。

所述时间偏差初始估计用于作为优化所述时间偏差时所述时间偏差的初始值，所述初始旋转分量用于作为优化所述空间外参的初始值。

本实施例提供的标定方法，能分别确定空间外参和时间偏差的初始值，能有效加快标定的速度。

请参阅图7，本申请第三实施例提供了一种标定装置30，用于给相机和惯性传感器进行标定，标定装置30可以应用于航拍设备，航拍设备包括相机和惯性传感器，所述相机和惯性传感器之间固定连接，该标定装置30可实现上述实施例的标定方法，标定装置30包括：

位姿获取模块31，用于获取所述相机在运动过程中拍摄标定板的多张图像时，所述相机在世界坐标系下的多个相机位姿；

相机速度获取模块32，用于根据所述多个相机位姿，获得所述相机在不同时刻的相机角速度和相机加速度；

传感器速度获取模块33，用于获取所述惯性传感器在所述相机在运动过程中测量的传感器角速度和传感器加速度；

预测模块34，用于根据所述相机和所述惯性传感器的预设的空间外参，将所述相机角速度和所述相机加速度从所述相机的相机坐标系变换到所述惯性传感器的传感器坐标系，以得到第一预测角速度和预测加速度；

误差模块35，用于根据所述第一预测角速度、所述预测加速度、所述传感器角速度、及所述传感器加速度，构造加速度误差项；

优化模块36，用于优化所述空间外参和时间偏差，得到使得所述加速度误差项最小的空间外参和时间偏差，其中，所述时间偏差为所述惯性传感器定义的时间，相对所述相机拍摄定义的时间偏差。

本申请第三实施例提供的标定装置，可以优化空间外参和时间偏差以进行标定，充分考虑了时间偏差以及空间外参的潜在联系，有效提高了标定的精度。

优选地，标定装置30还包括：

改变模块，用于在预设的时间偏差范围内连续改变所述时间偏差，以获得对应的传感器角速度；

第一计算模块，用于计算所述相机角速度的模长和所述传感器角速度的模长的互相关系数，并将使得所述互相关系数最大的时间偏差作为时间偏差初始估计；其中，所述时间偏差初始估计用于作为优化所述时间偏差时所述时间偏差的初始值；

变换模块，用于根据所述预设的空间外参中的外参旋转分量把所述相机角速度从所述相机的相机坐标系变换到惯性传感器的传感器坐标系以得到第二预测角速；

第二计算模块，用于计算所述相机角速度和第二预测角速度的差以得到所述角速度误差项；

初始旋转模块，用于优化所述外参旋转分量，并将使得所述角速度误差项最小的外参旋转分量作为初始旋转分量，其中，所述初始旋转分量用于作为优化所述空间外参的初始值。

优选地，位姿获取模块31包括：

提取单元，用于分别提取所述多张图像中所述标定板的角点；

位姿确定单元，用于分别根据所述多张图像中每张图像中所述标定板的角点，计算所述相机在所述世界坐标系下的所述多个相机位姿。

优选地，相机速度获取模块32包括：

拟合单元，用于对所述多个相机位姿进行样条拟合以获得位姿曲线；

相机速度获取单元，用于对所述位姿曲线进行微分以获得所述相机在不同时刻的所述相机角速度和所述相机加速度。

优选地，提取单元包括：

二值化子单元，用于分别对所述多张图像进行二值化处理；

膨胀子单元，用于对二值化处理后的所述多张图像中的白色像素进行像素膨胀；

四边形提取子单元，用于提取像素膨胀后的所述多张图像中的四边形，所述多张图像中的每张图像中包括多个四边形；

角点提取子单元，用于在所述每张图像中多个四边形中，提取对角在同一直线且相邻的两个四边形的相邻的两个角的点之间的中点，作为所述角点。

上述产品可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

请参阅图8，本申请第四实施例提供了一种航拍设备40，航拍设备40能够执行以上实施例所述的标定方法。该航拍设备40包括：

相机(图未示)；惯性传感器(图未示)；一个或多个处理器41以及存储器42。其中，图中以一个处理器41为例。

处理器41与存储器42可以通过总线或者其他方式连接，图中以通过总线连接为例。处理器41还与所述相机和所述惯性传感器通信连接。

存储器42作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序，如本申请上述实施例中的一种标定方法对应的程序指令。处理器41通过运行存储在存储器42中的非易失性软件程序指令，从而执行一种标定方法的各种功能应用以及数据处理，即实现上述方法实施例中的一种标定方法。

存储器42可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序等。

此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至处理器41。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令存储在所述存储器42中，当被所述一个或者多个处理器41执行时，执行上述任意方法实施例中的一种标定方法的各个步骤。

上述产品可执行本申请上述实施例所提供的方法，具备执行方法相应的有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例所提供的方法。

本申请实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图中的一个处理器41，可使得计算机执行上述任意方法实施例中的一种标定方法的各个步骤。

本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被一个或多个处理器执行，例如图中的一个处理器41，可使得计算机执行上述任意方法实施例中的一种标定方法的各个步骤。

通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序指令相关的硬件来完成。

本申请还提供一种存储介质，该存储介质包括计算机可读取存储介质，上述的标定程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各标定方法的实施方法的流程。其中，所述存储介质可包括闪存、硬盘、多媒体卡、卡型存储器(示例性地，sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器107在一些实施例中可以是飞行器10的内部存储单元，示例性地该飞行器10的硬盘。存储器107在另一些实施例中也可以是飞行器10的外部存储设备，示例性地飞行器10上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。

与现有技术相比，本发明的标定方法、装置、航拍设备和存储介质，优化空间外参和时间偏差以进行标定，充分考虑了时间偏差以及空间外参的潜在联系，有效提高了标定的精度。

以上仅为本申请的优选实施例，并非因此限制本申请的保护范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的保护范围内。