深度相机校正装置及其方法与流程

本发明涉及一种影像获取装置的校正装置及校正方法，尤其涉及一种结构光深度相机的校正装置与其方法。

背景技术：

深度相机在组装过程中的误差会造成深度影像的品质劣化，为了使相机产生高品质的深度影像，相机在出厂前都必须经过校正，且将精确的相机内部参数、相机形变系数与相机外部参数写入相机固件中。

传统以随机图案为基础的结构光深度相机的校正装置包括有光学桌、移动平台以及校正板，除了设置及维护成本较高之外，每一次在进行相机校正时，都需通过移动平台动态地调整深度相机与校正板之间的相对位置，所以校正流程耗时较长而影响产线效率。

有鉴于此，目前的确有需要一种改良的相机校正装置及其校正方法，至少可改善以上缺点。

技术实现要素：

依据本发明的一实施例所提供的深度相机校正装置及其方法，除了可降低设置校正装置的成本之外，更可缩短进行校正流程所需花费的时间。

依据本发明的一实施例所提供的深度相机校正装置，用以校正结构光深度相机，深度相机校正装置包括校正板组件以及处理器。校正板组件包括多个表平面，各表平面上设有多个封闭图案，而各封闭图案的质心位于封闭图案所圈围的范围中。该些表平面非共平面且互不平行，且该些表平面用于接收结构光深度相机所投影的投影图案。处理器用于电性连接结构光深度相机且通过自动裁切影像边界、计算特征点位置、读取投影图案、计算对应点位置及排除异常点，以得到结构光深度相机的一组内部参数、一组形变系数以及外部参数。

依据本发明的一实施例所提供的深度相机校正方法，用以校正结构光深度相机且通过深度相机校正装置来执行，深度相机校正装置包括校正板组件以及处理器，校正板组件包括多个表平面，各表平面上设有多个封闭图案，且各封闭图案的质心位于封闭图案所圈围的范围中，该些表平面非共平面且互不平行，深度相机校正方法包括：关闭结构光深度相机的投影功能且以结构光深度相机的取像元件拍摄该些表平面以取得第一影像，第一影像具有封闭图案；开启结构光深度相机的投影功能且以取像元件拍摄该些表平面以取得第二影像，第二影像具有封闭图案以及投影图案，且当以该取像元件取得第一影像以及第二影像时，结构光深度相机与校正板组件的相对位置维持不变；以及以处理器依据第一影像及第二影像自动裁切影像边界、计算特征点位置、读取投影图案、计算对应点位置及排除异常点，以得到结构光深度相机的一组内部参数、一组形变系数以及外部参数。

深度相机校正方法对结构光深度相机进行校正时，不需改变结构光深度相机与校正板组件的相对位置，相较于现有校正方法必需改变结构光深度相机与校正板的相对位置，大幅缩短校正时间。此外，进行校正的特征点为封闭图案的质心，相较于以往田字型图案的特征点是位于直线交会点，封闭图案的轮廓可使用粗而明显的线条，具有较高的辨识度。

以上的关于本发明内容的说明及以下的实施方式的说明用以示范与解释本发明的精神与原理，并且提供本发明的权利要求更进一步的解释。

附图说明

图1为依据第一实施例的深度相机校正装置的示意图。

图2至图4为依据多个实施例的校正板组件的配置示意图。

图5a至图5c为依据多个实施例的封闭图案的示意图。

图6为依据另一实施例的深度相机校正装置的示意图。

图7为依据一实施例的深度相机校正方法的流程图。

图8a为依据一实施例的在未经反扭曲运算前结构光深度相机所拍摄的表平面的影像的示意图。

图8b为依据一实施例的在未经反扭曲运算前结构光深度相机所拍摄的表平面的影像的示意图。

图9为依据一实施例的在经过反扭曲运算后结构光深度相机所拍摄的影像的示意图。

图10为依据一实施例的界定表平面的影像裁切边界的示意图。

图11a至图11c为依据另一实施例的界定表平面的影像裁切边界的示意图。

图12为依据另一实施例的取样表平面的特征点的示意图。

图13为依据另一实施例的深度相机校正方法的流程图。

图14a～14b为依据一实施例的处理器将影像中的异常点删除的示意图。

图15a～15b为依据一实施例的处理器将影像中缺少的对应点补上的示意图。

【符号说明】

100-深度相机校正装置；

11-校正板组件；

110-校正板；

111-表平面；

112-封闭图案；

113-标记；

114-正方形封闭图案；

115-正三角形封闭图案；

116-正五边形封闭图案；

13-处理器；

200-结构光深度相机；

210-取像元件；

220-投影元件；

500-第一影像；

501-第一方位实际影像；

502-第二方位实际影像；

503-第三方位实际影像；

600-第二影像；

601-第一方位投影影像；

602-第二方位投影影像；

603-第三方位投影影像；

700-无形变第一影像；

701-无形变第一方位实际影像；

702-无形变第二方位实际影像；

703-无形变第三方位实际影像；

c1～c5-质心；

b1-影像裁切边界；

b2-特征点丛集边界；

b3-影像裁切边界；

s701～s716-步骤；

p1～p10-对应点；

l1～l3-纵向参考线；

h1～h3-横向参考线；

k1～k9-交会处。

具体实施方式

以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域普通技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭示的内容、权利要求及附图，任何本领域普通技术人员可轻易地理解本发明相关的目的及优点。以下的实施例进一步详细说明本发明的观点，但非以任何观点限制本发明的范畴。

图1为依据一实施例的深度相机校正装置的示意图。如图1所示，深度相机校正装置100用于校正结构光深度相机200，结构光深度相机200包括取像元件210与投影元件220且为模组化结构。深度相机校正装置100可包括校正板组件11以及处理器13，而处理器13可用于计算结构光深度相机200的内部参数、形变系数以及外部参数，其中结构光深度相机200的内部参数包括有取像元件210的内部参数与投影元件220的内部参数，结构光深度相机200的形变系数包括取像元件210的形变系数与投影元件220的形变系数。在本实施例中，校正板组件11可包括多个校正板110，各校正板110具有一表平面111，各表平面111上设有多个封闭图案112且其四个角落各标记一个编码过的标记113。在本实施例中，封闭图案112为环形图案且封闭图案112的间隔为等距。各封闭图案112的质心c1位于封闭图案112所圈围的范围中，且每一表平面111上的该些质心c1可设定为表平面111上的多个特征点，而每一特征点具有特征点坐标值。

该些表平面111非共平面且互不平行，且任意两个表平面111的延伸面的夹角非0度或180度。在本实施例中，相邻的校正板110之间没有相互重叠且该些校正板110之间的间隔为等距。在其他实施例中，各校正板110之间的间隔可不等距或者相邻的校正板110之间可至少有部分重叠。深度相机校正装置100在执行校正的过程时，结构光深度相机200与校正板组件11的相对位置维持不变，且该些表平面111分别与取像元件210的取像面具有不同的方位，其中方位的物理量包括相对距离以及相对角度。

结构光深度相机200的投影元件220可为光学投影装置或数字投影装置，而该些表平面111接收投影元件220所投射的投影图案。取像元件210拍摄已投射有投影图案的该些表平面111，其中投影图案可例如为随机图案或乱数图案。

深度相机校正装置100的处理器13可例如通过晶片、晶片内的电路区块、固件、设置有电子元件与导线的电路板、或储存程序码的储存媒体来实现，或者通过电脑系统、伺服器或软件程序来实现。处理器13电性连接于结构光深度相机200，处理器13内储存有一设定档案，而该设定档案包括取像元件210的解析度、投影元件220所投射的投影图案、校正板110的尺寸、以及各特征点的特征点坐标值等数据，而处理器13可用以读取设定档案。在其他实施例中，取像元件210的解析度、校正板110的尺寸、各特征点之间的距离、以及各特征点的特征点坐标值等数据也可由使用者直接输入处理器13，以供处理器13读取。

图2至图4为依据多个实施例所绘示的校正板组件的示意图。如图2所示，该些校正板110分别具有不同的尺寸，而该些校正板110的表平面111相对于结构光深度相机200分别具有不同的方位。如图3所示，该些校正板110组接为立方体，而任二个表平面111的延伸面的夹角大于180度。如图4所示，任二个表平面111的延伸面的夹角可大于或小于180度。

图5a至图5c为依据多个实施例的封闭图案的示意图。如图5a～图5c所示，各表平面111上的封闭图案除了前一实施例所述的环形图案之外，也可替换为正多边形图案，而正多边形图案的质心位于正多边形图案所圈围的范围中。如图5a所示，各表平面111上具有多个正方形的封闭图案114，该些封闭图案114的间隔为等距，且正方形图案的质心c2位于正方形图案所圈围的范围中。如图5b所示，各表平面111上具有多个正三角形的封闭图案115，该些封闭图案115的间隔为等距，且正三角形图案的质心c3位于正三角形图案所圈围的范围中。如图5c所示，各表平面111上具有多个正五边形的封闭图案116，而该些封闭图案116的间隔为等距，且正五边形图案的质心c4位于正五边形图案所圈围的范围中。

图6为依据另一实施例的深度相机校正装置的示意图。如图6所示，校正板组件11可为一体成型的结构体，而该些表平面111非共平面且互不平行，且任意两个表平面111的延伸面的夹角非0度或180度。各表平面111上的封闭图案112为封闭的环形图案，且各环形图案的质心c1位于环形图案所圈围的范围中。在其他实施例中，一体成型的校正板组件11上的校正图案可替换为正多边形图案。

图7为依据一实施例的深度相机校正装置的方法的流程图。图8a为依据一实施例的在未经反扭曲运算前结构光深度相机所拍摄的表平面的影像的示意图。图8b为依据一实施例的在未经反扭曲运算前结构光深度相机所拍摄的表平面的影像的示意图。请共同参阅图7、图8a与图8b，图7所示的方法可通过图1的深度相机校正装置100来执行，而在步骤s701中，处理器13可用以读取取像元件210的解析度、以及各表平面111上的所有特征点的特征点坐标值，其中每一特征点分别为每一封闭图案的质心。在步骤s702中，关闭结构光深度相机200的投影功能且以结构光深度相机200的取像元件210拍摄该些表平面111以获取到第一影像500，第一影像500具有封闭图案，而第一影像500依据不同方位包括第一方位实际影像501、第二方位实际影像502以及第三方位实际影像503。由于处理器13尚未进行反扭曲运算，所以第一方位实际影像501、第二方位实际影像502以及第三方位实际影像503中显示的环形图案相较于校正板110上实际的环形图案会发生扭曲或形变。

在步骤s703中，以处理器103界定影像裁切边界且依据该影像裁切边界对第一影像500进行裁切。

在步骤s704中，以处理器13依据特征点检测方式，计算第一方位实际影像501、第二方位实际影像502以及第三方位实际影像503中的每一特征点的特征点影像坐标值。在步骤s705中，以处理器13依据第一方位实际影像501、第二方位实际影像502以及第三方位实际影像503以及下列式1～式5计算取像元件210的内部参数及形变系数。

xdr＝x(1+kir²+k2r⁴+k3r⁶)(式2)

ydr＝y(1+k1r²+k2r⁴+k3r⁶)(式3)

xdt＝x+[2p1xy+p2(r²+2x²)](式4)

yat＝y+[p1(r²+2y²)+2p2xy](式5)

x、y为使用者指定的世界坐标的二维坐标值。x、y为(x、y)成像于平面影像上的对应点的二维坐标值。α、β、γ、u0、v0为取像装置210的内部参数。r1、r2、r3、t所组成的3列4行的矩阵相当于取像元件210与投影元件220之间的外部参数。(xdr，ydr)为平面影像上的像素经过径向形变(radialdistortion)的二维坐标值，k1、k2、k3为径向形变系数，r²＝x²+y²。(xdt，ydt)为平面影像上的像素经过切向形变(tangentialdistortion)的二维坐标值，p1、p2为切向形变系数。

在步骤s706中，开启结构光深度相机200的投影功能，将投影图案投影至该些表平面111。在步骤s707中，以取像元件210拍摄该些表平面111以获取到第二影像600，第二影像600具有封闭图案以及投影图案，而第二影像600依据不同方位可包括第一方位投影影像601、第二方位投影影像602以及第三方位投影影像603。当以取像元件210获取第一影像500以及第二影像600时，结构光深度相机200与校正板组件11的相对位置维持不变。由于处理器13尚未进行反扭曲运算，所以第一方位投影影像601、第二方位投影影像602以及第三方位投影影像603中所显示的环形图案以及投影图案相较于校正板110上实际的环形图案与投影图案会发生扭曲或形变。

在步骤s708中，以处理器13依据影像裁切边界对第二影像600进行裁切。

在步骤s709中，以处理器13对已裁切的第一影像500与第二影像600进行反扭曲运算(undistortion)，以产生无形变第一影像700以及无形变第二影像，其中无形变第一影像700包括无形变第一方位实际影像701、无形变第二方位实际影像702以及无形变第三方位实际影像703，而无形变第二影像包括无形变第一方位投影影像、无形变第二方位投影影像以及无形变第三方位投影影像。

图9为依据一实施例的经过反扭曲运算后结构光深度相机拍摄表平面的影像示意图。如图9所示，无形变第一影像700包括无形变第一方位实际影像701、无形变第二方位实际影像702以及无形变第三方位实际影像703，相较于图8a的第一影像500，图9的无形变第一影像700上的环形图案十分近似校正板110上实际的环形图案。

在步骤s710中，以处理器13依据投影图案、无形变第一影像700以及无形变第二影像采用模板匹配(templatematching)演算法来计算投影图案中对应于表平面111上的特征点的对应点的第一组对应点坐标值、第二组对应点坐标值以及第三组对应点坐标值。详言之，当取像元件210获取第一方位实际影像501以及第一方位投影影像601时，结构光深度相机200与校正板组件11之间的相对位置不变，处理器13采用模板匹配演算法以比对投影图案与无形变第一方位投影影像以取得投影图案中对应表平面111上的第一组对应点坐标值。当结构光深度相机200获取第二方位实际影像502以及第二方位投影影像602时，结构光深度相机200与校正板组件11之间的相对位置不变，处理器13可采用模板匹配演算法以比对投影图案与无形变第二方位投影影像，以取得投影图案中对应表平面111上的特征点的第二组对应点坐标值。当结构光深度相机200获取第三方位实际影像503以及第三方位投影影像603时，结构光深度相机200与校正板组件11之间的相对位置不变，处理器13可采用模板匹配演算法以比对投影图案与无形变第三方位投影影像，以取得投影图案中对应表平面111上的特征点的第三组对应点坐标值。

在步骤s711中，以处理器13依据各特征点的特征点坐标值、第一组对应点坐标值、第二组对应点坐标值以及第三组对应点坐标值计算投影元件220的内部参数及形变系数。

在步骤s712中，以处理器13依据特征点坐标值、特征点影像坐标值、对应点坐标值、取像元件210的内部参数以及投影元件220的内部参数计算取像元件210与投影元件220之间的外部参数。

图10为依据一实施例的界定表平面的影像裁切边界的示意图。如图10所示，以处理器13依据各表平面111的四个角落的标记113界定每一表平面111的影像裁切边界b1。接着，以处理器13依据影像裁切边界b1对第一影像500与该第二影像600进行裁切。

图11a至图11c为依据另一实施例的界定表平面的影像裁切边界的示意图。如图11a所示，以处理器13依据自动丛集演算法找出各表平面111上的特征点丛集，其中特征点丛集包括所有封闭图案112的质心c1。如图11b所示，以处理器13依据特征点丛集找出特征点丛集边界b2。如图11c所示，以处理器13依据特征点丛集边界b2放大为一影像裁切边界b3。接着，以处理器13依据影像裁切边界b3对该第一影像500与该第二影像600进行裁切。

图12为依据另一实施例的表平面的特征点的示意图。如图12所示，表平面111上的特征点除了封闭图案112的质心c1之外，还可依据四个封闭图案为一单位，将每四个封闭图案的质心c5定义为额外的特征点，由此增加表平面111上的特征点。当特征点的数量增加，可使得处理器13计算的相机内部参数、投影元件内部参数以及外部参数更为精确，提升校正品质。

图13为依据另一实施例的深度相机校正方法的流程图。图13的实施例与图7的实施例的差异在于在步骤s710及步骤s711之间，更包括步骤s713、步骤s714、步骤s715以及步骤s716。在步骤s713中，以处理器13依据第二影像600中的多个对应点取得数条纵向参考线以及数条横向参考线；以该些纵向参考线与该些横向参考线形成多个交会处；以处理器13判断该些对应点之中是否至少有一个对应点未设置于交会处附近，若处理器13判断至少有一个对应点未设置于交会处附近，则执行步骤s714。若处理器13判断所有对应点均设置于交会处附近，则执行步骤s715。在步骤s714中，以处理器13将未设置于交会处附近的对应点视为异常点且删除异常点。在步骤s715中，以处理器13判断该些交会处之中是否至少有一个交会处附近未设置对应点，若处理器13判断至少有一个交会处附近未设置有对应点，则执行步骤s716。若处理器13判断所有交会处附近均设置有对应点，则执行前述的步骤s711。在步骤s716中，以处理器13在未设置有对应点的交会处补上额外的对应点。在其他实施例中，步骤s713与步骤s715的执行顺序可以互调。

图14a～图14b为依据一实施例的处理器将第二影像中的异常点删除的示意图。如图14a～图14b所示，第二影像600中的多个对应点p1～p9形成数条纵向参考线l1～l3以及数条横向参考线h1～h3，而纵向参考线l1～l3与横向参考线h1～h3形成多个交会处k1～k9，当处理器13判断对应点p1～p9之中有一个对应点没有设置于交会处k1～k9的任一个交会处附近时，则以处理器13将没有设置于交会处附近的对应点视为异常点。在本实施例中，对应点p7没有位于交会处k1～k9的任一个，以处理器13将对应点p7视为异常点，并将对应点p7从第二影像600中删除。

图15a～图15b为依据一实施例的处理器将第二影像中缺少的对应点补齐的示意图。如图15a～图15b所示，当处理器13判断交会处k1～k9之上有一个交会处没有设置对应点时，则以处理器13将没有设置任何对应点的交会处补上一额外的对应点。在本实施例中，第二影像在交会处k8上缺少对应于校正表平面111的特征点的对应点，以处理器13将于交会处k8上补上额外的对应点p8。

此外，图10与图11a至图11c所提及的影像裁切边界方法，均可使用于第二影像中没有缺漏对应点以及有缺漏对应点的两种情形，但以使用于没有缺漏对应点的情形为优选。

深度像机校正方法对结构光深度相机进行校正时，不需改变结构光深度相机与校正板组件的相对位置，相较于现有校正方法必需改变结构光深度相机与校正板的相对位置，大幅缩短校正时间。此外，进行校正的特征点为封闭图案的质心，相较于以往田字型图案的特征点是位于直线交会点，封闭图案的轮廓可使用粗而明显的线条，其具有较高的辨识度。另一方面，由于处理器在计算结构光深度相机的参数之前，已先进行影像裁切、排除异常点以及补齐对应点的处理，因此所计算出的相机参数应可具有较高的校正品质。