影像处理系统及影像处理方法与流程

本发明有关于处理系统，特别是有关于一种影像处理系统及影像处理方法。

背景技术：

一般而言，双摄像镜头通常应用于建构视差图以进行深度估算，深度估计的主要概念是匹配(matching)双摄像镜头不同视角影像中的对应像素。然而，低纹理表面中的像素没有明显的匹配特征，这导致深度估计中的匹配结果不稳定。另一方面，在低光源环境中处理器需要提高亮度增益，以保持输出图像的亮度。但是，较高的亮度增益会在输出图像中产生噪点，导致深度估算值不稳定并降低可信度。可信度较低的深度估计会影响后续应用的品质，深度估计可应用于虚拟实境或扩增实境中，例如物件或环境的三维重建。尽管采用较长的曝光时间或噪点抑制可以减轻问题，但此些方法还会引发其他成像问题，例如运动模糊或图像中丢失更多细节。现有的双摄多视图方法可以保持视差的时间一致性，但是庞大复杂的处理过程，需要大量的计算。

因此，要如何提高深度图的品质与稳定性，尤其是在影像中的低纹理或噪点区域，已成为本领域待解决的问题之一。

技术实现要素：

本发明实施例提供一种影像处理系统包括一摄像模组及一处理器。摄像模组包括一第一摄像镜头及一第二摄像镜头。第一摄像镜头用以于一当前位置拍摄一第一视角影像。第二摄像镜头用以于一当前位置拍摄一第二视角影像。处理器用以依据第一视角影像及第二视角影像产生一当前深度地图(depthmap)及一当前信心地图(confidencemap)，当前信心地图包含每个像素的信心值。处理器接收对应一先前位置的一先前摄像姿态，先前位置具有对应的一第一深度地图及一第一信心地图，依据先前摄像姿态及当前位置的一当前摄像姿态，将第一深度地图的至少一像素位置映射(mapping)到当前深度地图的至少一像素位置，选择第一信心地图的至少一像素的信心值与各自对应的当前信心地图的至少一像素的信心值相比后的信心值最高者，依据此些信心值最高者所对应的像素产生当前位置的一最佳化深度地图。

本发明实施例系提供一种影像处理方法包括：藉由一第一摄像镜头于一当前位置拍摄一第一视角影像；藉由一第二摄像镜头于当前位置拍摄一第二视角影像；依据第一视角影像及第二视角影像产生一当前深度地图(depthmap)及一当前信心地图(confidencemap)；其中当前信心地图包含每个像素的信心值；接收对应一先前位置的一先前摄像姿态，先前位置具有对应的一第一深度地图及一第一信心地图；依据先前摄像姿态及当前位置的一当前摄像姿态，将第一深度地图的至少一像素位置映射(mapping)到当前深度地图的至少一像素位置；选择第一信心地图的至少一像素的信心值与各自对应的当前信心地图的至少一像素的信心值相比后的信心值最高者；以及依据此些信心值最高者所对应的像素产生当前位置的一最佳化深度地图。

综上所述，本发明实施例系提供一种影像处理系统及影像处理方法，可以使摄像模组在拍摄低纹理物体或是低光源环境时，透过参考当前影像与前几张影像中各相素的信心值，以产生当前影像最佳化的深度资讯，并可达到应用当前影像最佳化的深度资讯，产生较精准的三维影像的功效。

附图说明

图1为根据本发明的一实施例绘示的一种影像处理系统的示意图。

图2为根据本发明的一实施例绘示的一种影像处理方法的流程图。

图3为根据本发明的一实施例绘示的一种信心值的示意图。

图4为根据本发明的一实施例绘示的一种影像处理方法的示意图。

具体实施方式

以下说明系为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。

必须了解的是，使用于本说明书中的“包含”、“包括”等词，系用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。

于权利要求中使用如“第一”、“第二”、“第三”等词系用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。

请参照图1～3，图1为根据本发明的一实施例绘示的一种影像处理系统100的示意图。图2为根据本发明的一实施例绘示的一种影像处理方法200的流程图。图3为根据本发明的一实施例绘示的一种信心值的示意图。

于一实施例中，影像处理系统100包括一摄像模组ca及一处理器10。摄像模组ca及处理器10之间可透过无线或有线方式传输影像。摄像模组ca包含摄像镜头lr及摄像镜头ll。于一实施例中，摄像模组ca为一双镜头摄像模组。于一实施例中，摄像镜头lr为一右眼摄像镜头，当摄像模组ca往桌面tb上的a点拍摄时，摄像镜头lr所撷取的视角影像为一右眼影像，摄像镜头ll为一左眼摄像镜头，当摄像模组ca往桌面tb上的a点拍摄时，摄像镜头ll所撷取的视角影像为一左眼影像。

于一实施例中，摄像模组ca可以设置于头戴式装置中，随着使用者头部的移动撷取影像。

于一实施例中，如图1所示，摄像模组ca可以连续的在不同位置撷取影像，并将连续影像存入影像队列(queue)，例如摄像模组ca在位置p1往a点拍摄，可撷取到位置p1的右眼影像及左眼影像，并将位置p1的右眼影像及左眼影像传到处理器10，处理器10以影像队列储存右眼影像及左眼影像。接着，摄像模组ca在位置p2往a点拍摄，可撷取到位置p2的右眼影像及左眼影像，并将位置p2的右眼影像及左眼影像传到处理器10，处理器10以影像队列储存右眼影像及左眼影像。最后，摄像模组ca在位置p3往a点拍摄，可撷取到位置p3的右眼影像及左眼影像，并将位置p3的右眼影像及左眼影像传到处理器10，处理器10以影像队列储存右眼影像及左眼影像。

于一实施例中，摄像模组ca从位置p1经过位置p2移动到位置p3的过程可以是连续动作，亦可针对a点进行连续拍摄，为方便说明，本发明以拍摄三次，即位置p1、位置p2及位置p3各拍摄一次作为例子，每拍摄一次即取得一组右眼影像及左眼影像。然本领域具通常知识者应可理解摄像模组ca可以拍摄多次从位置p1移动到从位置p3的过程中，可以拍摄多次，拍摄的次数并不限制。

于一实施例中，摄像模组ca拍摄的a点可能是低纹理物体或低光源(或杂讯多)的环境；其中，低纹理物体例如为平滑桌面、球体或镜面，此些物体的特性为过于平滑或特征不清楚，使拍摄出来的影像会有反光的效果，导致影像不清楚，处理器10难以比对右眼影像及左眼影像的视差；低光源环境则会造成拍摄出来的影像杂讯过多，需要将影像的亮度调亮，才能比对右眼影像及左眼影像的视差。

于一实施例中，应用右眼影像及左眼影像中各自对应的像素的视差可以推估每个像素的深度，产生深度地图(depthmap)。

更具体而言，摄像模组ca拍摄低纹理物体或是低光源环境时，撷取到的影像信心值(confidencevalue)较低。信心值代表右眼影像及左眼影像中各自对应的像素的相似程度，例如，右眼影像的最右上角的像素及左眼影像的最右上角的像素之间的相似程度，所有相似程度的集合(即所有右眼影像及左眼影像中各自对应每一个像素点)称为信心地图(confidencemap)。

其中，处理器10可以应用已知的比对代价分布(matchingcostdistribution)演算法以计算信心值，例如，比对代价演算法是以右眼影像及左眼影像中各自对应的像素的灰阶差的绝对值(absoluteintensitydifferences，ad)作为比对代价(matchingcost)，将此些比对代价视为右眼影像及左眼影像中各自对应的像素的信心值，换言之，右眼影像及左眼影像中各自对应的每一个像素点都有一个信心值。比对代价演算法为已知的演算法，故此处不赘述。

如图3所示，例如，摄像模组ca从位置p1经过位置p2移动到位置p3的过程中，依序针对a点拍了三次影像(时间轴上是依序位置p1、p2、p3拍摄)，在位置p1所拍摄到的右眼影像的最右上角的像素及左眼影像的最右上角的像素之间的信心值例如为50，在位置p2所拍摄到的右眼影像的最右上角的像素及左眼影像的最右上角的像素之间的信心值例如为80，在位置p3所拍摄到的右眼影像的最右上角的像素及左眼影像的最右上角的像素之间的信心值例如为30。信心度的数值化方式亦可以由其它方式表现，例如为百分比，或是转换成0～1之间的数值，并不限于此。

由此可知，摄像模组ca在拍摄低纹理物体或是低光源环境时，拍摄出来的影像容易因为反光或低光源，导致灰阶差不明显，而使处理器10计算出的信心值不稳定。因此，本发明针对此种情况，透过参考前几张的影像，以产生当前影像最佳化的深度资讯。请一并参阅图1～4。图4为根据本发明的一实施例绘示的一种影像处理方法400的示意图。图2的影像处理方法200进一步详述各步骤。

于步骤210中，第一摄像镜头于一当前位置拍摄一第一视角影像，且第二摄像镜头于当前位置拍摄一第二视角影像。

于一实施例中，如图1所示，摄像模组ca位于当前位置p3时，摄像镜头lr拍摄右眼影像(即第一视角影像)，摄像镜头ll拍摄左眼影像(即第二视角影像)。

于步骤220中，处理器10依据第一视角影像及第二视角影像产生一当前深度地图及一当前信心地图；其中当前信心地图包含每个像素的信心值。

于一实施例中，处理器10依据摄像模组ca位于当前位置p3时所拍摄的右眼影像及左眼影像产生一当前深度地图。处理器10应用已知的演算法以产生当前深度地图，例如立体匹配演算法(stereomatching)。

于一实施例中，处理器10应用已知的比对代价分布演算法以计算信心值。信心值代表右眼影像及左眼影像中各自对应的像素的相似程度，所有相似程度的集合(即所有右眼影像及左眼影像中各自对应每一个像素点)称为信心地图(confidencemap)。

于步骤230中，处理器10接收对应一先前位置的一先前摄像姿态，先前位置具有对应的一第一深度地图及一第一信心地图。

于一实施例中，先前摄像姿态是由一追踪系统提供。于一实施例中，追踪系统可以位于影像处理系统100本身内部或外部。于一实施例中，追踪系统可以是内向外(inside-out)追踪系统、外向内(outside-in)追踪系统、灯塔(lighthouse)追踪系统或其他可以提供摄像姿态的追踪系统。

于一实施例中，先前摄像姿态可以是摄像模组ca在位置p1(先前位置)进行拍摄时即先行计算好，此外，摄像模组ca在位置p1进行拍摄时，处理器10亦可先行计算第一深度地图及第一信心地图，因此，位置p1(先前位置)具有对应的深度地图及信心地图。

于一实施例中，摄像模组ca是依序在位置p1～p3进行拍摄，因此当摄像模组ca在当前位置p3进行拍摄时，代表摄像模组ca在位置p1～p2已完成拍摄，处理器10已产生分别对应位置p1～p2的深度地图及信心地图，且摄像模组ca在位置p1～p2的摄像姿态已经被记录下来。

于一实施例中，摄像模组ca先于位置p1拍摄一物体(例如为a点)或一环境，处理器10产生对应位置p1的深度地图及信心地图，将信心地图中的每个像素的信心值纪录于一信心值队列中，摄像模组ca再于位置p2拍摄物体，处理器10产生对应位置p2的深度地图及信心地图，将信心地图中的每个像素的信心值纪录于信心值队列中，最后摄像模组ca于当前位置p3拍摄物体，处理器10将当前信心地图中的每个像素的信心值纪录于信心值队列中。

于本例中，队列可记录三张信心地图，因此，当第一张信心地图产生时，信心值队列中存有第一张信心地图；当第二张信心地图产生时，信心值队列中存有第一张信心地图及第二张信心地图；当第三张信心地图产生时，信心值队列中存有第一张信心地图、第二张信心地图及第三张信心地图；当第四张信心地图产生时，信心值队列中存有第二张信心地图、第三张信心地图及第四张信心地图。此代表依据当前位置所产生的当前深度地图可以往前参考前两次拍摄后所产生的信心地图。例如，于当前位置p3进行拍摄时，可以往前参考在位置p1及p2进行拍摄后所产生的信心地图，又例如，于当前位置p4进行拍摄时，可以往前参考在位置p2及p3进行拍摄后所产生的信心地图。

于一实施例中，处理器10接收摄像模组ca位于位置p1(即先前位置)的摄像姿态(pose)，计算对应于位置p1的深度地图及信心地图。于一实施例中，处理器10依据摄像模组ca位于位置p1时所拍摄的右眼影像及左眼影像产生深度地图及信心地图。于一实施例中，摄像模组ca的摄像姿态可以由一旋转角度及一位移距离以表示。于一实施例中，摄像模组ca可以透过外部追踪系统(externaltrackingsystem)，例如为lighthouse技术，在一环境空间中获得摄像模组ca的摄像姿态，外部追踪系统可以将摄像模组ca的摄像姿态透过有线或无线方式传送到处理器10。

于步骤240中，处理器10依据先前摄像姿态及当前位置的一当前摄像姿态，将第一深度地图的至少一像素位置映射(mapping)到当前深度地图的至少一像素位置。

于一实施例中，请参阅图4，处理器10尝试将应于位置p1的深度地图f1进行位移或旋转，更具体而言，处理器10依据摄像模组ca位于位置p1的摄像姿态(即先前摄像姿态)及摄像模组ca位于当前位置p3的摄像姿态(即当前摄像姿态)，经由计算一旋转(rotation)及一位移(translation)的转换公式，算出一旋转位移矩阵(rotationandtranslationmatrix)，藉由旋转位移矩阵将深度地图f1的至少一像素位置映射(mapping)到当前深度地图f3的至少一像素位置。其中，计算旋转位移矩阵可应用已知的数学运算方式，因此此处不再赘述。于一实施例中，处理器10将深度地图f1的最右上角的像素pt1映射到当前深度地图f3的最右上角像素pt1。由于深度地图f1对应的拍摄位置、摄像模组ca于位置p1的摄像姿态(即先前摄像姿态)都与当前深度地图f3对应的拍摄位置、摄像模组ca于位置p3的摄像姿态(即当前摄像姿态)不同，因此，当将深度地图f1上所有像素映射到前深度地图时，深度地图f1可能产生形变的映射后深度地图mf1。

于一实施例中，当处理器10取得对应于位置p2的深度地图f2后，处理器10尝试将应于位置p2的深度地图f2进行位移或旋转，更具体而言，处理器10依据摄像模组ca位于位置p2的摄像姿态(即另一先前摄像姿态)及摄像模组ca位于当前位置p3的摄像姿态(即当前摄像姿态)，经由计算旋转及位移的转换公式，算出旋转位移矩阵，藉由旋转位移矩阵将深度地图f2的至少一像素位置映射到当前深度地图f3的至少一像素位置。于一实施例中，处理器10将深度地图f2的最右上角的像素pt1映射到当前深度地图f3的最右上角像素pt1。由于深度地图f2对应的拍摄位置、摄像模组ca于位置p2的摄像姿态(即另一先前摄像姿态)都与当前深度地图f3对应的拍摄位置、摄像模组ca于位置p3的摄像姿态(即当前摄像姿态)不同，因此，当将深度地图f2上所有像素映射到前深度地图时，深度地图f2可能产生形变的映射后深度地图mf2。

于步骤250中，处理器10选择该第一信心地图的至少一像素的信心值与各自对应的当前信心地图的至少一像素的信心值相比后的信心值最高者。

于一实施例中，当映射后深度地图mf1、mf2产生后，处理器10可得知映射后深度地图mf1、mf2中每个像素对映到当前深度地图f3的各像素位置，针对当前深度地图f3中的至少一像素(例如像素pt1)，处理器10从信心值队列中，选择对应位置p1的信心地图中的至少一像素的信心值、对应位置p2的信心地图中的至少一像素的信心值与各自对应的当前信心地图的至少一像素的信心值相比后的信心值最高者。

于一实施例中，当映射后深度地图mf1、mf2产生后，处理器10可得知映射后深度地图mf1、mf2中每个像素对映到当前深度地图f3的各像素位置(例如映射后深度地图mf1、mf2与当前深度地图f3的最右上角的像素刚好都对应到像素pt1)，故可针对每个像素选用对应的信心值的最高者作为输出。例如，如图3所示，映射后深度地图mf1的最右上角的像素pt1的信心值为50，映射后深度地图mf2的最右上角的像素pt1的信心值为80，当前深度地图f3的最右上角的像素pt1的信心值为30，由于当前深度地图f3的最右上角的像素pt1的信心值最低，代表摄像模组ca在位置p3拍摄a点时，可能因为位置p3的拍摄姿势导致影像不清楚，因此，处理器10针对像素pt1选用信心值最高的深度地图f2的最右上角的像素pt1深度作为输出。

于步骤260中，处理器10依据信心值最高者所对应的像素产生当前位置的一最佳化深度地图。

于一实施例中，当处理器10将当前深度地图f3中的每个像素都与深度地图mf1及mf2做比较并各自选择信心值最高者所对应的像素作为输出，例如处理器10针对当前深度地图f3的像素pt1选用信心值最高的深度地图f2的最右上角的像素pt1作为输出，另外，假设映射后深度地图mf1的像素pt2的信心值为70，映射后深度地图mf2的像素pt2的信心值为40，当前深度地图f3的像素pt2的信心值为30，则处理器20针对当前深度地图f3的像素pt2选出信心值最高者所对应的像素，即深度地图f1的像素pt2所对应的深度作为输出(假设当前深度地图f3中的像素pt2各自对应到映射后深度地图mf1及mf2中的像素pt2)，针对没有对应到深度地图mf1及mf2的部分，则采用当前深度地图f3的像素所对应的深度作输出。当处理器10完成当前深度地图f3中的每个像素的比对并选择每个像素对应输出的深度后，将所有输出的深度的整体视为最佳化深度地图。

综上所述，本发明实施例提供一种影像处理系统及影像处理方法，可以使摄像模组在拍摄低纹理物体或是低光源环境时，透过参考当前影像与前几张影像中各相素的信心值，以产生当前影像最佳化的深度资讯，并可达到应用当前影像最佳化的深度资讯，产生较精准的三维影像的功效。

本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视后附的权利要求所界定者为准。

【符号说明】

100：影像处理系统

p1～p3：位置

ca：摄像模组

ll、lr：摄像镜头

a：点

tb：桌面

10：处理器

200：影像处理方法

210～260：步骤

400：影像处理方法

f1、f2：深度地图

f3：当前深度地图

pt1、pt2：像素

mf1、mf2：深度地图