深度图像处理方法及深度图像处理系统与流程

本发明涉及一种图像处理方法及图像处理系统，且特别涉及一种深度图像处理方法及深度图像处理系统。

背景技术：

近年来，随着使用者体验需求的提高，深度图像技术逐渐变得热门。计算深度图像的方法包括使用结构光、时差测距(timeofflight；tof)法、立体匹配(stereomatching)法等方法。立体匹配法是以左右图像的其中一张为基础，并且在另一张图像中寻找偏移量。例如，以左图像一个高度的框架为基础，并在右图像同样高度的位置将框架从最左边开始每次位移一个像素到最右边以逐一比对框架中的图像，再由比对结果中找出相似度最高者，求得左右图像框架的偏移量，再通过这些图像框架的偏移量来计算出深度图像。

由于上述方法需要将框架从图像的最左边移动到最右边，可能进行几百甚至上千次的计算之后才会得到一个偏移量，效率相当差，因此便产生了先将降低图像的解析度(downscale)再计算深度方法，例如将800*600的图像解析度降低到400*300再计算深度值。虽然此方法可减少计算量，但会造成远距离物体偏移量误差值的增大，导致无法分辨远距离物体在深度图像中的深度值。

另外，在数字相机中，如果拍摄的物体距离太近，会造成左右图像的视差较大，使得系统必须花费很多时间才能计算出深度图像。如此一来会造成使用者等待时间过长而降低使用者体验。因此，如何能在减少计算深度值的计算量的前提下同时能分辨远距离物体的深度值，以及当拍摄物体距离太近时自动进行判断并不进行深度图像的制作以减少使用者等待时间，是本领域技术人员所应致力的目标。

技术实现要素：

本发明提出一种深度图像处理方法及深度图像处理系统，在减少深度图 像计算时间的同时能保留远距离物体的细节，并防止拍摄物体距离过近而造成使用者浪费过长时间等待制作出具有破碎物体的深度图像。

本发明的一范例实施例提出一种深度图像处理方法，包括：提取第一图像及第二图像；进行特征比对以获得第一图像及第二图像之间的多个特征对，其中每一特征对包括第一图像中的特征及第二图像中的对应特征；计算此些特征对的视差；当此些特征对的视差皆小于视差阈值时，藉由第一图像及第二图像计算深度图像。

在本发明的一范例实施例中，上述特征对是选自对应于第一图像及第二图像的至少一感兴趣区域。

在本发明的一范例实施例中，上述的深度图像处理方法还包括计算对应第一图像的第三图像及对应第二图像的第四图像，其中第一图像及第二图像具有第一解析度，第三图像及第四图像具有第二解析度，且第二解析度小于第一解析度。

在本发明的一范例实施例中，上述的深度图像处理方法还包括：对第三图像及第四图像进行特征比对以获得第一深度图像，其中第一深度图像包括近距离特征及远距离特征，其中近距离特征的视差大于比对次数下限。

在本发明的一范例实施例中，上述对第三图像及第四图像进行特征比对以获得第一深度图像的步骤包括：对第三图像及第四图像进行特征比对以获得低解析深度图像，并藉由低解析深度图像获得具有第一解析度的第一深度图像。

在本发明的一范例实施例中，进行特征比对以获得第一图像及第二图像之间的多个特征对的步骤还包括在视差阈值内进行特征比对以获得第一图像及第二图像的远距离特征，并藉由第一图像及第二图像计算第二深度图像。

在本发明的一范例实施例中，上述的深度图像处理方法还包括：若第一深度图像的远距离特征的视差等于零，利用第二深度图像的远距离特征填补第一深度图像的远距离特征。

在本发明的一范例实施例中，进行特征比对以获得第一图像及第二图像的上述特征对的步骤还包括：获得第一图像的多个第一特征及第二图像的多个第二特征；若上述第一特征中的第三特征与上述第二特征中的第四特征的相似度大于相似度阈值，将第三特征与第四特征加入上述特征对；若上述特征对的数量大于数量阈值，则判断上述特征对的视差是否大于视差阈值；以 及若上述特征对的其中之一的视差大于视差阈值，不藉由第一图像及第二图像计算深度图像并发出警示信号。

在本发明的一范例实施例中，上述的深度图像处理方法还包括藉由比较第三特征与第四特征的多个特征向量来计算第三特征与第四特征的相似度。

在本发明的一范例实施例中，上述提取第一图像及第二图像的步骤还包括对第一图像及第二图像进行校正，以消除第一图像及第二图像之间多个坐标轴的旋转差及部分上述坐标轴的位移差。

本发明的一范例实施例提出一种深度图像处理系统，包括摄像模块及处理模块。摄像模块包括第一镜头及第二镜头，其中第一镜头用以提取第一图像且第二镜头用以提取第二图像。处理模块耦接摄像模块，处理模块进行特征比对以获得第一图像及第二图像之间的多个特征对，并计算此些特征对的视差，当此些特征对的视差皆小于视差阈值时，处理模块藉由第一图像及第二图像计算深度图像，其中每一特征对包括第一图像中的特征及第二图像中的对应特征。

在本发明的一范例实施例中，上述特征对是选自对应于第一图像及第二图像的至少一感兴趣区域。

在本发明的一范例实施例中，上述的处理模块计算对应第一图像的第三图像及对应第二图像的第四图像，其中第一图像及第二图像具有第一解析度，第三图像及第四图像具有第二解析度，且第二解析度小于第一解析度。

在本发明的一范例实施例中，上述的处理模块对第三图像及第四图像进行特征比对以获得第一深度图像，其中第一深度图像包括近距离特征及远距离特征，其中近距离特征的视差大于比对次数下限。

在本发明的一范例实施例中，上述的处理模块对第三图像及第四图像进行特征比对以获得低解析深度图像，并藉由低解析深度图像获得具有第一解析度的第一深度图像。

在本发明的一范例实施例中，上述的处理模块在视差阈值内进行特征比对以获得第一图像及第二图像的远距离特征，并藉由第一图像及第二图像计算第二深度图像。

在本发明的一范例实施例中，若第一深度图像的远距离特征的视差等于零，处理模块利用第二深度图像的远距离特征填补第一深度图像的远距离特征。

在本发明的一范例实施例中，上述的处理模块获得第一图像的多个第一特征及第二图像的多个第二特征。若上述第一特征中的第三特征与上述第二特征中的第四特征的相似度大于相似度阈值，处理模块将第三特征与第四特征加入上述特征对。若上述特征对的数量大于数量阈值，则处理模块判断上述特征对的视差是否大于视差阈值。若上述特征对的其中之一的视差大于视差阈值，处理模块不藉由第一图像及第二图像计算深度图像并发出警示信号。

在本发明的一范例实施例中，上述的处理模块藉由比较第三特征与第四特征的多个特征向量来计算第三特征与第四特征的相似度。

在本发明的一范例实施例中，上述的处理模块对第一图像及第二图像进行校正，以消除第一图像及第二图像之间多个坐标轴的旋转差及部分上述坐标轴的位移差。

在本发明的一范例实施例中，上述的第一镜头、第二镜头及处理模块设置于深度图像处理装置中。

在本发明的一范例实施例中，上述的第一镜头及处理模块设置于深度图像处理装置中，且第二镜头设置于电子装置中，其中深度图像处理装置可拆卸地设置于电子装置上。

基于上述，本发明的深度图像处理方法及深度图像处理系统会先将左右图像解析度缩小以取得第一深度图像，并利用原始解析度的左右图像取得第二深度图像，再将第二深度图像的远距离物体填补至第一深度图像中。如此一来可同时缩短深度图像计算时间又不会失去深度图像中远距离物体的细节。此外，本发明的深度图像处理方法及深度图像处理系统还会在相似度高的特征对的视差大于视差阈值时发出警示信号给使用者，以提醒使用者拍摄距离过近，进而避免使用者浪费过长时间等待制作出具有破碎物体的深度图像。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是根据本发明一范例实施例所绘示的深度图像处理系统的方块图。

图2是根据本发明另一范例实施例所绘示的深度图像处理系统的方块图。

图3是根据本发明一范例实施例所绘示的深度图像处理方法的流程图。

图4a到图4c是根据本发明一范例实施例所绘示的深度图像处理方法的示意图。

图5是根据本发明另一范例实施例所绘示的深度图像处理方法的流程图。

图6是根据本发明另一范例实施例所绘示的深度图像处理方法的示意图。

【符号说明】

100、200：深度图像处理系统

101、201：深度图像处理装置

110、210：处理模块

120、220：摄像模块

121、221：第一镜头

122、222：第二镜头

231：第一传输模块

232：第二传输模块

s301、s303、s305、s307、s309、s311、s313、s315：深度图像处理方法的步骤

411：近距离物体

412：远距离物体

410：第一图像

420：第二图像

430：第三图像

440：第四图像

450：低解析度深度图像

460：第一深度图像

470：第二深度图像

s501、s503、s505、s507、s509、s511：深度图像处理方法的步骤

610：第一图像

620：第二图像

630：搜寻范围

1、4、5、6：第一特征

1’、4’、5’、6’：第二特征

具体实施方式

图1是根据本发明一范例实施例所绘示的深度图像处理系统的方块图。请参照图1，本发明一范例实施例的深度图像处理系统100为一深度图像处理装置101。深度图像处理装置101例如是数字相机或其他图像提取装置，深度图像处理装置101包括处理模块110及耦接于处理模块110的摄像模块120。处理模块110例如是微处理器，用以处理摄像模块120所拍摄的图像数据，摄像模块120例如是互补式金属氧化物半导体(complementarymetal-oxide-semiconductor，cmos)图像传感器或感光耦合元件(charged-coupledevice，ccd)图像传感器。摄像模块120具有第一镜头121及第二镜头122。第一镜头121及第二镜头122设置于同一个水平面上以同时提取左图像及右图像。而处理模块110可藉由左图像及右图像来制作出立体深度图像。深度图像处理装置101还可包括存储模块(未绘示于图中)，用以存储左图像、右图像及立体深度图像。

图2是根据本发明另一范例实施例所绘示的深度图像处理系统的方块图。请参照图2，本发明另一范例实施例的深度图像处理系统200包括深度图像处理装置201及电子装置202。深度图像处理装置201例如是数字相机或其他小型图像提取装置。电子装置202例如是智能手机、平板计算机或其他具有照相功能的手持式电子装置。深度图像处理装置201及电子装置202可藉由第一传输模块231及第二传输模块232可拆卸地彼此耦接。第一传输模块231及第二传输模块232例如是通用串行总线(universalserialbus，usb)、小型通用串行总线(miniuniversalserialbus，miniusb)、微型通用串行总线(microuniversalserialbus，microusb)、或其他传输接口。摄像模块220包括第一镜头221及第二镜头222。第一镜头221及第二镜头222例如是互补式金属氧化物半导体(complementarymetal-oxide-semiconductor；cmos)图像传感器或感光耦合元件(charged-coupledevice；ccd)图像传感器。第二镜头222可为电子装置202的前镜头或后镜头。当使用者提取图像数据时，处理模块210会同时从第一镜头221及第二镜头222接收到左图像及右图像并藉由左图像及右图像来制作出立体深度图像。在下文中为了方 便说明，皆以处理模块110、第一镜头121第二镜头122进行说明。

图3是根据本发明一范例实施例所绘示的深度图像处理方法的流程图。图4a到图4c是根据本发明一范例实施例所绘示的深度图像处理方法的示意图。

请参照图3，在步骤s301中，摄像模块120分别使用第一镜头121及第二镜头122提取具有第一解析度的第一图像410(或称为左图像)及第二图像420(或称为右图像)。在图4a中，第一图像410及第二图像420具有第一解析度。为了方便说明，在本范例实施例中假设第一解析度为800*600，但本发明并不以此为限。在另一范例实施例中，第一解析度也可以是1280*720、1920*1080或其他解析度。为了方便说明，假设在对应于第一图像410及第二图像420至少一个感兴趣区域(regionofinterest；roi)中，有一个近距离物体411及一个远距离物体412。第二图像420中的虚线部分表示第一图像中的近距离物体411及远距离物体412在第二图像420中的对应位置。在本范例实施例中，假设在第一图像410及第二图像420中的近距离物体411的视差为”40”，此视差”40”表示近距离物体在第一图像410及第二图像420中的对应水平位置差距为40个像素，且远距离物体412的视差为1。

在步骤s303中，处理模块110获得具有第二解析度且分别对应第一图像410及第二图像420的第三图像430及第四图像440。例如，在图4b中，处理模块110计算对应第一图像410的第三图像430及对应第二图像420的第四图像440，其中第三图像430及第四图像440具有小于第一解析度的第二解析度。在本范例实施例中假设第二解析度为400*300，但本发明并不以此为限。在另一范例实施例中，第二解析度也可以是小于第一解析度的任何解析度，例如是第一解析度的1/4、1/16等等。由于第三图像430及第四图像440横轴及纵轴的解析度都是第一图像410及第二图像440的1/2，因此在第三图像430及第四图像440中，近距离物体411的视差为40的1/2，也就是20，而远距离物体412的视差则会变为0。

在步骤s305中，处理模块110根据第三图像430及第四图像440计算具有第二解析度的低解析度深度图像450。接着在步骤s307中，处理模块110将低解析度深度图像450转换成具有第一解析度的第一深度图像460。具体来说，本范例实施例的深度图像处理方法会先设定一个视差阈值以根据左右 图像计算深度图像，若左右图像中的物体视差大于视差阈值，则根据左右图像计算出的深度图像中的物体会呈现破碎形态。例如，在此假设图4c中的视差阈值为30。在处理模块110根据第三图像430及第四图像440计算低解析度深度图像450时，处理模块110会先从第四图像440中判断出多个特征并在第三图像430中对应于第四图像440每个特征位置的右侧30个像素的范围内寻找相似度大于相似度阈值的对应特征，以获得第三图像430及第四图像440之间的多个特征对，并且根据这些特征对的视差来判断近距离物体411及远距离物体412，其中近距离物体411(或称为近距离特征)及远距离物体412(或称为远距离特征)可包括一到多个特征对。如此一来，处理模块110可由这些特征对获得视差为20的近距离物体411及视差为0的远距离物体412，从而计算出低解析度深度图像450。接着，处理模块110再将解析度为400*300的低解析度深度图像450转换成解析度为800*600的第一深度图像460。在第一深度图像460中，近距离物体411的视差为40且远距离物体412的视差为0。

值得注意的是，处理模块110在计算第一深度图像460时还可以设定一个比对次数下限(例如，15)以专注取得近距离物体411的视差。具体来说，处理模块110在每次寻找特征对时不需要在第三图像430中对应于第四图像440每个特征位置的右侧30个像素的范围内寻找相似度大于相似度阈值的对应特征，而只要在第三图像430中对应于第四图像440每个特征位置的右侧15到30个像素的范围内寻找相似度大于相似度阈值的对应特征，如此可大幅缩短计算时间。

在步骤s309中，处理模块110根据第一图像410及第二图像420计算出第二深度图像470。例如，在图4a中，由于近距离物体411的视差为40，大于视差阈值30，因此在第二深度图像470中的近距离物体411会呈现破碎状态，而第二深度图像470中的远距离物体412则是正常呈现，并且其视差为1。

在步骤s311中，处理模块110判断第一深度图像460中的远距离物体412的视差是否为0。若第一深度图像460中的远距离物体412的视差不为0，在步骤s313中，处理模块110将第一深度图像460作为完整深度图像。若第一深度图像460中的远距离物体412的视差为0，在步骤s315中，处理模块110利用第二深度图像470中的远距离物体412填补第一深度图像460中的 远距离物体412并将填补后的第一深度图像460作为完整深度图像。

值得注意的是，虽然在本范例实施例中处理模块110会先计算出第一深度图像460及第二深度图像470再进行步骤s311的比较，但本发明并不以此为限。例如，在另一范例实施例中，处理模块110也可以先不进行第二深度图像470的计算，而是在判断第一深度图像460中的远距离物体412的视差为0之后再进行第二深度图像470的计算并利用第二深度图像470中的远距离物体412填补第一深度图像460中的远距离物体412，以节省本发明的深度图像处理方法的计算时间。

图5是根据本发明另一范例实施例所绘示的深度图像处理方法的流程图。图6是根据本发明另一范例实施例所绘示的深度图像处理方法的示意图。

请参照图5，在步骤s501中，摄像模块120分别使用第一镜头121及第二镜头122提取第一图像610(或称为左图像)及第二图像620(或称为右图像)并对第一图像610及第二图像620进行校正，以消除第一图像及第二图像之间x、y、z坐标轴的旋转差及y、z坐标轴的位移差，使得第一图像610及第二图像620只剩下x坐标轴的位移差。值得注意的是，虽然上述说明了第一图像及第二图像分别为左图像及右图像，但第一图像及第二图像也可分别为右图像及左图像。

在步骤s503中，处理模块110获得第一图像610的多个第一特征及第二图像620的多个第二特征，其中第一特征及第二特征为图像中的角点或颜色值及灰阶值与周围像素差异较大的点。在本范例实施例中，会在第一图像610及第二图像620中定义相同的搜寻范围630(或感兴趣区域)并在各搜寻范围630中标记第一特征1、4、5、6及第二特征1’、4’、5’、6’。搜寻范围可以是使用者选择的范围、图像中人脸的范围、或是取得图像时自动对焦的范围。

在步骤s505中，若第一特征中的第三特征与第二特征中的第四特征的相似度大于相似度阈值，处理模块110将第三特征与第四特征加入特征对。例如，在图6中，假设第一特征中的1、4、6与第二特征中的1’、4’、6’的相似度大于相似度阈值，则将1-1’、4-4’、6-6’加入特征对。

在步骤s507中，处理模块110判断特征对的数量是否大于数量阈值。具体来说，在本范例实施例中，处理模块110会将数量阈值设定为第一特征或第二特征总数的特定百分比，例如第一特征总数为1000个且第二特征总数为900个，则可以将第二特征总数的30％，也就是270设定成数量阈值。若特 征对的数量不大于数量阈值，则回到步骤s501重新截取第一图像610及第二图像620。

若特征对的数量大于数量阈值，在步骤s509中，处理模块110进一步判断特征对的其中之一的视差是否大于视差阈值。若特征对的其中之一的视差大于视差阈值，则处理模块110不藉由第一图像610及第二图像620计算深度图像并发出警示信号，接着回到步骤s501重新截取第一图像610及第二图像620。例如，在图6中，假设视差阈值为30，由于特征对1-1’的视差为80，大于视差阈值30，在此条件下计算出的深度图像会产生图像破碎的情况，因此系统可自动发出警示信号以告知使用者拍摄距离过近。

若所有特征对的视差皆不大于视差阈值，则在步骤s511中，处理模块110藉由第一图像610及第二图像620计算深度图像。

值得注意的是，在本范例实施例中，当特征对的其中之一的视差大于视差阈值就视为拍摄物体距离过近而不制作深度图像，但本发明并不以此为限。例如，在另一范例实施例中，也可在一预定比例的特征对的视差大于视差阈值才视为拍摄物体距离过近而不制作深度图像。

此外，由于本发明的深度图像处理方法会在搜寻范围，也就是照相标的中寻找过近的照相标的。因此，若在更近的地方存在其他物体，即使此物体的深度图像超过视差阈值而呈现破碎形态，由于此物体并非照相标的，系统并不会发出警示讯息以提醒使用者。

综上所述，本发明的深度图像处理方法及深度图像处理系统会先将左右图像解析度缩小以取得第一深度图像，并利用原始解析度的左右图像取得第二深度图像，再将第二深度图像的远距离物体填补至第一深度图像中。如此一来可同时缩短深度图像计算时间又不会失去深度图像中远距离物体的细节。此外，本发明的深度图像处理方法及深度图像处理系统还会在相似度高的特征对的视差大于视差阈值时发出警示信号给使用者，以提醒使用者拍摄距离过近，进而避免使用者浪费过长时间等待制作出具有破碎物体的深度图像。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。