一种图像处理方法、装置、电子设备及存储介质与流程
本申请涉及图像处理领域，具体而言，涉及一种图像处理方法、图像处理装置、电子设备及存储介质。
背景技术：
基于图像的三维模型重建是计算机视觉领域的一个非常重要的研究方向。相比较二维图像信息，三维模型真实感更加强烈，能够呈现给人们更多的信息。其中，结构光光栅投影的图像处理技术对三维模型重建至关重要。
现有的结构光光栅投影的图像处理技术中，多采用直接设定阈值对采集的相移光栅图像进行二值化，根据二值化结果提取有效光栅区域。在处于复杂环境或周围有强干扰的情况下，通过这种方式对采集到的图像进行有效光栅区域提取，提取效果不佳，并且提取的图像有效域精度不高，导致解码时引入过多噪声，不利于三维重建及图像映射等工作。
技术实现要素：
本申请实施例的目的在于提供一种图像处理方法、图像处理装置、电子设备及存储介质，用以解决在处于复杂环境或干扰强烈的情况下，通过现有技术对采集到的图像进行有效光栅区域提取时，提取效果不佳的问题。
本申请提供一种图像处理方法，所述方法包括：基于第一投影图像及第二投影图像，得到二值化图像，其中，所述第一投影图像为检测面投射有第一标定图案的图像，所述第二投影图像为所述检测面投射有第二标定图案的图像，所述第一标定图案与所述第二标定图案颜色互补；基于相移光栅图像，得到主相位图，其中，所述相移光栅图像为所述检测面投射有相移光栅图案的图像；基于所述主相位图剔除所述二值化图像中的部分无效区域；基于剔除部分无效区域后的所述二值化图像进行有效区域提取，得到有效区域图像。
在本申请实施例中，由于第一投影图像为检测面投射有第一标定图案的图像，第二投影图像为检测面投射有第二标定图案的图像，且第一标定图案与第二标定图案颜色互补，因此，通过基于第一投影图像和第二投影图像得到二值化图像，能够排除环境因素的影响，使得后续进行有效区域提取时能够有相对较佳的提取效果；另外，通过基于相移光栅图像得到主相位图，并利用主相位图剔除二值化图像中的部分无效区域，能够进一步提升后续进行有效区域提取时的提取效果。
一实施例中，所述基于所述第一投影图像及所述第二投影图像，得到二值化图像，包括：对所述第一投影图像及所述第二投影图像进行差分计算，得到差分图像；基于所述差分图像的灰度均值对所述差分图像进行二值化，得到所述二值化图像。
在本申请实施例中，通过对第一投影图像及第二投影图像进行差分计算处理，得到差分图像；通过对差分图像进行计算得到差分图像的灰度均值；然后，以差分图像的灰度均值为分割点，对差分图像进行二值化处理，获得二值化图像，相较于现有技术中直接设定阈值进行二值化处理得到二值化图像的方式，由于第一投影图像及第二投影图像分别是检测面投射有颜色互补的标定图案的图像，通过采用二者的差分图像的灰度均值作为分割点进行二值化处理，能够一定程度上减轻环境因素对图像信息的影响，提高后续提取的图像信息的准确性。
一实施例中，所述在基于所述主相位图剔除所述二值化图像中的部分无效区域之前，所述方法还包括：对所述二值化图像进行滤波处理，得到滤波图像。
在本申请实施例中，利用相移光栅的主相位图剔除二值化图像部分无效区域之前，会对二值化图像进行一次滤波处理操作，得到滤波图像，由此，尽可能地减少图像二值化结果带来的噪声。
一实施例中，所述基于所述主相位图剔除所述二值化图像中的部分无效区域，包括：通过如下公式剔除所述二值化图像中的部分无效区域，
其中，premove(i,j)表示剔除无效区域后的二值化图像，pphase(i,j)表示所述主相位图，
一实施例中，所述基于剔除部分无效区域后的所述二值化图像进行有效区域提取，包括：基于所述剔除部分无效区域后的所述二值化图像进行形态学膨胀，得到膨胀图像；提取所述膨胀图像中的单标定点外围轮廓，得到轮廓点集图像；求取所述轮廓点集图像中各单标定点的外围包络，得到包络点集图像；筛选出所述包络点集图像中面积在预设面积范围内且面积最大的包络点，得到筛选后的所述包络点图像；对所述筛选后的所述包络点图像进行填充，以提取所述有效区域。
在本申请实施例中，首先对剔除部分无效区域后的二值化图像进行形态学膨胀，获得膨胀图像，接着，提取膨胀图像中的单标定点外围轮廓，得到轮廓点集图像，接着，对轮廓点集图像的各单标定点进行外围包络的求取，获得包络点集图像，接着，在预设面积范围内的包络点集图像中筛选出面积最大的包络点，最后对面积最大的包络点图像进行填充，提取所述有效区域，完成对目标区域有效图像的获取，为后续的三维重建和图像映射等工作提供基础。
第二方面，本申请提供了一种图像处理装置，包括：处理模块，用于基于第一投影图像及第二投影图像，得到二值化图像，其中，所述第一投影图像为检测面投射有第一标定图案的图像，所述第二投影图像为所述检测面投射有第二标定图案的图像，所述第一标定图案与所述第二标定图案颜色互补；所述处理模块还用于基于相移光栅图像，得到主相位图，其中，所述相移光栅图像为所述检测面投射有相移光栅图案的图像；剔除模块，用于基于所述主相位图剔除所述二值化图像中的部分无效区域；提取模块，用于基于剔除部分无效区域后的所述二值化图像进行有效区域提取，得到有效区域图像。
一实施例中，所述处理模块还用于对所述第一投影图像及所述第二投影图像进行差分计算，得到差分图像；基于所述差分图像的灰度均值对所述差分图像进行二值化，得到所述二值化图像。
一实施例中，所述处理模块还用于对所述二值化图像进行滤波处理，得到滤波图像。
一实施例中，所述剔除模块还用于通过以下公式剔除所述二值化图像中的部分无效区域，
其中，premove(i,j)表示剔除无效区域后的二值化图像，pphase(i,j)表示所述主相位图，
一实施例中，所述提取模块还用于基于所述剔除部分无效区域后的所述二值化图像进行形态学膨胀，得到膨胀图像；提取所述膨胀图像中的单标定点外围轮廓，得到轮廓点集图像；求取所述轮廓点集图像中各单标定点的外围包络，得到包络点集图像；筛选出所述包络点集图像中面积在预设面积范围内最大的包络点，得到筛选后的所述包络点图像；对所述筛选后的所述包络点图像进行填充，以提取所述有效区域。
第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器，用于存储程序；所述处理器，用于调用存储于所述存储器中的程序，以执行如上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式的方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的结构光设备的示意图。
图2为本申请一实施例提供的结构光设备的工作示意图。
图3为本申请一实施例提供的图像处理方法流程图。
图4为本申请一实施例提供的第一标定图案。
图5为本申请一实施例提供的第二标定图案。
图6为本申请一实施例提供的图像处理装置的结构框图。
图7为本申请一实施例提供的电子设备的内部结构示意图。
图标：结构光设备10；投影模块11；相机模块12；处理器13；存储器14；图像处理装置20；处理模块21；剔除模块22；提取模块23。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
基于图像的三维模型重建是计算机视觉领域的一个非常重要的研究方向。相比较二维图像信息，三维模型真实感更加强烈，能够呈现给人们更多的信息。其中，结构光光栅投影的图像处理技术对三维模型重建至关重要。
现有的结构光光栅投影的图像处理技术中，多采用直接设定阈值对采集的相移光栅图像进行二值化，根据二值化结果提取有效光栅区域。在处于复杂环境或周围有强干扰的情况下，通过这种方式对采集到的图像进行有效光栅区域提取，提取效果不佳，并且提取的图像有效域精度不高，导致解码时引入过多噪声，不利于三维重建及图像映射等工作。
本申请实施例提供一种图像处理方法、图像处理装置、电子设备及存储介质，用以在复杂环境或周围有强干扰的情况下，对采集到的图像进行有效光栅区域提取时，实现采集图像有效域精度的提高，使图像能较好的应用在后续工作中。
接下来结合附图进行详细的介绍。
请一并参阅图1及图2，本申请一实施例提供一种结构光设备10。该结构光设备10可以包括投影模块11，相机模块12，处理器13及存储器14等。投影模块11，相机模块12，处理器13及存储器14可以通过通信总线连接。投影模块11用于投射图案至待投射物体的表面。相机模块12用于采集待投射物体表面投射有相应图案的图像。存储器14内存储有计算机可读指令。处理器13用于调用存储器14的指令实现本申请所提供的图像处理方法。
可以理解，其他实施例中，投影模块11及相机模块12可以分离设置，此时，投影模块11可以是投影仪，相机模块12可以是相机或摄像头等。
请参阅图3，本申请一实施例提供的一种图像处理方法，该图像处理方法可以应用于前述结构光设备10。
本实施例中，该图像处理方法可以包括如下步骤。
步骤s11，基于第一投影图像及第二投影图像，得到二值化图像。其中，第一投影图像为检测面投射有第一标定图案的图像；第二投影图像为检测面投射有第二标定图案的图像；第一标定图案与第二标定图案颜色互补。
可以理解，在步骤s11之前，该方法还包括获取第一投影图像及第二投影图像的步骤。可选地，第一投影图像及第二投影图像可以通过相机模块预先采集并存储在存储器中，处理器直接获取即可。或者，第一投影图像及第二投影图像可以通过相机模块实时采集并传送给处理器进行后续处理。
具体地，获取第一投影图像及第二投影图像可以通过以下方式实现。
首先，控制投影模块向待投射物体的表面(也即，前文中的检测面)投射第一标定图案；接着，控制相机模块采集待投射物体的表面投射有第一标定图案的第一投影图像，并将所采集的第一投影图像存储在存储器中；接着，控制投影模块向待投射物体的表面投射第二标定图案；接着，控制相机模块采集待投射物体的表面投射有第二标定图案的第二投影图像。
本实施例中，第一标定图案与第二标定图案两者图案内容相同当颜色互补。具体地，第一标定图案及第二标定图案分别包括多个阵列排布的圆点；两图案中，圆点的尺寸，圆点的排列方式，相邻圆点之间的间距等均相同，但圆点的颜色互补，圆点之间的间隙的颜色也互补。例如，图4中第一标定图案的圆点的颜色为白色，而间隙的颜色为黑色；图5中第二标定图案的圆点的颜色为黑色，而间隙的颜色为白色。
可以理解，其他实施例中，圆点与间隙的颜色也可以为其他对比强烈的颜色(例如，圆点为亮色，间隙为暗色；圆点为暖色，间隙为冷色等等)，本申请并不限于黑色和白色。
可以理解，其他实施例中第一标定图案与第二标定图案中的圆点也可以其他成其他形状(例如，三角形，四边形，五边形等)的图形，本申请并不以此为限。
本实施例中，第一标定图案及第二标定图案各自的四周边界处的圆点均非完整的圆点，而是呈半圆形一字排列的半圆形图案，且一字排列的半圆形图案的直径与标定图案的各边重合。
本实施例中，步骤s11可以包括以下子步骤。
步骤s101：对第一投影图像(表示为pbright)和第二投影图像(表示为pblack)进行差分计算得到差分图像(表示为pdiff)，计算关系式如下：
pdiff＝pbright-pblack
具体地，第一投影图像中的像素点与第二投影图像中的像素点一一对应，对第一投影图像及第二投影图像进行差分计算是将第一投影图像中每一像素点的灰度值与第二投影图像中对应的像素点的灰度值做差，得到差分图像。差分图像中每一像素点的像素值为第一投影图像中的对应像素点与第二投影图像中的相应像素点的灰度值差值。
步骤s102：计算差分图像pdiff灰度均值，得到灰度均值vavg。
具体地，先将差分图像pdiff的所有像素点的灰度值求和，然后再求平均，得到灰度均值vavg。
步骤s103：以灰度均值vavg为分割点，对差分图像pdiff进行二值化，得到二值化图像pth。
可以理解，二值化的具体过程为本领域的公知技术，在此不展开说明。
步骤s12，基于相移光栅图像，得到主相位图。
可以理解，在步骤s12之前，该方法还包括获取相移光栅图像的步骤。
具体地，根据图像应用需要，用户可控制投影模块11向待投射物体的表面(即，前文中的检测面)投射相移光栅图案，并通过相机模块12获得与所投射的相移光栅图案对应的相移光栅图像(即，检测面投射有相移光栅图案的相移光栅图像。可以理解，相移光栅图案可以是正弦相移光栅图案，余弦相移光栅图案等。
本实施例中，在获取到相移光栅图像后，步骤s12具体可以是通过对相移光栅图像进行解析，得到对应相移光栅图像的主相位图pphase。
需要说明的是，图像解析的具体过程为本领域的公知技术，在此不展开说明。
步骤s13，基于所述主相位图剔除所述二值化图像中的部分无效区域。
可以理解，在步骤s13之前，该方法还包括对二值化图像pth进行中值滤波处理，获得滤波图像(表示为
本实施例中，步骤s13中是基于主相位图剔除经滤波处理的二值化图像中的部分无效区域，步骤s13具体可以通过如下方式实现。
通过以下公式剔除所述二值化图像中的部分无效区域，
其中，premove(i,j)表示剔除无效区域后的二值化图像，pphase(i,j)表示相移光栅图像主相位图，
本实施例中，通过利用主相位图剔除二值化图像中的部分无效区域，能够在一定程度上提升后续进行有效区域提取时的提取效果。
可以理解，也可以采用其他适用方式剔除二值化图像中的部分无效区域，本申请并不以此为限。
步骤s14，基于剔除部分无效区域后的所述二值化图像进行有效区域提取，得到有效区域图像。
本实施例中，步骤s14具体包括以下子步骤。
步骤s401：基于剔除后的图像premove进行形态学膨胀，得到膨胀后的图像(表示为pdilate)。其中，形态学膨胀的具体实现过程为本领域技术人员所熟知，此处不再具体说明。
步骤s402：提取所述膨胀图像pdilate中的单标定点外围轮廓，得到轮廓点集图像(表示为poutline)。具体地，可以采用边缘提取技术实现对单标定点外围轮廓的提取。其中，边缘提取技术为本领域技术人员所熟知，此处不作具体说明。
步骤s403：求取轮廓点集图像poutline中各单标定点的外围包络，得到包络点集图像(表示为phull)。具体地，可以采用graham扫描法求取各标定点的外围包络。其中，graham扫描法的具体实现过程为本领域技术人员所熟知，此处不作具体说明。
步骤s404：筛选出所述包络点集图像phull中面积在预设面积范围内且面积最大的包络点，得到筛选后的所述包络点图像(表示为pf_hull)。
其中，步骤s404可以包括以下子步骤：
步骤s501：设定选取包络点集图像phull的面积范围。
具体地，选取的面积范围包括上限面积和下限面积。可以理解，面积范围的设定可以根据实际应用场景进行调整。本实施例中，上限面积为0.9倍包络点集图像面积，下限面积为0.3倍包络点集图像面积。
步骤s502：基于上述设定的面积范围，对包络点集图像区域进行筛选。
具体地，即把包络点集图像中的各包络点集面积与上述选取的面积范围作对比，剔除小于下限面积和大于上限面积的包络点集，得到筛选后的包络点集图像。
步骤s503：基于筛选后的包络点集图像，获得包络点图像。
在筛选后的包络点集图像中，提取面积最大的包络点，得到包络点图像pf_hull。
可以理解，经过筛选后的包络点集图像中有多个包络点，选择在这些包络点中面积最大的包络点。
步骤s405：对筛选后的包络点图像pf_hull进行填充，实现所述有效区域的提取。
基于包络点图像pf_hull进行填充，按照内部点为255，外部点为0，填充后得到最终提取的有效区域图像pmask。其中，图像填充的具体实现过程为本领域技术人员所熟知，此处不再具体说明。
具体地，包络点为一封闭图像，在封闭内部的像素点定义为内部点，其中，封闭图像的轮廓也属于内部点，除此以外，都属于外部点。
本申请实施例中，由于第一投影图像为检测面投射有第一标定图案的图像，第二投影图像为检测面投射有第二标定图案的图像，且第一标定图案与第二标定图案颜色互补，因此，通过基于第一投影图像和第二投影图像得到二值化图像，能够排除环境因素的影响，使得后续进行有效区域提取时能够有相对较佳的提取效果；另外，通过基于相移光栅图像得到主相位图，并利用主相位图剔除二值化图像中的部分无效区域，能够进一步提升后续进行有效区域提取时的提取效果。
请参阅图6，基于同一发明构思，本申请实施例中还提供一种图像处理装置20。本实施例中，图像处理装置可以包括处理模块21，剔除模块22及提取模块23。
处理模块21，用于基于第一投影图像及第二投影图像，得到二值化图像，其中，所述第一投影图像为检测面投射有第一标定图案的图像，所述第二投影图像为所述检测面投射有第二标定图案的图像，所述第一标定图案与所述第二标定图案颜色互补。本实施例中，处理模块21还用于基于相移光栅图像，得到主相位图，其中，所述相移光栅图像为所述检测面投射有相移光栅图案的图像。剔除模块22，用于基于所述主相位图剔除所述二值化图像中的部分无效区域。提取模块23，用于基于剔除部分无效区域后的所述二值化图像进行有效区域提取，得到有效区域图像。
在本申请实施例中，处理模块21还用于对所述第一投影图像及所述第二投影图像进行差分计算，得到差分图像；基于差分图像的灰度均值对差分图像进行二值化，得到所述二值化图像。处理模块21还用于对二值化图像进行滤波处理，得到滤波图像。
在本申请实施例中，剔除模块22还用于通过如下公式剔除所述二值化图像中的部分无效区域
其中，premove(i,j)表示剔除无效区域后的二值化图像，pphase(i,j)表示主相位图，
在本申请实施例中，提取模块24还用于基于所述剔除部分无效区域后的所述二值化图像进行形态学膨胀，得到膨胀图像；提取所述膨胀图像中的单标定点外围轮廓，得到轮廓点集图像；求取轮廓点集图像中各单标定点的外围包络，得到包络点集图像；筛选出包络点集图像中面积在预设面积范围内最大的包络点，得到筛选后的包络点图像；对所述筛选后的所述包络点图像进行填充，以提取所述有效区域。
可以理解，本申请提供的图像处理装置20与本申请提供的图像处理方法对应，为使说明书简洁，相同或相似部分可以参照图像处理方法部分的内容，在此不再赘述。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于服务器中的处理器中，也可以以软件形式存储于服务器中的存储器中，以便于处理器调用执行以上各个模块对应的操作。该处理器可以为中央处理单元(cpu)、微处理器、单片机等。
上述图像处理方法和/或图像处理装置可以实现为一种计算机可读指令的形式，计算机可读指令可以在如图7所示的电子设备上运行。
本申请实施例还提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，该处理器执行该程序时实现上述的图像处理方法。
图7为根据本申请的一个实施例的电子设备的内部结构示意图，电子设备可以为服务器。请参阅图7，该电子设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器、输入装置、显示屏和网络接口。其中，该电子设备的非易失性存储介质可存储操作系统和计算机可读指令，该计算机可读指令被执行时，可使得处理器执行本申请各实施例的一种图像处理方法，该方法的具体实现过程可参考图1的具体内容，在此不再赘述。该电子设备的处理器用于提供计算和控制能力，支撑整个电子设备的运行。该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种图像处理方法。电子设备的输入装置用于各个参数的输入，电子设备的显示屏用于进行显示，电子设备的网络接口用于进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
基于同一发明构思，本申请实施例提供的一种计算机可读存储介质，其上存储有计算机可读指令，该程序被处理器执行时实现上述的图像处理方法中的步骤。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！