一种鱼眼图像的有效区域提取方法与流程

本发明涉及图像处理技术领域，具体涉及一种鱼眼图像的有效区域提取方法。

背景技术：

图像拼接在医疗图像，地质勘查，全景漫游领域等科技和工程领域中得到广泛的应用。在分析中需要用到全视角的图片，目前照相机拍摄视角限制，无法用同一台摄像机直接生成一幅全景照片。通常采取在一个时间周期内得到一组具有重叠区域的照片，在用软件进行拼接，最终获取全景照片。一般的镜头视角较小，需要很多张图片来拼接出一幅全景图，因此，鱼眼镜头就有着不可替代的作用。

鱼眼镜头像鼓起的鱼眼，拍摄的图像存在严重的扭曲变形。相对于普通相机的平面镜头，该镜头的物理结构决定了在相同的面积下，能够拍摄采集的视角范围将远大于平面镜头，但同时在成像的边缘也会产生较大的变形。拍摄出来的照片圆心位置图像信息量最大，形变最小，随着半径的增加，信息量逐渐减少且形变不断增大，因此鱼眼图像需要校正后再际应用。而鱼眼镜头拍摄的图像具有四周暗景、中间嵌有圆形区域的图像(即有效区域和无效区域)的特点，因此，在校正鱼眼畸变的图像前，首先需要对鱼眼图像进行有效区域的提取。

现有的鱼眼图有效区域提取的方法包括：1)通过求二值化图像的形心和面积来找出鱼眼图有效区域的圆心和半径；2)扫描线法，利用四条或者八条扫描线从图像的最边缘往内侧移动，当前扫描线扫描到亮度高于一定阈值的像素就停止移动，然后再将扫描线作为圆的切线求取圆的参数；3)基于区域生长的鱼眼图像轮廓提取算法。上述三方法，在有效区域外部存在少量光斑时，有效区域的提取结果会不准确。

为解决上述问题，公开号为cn106651758a的中国专利公开了一种基于含噪鱼眼图像的有效区域提取方法，包括：通过鱼眼摄像头获取一幅含噪鱼眼图像，对含噪鱼眼图像进行预处理；对经过预处理的含噪鱼眼图像使用梯度算法计算后，对有效圆区域进行定位生成第一鱼眼图像；去除第一鱼眼图像的噪声后生成第二鱼眼图像，获取第二鱼眼图像有效圆区域的圆周上的点的集合；对点的集合进行拟合后获取第二鱼眼图像有效圆区域的圆心坐标及半径，根据圆心坐标、半径对应的圆周对第二鱼眼图像进行提取后生成最终的有效圆区域。

上述方案中，通过hough(霍夫)圆算法对预处理后含噪鱼眼图像的有效圆区域进行定位，获取定位的第一有效圆区域对应的第一圆心和第一半径。这种方法仍然是对图像进行二值化处理，在鱼眼图像有效区域边缘清楚的前提下，其能够精确的提取到有效区域。但是，实际操作过程中，鱼眼图像的边缘都是比较模糊的，若对图像进行二值化处理，就会使得鱼眼图像的边缘会变得弯曲，从而使得对鱼眼图像的有效区域的提取不准确，最终导致对鱼眼图像的校正效果不好。

技术实现要素：

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够在鱼眼图像边缘模糊或存在光斑的情况下准确地提取有效区域的鱼眼图像的有效区域提取方法，以辅助提升对鱼眼图像的校正效果。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种鱼眼图像的有效区域提取方法，包括以下步骤：

s1：获取鱼眼图像，对鱼眼图像进行图像灰度处理，生成灰度鱼眼图像；

s2：通过水平集算法计算灰度鱼眼图像有效区域的圆心坐标(c′x,c′y)和半径r′；

s3：根据灰度鱼眼图像有效区域的圆心坐标(c′x,c′y)和半径r′，计算并提取灰度鱼眼图像的有效区域。

本方案中，首先对鱼眼图像进行灰度处理；然后通过水平集算法确定有效区域的圆心坐标和半径，水平集算法能够在鱼眼图像边缘模糊时准确的提取有效区域，且能够保证分割结果一定是椭圆，且有更好的抗噪声能力，不会受到有效区域的内部或外部的光斑的影响，使之能找到一个表示有效区域的圆，并通过对该有效区域内部像素的方差和与外部像素的方差进行参数化调节和优化得到有效区域的圆心坐标和半径；最后根据有效区域的圆心坐标和半径直接提取得到有效区域。因此，本方案的鱼眼图像有效区域提取方法能够在鱼眼图像边缘模糊或存在光斑的情况下准确地提取有效区域，从而能够辅助提升对鱼眼图像的校正效果。

优选的，所述步骤s2中包括以下步骤：

s201：从灰度鱼眼图像中随机获取圆心坐标(cx,cy)和半径r；然后，建立包含cx,cy和r的函数函数表示为：最后，对函数进行归一化处理；

s202：根据函数采用水平集算法生成对应的目标函数e；

s203：利用梯度下降法优化目标函数e，直到当目标函数e达到最小值时，输出目标函数e对应的圆心坐标(c′x,c′y)和半径r′。

现有的水平集算法是不规则分割，无法针对圆形有效区域做出最优分割，而本方案在水平集优化方法的基础上做了改进，在问题建模时就加了椭圆边界的约束条件，保证分割结果一定是椭圆，且有更好的抗噪声能力，使之能找到一个表示有效区域的圆，通过对该有效区域内部像素的方差和与外部像素的方差进行参数化调节和优化。这样，使得提取结果与实际的鱼眼图像的有效区域吻合度极高，从而能够提升对于鱼眼图像有效区域提取的准确性。此外，梯度下降法与穷举法等求解方法相比，具有运算速度快和计算量低的优点。

优选的，所述步骤s201中，归一化处理函数的公式为：

这样，使得无论图像有多大或函数所描述的圆有多大，经过归一化处理得到的全都变成0-1之间的数，这更有利于对有效区域圆心坐标和半径的计算，从而能够提升对于鱼眼图像有效区域提取的准确性。

优选的，所述步骤s202中，所述目标函数e为：所述步骤s202中，所述目标函数e为：式中，j为有效区域像素与无效区域像素各自类内间距最小的优化目标，j表示为：

式中，λ1为有效区域像素类内间距最小的权重，λ2为无效区域像素类内间距最小的权重，i为待处理图像，c1为有效区域内像素亮度均值，c2是无效区域内像素均值。

这样，通过优化后的水平集算法计算得到目标函数e，使得目标函数e能够更好地描述和优化有效区域的圆心坐标和半径，使得最终的有效区域的提取结果更准确。

优选的，所述步骤s203中，优化目标函数e是指利用梯度下降法优化目标函数e中的cx,cy和r的值，当优化后的c′x,c′y和r′的值的变化量分别小于预设的下降阈值时，判断目标函数e达到最小值，输出此时的目标函数e对应的圆心坐标(c′x,c′y)和半径r′。

这样，首先，经过多次优化更新圆心坐标和半径，直到圆心坐标和半径小于预设的下降阈值时，优化得到最优的圆心坐标和半径，通过最优的圆心坐标和半径提取得到的鱼眼图像有效区域能够与实际有效区域更温和，使得提取有效区域的准确性能够提升。

优选的，所述步骤s203中，c′x,c′y和r′的值的变化量的下降阈值均为0.3。

优选的，所述步骤s203中，利用梯度下降法优化cx,cy和r的值之前，首先计算cx,cy和r的偏导函数，计算cx,cy,r的偏导函数时，采用如下公式：

1)计算cx的偏导函数，采用以下公式：

2)计算cy的偏导函数，采用以下公式：

3)计算r的偏导函数，采用以下公式：

上述公式中，λ1为有效区域像素类内间距最小的权重，λ2为无效区域像素类内间距最小的权重，i(x,y)是图像在坐标x，y处的像素亮度值，c1为有效区域内像素亮度均值，c2是无效区域内像素均值。

由于目标函数时比较复杂的，不可能求出解析解，这样，通过梯度下降法能够更好、更准确的优化得到更好的圆心坐标(c′x,c′y)和半径r′，从而能够提升提取有效区域的准确性。与穷举法等求解方法相比，梯度下降法具有运算速度快和计算量低的优点。

优选的，所述步骤s203中，利用梯度下降法优化cx,cy和r的值时，采用如下公式：

1)优化cx的值：式中，c′x为cx经过优化后的值；

2)优化cy的值：式中，c′y为cy经过优化后的值；

3)优化r的值：式中，r′为r经过优化后的值。

由于目标函数时比较复杂的，不可能求出解析解，这样，通过梯度下降法能够更好、更准确的优化得到更好的圆心坐标(c′x,c′y)和半径r′，从而能够提升提取有效区域的准确性。与穷举法等求解方法相比，梯度下降法具有运算速度快和计算量低的优点。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为实施例中鱼眼图像的有效区域提取方法的逻辑框图；

图2为实施例中鱼眼图像的有效区域提取方法的步骤s2的逻辑框图；

图3为实施例中鱼眼图像的有效区域提取方法的步骤s2的流程图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

现有的鱼眼图有效区域提取的方法主要有四种：

1)通过求其二值化图像的形心和面积来找出鱼眼图有效区域的圆心和半径；这种方法简单高效，但是在图像内部有纯黑色区域时容易不准，而更加容易出现的情况是有效区域相邻的外部可能会出现少量亮块，这些亮块会直接影响结果准确度。

2)扫描线法，利用四条或者八条扫描线从图像的最边缘往内侧移动，当前扫描线扫描到亮度高于一定阈值的像素就停止移动，然后再将扫描线作为圆的切线求取圆的参数；这种方法虽然可以不受内部黑色区域影响，但是如果圆边缘内部有纯黑色块或者外部有亮块依然会受影响。

3)基于区域生长的鱼眼图像轮廓提取算法，这种方法在将图像二值化以后先进行区域生长，然后提取其边缘信息进行最小二乘拟合，其区域生长主要依赖于亮度块的边缘曲率，生长过程中会填补掉所有的内部黑洞以及外部凹进来的部分给填补上；这种方法同样对有效区域外的少量亮度块无能为力甚至会使亮度块变的更加严重，而且对凹进来的部分填补也不完整，最终导致结果不准确。

4)基于二值化加霍夫圆变换、最小二乘拟合方法得出的有效区域，这种方法在第一步将图像进行了二值化，然而一旦遇到边缘模糊的情况，二值化出来的结果边缘就会变得弯曲，使霍夫圆检测算法完全失效。

在鱼眼图像中需要把鱼眼图的圆心和半径给计算出来，上述算法多采用梯度检测找出最大的梯度变化，域就可以得到圆大致的外轮廓，然后对外轮廓做最小二乘拟合来得到圆。但申请人在研究中发现，实际中鱼眼的边缘都是比较模糊的，几乎不可能通过梯度的阈值就把圆的轮廓给过滤出来。

针对上述问题，基于区域的水平集方法一般会取得更好的性能，但现有的水平集方法只能对不规则物体进行分割，如果被分割物体是理想的椭圆但是因为噪声有了一定的不规则性，此时传统的水平集方法会完全受噪声影响。因此，申请人提出的方法在问题建模时就加了椭圆边界的约束条件，保证分割结果一定是椭圆，且有更好的抗噪声能力。

实施例：

本实施例公开了一种鱼眼图像的有效区域提取方法。

如图1所示：一种鱼眼图像的有效区域提取方法，包括：

s1：获取含噪鱼眼图像，对含噪鱼眼图像进行图像去噪处理和图像灰度处理，生成经过降噪的灰度鱼眼图像；

s2：通过水平集算法计算灰度鱼眼图像有效区域的圆心坐标(c′x,c′y)和半径r′；

s3：根据灰度鱼眼图像有效区域的圆心坐标(c′x,c′y)和半径r′，计算并提取灰度鱼眼图像的有效区域。

步骤s1中，采用均值滤波器对鱼眼图像进行图像去噪处理；采用加权平均算法对鱼眼图像进行图像灰度处理。

步骤s2中，通过水平集算法计算灰度鱼眼图像有效区域的圆心坐标(c′x,c′y)和半径r′。

如图2和图3所示：步骤s2还包括以下步骤：

s201：从灰度鱼眼图像中随机获取圆心坐标(cx,cy)和半径r；然后，建立包含cx,cy和r的函数函数表示为：最后，对函数进行归一化处理；

s202：根据函数采用水平集算法生成对应的目标函数e；

s203：利用梯度下降法优化目标函数e，直到当目标函数e达到最小值时，输出目标函数e对应的圆心坐标(c′x,c′y)和半径r′。

步骤s201中，函数是一个与图像的像素坐标(x,y)有关的二维函数，函数在灰度鱼眼图像的有效区域内为正值，在灰度鱼眼图像的有效区域外为负值；函数包含了灰度鱼眼图像有效区域的圆心坐标(cx,cy)和半径r参数，函数表示为：

式中，圆心坐标为(cx,cy)，半径为r。

归一化处理函数的公式为：经过归一化后全都变成了0-1之间的数。

步骤s202中，根据归一化处理后的函数采用水平集算法计算生成目标函数e。

目标函数e为：式中，j为有效区域像素与无效区域像素各自类内间距最小的优化目标。

本实施例中，将有效区域提取问题描述为在椭圆边界约束条件下的像素分类模型，j参数很好的描述了有效区域像素与无效区域像素各自类内间距最小的优化目标，而且同时会满足约束条件即分类边界是椭圆，j表示为：

式中，λ1为有效区域像素类内间距最小的权重，λ2为无效区域像素类内间距最小的权重，i为待处理图像，c1为有效区域内像素亮度均值，c2是无效区域内像素均值。

步骤s203中，优化目标函数e是指利用梯度下降法优化目标函数e中的cx,cy和r的值，当优化后的c′x，c′y和r′的值的变化量小于预设的下降阈值时，判断目标函数e达到最小值，输出此时的目标函数e对应的圆心坐标(c′x,c′y)和半径r′。本实施例中，c′x,c′y和r′的下降阈值均为0.3。

由于目标函数e是极其复杂的，不可能求出解析解，因此只能使用梯度下降法，穷举法也可以求解，但是更耗时间，遗传算法计算量也会更大。

具体实施过程中，利用梯度下降法优化cx,cy和r的值之前，首先计算cx,cy和r的偏导函数，计算cx,cy,r的偏导函数时，采用如下公式：

1)计算cx的偏导函数，采用以下公式：

2)计算cy的偏导函数，采用以下公式：

3)计算r的偏导函数，采用以下公式：

上述公式中，λ1为有效区域像素类内间距最小的权重，λ2为无效区域像素类内间距最小的权重，i(x,y)是图像在坐标x，y处的像素亮度值，c1为有效区域内像素亮度均值，c2是无效区域内像素均值。

具体实施过程中，利用梯度下降法优化cx,cy和r的值时，采用如下公式：

1)优化cx的值：式中，c′x为cx经过优化后的值；

2)优化cy的值：式中，c′y为cy经过优化后的值；

3)优化r的值：式中，r′为r经过优化后的值；

优化后得到圆心坐标(c′x,c′y)和半径r′。

步骤s3中，灰度鱼眼图像的有效区域的圆心坐标(c′x,c′y)和半径r′与有效区域是唯一对应的关系，通过圆心坐标(c′x,c′y)和半径r′能够直接提取有效区域，对于有效区域的提取可采用现有的提取方法。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。