全景照片中三脚架自动消除方法及装置与流程
本发明涉及图像处理技术领域，具体为一种全景照片中三脚架自动消除方法及装置。
背景技术：
由于可360度无死角真实记录空间信息，全景图像在多个空间展示类应用中得到好评和使用。基于全景的全记录特性，为避免画面中出现拍摄者，一般将全景相机置于三脚架上，而拍摄者通过躲藏的方式进行拍摄。而对于拍摄画面中存在的三脚架，拍摄者通过后期利用photoshop等专业的图像处理工具，在电脑端进行手动去除。
但是，对于没有专业图像处理工具使用经验的拍摄者来说，三脚架去除的工作将难以展开，并且原先的处理方式中还需要将全景图片从相机中导出并拷贝到电脑中进行处理，操作过程很不方便。
技术实现要素：
本发明的目的是针对现有技术存在的问题，提供一种全景照片中三脚架自动消除方法及装置，降低全景相机的使用门槛，促进全景相机的推广。
为实现上述目的，本发明采用的技术方案是：
全景照片中三脚架自动消除方法，包括：截取感兴趣区域；定位所述感兴趣区域中的三脚架图像；替换所述三脚架图像；映射替换后的感兴趣区域。
优选地，所述方法进一步包括：
s1，从全景图像中截取感兴趣区域，所述感兴趣区域包括完整的三脚架图像；
s2，在所述感兴趣区域中搜索三脚架图像，并标记三脚架图像的位置信息；
s3，利用所述三脚架图像周围的有效像素填充标记的三脚架图像所处位置的像素；
s4，将处理后的感兴趣区域映射到全景图像中得到处理后的全景图像。
优选地，s1进一步包括：将全景图像投影到球面上，从球面进行重投影得到无变形的包含完整三脚架图像的感兴趣区域。
优选地，s2进一步包括：设定初始模板，初始模板大小与感兴趣区域大小一致；计算与当前三脚架图像的位置匹配的新模板，新模板的位置信息即为三脚架图像的位置信息。
优选地，s3进一步包括：
s31，计算所有待填充区域边缘点的梯度值，并按梯度值从大到小排列；
s32，从梯度值最大的边缘点开始填充；
s33，更新模板，已填充的边缘点值更新为0；
s34，统计模板中非0值的数目，若统计出的非0值的数目大于0，则重复s31-s32，若模板所有值均为0，则填充结束。
全景照片中三脚架自动消除装置，包括感兴趣区域截取模块、三脚架定位模块、三脚架替换模块和感兴趣区域映射模块。
优选地，所述感兴趣区域截取模块用于将全景图像投影到球面上，从球面进行重投影得到无变形的包含完整三脚架图像的感兴趣区域；
所述三脚架定位模块用于将三脚架图像的位置信息在感兴趣区域中标记出来；
所述三脚架替换模块用于利用三脚架图像周围的背景信息填充标记的三脚架图像区域；
所述感兴趣区域映射模块用于将处理后的图像映射到原全景图像上，以获得最终完整的全景图像。
与现有技术相比，本发明的有益效果是：本发明提供的全景照片中三脚架自动消除方法及装置为全自动操作，无需使用者后期参与，可实现一键消除，降低了全景相机的使用门槛，可促进全景相机的推广。
附图说明
图1为根据实施例的全景照片中三脚架自动消除方法的流程示意图；
图2为根据实施例的消除三脚架之前的全景图像示意图；
图3为根据实施例的全景图像原图的重投影示意图；
图4为根据实施例的包含三脚架图像的感兴趣区域示意图；
图5为根据实施例的初始模板示意图；
图6为根据实施例的新模板示意图；
图7为根据实施例的三脚架图像边缘点示意图；
图8为根据实施例的消除三脚架后的全景图像示意图
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供一种全景照片中三脚架自动消除方法。如图1所示，所述方法包括：截取感兴趣区域；定位所述感兴趣区域中的三脚架图像；替换所述三脚架图像；映射替换后的感兴趣区域。其中，所述截取感兴趣区域的步骤是将全景照片原图进行变换后获取包含完整三脚架信息的无变形区域；所述定位感兴趣区域中的三脚架图像的步骤是将感兴趣区域中的三脚架位置标记出来；所述替换三脚架图像的步骤是利用三脚架周围的背景信息填充三脚架标记位置；所述映射替换后的感兴趣区域的步骤是将感兴趣区域映射到全景图像中以获得完整的全景图像。本发明提供的三脚架自动消除方法为全自动方法，无需人员参与，因此降低了全景相机的使用门槛，可促进全景相机的推广。
在具体实施中，本发明中的三脚架消除方法可分为四步：
第一步：从全景图像中截取感兴趣区域，该感兴趣区域中包含完整的三脚架图形。
全景图像通常以2：1的经纬度图像表示，在经纬度图像中，位于底部的三脚架由于变形已完全无法识别出三脚架的形状，如图2下部的黑色框标记的区域所示。因此，需进行重投影以得到完整的、符合认知的三脚架形状。重投影示意图如图3所示，q点即为三维球面上一点q在二维平面内的投影。假设能完全包含三脚架的感兴趣区域大小为l×l，在坐标系uo’v下感兴趣区域上点q坐标为(u,v)，则在坐标系xoy下，q点坐标变为(x,y),
根据坐标(x,y)可计算得到点q在三维坐标系xoy下的经度θ的值，
假设全景图像上一点q0坐标为(x0,y0)，根据全景图像平面坐标(x0,y0)与经纬度坐标
提取(x0,y0)位置处的像素值填充到点(u,v)处，若(x0,y0)为小数，可采用最近邻插值、双线性插值或双三次样条插值等插值方法获得像素值。至此，可截取包含三脚架的感兴趣区域图，如图4所示。
第二步：在感兴趣区域中搜索三脚架，并标记三脚架的位置信息。
三脚架的形状较为固定，因此，可设定初始模板，如图5所示，模板大小与感兴趣区域大小一致，为l×l。白色区域标记为1，记为有效的三脚架区域；黑色区域标记为0，记为背景区域。
实际上，三脚架的摆放位置是任意的，因此初始模板不能完全通用，需进一步计算与当前三脚架位置匹配的新模板。通常情况下，三脚架均为黑色，因此如果新模板与三脚架匹配上，则模板标示的区域的像素灰度值之和是最小的。
基于此分析新模板的计算步骤如下：
假设感兴趣区域上一点坐标为(u,v)，该点的灰度值为i(u,v)，与该点对应的初始模板的值为mask0(u,v)，则
1、计算初始模板与感兴趣区域的乘积和，即
2、设定旋转角度步长为step，将初始模板旋转step角度，得到第一新模板mask1,新模板的大小与初始模板一致，为l×l。模板上一点值为记为mask1(u,v)，计算
3、判断旋转次数n,若n<360/step，则重复步骤二，计算得到不同旋转角度下的新模板以及对应的乘积和值；
4、若n大于等于360/step，则结束，得到新模板mask1、mask2…maskn，对应的乘积和值为sum1、sum2…sumn，结合初始模板的sum0,计算得到n+1个值中最小的值，则该模板即为与当前三脚架最为匹配的模板。
匹配后的模板图如图6所示。
第三步：利用三脚架周围的有效像素填充标记的三脚架位置的像素。
如图7所示，待填充的区域边缘一点记为p(u,v)，计算步骤如下：
1、计算所有待填充区域边缘点的梯度值，并按梯度值从大到小排列；
利用sobel算子、prewitt算子等计算边缘点x方向和y方向的梯度值，分别记为gradx和grady，则梯度强度计算为
将所有边缘点的梯度强度值按从大到小的顺序排列，则待填充边缘点的计算顺序与梯度强度排列顺序一致。
2、从梯度值最大的边缘点开始填充
填充时，选取以p点为中心、大小为w×w的参考图像子区，将该参考图像子区在感兴趣区域中进行搜索，寻找与其最为相似的目标图像子区，则将该最相似子区的中心点的像素值填充到p点处。搜索的目标函数定义如下：
式中，f(x,y)表示参考图像子区中点(x,y)处的灰度值，g(x,y)表示目标图像子区中点(x,y)处的灰度值，submask(x,y)表示与参考图像子区对应的模板值，参数c表示有效参与计算的点的数目，α为权重值，离参考图像子区越近的目标图像子区，权重值越大，α的数值越小。搜索后，取目标函数值最小的图像子区作为与参考图像子区最为相似的目标图像子区，并将目标图像子区中心点的像素值填充到参考图像子区的中心点处，即计算得到p(u,v)。
按同样的方法填充其余优先级较低的边界处的像素值。
3、更新模板，已填充的边缘点值更新为0；统计模板中非0值的数目，若该值大于0，则重复步骤1-2；若模板所有值均为0，则填充结束。
第四步：将修改后的感兴趣区域映射到全景图中得到美化后的全景图像。
第四步的计算过程与第一步相反。假设全景图像中待映射的点平面坐标为(x0,y0)，根据全景图像平面坐标与经纬度坐标的关系，可得
根据经纬度
则进一步可计算得到映射点在坐标系uo’v中的坐标为
将坐标点(u,v)位置处的像素值填充到全景图像(x0,y0)处，重复以上计算过程，计算得到完整的美化后的全景图像，效果如图8所示。
本发明还提供一种全景照片中三脚架自动消除装置，包括包括感兴趣区域截取模块、三脚架定位模块、三脚架替换模块和感兴趣区域映射模块。
各模块工作如下：
感兴趣区域截取模块用于将全景图像投影到球面上，并从球面进行重投影得到无变形的包含完整三脚架信息的感兴趣区域；
三脚架定位模块用于将三脚架的位置信息在感兴趣区域中标记出来；
三脚架替换模块利用三脚架周围的背景信息填充三脚架区域；
感兴趣区域映射模块用于将修补美化后的图像映射到原全景图像上，以获得最终完整的全景图像。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
- 还没有人留言评论。精彩留言会获得点赞！