图像立体分配方法、移动终端与流程

文档序号:14572546发布日期:2018-06-01 23:20阅读:107来源:国知局

本发明涉及图像处理技术领域,尤其涉及一种图像立体分配方法、移动终端。



背景技术:

随着双摄像头手机的面世及其他成像设备的不断发展进步,立体匹配算法得到了越来越多的应用。利用两个摄像头模组对同一场景同时进行拍摄或者单个摄像头对同一场景在不同角度进行多次拍摄,以此获得同一场景在不同视角的图片序列。以图片序列中的某一视角拍摄的图片为参考图,以另一视角拍摄的图片为目标图。对于参考图上的任一像素点,在目标图像上寻找与之对应匹配的像素点,这两个像素点在真实场景中对应同一物点,此即为立体匹配。

根据对极几何知识,对于空间中的某一物点,至少要有两个像点才可以确定它的准确位置,这也是进行立体匹配的根本目的。根据像素点之间的匹配,可以获取任一对应像素点的视差,得到一张视差图,然后根据三角测距法来获取物点的深度信息。立体匹配是进行深度计算、测距、背景虚化等应用的基础,因此立体匹配的精度也影响着这些应用的准确度。

根据目前立体匹配的应用场合及背景,立体匹配算法很多情况下是应用在实时计算中,这就要求立体匹配算法不仅要有较高的准确率,同时还要有较快的运行速度。目前,主流的立体匹配算法主要分为三大类,局部(local)匹配算法、全局(global)匹配算法以及半全局(semi-global)匹配算法。

局部匹配方法主要是利用当前像素点与其邻域窗口内的像素点进行代价(cost)计算,原理简单,但准确度也较低,容易导致深度计算错误。全局匹配算法会考虑到当前像素点与图像上所有像素点之间的关系,算法复杂度高,虽然匹配准确度较高,但很耗时。半全局算法是将局部算法和全局算法进行了结合,算法运算速度也很慢,严格限制了算法的实际应用性。在实际应用中,保证了准确度,为了提高运行效率,会利用较高的硬件配置,由此又增加了该技术应用的成本。



技术实现要素:

本发明就是针对上述问题,提供了一种图像立体分割方法,包括如下步骤:

将拍摄得到的第一图像进行图像分割,以得到多个图像区块;

分别从每个所述图像区块中提取特征点;

利用匹配算法在拍摄得到的第二图像上寻找与所述图像区块中提取的特征点相匹配且匹配代价值最小的匹配点;其中,所述第一图像与所述第二图像是对同一场景从不同视角拍摄的图像;

根据匹配结果,计算任一图像区块中所有特征点的视差值;

基于图像区块中所有特征点的视差值对该图像区块中的所有像素点赋值,以生成视差图。

可选的,所述将拍摄得到的第一图像进行图像分割包括:利用灰度信息、颜色信息以及空间距离信息中的任一种信息或者多种信息组合对所述第一图像进行图像分割。

可选的,分别从每个所述图像区块中提取特征点的方法是利用算子对所述图像区块进行特征点提取。

可选的,所述利用匹配算法在拍摄得到的第二图像上寻找与所述图像区块中提取的特征点相匹配且匹配代价值最小的匹配点包括:

设定视差范围;

在所述视差范围内,利用匹配算法在所述第二图像上寻找与所述图像区块中提取的特征点相匹配且匹配代价值最小的匹配点。

采用如下公式计算任一图像区块中所有特征点的视差值:

其中,n表示当前图像区块中特征点个数,disparityi为第i个特征点的视差值。

可选的,基于图像区块中所有特征点的视差值对该图像区块中的所有像素点赋值,以生成视差图包括:

1)采用如下公式计算各个图像区块中每个像素点的视差值为:

其中,N为当前图像区块中的像素总数;

2)基于各个图像区块中的像素点的视差值以生成视差图。

本发明实施例还提供了一种具有双摄像头的移动终端,包括:

图像处理器;

双摄像头;以及存储器,所述存储器存储有程序指令,在所述图像处理器执行所述程序指令时,进行如下操作:

将拍摄得到的第一图像进行图像分割,以得到多个图像区块;

分别从每个所述图像区块中提取特征点;

利用匹配算法在拍摄得到的第二图像上寻找与所述图像区块中提取的特征点相匹配且匹配代价值最小的匹配点;其中,所述第一图像与所述第二图像是对同一场景从不同视角拍摄的图像;

根据匹配结果,计算任一图像区块中所有特征点的视差值;

基于所确定的图像区块的视差值对该图像区块中的所有像素点赋值以生成视差图。

与现有技术相比,本发明技术方案至少具有以下有益效果:

本发明实施例提供了一种图像立体分割方法,该方法先对拍摄的第一图像(作为参考图像)进行分块,并对分块后的图像区块进行特征点提取;然后,再从拍摄的第二图像(目标图像)上寻找匹配代价值最小的匹配点。再利用特征点的视差统计每个图像区块的视差,并生成视差图。与现有技术的视差计算方法相比,不再计算图像上所有像素点的视差,只挑选有代表性的特征点进行视差计算。从而在保证精度的情况下,极大地节省了计算量,同时也节省了硬件、内存开销,为立体匹配及深度算法的广泛应用奠定了基础。

附图说明

图1是本发明实施例的一种图像立体分割方法的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。

本发明提供了一种图像立体分割方法。如图1所示,该方法包括如下步骤:

步骤S1:将拍摄得到的第一图像进行图像分割,以得到多个图像区块;

步骤S2:分别从每个所述图像区块中提取特征点;

步骤S3:利用匹配算法在拍摄得到的第二图像上寻找与所述图像区块中提取的特征点相匹配且匹配代价值最小的匹配点;其中,所述第一图像与所述第二图像是对同一场景从不同视角拍摄的图像;

步骤S4:根据匹配结果,计算任一图像区块中所有特征点的视差值;

步骤S5:基于所确定的图像区块的视差值对该图像区块中的所有像素点赋值,以生成视差图。

本领域技术人员理解,所述图像立体匹配是指具有双摄像头配置的移动终端对同一场景同时进行拍摄或者其中单个摄像头对同一场景在不同角度进行多次拍摄,以此获得同一场景在不同视角的图像序列。以图像序列中的某一视角拍摄的图片为参考图,以另一视角拍摄的图片为目标图。对于参考图上的任一像素点,在目标图像上寻找与之对应匹配的像素点,这两个像点在真实场景中对应同一物点,此即为立体匹配。在本实施例中,将所述第一图像作为参考图像,所述第二图像作为目标图像。

如步骤S1所述,将拍摄得到的第一图像进行图像分割,以得到多个图像区块。具体地,可以利用不同的特征信息(例如,灰度信息、颜色信息以及空间距离信息中的任一种信息或者多种信息组合)对所述第一图像进行图像分割,从而将所述第一图像分成多个图像区块。按照不同的特征信息可以将所述第一图像按照某种特性分成不同的图像区块。

具体采用的图像分割方法有多种选择,可以采用基于图像的边缘信息进行分割,如利用微分算子,边界曲线拟合等;也可以采用基于区域的方法进行图像分割,如阈值法、分水岭等方法;也可以基于聚类的图像分割方法,如K均值(K-means)、均值漂移(mean shift)等;还可以基于图论的图像分割方法,如归一化割(Normalized Cut)、图割(graph cut)等。

如步骤S2所述,分别从每个所述图像区块中提取特征点。

本实施例中,可以利用算子(例如canny算子、sobel算子、Harris算子等)对所述图像区块进行特征点提取。其中,所述特征点主要集中在所述图像子块的边缘或者细节较为丰富的区域,所采用的算子是图像边缘检测的算子。

如步骤S3所述,利用匹配算法在拍摄得到的第二图像上寻找与所述图像区块中提取的特征点相匹配且匹配代价值最小的匹配点。

在从每个图像区块中提取了特征点以后,需要在所述第二图像上寻找与各个特征点相匹配的匹配点。

具体来说,首先设定视差范围。视差是指从有一定距离的两个点(即移动终端上具有一定间距的双摄像头)上观察同一个目标(同一场景的图像上的像素点)所产生的方向差异。

然后,在所述视差范围内,利用匹配算法在所述第二图像上寻找与所述图像区块中提取的特征点相匹配且匹配代价值最小的匹配点。

如步骤S4所述,根据匹配结果,计算任一图像区块中所有特征点的视差值。

具体来说采用如下公式计算任一图像区块中所有特征点的视差值:

其中,n表示当前图像区块中特征点个数,disparityi为第i个特征点的视差值。

如步骤S5所述,基于图像区块中所有特征点的视差值对该图像区块中的所有像素点赋值,以生成视差图。

具体来说,对于每个图像区块,根据该图像区块中所有特征点的视差值对该图像区块中的所有像素点赋值,可以采用如下公式计算得到:

其中,N为当前图像区块中的像素总数。

然后,基于各个图像区块中的像素点的视差值生成整幅图像的视差图。

下面结合具体实例对本发明实施例提供的图像立体分配方法进行描述。

首先,采用归一化分割(Normalized Cut,Ncut)对拍摄到的一幅图像(作为参考图像)进行分割,图像分割的公式如下所示:

cut(A,B)=∑u∈A,v∈Bw(u,v),

其中,A、B为一幅图像分出的任意两个图像区块,u为图像区块A中的任一像素点,v为图像区块B中任一像素点,w为权重。

归一化处理的公式如下:

其中,assoc(A,V)=∑u∈A,t∈Vw(u,t),u为图像区块A中的任一像素点,V代表整幅图像上的所有像素点,t为图像区块上任一点,w代表权重。

然后,利用图像的梯度信息获取各个图像区块的特征点,具体可以通过内核与图像进行卷积,可以较好的获得图像的梯度信息:

如上述公式所示,Gx和Gy分别为图像I在x方向和y方向的梯度,G为图像I的近似梯度。利用近似梯度G的结果,结合阈值设定,可以获取图像区块上的特征点。

进一步,为提高立体匹配的精度,避免由大片低纹理区域、遮挡及左右图像亮度不一致引起的匹配错误,可以采用分层置信度传播(hierarchical Belief Propagation,HBP)全局匹配算法进行立体匹配和视差计算,通过寻找使匹配代价值最小所对应的距离d即为所求的视差。

寻找dx,使上述公式的值最小。其中,X为通过梯度计算出的某一特征点,Y为X的邻域N(X)中的一点。要计算的dx即为X点的视差。

ED,X(dx)为像素点X本身的代价计算,为所有X的邻域点传递给X的代价。

然后,对于任一图像区块,根据特征提取结果,对所有特征点的视差进行计算:

其中,n表示当前图像区块中特征点的个数,disparityi为第i个特征点的视差值。

假设当前图像区块中的像素总数为N,则图像区块内每个像素点的视差值为:

最后对整幅图像中的所有像素点完成视差滤波后,得到一张较准确的视差图。

本发明实施例还提供了一种具有双摄像头的移动终端,该移动终端包括双摄像头、图像处理器以及存储器,所述存储器存储有程序指令,在所述图像处理器执行所述程序指令时执行如图1所述的实施例的步骤,具体参考上述实施例,在此不再赘述。

本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1