一种基于双摄像头拍摄图像的方法和装置与流程

本发明涉及图像处理技术，尤其涉及一种基于双摄像头拍摄图像的方法和装置。

背景技术：

随着互联网行业的蓬勃发展，移动终端的用户越来越多，且移动终端的功能也越来越强大，可以拍照、摄影、上网、游戏等等。其中，随着人们的生活品位的不断提高，对拍照的要求也越来越高，如利用移动终端实现全景深图像的效果。

景深，是指聚焦点前后清晰成像的范围，即：镜头对焦在某一个点，就会把这个点聚焦成清晰的影像在成像介质上，如此，不仅这个点是清晰的，而且焦点前后附近也是相对清晰的。全景深，是指景物全部在景深范围之内，也就是所有景物都是清晰的。

然而，为使图像达到全景深的效果，目前通常需要采用图像处理软件如Photoshop的方法，即：先固定移动终端，使用单摄像头调节焦距的远近，拍摄不同焦距的照片，然后再利用图像处理软件进行后期合成。因此，在拍摄近景时，由于焦距在近处，景深比较浅，导致远处的背景比较模糊；或者使用移动终端如手机微距模式时，手机离物体比较近，如果拍摄的主体比较大，会导致拍摄的主体经常是部分清楚、部分模糊，除非是很小的物体。

上述这样得到全景深图像的方法，由于在图像后期合成时，需要用户手动选择近景和远景清晰的部分再进行合成，因此，操作过程比较繁琐；且只适合于专业用户，并不适合于普通用户。另外，由于需要利用单摄像头进行多次拍摄，同时拍摄的角度和位置也不能有任何的变动，否则图像就无法被精确合成， 这样导致了拍摄场景很受限制。

技术实现要素：

有鉴于此，本发明实施例期望提供一种基于双摄像头拍摄图像的方法和装置，不仅能够节省操作流程，适用于所有用户，还能够避免拍摄场景的限制，从而更加清晰地呈现全景深图像，提升拍摄品质。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于双摄像头拍摄图像的方法，所述方法包括：

通过主摄像头根据第一物方焦距进行拍摄，获取第一图像；

通过辅摄像头根据第二物方焦距进行拍摄，获取第二图像；

根据所述获取的第一图像和第二图像获得所述主摄像头或所述辅摄像头中每个像素点的深度信息值；

对所述主摄像头和所述辅摄像头获取的图像数据重叠的区域进行像素对齐；

根据所述深度信息值、所述第一物方焦距、以及所述第二物方焦距将所述主摄像头和所述辅摄像头重叠处理后的图像生成一张全景深图像。

上述方案中，所述通过主摄像头获取第一图像，以及通过辅摄像头获取第二图像之前，所述方法还包括：调节所述主摄像头和所述辅摄像头的焦点，对所述主摄像头和所述辅摄像头设置对应参数。

上述方案中，所述对所述主摄像头和所述辅摄像头设置的对应参数的属性相同。

上述方案中，所述方法还包括：对所述主摄像头和所述辅摄像头获取的图像数据没有重叠的区域进行裁剪。

上述方案中，所述获得所述主摄像头或所述辅摄像头中每个像素点的深度信息值，包括：根据所述主摄像头和所述辅摄像头的安装位置距离和夹角，以及拍摄后的所述主摄像头像素点在所述辅摄像头像素点的位置获得所述主摄像头中每个像素点的深度信息值；

或根据所述主摄像头和所述辅摄像头的安装位置距离和夹角，以及拍摄后 的所述辅摄像头像素点在所述主摄像头像素点的位置获得所述辅摄像头中每个像素点的深度信息值。

上述方案中，所述根据所述深度信息值、所述第一物方焦距、以及所述第二物方焦距将所述主摄像头和所述辅摄像头重叠处理后的图像生成一张全景深图像，包括：

根据所述深度信息值与所述第一物方焦距和/或所述第二物方焦距获得权重信息，根据所述权重信息对所述主摄像头和所述辅摄像头重叠处理后的图像分别取相对应权重的所述主摄像头和所述辅摄像头的图像。

本发明实施例还提供一种基于双摄像头拍摄图像的装置，所述装置包括：

图像获取模块，用于通过主摄像头根据第一物方焦距进行拍摄，获取第一图像，以及通过辅摄像头根据第二物方焦距进行拍摄，获取第二图像；

图像处理模块，用于根据所述获取的第一图像和第二图像获得所述主摄像头或所述辅摄像头中每个像素点的深度信息值；对所述主摄像头和所述辅摄像头获取的图像数据重叠的区域进行像素对齐；根据所述深度信息值、所述第一物方焦距、以及所述第二物方焦距将所述主摄像头和所述辅摄像头重叠处理后的图像生成一张全景深图像。

上述方案中，所述装置还包括：摄像头控制模块，用于在所述图像获取模块通过主摄像头获取第一图像，以及通过辅摄像头获取第二图像之前，调节所述主摄像头和所述辅摄像头的焦点，对所述主摄像头和所述辅摄像头设置对应参数。

上述方案中，所述摄像头控制模块对所述主摄像头和所述辅摄像头设置的对应参数的属性相同。

上述方案中，所述图像处理模块还用于：对所述主摄像头和所述辅摄像头获取的图像数据没有重叠的区域进行裁剪。

上述方案中，所述图像处理模块获得所述主摄像头或所述辅摄像头中每个像素点的深度信息值，包括：根据所述主摄像头和所述辅摄像头的安装位置距离和夹角，以及拍摄后的所述主摄像头像素点在所述辅摄像头像素点的位置获 得所述主摄像头中每个像素点的深度信息值；

或根据所述主摄像头和所述辅摄像头的安装位置距离和夹角，以及拍摄后的所述辅摄像头像素点在所述主摄像头像素点的位置获得所述辅摄像头中每个像素点的深度信息值。

上述方案中，所述图像处理模块根据所述深度信息值、所述第一物方焦距、以及所述第二物方焦距将所述主摄像头和所述辅摄像头重叠处理后的图像生成一张全景深图像，包括：

根据所述深度信息值与所述第一物方焦距和/或所述第二物方焦距获得权重信息，根据所述权重信息对所述主摄像头和所述辅摄像头重叠处理后的图像分别取相对应权重的所述主摄像头和所述辅摄像头的图像。

本发明实施例所提供的基于双摄像头拍摄图像的方法和装置，由主摄像头和辅摄像头分别拍摄获取图像，根据获取的图像获得主摄像头或辅摄像头中每个像素点的深度信息值；对主摄像头和辅摄像头获取的图像数据重叠的区域进行像素对齐，并根据深度信息值、第一物方焦距、以及第二物方焦距将主摄像头和辅摄像头重叠处理后的图像生成一张全景深图像，这样，不仅有效地解决了拍摄图像景深浅的问题，还能够更加清晰地呈现整个拍摄场景的画面，提升拍摄品质。另外，本发明实施例还可以在不增加硬件成本的情况下拍摄全景深图像，从而增强了移动终端摄像头的能力。

附图说明

图1为本发明中基于双摄像头成像的原理示意图；

图2为本发明中基于双摄像头拍摄图像的方法的实现流程示意图；

图3为本发明中基于双摄像头拍摄图像的装置的组成结构示意图；

图4为本发明中基于双摄像头拍摄微距图像的方法的实现流程示意图；

图5为本发明中基于双摄像头拍摄微距图像的装置的组成结构示意图。

具体实施方式

为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。

在本发明实施例中，所述移动终端可以包括但不限于：笔记本电脑、手机、平板电脑等移动设备。

图1为本发明实施例中基于双摄像头成像的原理示意图，所述双摄像头包括：主摄像头11和辅摄像头12，所述主摄像头11与所述辅摄像头12是以上下、或者左右并行排列的顺序安装在所述移动终端上。其中，

所述主摄像头11，用于拍摄获取主摄像头图像；

所述辅摄像头12，用于拍摄获取辅摄像头图像。

这里，所述主摄像头11和所述辅摄像头12均是物理硬件设备，包括镜头、对焦马达和互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)，其中，所述对焦马达，用于推动镜头移动调节焦距；且所述主摄像头11和所述辅摄像头12是规格一致的摄像头，即所述主摄像头11和所述辅摄像头12设置的对应参数的属性相同。

这里，在常规模式下进行拍摄时，通过给所述对焦马达上电，将所述主摄像头11的焦点调节到拍摄主体，同时调节所述辅摄像头12的焦点为所述主摄像头11的焦点前面或者后面一定距离。然而，在微距模式下进行拍摄时，则需要将所述主摄像头11的焦距调节到最短的距离，同时将所述辅摄像头12的焦距调节到大于所述主摄像头11的焦距的一个合适的位置；且将所述移动终端放置于所述主摄像头11的焦距附近。

其中，所述主摄像头11所对应的焦点为主对焦点，所述辅摄像头12所对应的焦点为辅对焦点，所述主摄像头11与所述主对焦点之间的距离为第一物方焦距F1，所述辅摄像头12与所述辅对焦点之间的距离为第二物方焦距F2，所述主摄像头11中每个像素点与终端镜头的距离为第一深度信息值P1，所述辅 摄像头12中每个像素点与终端镜头的距离为第二深度信息值P2；但是，由于所述主摄像头11和所述辅摄像头12的位置距离非常近，且本发明实施例是针对同一图像进行拍摄的，因此，使得第一深度信息值P1和第二深度信息值P2近似相等，基于此，为了方便后面的描述，将第一深度信息值P1和第二深度信息值P2统一为一个深度信息值P。

如图2所示，本发明实施例中基于双摄像头拍摄图像的方法的实现流程包括以下步骤：

步骤201：通过主摄像头根据第一物方焦距进行拍摄，获取第一张图像；通过辅摄像头根据第二物方焦距进行拍摄，获取第二图像；

这里，在步骤201之前，还需调节所述主摄像头和所述辅摄像头的焦点，对所述主摄像头和所述辅摄像头设置对应参数。

其中，调节两个摄像头的焦点是指将所述主摄像头的焦点调节到拍摄主体，同时调节所述辅摄像头的焦点为所述主摄像头的焦点前后或者后面一定距离。

这里，所述对所述主摄像头和所述辅摄像头设置的对应参数的属性相同。

步骤202：根据所述获取的第一图像和第二图像获得所述主摄像头或所述辅摄像头中每个像素点的深度信息值；

由于主摄像头和辅摄像头的两个镜头的位置和夹角都固定，因此，可以根据所述主摄像头和所述辅摄像头的安装位置距离和夹角，以及拍摄后的所述主摄像头像素点在所述辅摄像头像素点的位置，获得所述主摄像头中每个像素点的深度信息值；

或根据所述主摄像头和所述辅摄像头的安装位置距离和夹角，以及拍摄后的所述辅摄像头像素点在所述主摄像头像素点的位置，获得所述辅摄像头中每个像素点的深度信息值。

这里，由于所述主摄像头和所述辅摄像头中每个像素点的深度信息值近似相等，因此，以所述主摄像头中每个像素点的深度信息值为例进行计算，即可得到所述辅摄像头中每个像素点的深度信息值，反之亦然。

为了加快计算速度，这里，也可以采用将主摄像头或辅摄像头获取的图像 数据划分为N*M个像素块，对每个像素块只计算出一个深度信息值，而不用计算出此像素块中主摄像头或辅摄像头中每个像素点的深度信息值。

步骤203：对所述主摄像头和所述辅摄像头获取的图像数据重叠的区域进行像素对齐；

这里，所述方法还包括：对所述主摄像头和所述辅摄像头获取的图像数据没有重叠的区域进行裁剪。

这里，在步骤203处理过程之前，还可以对所述辅摄像头的图像数据进行几何校正，根据几何参数将所述辅摄像头的图像调整为所述主摄像头视角的图像。其中，所述几何参数是根据两个摄像头的安装距离、夹角和焦距得到的参数。

这里，具体如何确定是重叠的区域，还是没有重叠的区域属于现有技术，在此不再赘述。

对所述主摄像头和所述辅摄像头获取的图像数据没有重叠的区域进行裁剪，对所述主摄像头和所述辅摄像头获取的图像数据重叠的区域进行像素对齐，具体包括如下步骤：

如果所述主摄像头安装在所述移动终端的上方，所述辅摄像头安装在所述移动终端的下方，则需要裁剪所述主摄像头图像的上半部分和所述辅摄像头图像的下半部分，裁剪的像素行数＝校准系数*图像高度；如果所述主摄像头安装在所述移动终端的左侧，所述辅摄像头安装在所述移动终端的右侧，则需要裁剪左右方向的一定列数的像素，裁剪的像素列数＝校准系数*图像宽度。其中，所述校准系数是根据摄像头的规格和安装距离得到的参数。

此外，在本发明实施例中还申请两个图像缓冲区，根据裁剪的像素行数和像素列数，将所述主摄像头和所述辅摄像头获取的图像数据中没有被裁剪的部分图像数据拷贝到缓冲区内，即可以得到有重叠区域的两张像素对齐的图像。

步骤204：根据所述深度信息值、所述第一物方焦距、以及所述第二物方焦距将所述主摄像头和所述辅摄像头重叠处理后的图像生成一张全景深图像。

进一步地，根据所述深度信息值与所述第一物方焦距和/或所述第二物方焦 距获得权重信息，根据所述权重信息对所述主摄像头和所述辅摄像头重叠处理后的图像分别取相对应权重的所述主摄像头和所述辅摄像头的图像。

这里，对每个像素点的深度信息值P与第一物方焦距F1和第二物方焦距F2得到权重信息；其中，权重信息是由距离差计算得到的，对于同一个像素点，主摄像头获取的该像素的权重信息值为Q1，辅摄像头获取的该像素的权重信息值为Q2；且Q1和Q2的取值范围均为0-1，具体地：

对于F1>F2的情况，如果P>F1>F2，则Q1＝1，Q2＝0；如果F1>F2>P，则Q1＝0，Q2＝1；如果F1>P>F2，则Q1＝(P-F2)/(F1-F2)，Q2＝1-Q1。因此，对每个像素点的深度信息值与主摄像头或辅摄像头的物方焦距越接近，则相对应的权重信息值越大，进而可以根据每个像素点的权重信息拟合对应的主摄像头图像和辅摄像头图像。

反之，对于F2>F1的情况，权重信息值Q1和Q2的计算方法与上述F1>F2的计算方法类似，在此不再赘述。

为实现上述方法，本发明实施例还提供了一种基于双摄像头拍摄图像的装置，如图3所示，该装置包括图像获取模块31、图像处理模块32；其中，

图像获取模块31，用于通过主摄像头根据第一物方焦距进行拍摄，获取第一图像，以及通过辅摄像头根据第二物方焦距进行拍摄，获取第二图像；

图像处理模块32，用于根据所述获取的第一图像和第二图像获得所述主摄像头或所述辅摄像头中每个像素点的深度信息值；对所述主摄像头和所述辅摄像头获取的图像数据重叠的区域进行像素对齐；根据所述深度信息值、所述第一物方焦距、以及所述第二物方焦距将所述主摄像头和所述辅摄像头重叠处理后的图像生成一张全景深图像。

进一步的，所述装置还包括：摄像头控制模块33，用于在所述图像获取模块31通过主摄像头获取第一图像，以及通过辅摄像头获取第二图像之前，调节所述主摄像头和所述辅摄像头的焦点，对所述主摄像头和所述辅摄像头设置对应参数。

其中，所述摄像头控制模块33对所述主摄像头和所述辅摄像头设置的对应 参数的属性相同。

进一步的，所述图像处理模块32还用于：对所述主摄像头和所述辅摄像头获取的图像数据没有重叠的区域进行裁剪。

这里，所述图像处理模块32获得所述主摄像头或所述辅摄像头中每个像素点的深度信息值，包括：根据所述主摄像头和所述辅摄像头的安装位置距离和夹角，以及拍摄后的所述主摄像头像素点在所述辅摄像头像素点的位置获得所述主摄像头中每个像素点的深度信息值；

或根据所述主摄像头和所述辅摄像头的安装位置距离和夹角，以及拍摄后的所述辅摄像头像素点在所述主摄像头像素点的位置获得所述辅摄像头中每个像素点的深度信息值。

所述图像处理模块32根据所述深度信息值、所述第一物方焦距、以及所述第二物方焦距将所述主摄像头和所述辅摄像头重叠处理后的图像生成一张全景深图像，包括：

根据所述深度信息值与所述第一物方焦距和/或所述第二物方焦距获得权重信息，根据所述权重信息对所述主摄像头和所述辅摄像头重叠处理后的图像分别取相对应权重的所述主摄像头和所述辅摄像头的图像。

在实际应用中，所述图像获取模块31、图像处理模块32、摄像头控制模块33均可由位于移动终端上的中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Micro Processor Unit)、数字信号处理器(DSP，Digital Signal Processor)、或现场可编程门阵列(FPGA，Field Programmable Gate Array)等实现。

本发明所提供的另一实施例是在微距模式下基于双摄像头拍摄微距图像的方法，该方法的实现步骤与在常规模式下基于双摄像头拍摄图像的步骤大体一致，所不同的是，在这一实施例中需要将所述移动终端放置于所述主摄像头的焦距附近。

下面对本发明在微距模式下基于双摄像头拍摄微距图像的技术方案做进一步地详细介绍：

如图4所示，本发明另一实施例中基于双摄像头拍摄微距图像的方法的实现流程包括以下步骤：

步骤401：通过主摄像头根据第一物方焦距进行拍摄，获取两张图像；通过辅摄像头根据第二物方焦距进行拍摄，获取第二图像；

这里，在步骤401之前，还需调节所述主摄像头和所述辅摄像头的焦点，对所述主摄像头和所述辅摄像头设置对应参数。

其中，调节两个摄像头的焦点是指将所述主摄像头的焦距调节到最短的距离，同时将所述辅摄像头的焦距调节到大于所述主摄像头的焦距的一个合适的位置。

这里，所述对所述主摄像头和所述辅摄像头设置的对应参数的属性相同。

步骤402：根据所述获取的第一图像和第二图像获得所述主摄像头或所述辅摄像头中每个像素点的深度信息值；

由于主摄像头和辅摄像头的两个镜头的位置和夹角都固定，因此，可以根据所述主摄像头和所述辅摄像头的安装位置距离和夹角，以及拍摄后的所述主摄像头像素点在所述辅摄像头像素点的位置，获得所述主摄像头中每个像素点的深度信息值；

或根据所述主摄像头和所述辅摄像头的安装位置距离和夹角，以及拍摄后的所述辅摄像头像素点在所述主摄像头像素点的位置，获得所述辅摄像头中每个像素点的深度信息值。

这里，由于所述主摄像头和所述辅摄像头中每个像素点的深度信息值近似相等，因此，以所述主摄像头中每个像素点的深度信息值为例进行计算，即可得到所述辅摄像头中每个像素点的深度信息值，反之亦然。

为了加快计算速度，这里，也可以采用将主摄像头或辅摄像头获取的图像数据划分为N*M个像素块，对每个像素块只计算出一个深度信息值，而不用计算出此像素块中主摄像头或辅摄像头中每个像素点的深度信息值。

步骤403：对所述主摄像头和所述辅摄像头获取的图像数据重叠的区域进行像素对齐；

这里，所述方法还包括：对所述主摄像头和所述辅摄像头获取的图像数据没有重叠的区域进行裁剪。

这里，在步骤403处理过程之前，还可以对所述辅摄像头的图像数据进行几何校正，根据几何参数将所述辅摄像头的图像调整为所述主摄像头视角的图像。其中，所述几何参数是根据两个摄像头的安装距离、夹角和焦距得到的参数。

步骤404：根据所述深度信息值、所述第一物方焦距、以及所述第二物方焦距将所述主摄像头和所述辅摄像头重叠处理后的图像生成一张全景深图像。

进一步地，根据所述深度信息值与所述第一物方焦距和/或所述第二物方焦距获得权重信息，根据所述权重信息对所述主摄像头和所述辅摄像头重叠处理后的图像分别取相对应权重的所述主摄像头和所述辅摄像头的图像。

为实现上述方法，本发明另一实施例中还提供了一种基于双摄像头拍摄微距图像的装置，如图5所述，该装置包括图像获取模块51、图像处理模块52；其中，

图像获取模块51，用于通过主摄像头根据第一物方焦距进行拍摄，获取第一图像，以及通过辅摄像头根据第二物方焦距进行拍摄，获取第二图像；

图像处理模块52，用于根据所述获取的第一图像和第二图像获得所述主摄像头或所述辅摄像头中每个像素点的深度信息值；对所述主摄像头和所述辅摄像头获取的图像数据重叠的区域进行像素对齐；根据所述深度信息值、所述第一物方焦距、以及所述第二物方焦距将所述主摄像头和所述辅摄像头重叠处理后的图像生成一张全景深图像。

进一步的，所述装置还包括：摄像头控制模块53，用于在所述图像获取模块51通过主摄像头获取第一图像，以及通过辅摄像头获取第二图像之前，调节所述主摄像头和所述辅摄像头的焦点，对所述主摄像头和所述辅摄像头设置对应参数。

在实际应用中，所述图像获取模块51、图像处理模块52、摄像头控制模块53均可由位于移动终端上的中央处理器(CPU，Central Processing Unit)、微处 理器(MPU，Micro Processor Unit)、数字信号处理器(DSP，Digital Signal Processor)、或现场可编程门阵列(FPGA，Field Programmable Gate Array)等实现。

本发明实施例由主摄像头和辅摄像头分别拍摄获取图像，根据获取的图像获得主摄像头或辅摄像头中每个像素点的深度信息值；对主摄像头和辅摄像头获取的图像数据重叠的区域进行像素对齐，并根据深度信息值、第一物方焦距、以及第二物方焦距将主摄像头和辅摄像头重叠处理后的图像生成一张全景深图像，这样，不仅有效地解决了拍摄图像景深浅的问题，还能够更加清晰地呈现整个拍摄场景的画面，提升拍摄品质。另外，本发明实施例还可以在不增加硬件成本的情况下拍摄全景深图像，从而增强了移动终端摄像头的能力。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。