对焦方法、装置和终端设备与流程

本发明涉及拍摄技术领域，尤其涉及一种对焦方法、装置和终端设备。

背景技术：

终端设备在进行视频拍摄时，往往会由于机身移动而出现抖动的情况，导致被拍物体无法清晰成像。为了解决视频拍摄中无法清晰成像的问题，通过对画面或机身抖动情况进行监测。当拍摄的画面或者机身出现幅度较大的抖动时，在抖动停止后，触发重新对焦。

但是，在实际使用中发现，在录制视频时，用户往往处于移动状态下，即使较为轻微的抖动，也会触发自动对焦。导致镜头频繁出现对焦的情况，影响了拍摄效果，在拍摄画面中，反复出现画面缩放的情况。

技术实现要素：

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种对焦方法，该方法用于解决现有技术中，在拍摄过程中，相机镜头频繁出现对焦的技术问题，优化拍摄效果，避免在拍摄画面中，反复出现画面缩放的情况。

本发明的第二个目的在于提出一种对焦装置。

本发明的第三个目的在于提出一种终端设备。

为了实现上述目的，本发明第一方面实施例提出了一种对焦方法，包括以下步骤：

在视频拍摄过程中，识别帧画面中的人像区域；

当识别得到人像区域时，确定所述人像区域的景深；

根据不同帧画面之间，所述人像区域的景深差异，确定是否进行对焦。

本发明实施例的对焦方法，通过在视频拍摄过程中，识别帧画面中的人像区域，当识别得到人像区域时，确定所述人像区域的景深。根据不同帧画面之间，人像区域的景深差异，确定是否进行对焦。避免采用了现有技术中检测抖动的方式触发对焦，而是采用检测景深信息来进行对焦。当录制视频时，即使不频繁对焦，由于人像区域的景深控制在一定范围内，因此，也能够拍摄到较为清晰的人像图像。解决了现有技术中在拍摄过程中，相机镜头频繁出现对焦的技术问题，优化了拍摄效果，避免在拍摄画面中，反复出现画面缩放的情况。

为了实现上述目的，本发明第二方面实施例提出了一种对焦装置，包括：

识别模块，用于在视频拍摄过程中，识别帧画面中的人像区域；

确定模块，用于当识别得到人像区域时，确定所述人像区域的景深；

对焦模块，用于根据不同帧画面之间，所述人像区域的景深差异，确定是否进行对焦。

本发明实施例的对焦装置，通过在视频拍摄过程中，识别帧画面中的人像区域，当识别得到人像区域时，确定所述人像区域的景深。根据不同帧画面之间，人像区域的景深差异，确定是否进行对焦。避免采用了现有技术中检测抖动的方式触发对焦，而是采用检测景深信息来进行对焦。当录制视频时，即使不频繁对焦，由于人像区域的景深控制在一定范围内，因此，也能够拍摄到较为清晰的人像图像。解决了现有技术中在拍摄过程中，相机镜头频繁出现对焦的技术问题，优化了拍摄效果，避免在拍摄画面中，反复出现画面缩放的情况。

为了实现上述目的，本发明第三方面实施例提出了一种终端设备，包括以下一个或多个组件：壳体和位于所述壳体内的处理器、存储器、镜头模组，其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行以下步骤：

在视频拍摄过程中，识别帧画面中的人像区域；

当识别得到人像区域时，确定所述人像区域的景深；

根据不同帧画面之间，所述人像区域的景深差异，确定镜头模组是否进行对焦。

本发明实施例的终端设备，通过在视频拍摄过程中，识别帧画面中的人像区域，当识别得到人像区域时，确定所述人像区域的景深。根据不同帧画面之间，人像区域的景深差异，确定是否进行对焦。避免采用了现有技术中检测抖动的方式触发对焦，而是采用检测景深信息来进行对焦。当录制视频时，即使不频繁对焦，由于人像区域的景深控制在一定范围内，因此，也能够拍摄到较为清晰的人像图像。解决了现有技术中在拍摄过程中，相机镜头频繁出现对焦的技术问题，优化了拍摄效果，避免在拍摄画面中，反复出现画面缩放的情况。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为相机成像的示意图；

图2为本发明一个实施例所提供的对焦方法的流程图；

图3为双摄像头的光路示意图；

图4为本发明另一个实施例所提供的对焦方法的流程图；

图5为本发明实施例提供的一种对焦装置的结构示意图；

图6为本发明实施例提供的另一种对焦装置的结构示意；以及

图7是根据本发明一个实施例的终端设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的对焦方法、装置和终端设备。

为了便于理解，下面，将对本发明实施例所涉及的概念进行简要介绍。

景深(lensdepthoffield，dof)，在本发明实施例中表示被摄物体与相机之间的距离，也可以称为物距。当相机以一特定焦距拍摄一影像时，于该影像中通常仅有该特定焦距所对应的一距离范围内的物体为清晰的，而于该影像中位于该距离范围外的物体则为模糊不清的。图1为相机成像的示意图，如图1所示，当镜头对某一平面成像时，仅有这一平面上的物体能够精确在传感器上形成清晰的像，其它位置的物体会因为物距的改变，在传感器上形成一个模糊的图像。然而传感器的像素点是有一定面积的，所以当图像模糊程度很小时，传感器就会认为接受到了清晰的像。因此在实际拍照时，会有一个距离范围，在这个范围内的物体都能够清晰成像。

人像识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像头采集含有人像的图像或视频流，并自动在图像中检测和跟踪人像，进而对检测到的人像进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。

在视频拍摄的应用场景下，为了使得所拍摄的视频能够清晰成像，现有技术中，通过对画面或机身抖动情况进行监测。当拍摄的画面或者机身出现幅度较大的抖动时，在抖动停止后，触发重新对焦。但是，在实际使用中发现，在录制视频时，由于画面是经常变化的，而且用户也往往处于移动状态下，导致画面或者机身经常出现抖动。由于即使较为轻微的抖动，也会触发自动对焦，因此，镜头频繁出现对焦的情况，影响了拍摄效果，在拍摄画面中，反复出现画面缩放。

为了解决这一问题，本发明实施例提供了一种方法，由于在录制视频时，经常是录制人的活动，因此，可以通过识别帧画面中的人像区域是否清晰成像，确定是否需要对焦。具体来说，本发明实施例采用了在视频拍摄过程中，识别帧画面中的人像区域，当识别得到人像区域时，确定所述人像区域的景深。根据不同帧画面之间，所述人像区域的景深差异，确定是否进行对焦。避免采用了现有技术中检测抖动的方式触发对焦，而是采用检测景深信息来进行对焦。当录制视频时，即使不频繁对焦，由于人像区域的景深控制在一定范围内，因此，也能够拍摄到较为清晰的人像图像。解决了现有技术中在拍摄过程中，相机镜头频繁出现对焦的技术问题，优化了拍摄效果，避免在拍摄画面中，反复出现画面缩放的情况。

下面，将对本发明实施例进行详细说明。

图2为本发明一个实施例所提供的对焦方法的流程图，如图2所示，该方法包括：

步骤101，在视频拍摄过程中，识别帧画面中的人像区域。

具体地，这里的人像区域具体可以为人脸区域。也就是说，在视频拍摄过程中，识别帧画面中的人脸区域。

作为一种可能的实现方式，在所拍摄的视频中可能存在多张人脸，仅对其中一张目标人脸进行后续步骤中确定景深的操作，因此，在本步骤中，不仅需要确定出帧画面中的人脸区域，还需要对人脸区域进行追踪，确定该人脸区域内是否包含所需的目标人脸。

在进行人脸识别时，包括四个主要的环节，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。

其中，在人脸图像采集及检测时，不同的人脸图像都能通过摄像镜头采集下来，当用户在采集设备的拍摄范围内时，采集设备会拍摄到用户的人脸图像。

进而进行人脸检测。人脸检测在实际中主要在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。主流的人脸检测方法基于以上特征采用迭代算法，如adaboost学习算法，人脸检测过程中使用迭代算法挑选出一些最能代表人脸的矩形特征，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。

人脸图像预处理。对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸图像特征提取时，可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。

人脸图像匹配与识别。将所需追踪的目标人脸的特征作为特征模板，将提取的人脸图像的特征数据特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则确定人脸区域内包含目标人脸。

步骤102，当识别得到人像区域时，确定人像区域的景深。

具体地，并不是任何镜头均可以得到图像的景深。一般来说，常用的能够确定出景深的方式，有两种。

其中一种是双摄像头的方式，通过对双摄像头进行标定后，即可在后续的拍摄中确定图像不同像素点对应的景深。图3为双摄像头的光路示意图，如图3所示，可以通过算法算出被拍摄物体与左/右摄像头的角度θ1和θ2，再通过固定的y值，即两个摄像头的中心距，就非常容易算出z值，即物体到摄像头的距离。

另一种是基于深度测量的单摄像头，确定图像中不同像素点对应的景深。这里的基于深度测量的单摄像头。

步骤103，根据不同帧画面之间，人像区域的景深差异，确定是否进行对焦。

具体地，分别获取第一帧画面中人像区域的景深，以及获取第二帧画面中人像区域的景深；当所述第一帧画面中人像区域的景深，与第二帧画面中人像区域的景深之间的差值大于预设阈值时，进行对焦；当所述第一帧画面中人像区域的景深，与第二帧画面中人像区域的景深之间的差值不大于预设阈值时，维持当前的焦距。

作为一种可能的实现方式，第一帧画面与所述第二帧画面为相邻帧。可以连续采集相邻的两帧画面，若相邻的两帧画面中对应同一人脸的景深差异较大，则触发对焦。否则，维持当前的焦距。

作为另一种可能的实现方式，第一帧画面与第二帧画面之间存在间隔。可选地，可以每隔一定帧数采集相邻的两帧画面，若相邻的两帧画面中对应同一人脸的景深差异较大，则触发对焦。否则，维持当前的焦距。

本实施例中，通过在视频拍摄过程中，识别帧画面中的人像区域，当识别得到人像区域时，确定所述人像区域的景深。根据不同帧画面之间，人像区域的景深差异，确定是否进行对焦。避免采用了现有技术中检测抖动的方式触发对焦，而是采用检测景深信息来进行对焦。当录制视频时，即使不频繁对焦，由于人像区域的景深控制在一定范围内，因此，也能够拍摄到较为清晰的人像图像。解决了现有技术中在拍摄过程中，相机镜头频繁出现对焦的技术问题，优化了拍摄效果，避免在拍摄画面中，反复出现画面缩放的情况。

为了更加全面的说明本发明实施例的方法，下面将对方法进行详细说明：

图4为本发明另一个实施例所提供的对焦方法的流程图，本实施例中具体针对人脸进行识别，也就是说，人像区域具体为人脸区域。如图4所示，该方法包括：

步骤201，在拍摄过程中，截取当前帧画面。

步骤202，针对所拍摄的当前帧画面，进行人脸识别，识别出人脸所在的人脸区域。

具体地，人脸检测在实际中主要在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。

步骤203，判断是否存在人脸区域，若是，则执行步骤204，否则返回执行步骤201。

具体地，由于在拍摄时，往往用户主要目的在于拍摄清晰的人脸，因此，可以基于人脸是否清晰，判断是否需要进行对焦。在判断人脸是否清晰时，具体可以基于景深进行判断。当帧画面中不存在人脸区域时，也就无法执行本方法，因此，返回执行步骤201，以对下一帧画面进行截取。

步骤204，若当前帧画面存在人脸区域，计算人脸区域的景深。

步骤205，对当前帧画面的景深进行存储。

具体地，在对景深进行存储时，作为一种可能的实现方式，可以存储当前帧画面的景深，以及前一次计算出的帧画面的景深。在对当前帧画面的景深进行存储的同时，利用当前帧画面的景深替换掉上上次所计算出的帧画面的景深。

作为另一种可能的实现方式，可以存储历次计算出的帧画面的景深。

为了便于确定出各个帧画面与景深之间的对应关系，可以采用帧画面的时间戳对帧画面进行标记，记录景深的同时，记录景深与时间戳之间的对应关系。

步骤206，读取前一次计算出的帧画面的景深，对上一次所截取的帧画面的景深与当前帧画面之间的景深差异进行计算。

具体地，将前一次计算出的帧画面的景深，记作a1。将本次所计算出的帧画面的景深，记作a2。计算出上一次所截取的帧画面的景深与当前帧画面之间的景深差异|a1-a2|。

步骤207，判断计算得到的景深差异是否大于阈值，若是，则执行步骤208，否则执行步骤201。

具体地，通过比较|a1-a2|与设定的阈值h之间的关系判断是否需要进行对焦。若|a1-a2|>h，说明景深变化较大，因此，需要重新对焦，启动对焦程序；若|a1-a2|<h,说明人脸区域的景深变化不大，不需要触发重新对焦。

这是由于，景深表征了能够清晰成像的范围。当人脸区域景深不变的情况下，在当前焦距下，拍摄的人脸是清晰的，也就不需要进行重新对焦。反之，若人脸区域景深出现了较大变化，在当前焦距下，所拍摄的人脸区域清晰度会发生较大变化，需要重新进行对焦。

步骤208，对镜头模组进行对焦控制。

一般来说，相机模组的图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列和位于所述滤光单元阵列之上的微透镜阵列。

作为一种可能的实现方式，微透镜阵列包括第一微透镜和第二微透镜，一个所述第一微透镜覆盖一个对焦感光单元，n×n个第二微透镜覆盖一个非对焦感光单元，其中，n为正整数。

具体来说，在进行对焦控制时，可以通过控制所述感光单元阵列进入对焦模式，进而读取所述对焦感光单元中一部分感光像素的输出值并作为第一输出值，以及读取所述对焦感光单元中另一部分感光像素的输出值并作为第二输出值。根据所述第一输出值和第二输出值进行对焦控制。

本实施例中，通过在视频拍摄过程中，识别帧画面中的人像区域，当识别得到人像区域时，确定所述人像区域的景深。根据不同帧画面之间，人像区域的景深差异，确定是否进行对焦。避免采用了现有技术中检测抖动的方式触发对焦，而是采用检测景深信息来进行对焦。当录制视频时，即使不频繁对焦，由于人像区域的景深控制在一定范围内，因此，也能够拍摄到较为清晰的人像图像。解决了现有技术中在拍摄过程中，相机镜头频繁出现对焦的技术问题，优化了拍摄效果，避免在拍摄画面中，反复出现画面缩放的情况

为了实现上述实施例，本发明还提出了一种对焦装置。图5为本发明实施例提供的一种对焦装置的结构示意图，如图5所示，对焦装置包括：识别模块31、确定模块32和对焦模块33。

识别模块31，用于在视频拍摄过程中，识别帧画面中的人像区域。

确定模块32，用于当识别得到人像区域时，确定所述人像区域的景深。

具体地，确定模块32，具体用于：基于双摄像头拍摄或者基于深度测量的单摄像头确定所述人像区域的景深。

对焦模块33，用于根据不同帧画面之间，所述人像区域的景深差异，确定是否进行对焦。

需要说明的是，前述对对焦方法实施例的描述，也适用于本发明实施例的装置，其实现原理类似，在此不再赘述。

综上所述，本发明实施例的对焦装置，通过在视频拍摄过程中，识别帧画面中的人像区域，当识别得到人像区域时，确定所述人像区域的景深。根据不同帧画面之间，人像区域的景深差异，确定是否进行对焦。避免采用了现有技术中检测抖动的方式触发对焦，而是采用检测景深信息来进行对焦。当录制视频时，即使不频繁对焦，由于人像区域的景深控制在一定范围内，因此，也能够拍摄到较为清晰的人像图像。解决了现有技术中在拍摄过程中，相机镜头频繁出现对焦的技术问题，优化了拍摄效果，避免在拍摄画面中，反复出现画面缩放的情况。

进而，图6为本发明实施例提供的另一种对焦装置的结构示意图，如图6所示，在如图5所示的基础上，对焦模块33，进一步包括：景深单元331、第一对焦单元332和第二对焦单元333。

景深单元331，用于分别获取第一帧画面中人像区域的景深，以及获取第二帧画面中人像区域的景深。

第一对焦单元332，用于当所述第一帧画面中人像区域的景深，与第二帧画面中人像区域的景深之间的差值大于预设阈值时，进行对焦。

第二对焦单元333，用于当所述第一帧画面中人像区域的景深，与第二帧画面中人像区域的景深之间的差值不大于预设阈值时，维持当前的焦距。

作为一种可能的实现方式，第一帧画面与所述第二帧画面为相邻帧。

进一步，对焦装置应用于终端设备的相机模组对焦，所述相机模组的图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列和位于所述滤光单元阵列之上的微透镜阵列。

作为一种可能的实现方式，所述微透镜阵列包括第一微透镜和第二微透镜，一个所述第一微透镜覆盖一个对焦感光单元，n×n个第二微透镜覆盖一个非对焦感光单元，其中，n为正整数。

第一对焦单元332，具体用于：控制所述感光单元阵列进入对焦模式；读取所述对焦感光单元中一部分感光像素的输出值并作为第一输出值；读取所述对焦感光单元中另一部分感光像素的输出值并作为第二输出值；根据所述第一输出值和第二输出值进行对焦控制。

需要说明的是，前述对对焦方法实施例的描述，也适用于本发明实施例的对焦装置，其实现原理类似，在此不再赘述。

综上所述，本发明实施例的对焦装置，通过在视频拍摄过程中，识别帧画面中的人像区域，当识别得到人像区域时，确定所述人像区域的景深。根据不同帧画面之间，人像区域的景深差异，确定是否进行对焦。避免采用了现有技术中检测抖动的方式触发对焦，而是采用检测景深信息来进行对焦。当录制视频时，即使不频繁对焦，由于人像区域的景深控制在一定范围内，因此，也能够拍摄到较为清晰的人像图像。解决了现有技术中在拍摄过程中，相机镜头频繁出现对焦的技术问题，优化了拍摄效果，避免在拍摄画面中，反复出现画面缩放的情况。

为了实现上述实施例，本发明还提出了一种终端设备，图7是根据本发明一个实施例的终端设备的结构示意图，如图7所示，该终端设备1000包括：壳体1100和位于壳体1100内存储器1111、处理器1112和镜头模组1113。

其中，处理器1111通过读取存储器1112中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：

在视频拍摄过程中，识别帧画面中的人像区域；

当识别得到人像区域时，确定所述人像区域的景深；

根据不同帧画面之间，所述人像区域的景深差异，确定镜头模组1113是否进行对焦。

需要说明的是，前述对对焦方法实施例的描述，也适用于本发明实施例的终端设备1000，其实现原理类似，在此不再赘述。

综上所述，本发明实施例的终端设备，通过在视频拍摄过程中，识别帧画面中的人像区域，当识别得到人像区域时，确定所述人像区域的景深。根据不同帧画面之间，人像区域的景深差异，确定是否进行对焦。避免采用了现有技术中检测抖动的方式触发对焦，而是采用检测景深信息来进行对焦。当录制视频时，即使不频繁对焦，由于人像区域的景深控制在一定范围内，因此，也能够拍摄到较为清晰的人像图像。解决了现有技术中在拍摄过程中，相机镜头频繁出现对焦的技术问题，优化了拍摄效果，避免在拍摄画面中，反复出现画面缩放的情况。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。