图像处理设备、程序及图像处理方法与流程

1.本公开涉及图像处理设备、程序和图像处理方法。


背景技术：

2.近年来，以比hd更高分辨率的诸如4k或8k的超高清(uhd)成像已广泛普及。由于通过uhd成像获得的uhd图像的分辨率高，因此可以从uhd图像的多个构图框中剪切hd图像(hd裁剪)。根据hd裁剪，由于从多个成像设备获得的图像可以使用一个成像设备来生成，因此在低成本视频拍摄领域中使用hd裁剪的视频制作者的数量在增加。
3.例如，ptl 1公开了用于从图像中切割图像的一部分中所包括的部分图像的技术。具体而言，ptl 1公开了当用户指定部分图像的区域时使用预先决定的数字相机工作切割区域的部分图像的技术。
4.[引文列表]
[0005]
[专利文献]
[0006]
[ptl 1]
[0007]
jp 2009
‑
177431 a


技术实现要素：

[0008]
[技术问题]
[0009]
但是，用户需要努力指定要切割的区域。还可以想到的是，用户指定没有足够质量的区域，诸如具有部分切出、不良构图平衡或像素数量少的区域。
[0010]
因此，本公开提出了能够自动设置合适的构图框的新颖且改进的图像处理设备、程序和图像处理方法。
[0011]
[解决问题的方法]
[0012]
根据本公开，提供了一种图像处理设备，包括：评估单元，被配置为评估捕获图像的第一区域是否满足质量条件；以及构图框设置单元，被配置为根据第一区域的评估结果对捕获图像设置不同的构图框。
[0013]
根据本公开，提供了一种程序，该程序使计算机用作：评估单元，被配置为评估捕获图像的第一区域是否满足质量条件；以及构图框设置单元，被配置为根据第一区域的评估结果对捕获图像设置不同的构图框。
[0014]
根据本公开，提供了一种图像处理方法，包括：由处理器评估捕获图像的第一区域是否满足质量条件；以及根据第一区域的评估结果对捕获图像设置不同的构图框。
[0015]
[发明的有益效果]
[0016]
如上所述，根据本公开，可以自动设置合适的构图框。
[0017]
前述有益效果不一定是限制性的，除了前述有益效果之外或代替前述有益效果，可以发挥本说明书中描述的任何有益效果以及可以从本说明书中确定的其它有益效果。
附图说明
[0018]
图1是图示根据本公开的实施例的图像处理系统的配置的说明图。
[0019]
图2是图示裁剪hd图像的示例的说明图。
[0020]
图3是图示用于切换输出图像的操作画面的说明图。
[0021]
图4是图示基础镜头的第一配准顺序的说明图。
[0022]
图5是图示基础镜头的第二配准顺序的说明图。
[0023]
图6是图示基础镜头的第三配准顺序的说明图。
[0024]
图7是图示切换器20的外观配置的说明图。
[0025]
图8是图示其中存在关于质量的关注的构图框的具体示例的说明图。
[0026]
图9是图示根据本公开的实施例的切换器20中的裁剪处理的配置的说明图。
[0027]
图10是图示在水平方向上部分切出的具体示例的说明图。
[0028]
图11是图示在垂直方向上部分切出的具体示例的说明图。
[0029]
图12是图示考虑面部尺寸的比例来确定部分切出的具体示例的说明图。
[0030]
图13是图示在水平方向上存在边距偏差的镜头区域的具体示例的说明图。
[0031]
图14是图示在垂直方向上存在边距偏差的镜头区域的具体示例的说明图。
[0032]
图15是图示像素数小于阈值的镜头区域的具体示例的说明图。
[0033]
图16是图示处理部分切出的示例的说明图。
[0034]
图17是图示避免边距偏差的示例的说明图。
[0035]
图18是图示避免像素数不足的示例的说明图。
[0036]
图19是图示镜头的连续评估的具体示例的说明图。
[0037]
图20是图示当未获得识别结果时设置构图框的具体示例的说明图。
[0038]
图21是图示基础镜头配准操作的流程图。
[0039]
图22是图示裁剪操作的流程图。
[0040]
图23是图示循环处理的流程图。
具体实施方式
[0041]
在下文中，将参考附图描述本公开的优选实施例。在本说明书和各图中，相同的附图标记被赋予具有基本相同的功能配置的组成元件，并且将省略其描述。
[0042]
在本说明书和附图中，相同的标号后缀有不同的字母，以区分具有基本相同的功能配置的多个组成元件。这里，当不需要特别区分具有基本相同的功能结构的多个组成元件时，对该多个组成元件简单地赋予相同的附图标记。
[0043]
将按以下顺序描述本公开。
[0044]
1.图像处理系统概述
[0045]1‑
1.图像处理系统的配置
[0046]1‑
2.基础镜头的配准
[0047]1‑
3.切换器的外观
[0048]1‑
4.背景
[0049]
2.切换器的配置
[0050]2‑
1.每个功能概述
[0051]2‑
2.镜头区域的质量评估
[0052]2‑
3.生成校正镜头
[0053]2‑
4.镜头的连续评估
[0054]2‑
5.未获得识别结果时
[0055]
3.切换器的操作
[0056]3‑
1.基础镜头的配准操作
[0057]3‑
2.裁剪操作
[0058]
4.结论
[0059]
<1.图像处理系统概述>
[0060]
本公开的实施例涉及一种图像处理系统，该图像处理系统从由一个成像设备获得的图像中切割(裁剪)部分图像。特别地，根据本公开的实施例的图像处理系统使用能够执行uhd成像的uhd成像设备，并从由uhd成像设备获得的uhd图像中裁剪一个或两个或更多个hd图像。根据本公开的实施例的图像处理系统还可以通过裁剪具有uhd和hd之间的分辨率的图像并且调整图像的尺寸来获得hd图像。该图像处理系统可以用于例如视频制作领域。在下文中，将描述根据本公开的实施例的图像处理系统的概述。
[0061]
(1
‑
1.图像处理系统的配置)
[0062]
图1是图示根据本公开的实施例的图像处理系统的配置的说明图。如图1中所示，根据本公开的实施例的图像处理系统包括uhd成像设备10、切换器20和操作终端30。
[0063]
uhd成像设备10是能够以诸如4k或8k的超hd(uhd)对被摄体进行成像的成像设备。uhd成像设备10将通过成像获得的uhd捕获图像输出到切换器20。图1图示了正在表演音乐的五重奏乐队作为被摄体。uhd成像设备10将五重奏乐队的uhd捕获图像输出到切换器20。
[0064]
在图1中，一个uhd成像设备10连接到切换器20，但是多个uhd成像设备10可以连接到切换器20。在本说明书中，将主要描述其中将uhd成像设备10用作成像设备并且处理uhd捕获图像的示例，但是可以使用以低于uhd的分辨率对被摄体成像的非uhd成像设备作为成像设备，并且可以处理分辨率低于uhd的hd捕获图像等。即，除了uhd成像设备10之外，或者代替uhd成像设备10，非uhd成像设备可以连接到切换器20。
[0065]
切换器20是在多个图像之间切换输出图像的图像处理设备。特别地，根据本公开的实施例的切换器20从为uhd成像设备10输入的uhd捕获图像中裁剪多个hd图像，并且在包括uhd捕获图像和多个hd图像的多个图像之间切换输出图像。这里，将参考图2和图3描述hd图像的裁剪和输出图像的切换的具体示例。
[0066]
图2是图示裁剪hd图像的示例的说明图。在图2中，在uhd捕获图像中示出了多个构图框f1至f3。切换器20根据例如多个基础镜头在uhd捕获图像中设置构图框f1至f3。切换器20裁剪包括在构图框f1至f3中的hd图像。基础镜头是关于主要被摄体、间隔、主要被摄体的身体部位、相机工作等的信息。切换器20可以设置构图框，构图框具有由基础镜头指示的间隔，包括由基础镜头指示的主要被摄体的身体部位，并且对其应用了由基础镜头指示的相机工作。下面将参考图4至图6描述配准基础镜头的方法。
[0067]
图3是图示用于切换输出图像的操作画面的说明图。如图3中所示，操作画面包括uhd捕获图像的显示区域60、从构图框f1裁剪的hd图像的显示区域61、从构图框f2裁剪的hd图像的显示区域62、从构图框f3裁剪的hd图像的显示区域63、pgm显示区域64和next显示区
域65。
[0068]
切换器20的用户可以从显示在显示区域60至64中的图像中选择输出图像或后续输出图像。在pgm显示区域64中显示被选择作为输出图像的图像，并且在next显示区域65中显示被选择作为后续输出图像的图像。以这种方式，根据本公开的实施例，通过使用由一个uhd成像设备10获得的uhd捕获图像在包括该uhd捕获图像和一个或两个或更多个hd图像的多个图像之间切换输出图像，即使在图像处理系统中使用的uhd成像设备10的数量少，也可以产生丰富的内容。图3中所示的操作画面可以显示在操作终端30上，或者可以显示在操作终端30以外的显示操作设备上。
[0069]
操作终端30是通过用户输入用于切换器20的操作的信息或指令来操作的操作显示设备。在图1中，笔记本型个人计算机(pc)被图示为操作终端30，但是诸如触摸面板设备、操纵杆或游戏控制器之类的其它显示操作设备可以被用作操作终端30。
[0070]
用户可以操作这些操作终端30以在切换器20中配准例如用于设置构图框的基础镜头。在下文中，将描述基础镜头的几个配准顺序。
[0071]
(1
‑
2.基础镜头的配准)
[0072]
存在多种基础镜头的配准顺序。这里，将依次描述用户指定不同事物的三种类型的配准顺序。
[0073]
图4是图示第一配准顺序的说明图。首先，当用户在图4a中所示的uhd捕获图像中指定被摄体的位置时，如图4b中所示，切换器20将标记71布置在指定位置。
[0074]
然后，当被摄体的识别结果在指定位置时，切换器20估计被摄体的每个身体部位的范围，并且布置指示每个身体部位的范围的部位范围指示73，如图4c中所示。当被摄体的识别结果不在指定位置时，切换器20根据默认设置布置部位范围指示73，并且响应于用户操作来调整每个身体部位的范围。身体部位的示例包括面部、胸部、腰部和膝盖以下的部位。
[0075]
此后，如图4d中所示，用户通过例如拖放来指定处理框75。然后，用户在图4e中调整处理框75的位置和尺寸。当处理框75被确认时，如图4f中所示，用户设置相机工作。
[0076]
在上述配准顺序中，指示用户指定的主要被摄体的信息、指示处理框75针对处理框75中包括的身体部位的相对位置和尺寸(间距)的信息、指示处理框75中包括的身体部位的信息，以及指示由用户指定的相机工作的信息被配准为基础镜头。该间隔也可以说是相对于处理框75的主要被摄体在水平方向或垂直方向上的边距。可以举例放大、缩小、移入(panning
‑
in)、移出(panning
‑
out)和跟随作为相机工作。跟随是用于跟随正在移动的被摄体同时维持基础镜头的指令的相机工作。在in操作时，执行相机工作，使得根据基础镜头指定的构图框成为目标。在out操作时，执行相机工作，使得根据基础镜头指定的构图框被设置为开始。
[0077]
图5是图示第二配准顺序的说明图。在第二配准顺序中，切换器20执行图5a中所示的uhd捕获图像的识别处理。基于识别结果，处理框75被自动提取和布置，如图5b中所示。当处理框75不是期望的处理框时，用户在操作终端30上执行改变处理框的操作。响应于针对处理框的改变操作，切换器20布置随后的处理框76，如图5c中所示。当处理框76是期望的处理框时，用户设置相机工作，如图5d中所示。
[0078]
作为针对处理框的改变操作，存在针对主要被摄体的改变操作和针对构图的改变
操作。从图5b到图5c的转变基于主要被摄体的改变操作。当在图5c中执行构图的改变操作时，如图5e中所示，可以布置其构图被改变的处理框77。例如，可以通过对操作终端30的左右键的操作来执行针对主要被摄体的改变操作。例如，可以通过在操作终端30上的键操作来执行针对构图的改变操作。
[0079]
在上述配准顺序中，指示用户选择的处理框中包括的主要被摄体的信息、指示处理框中包括的主要被摄体的身体部位的处理框的相对位置和尺寸(间距)的信息、指示处理框中包括的被摄体的身体部位的信息，以及指示由用户指定的相机工作的信息被配准为基础镜头。
[0080]
图6是图示第三配准顺序的说明图。在第三配准顺序中，用户通过例如拖放来在图6a中所示的uhd捕获图像中指定处理框78，如图6b中所示。当指定处理框78时，切换器20将最接近处理框78的重心的被摄体指定为主要被摄体，并且指定处理框78中包括的主要被摄体的身体部位。
[0081]
切换器20配准指定的主要被摄体、指示处理框78针对指定的身体部位的相对位置和尺寸(间距)的信息、指示指定的身体部位的信息，以及指示由用户指定的相机工作的信息作为基础镜头。
[0082]
在上述第一至第三配准顺序中的每一个中，可以省略相机工作的设置。
[0083]
(1
‑
3.切换器的外观)
[0084]
接下来，将参考图7描述切换器20的外观。
[0085]
图7是图示切换器20的外观配置的说明图。如图7中所示，切换器20包括端子组211、声音操作单元212、图像选择单元214、基础镜头选择单元215和输出图像切换单元216。
[0086]
端子组211包括用于向切换器20输入图像和声音的输入端子和用于从切换器20输出图像和声音的输出端子。例如，由uhd成像设备10获得的uhd捕获图像经由端子组211被输入到切换器20。
[0087]
声音操作单元212被配置为执行关于声音的操作。
[0088]
图像选择单元214被配置为从包括uhd捕获图像和多个hd图像的多个图像中选择pgm图像和next图像。例如，图像选择单元214包括第一至第四按钮，并且切换器20将与在第一至第四按钮当中选择的按钮对应的图像设置为pgm图像或next图像。
[0089]
基础镜头选择单元215被配置为执行将基础镜头与图像选择单元214的每个按钮相关联的操作。例如，用于指定参考图2描述的构图框f1的基础镜头s1可以与第二按钮相关联，用于指定构图框f2的基础镜头s2可以与第三按钮相关联，并且用于指定构图框f3的镜头s3可以与第四按钮相关联。
[0090]
输出图像切换单元216被配置为执行将pgm图像切换为当前next图像中设置的图像的操作。
[0091]
(1
‑
4.背景)
[0092]
在典型地根据上述基础镜头设置构图框的方法中，在一些情况下构图框的质量不足。例如，其中存在关于质量的关注的构图框(诸如出现被摄体的部分切出、构图平衡差或像素数量少)可以取决于各种情况来设置：诸如根据基础镜头设置的构图框随着主要被摄体的移动而改变，或者根据基础镜头设置的构图框中包括的其它被摄体的状态的改变。这里，将参考图8更具体地描述其中存在关于质量的关注的构图框。
[0093]
图8是图示其中存在关于质量的关注的构图框的具体示例的说明图。在图8a中所示的构图框f中，除了作为主要被摄体的被摄体m1之外，还以部分切出的状态拍摄了不是主要被摄体的被摄体m2。在图8b中所示的构图框f中，被摄体m2没有部分切出，但是存在偏向主要被摄体m1的左侧的边距s1，因此构图平衡差。图8c中所示的构图框f小。因此，构图框f的像素数小于下限。
[0094]
鉴于上述情况，本发明人设计了本公开的实施例。根据本公开的实施例，可以自动设置对质量的关注减少的构图框。在下文中，将依次详细描述根据本公开的实施例的切换器20中的裁剪处理的配置和操作。
[0095]
<2.切换器的配置>
[0096]
(2
‑
1.每个功能概述)
[0097]
图9是图示根据本公开的实施例的切换器20中的裁剪处理的配置的说明图。如图9中所示，根据本公开的实施例的切换器20包括基础镜头配准单元220、基础镜头存储单元224、图像识别单元228、基础镜头区域指定单元232、校正镜头区域指定单元236、评估单元240、镜头选择单元244、构图框设置单元248、相机工作设置单元252和裁剪单元256。基础镜头配准单元220至裁剪单元256的相应功能可以通过诸如设在切换器20中的cpu和ram之类的软件和硬件来协作地实现。
[0098]
基础镜头配准单元220以在“1
‑
2.基础镜头的配准”中描述的配准顺序在基础镜头存储单元224中配准基础镜头。基础镜头存储单元224存储基础镜头。
[0099]
图像识别单元228依次识别从uhd成像设备10依次输入的uhd捕获图像。例如，图像识别单元228检测uhd捕获图像中的被摄体(例如，面部)，并执行从紧接在前一帧之前的uhd捕获图像中检测到的被摄体的跟踪。
[0100]
基础镜头区域指定单元232使用来自图像识别单元228的识别结果根据存储在基础镜头存储单元224中的基础镜头从uhd捕获图像中指定基础镜头区域。具体而言，基础镜头区域指定单元232指定基础镜头区域，该基础镜头区域包括由基础镜头指示的主要被摄体的身体部位并且具有由基础镜头指示的间隔。基础镜头是第一规则的示例，基础镜头区域是第一区域的示例，并且基础镜头区域指定单元232是第一区域指定单元的示例。
[0101]
校正镜头区域指定单元236校正存储在基础镜头存储单元224中的基础镜头、生成校正镜头，并根据校正镜头从uhd捕获图像中指定校正镜头区域。具体而言，校正镜头区域指定单元236指定校正镜头区域，该校正镜头区域包括由校正镜头指示的主要被摄体的身体部位并且具有由校正镜头指示的间隔。下面将在“2
‑
3.生成校正镜头”中描述生成校正镜头的方法。校正镜头是第二规则的示例，校正镜头区域是第二区域的示例，并且校正镜头区域指定单元236是第二区域指定单元的示例。
[0102]
评估单元240评估由基础镜头区域指定单元232指定的基础镜头区域是否满足质量条件，并且评估由校正镜头区域指定单元236指定的校正镜头区域是否满足质量条件。下面将在“2
‑
2.镜头区域的质量评估”中描述评估单元240中的评估质量的方法。
[0103]
镜头选择单元244基于来自评估单元240的评估结果选择基础镜头或由校正镜头区域指定单元236生成的校正镜头。具体而言，镜头选择单元244在基础镜头区域满足质量条件时选择基础镜头，并且在基础镜头区域不满足质量条件并且校正镜头区域满足质量条件时选择校正镜头。镜头选择单元244在临时选择校正镜头之后，维持对该校正镜头的选
择，直到校正镜头区域不满足质量条件为止。由于这种配置，提高了镜头的稳定性。镜头选择单元244是规则选择单元的示例。
[0104]
构图框设置单元248基于由镜头选择单元244选择的镜头在uhd捕获图像中设置构图框。如从前面的描述中可以理解到，镜头选择单元244选择的镜头根据基础镜头区域的质量的评估结果而不同。因此，构图框设置单元248根据基础镜头区域的质量的评估结果在uhd捕获图像中设置不同的构图框。由构图框设置单元248设置的构图框可以对应于与基础镜头区域和校正镜头区域不同的区域。例如，构图框设置单元248可以通过根据由镜头选择单元244选择的镜头调整到区域以针对帧图像之间的平滑改变来设置构图框。
[0105]
相机工作设置单元252在由构图框设置单元248设置的构图框中设置由镜头选择单元244选择的镜头所指示的相机工作。可以举例放大、缩小、移出和移入作为相机工作。
[0106]
裁剪单元256是裁剪包括在由构图框设置单元248设置的构图框中的hd图像的裁剪单元的示例。当执行相机工作时，裁剪单元256裁剪应用相机工作的构图框中包括的hd图像。
[0107]
(2
‑
2.镜头区域的质量评估)
[0108]
上面已经描述了根据本公开的实施例的切换器20的每个功能的概述。接下来，将更具体地描述评估单元240中的基础镜头区域和校正镜头区域的质量评估。在下文中，基础镜头和校正镜头被一般地称为镜头，并且在一些情况下，基础镜头区域和校正镜头区域被一般地称为镜头区域。
[0109]
‑
部分切出的评估
‑
[0110]
评估单元240考虑镜头区域中存在除主要被摄体之外的被摄体(其它被摄体)来评估镜头区域是否满足质量条件。例如，质量条件包括关于部分切出的条件，并且评估单元240基于关于发生其它被摄体的部分切出的镜头区域的其它被摄体的部分切出的程度来评估是否满足关于部分切出的条件。作为被摄体的部分切出，会发生在水平方向上的部分切出或在垂直方向上的部分切出。
[0111]
关于在水平方向上的部分切出，评估单元240例如基于镜头区域中包括的被摄体的面部以及镜头区域中包括的被摄体的面部尺寸相对于被摄体的整个面部在水平方向上的尺寸小于预定比例(例如，80％)来将镜头区域评估为不满足关于部分切出的条件。将参考图10描述在水平方向上部分切出的具体示例。这里，关于在水平方向上部分切出的条件不限于这里描述的条件，并且可以将其它条件应用于关于在水平方向上部分切出的条件。
[0112]
图10是图示在水平方向上部分切出的具体示例的说明图。在图10及后续图中，镜头区域由单点划线矩形指示。在图10a中所示的示例中，由于被摄体的面部不包括在镜头区域中，因此不会发生水平方向上的部分切出。在图10d中所示的示例中，由于被摄体的整个面部都包括在镜头区域中，因此满足了关于部分切出的条件。相反，在图10b和10c中所示的示例中，由于被摄体的面部被包括在镜头区域中，并且镜头区域中包括的被摄体的面部的尺寸小于预定比例，因此关于部分切出的条件不满足。
[0113]
关于在垂直方向上的部分切出，评估单元240例如基于被摄体的眉毛被包括在镜头区域中并且被摄体的胸部不被包括在镜头区域中的状态以及被摄体的面部的下部被包括在镜头区域中并且被摄体的眉毛不被包括在镜头区域中的状态来将镜头区域评估为不满足关于部分切出的条件。将参考图11描述在垂直方向上部分切出的具体示例。这里，关于
在垂直方向上部分切出的条件不限于这里描述的条件，并且可以将其它条件应用于关于在垂直方向上部分切出的条件。例如，可以使用眼睛、前额等来代替眉毛，或者可以使用颈部、腹部等来代替胸部。
[0114]
图11是图示在垂直方向上部分切出的具体示例的说明图。在图11a中所示的示例中，由于被摄体的眉毛和被摄体的面部的下部都不包括在镜头区域中，因此不会发生垂直方向上的部分切出。在图11b和图11c中所示的示例中，由于被摄体的眉毛被包括在镜头区域中，并且被摄体的胸部不包括在镜头区域中，因此不满足关于部分切出的条件。在图11d、11e和11f中所示的示例中，由于被摄体的眉毛和被摄体的胸部被包括在镜头区域中，因此满足了关于部分切出的条件。在图11g中所示的示例中，由于被摄体的面部的下部被包括在镜头区域中并且被摄体的眉毛不包括在镜头区域中，因此不满足关于部分切出的条件。在图11h中所示的示例中，由于被摄体的眉毛和面部的下部都不包括在镜头区域中，因此满足了关于部分切出的条件。识别眉毛的方法没有特别限制，并且可以使用已知的检测面部器官的方法来识别眉毛。例如，可以举例“具有回归树整体的一毫秒面部对准(one millisecond face alignment with an ensemble of regression trees(<http://www.csc.kth.se/～vahidk/face_ert.html>))”作为检测面部器官的已知方法。作为另一种方法，可以从面部框宽度相对于检测到的面部区域的框的重心的比例推断出眉毛的区域。
[0115]
这里，当其它被摄体的面部尺寸相对于主要被摄体的面部尺寸小于预定比例(例如，小于30％)时，不论其它被摄体的部分切除的程度如何，评估单元240可以将镜头区域评估为满足关于部分切出的条件。将参考图12描述确定考虑面部尺寸的比例的部分切出的具体示例。
[0116]
图12是图示其中考虑面部尺寸的比例的部分切出的评估的具体示例的说明图。在图12a中所示的示例中，除了主要被摄体m1之外，被摄体m2的面部的一部分也被包括在镜头区域中，并且镜头区域中包括的被摄体m1的面部的尺寸相对于被摄体m2的整个面部在水平方向上的尺寸小于预定比例。此外，主要被摄体m1的面部的尺寸几乎等于被摄体m2的面部的尺寸。因此，评估单元240将图12a中所示的镜头区域评估为不满足关于部分切出的条件。
[0117]
在图12b中所示的示例中，除了主要被摄体m1之外，被摄体m2的面部的一部分也被还包括在镜头区域中，并且在镜头区域中包括的被摄体m1的面部的尺寸相对于被摄体m2的整个面部在水平方向上的尺寸小于预定比例。此外，被摄体m2的面部尺寸大于主要被摄体m1的面部尺寸。因此，评估单元240将图12b中所示的镜头区域评估为不满足关于部分切出的条件。
[0118]
在图12c中所示的示例中，除了主要被摄体m1之外，被摄体m2的面部的一部分也被包括在镜头区域中，并且镜头区域中包括的被摄体m1的面部的尺寸相对于被摄体m2的整个面部在水平方向上的尺寸小于预定比例。但是，被摄体m2的面部的尺寸比主要被摄体m1的面部的尺寸足够小。因此，评估单元240将图12c中所示的镜头区域评估为满足关于部分切出的条件。
[0119]
‑
构图平衡的评估
‑
[0120]
质量条件包括关于镜头区域的构图平衡的条件，并且评估单元240评估主要被摄体和其它被摄体在水平方向或垂直方向上存在到边距的偏差不满足关于构图平衡的条件
的镜头区域。在下文中，将参考图13和图14描述评估水平方向上的边距的偏差的方法和评估垂直方向上的边距的偏差的方法的具体示例。
[0121]
图13是图示在水平方向上存在边距偏差的镜头区域的具体示例的说明图。图13图示了主要被摄体和其它被摄体的左边距的长度s1和主要被摄体和其它被摄体的右边距的长度s2。(s1/s2)是指左边距相对于右边距的尺寸。当(s1/s2)过大时，认为左边距存在偏差。因此，当(s1/s2)等于或大于水平阈值时，评估单元240确定在水平方向上存在边距偏差。类似地，当(s2/s1)过大时，认为右边距存在偏差。因此，当(s2/s1)等于或大于水平阈值时，评估单元240可以确定在水平方向上存在边距偏差。
[0122]
图14是图示在垂直方向上存在边距偏差的镜头区域的具体示例的说明图。图14图示了外接被摄体的矩形的高度h和垂直方向上的边距高度hr。(hr/h)是指相对于被摄体的高度在垂直方向上的边距的尺寸。当(hr/h)过大时，认为偏向被摄体尺寸的边距在垂直方向上。因此，当(hr/h)等于或大于垂直阈值时，评估单元240确定在垂直方向上存在边距偏差。
[0123]
‑
像素数量减少
‑
[0124]
质量条件包括关于镜头区域的像素数量的条件，并且评估单元240评估像素数量小于阈值的镜头区域不满足关于像素数量的条件。在下文中，将参考图15描述像素数量小于阈值的镜头区域的具体示例。
[0125]
图15是图示像素数量小于阈值的镜头区域的具体示例的说明图。在图15中所示的示例中，x是uhd捕获图像在水平方向上的像素数量，并且y是在垂直方向上的像素数量。另一方面，x是镜头区域在水平方向上的像素数量，并且y是在垂直方向上的像素数量。当(x*y)/(x*y)小于阈值(例如，小于10％)时，评估单元240将镜头区域评估为不满足关于像素数量的条件。
[0126]
(2
‑
3.生成校正镜头)
[0127]
上面已经描述了镜头区域的质量评估。接下来，将描述当基础镜头区域不满足质量条件时由校正镜头区域指定单元236生成的校正镜头的具体示例。
[0128]
‑
当发生部分切出时
‑
[0129]
当基础镜头区域不满足关于部分切出的条件时，校正镜头区域指定单元236生成指示与基础镜头所指示的主要被摄体的身体部位或间隔不同的身体部位或间隔的校正镜头。根据校正镜头指定的校正镜头区域的尺寸与基础镜头区域的尺寸不同。因此，校正镜头区域可以满足关于部分切出的条件。在下文中，将参考图16描述处理部分切出的示例。
[0130]
图16是图示处理部分切出的示例的说明图。在图16a中所示的示例中，基础镜头指示面部和胸部作为被摄体的身体部位，并且在基础镜头区域81中，除了作为主要被摄体的被摄体m1的半身镜头之外，以不是主要被摄体的被摄体m2部分切出的状态拍摄被摄体m2。
[0131]
因此，校正镜头区域指定单元236可以生成指示比基础镜头所指示的身体部位更多的身体部位的校正镜头。例如，校正镜头区域指定单元236可以生成指示面部、胸部和腰部的校正镜头。在这种情况下，校正镜头区域指定单元236可以根据校正镜头来指定包括主要被摄体m1的腰部镜头的校正镜头区域82
‑
1，如图16b中所示。校正镜头区域82
‑
1大于图16a中所示的基础镜头区域81并且包括被摄体m2，使得满足关于部分切出的条件。
[0132]
作为另一种方法，校正镜头区域指定单元236可以生成校正镜头，该校正镜头指示
小于由基础镜头指示的边距的边距。例如，校正镜头区域指定单元236可以生成主要被摄体的右边距小于基础镜头的右边距的校正镜头。在这种情况下，如图16c中所示，校正镜头区域指定单元236可以根据校正镜头来指定包括主要被摄体m1而不包括被摄体m2的校正镜头区域82
‑
2。
[0133]
‑
当边距中存在偏差时
‑
[0134]
当基础镜头区域不满足关于构图平衡的条件时，校正镜头区域指定单元236生成水平方向或垂直方向上的边距尺寸不同于基础镜头的边距尺寸的校正镜头。在下文中，将参考图17描述避免边距偏差的示例。
[0135]
图17是图示避免边距偏差的示例的说明图。在图17a中所示的示例中，偏向主要被摄体m1的左边的边距s在基础镜头区域83中，因此构图平衡差。在这种情况下，校正镜头区域指定单元236可以生成左边距比基础镜头小并且右边距比基础镜头大的校正镜头。然后，校正镜头区域指定单元236可以根据校正镜头来指定避免了边距偏差的校正镜头区域84，如图17b中所示。
[0136]
‑
当像素数量不足时
‑
[0137]
当基础镜头区域不满足关于像素数量的条件时，校正镜头区域指定单元236生成指示与由基础镜头指示的主要被摄体的身体部位或间距不同的身体部位或间距的校正镜头。根据校正镜头指定的校正镜头区域的尺寸与基础镜头区域的尺寸不同。因此，可以避免像素数量的缺少。在下文中，将参考图18描述避免像素数量不足的示例。
[0138]
图18是图示避免像素数量不足的示例的说明图。在图18a中所示的示例中，基础镜头指示面部和胸部作为被摄体的身体部位，并且基础镜头区域85包括作为主要被摄体的被摄体m1的半身镜头。但是，基础镜头区域85相对于uhd捕获图像的尺寸小，并且基础镜头区域85的像素数量小于阈值。
[0139]
因此，校正镜头区域指定单元236可以生成指示比由基础镜头指示的身体部位更多的身体部位的校正镜头。例如，校正镜头区域指定单元236可以生成指示整个身体的校正镜头。在这种情况下，校正镜头区域指定单元236可以根据校正镜头来指定包括主要被摄体m1的完整镜头的校正镜头区域86，如图18b中所示。由于校正镜头区域86的像素数量大于基础镜头区域85的像素数量和阈值，因此可以保证足够的分辨率。
[0140]
(2
‑
4.镜头的连续评估)
[0141]
当针对每个帧图像改变由镜头选择单元244选择的镜头时，由构图框设置单元248设置的构图框不稳定。因此，当镜头选择单元244选择基础镜头或校正镜头时，评估单元240根据所选择的镜头来连续评估镜头区域的质量。然后，镜头选择单元244维持镜头的选择，直到根据所选择的镜头的镜头区域不满足质量条件为止。镜头选择单元244在镜头区域不满足质量条件之后，选择基础镜头或由校正镜头区域指定单元236新生成的校正镜头。在下文中，将参考图19描述连续评估镜头的具体示例。
[0142]
图19是图示镜头的连续评估的具体示例的说明图。在图19a中所示的示例中，由于基础镜头区域91不满足关于部分切出的条件，因此镜头选择单元244针对包括被摄体m2的校正镜头区域92选择校正镜头，使得关于部分切出的条件被满足，如图19b中所示。此后，镜头选择单元244维持对校正镜头的选择，并且评估单元240连续评估图19c中所示的校正镜头区域93等。
[0143]
如图19d中所示，当校正镜头区域94由于被摄体m2的部分切出而不满足关于部分切出的条件时，镜头选择单元244重新选择镜头。具体而言，当基础镜头区域指定单元232所指定的基础镜头区域满足关于部分切出的条件时，镜头选择单元244选择基础镜头。当由校正镜头区域指定单元236指定的新的校正镜头区域满足关于部分切出的条件时，选择新的校正镜头。在图10e中，镜头选择单元244选择基础镜头，并且图示了满足关于部分切出的条件的基础镜头区域95。
[0144]
在这种配置中，可以实现镜头的稳定并且以高质量维持镜头区域。
[0145]
(2
‑
5.当未获得识别结果时)
[0146]
在一些情况下，通过图像识别单元228对uhd捕获图像的识别处理无法识别基础镜头所指示的主要被摄体。当在镜头选择单元244未选择镜头的状态下未识别出主要被摄体时，构图框设置单元248在配准基础镜头时在处理框的位置处设置构图框。另一方面，当在镜头选择单元244维持镜头的选择的状态下未识别出主要被摄体时，维持在最近的帧图像中设置的构图框。因此，当识别出主要被摄体时，构图框设置单元248平滑地移动构图框的位置，使得主要被摄体被包括在构图框中。在下文中，将参考图20描述当没有获得识别结果时设置构图框的具体示例。
[0147]
图20是图示当未获得识别结果时设置构图框的具体示例的说明图。在图20a中所示的帧图像中，基础镜头所指示的主要被摄体m1未被识别，并且构图框设置单元248在基础镜头配准时将构图框96设置在处理框的位置。此后，当维持构图框96的位置直到识别出主要被摄体m1为止并且主要被摄体m1已被识别时，构图框设置单元248根据基础镜头或校正镜头使构图框朝包括主要被摄体m1的构图框97平滑地移动，如图20b中所示。
[0148]
在这种配置中，即使当识别出主要被摄体的帧图像和未识别出主要被摄体的帧图像一起存在时，也可以实现跨帧图像的自然裁剪。
[0149]
<3.切换器的操作>
[0150]
上面已经描述了根据本公开的实施例的切换器20中与裁剪处理相关的配置。接下来，将描述根据本公开的实施例的切换器20的操作。
[0151]
(3
‑
1.基础镜头的配准操作)
[0152]
图21是图示基础镜头配准操作的流程图。如图21中所示，在其中未手动指定处理框的方法中(s304/否)，基础镜头配准单元220对uhd捕获图像执行识别处理(s308)。然后，基础镜头配准单元220基于识别结果自动生成用于处理框的候选(s312)。此后，用户选择处理框(s316)。当确认选择(s320/是)时，用户指定相机工作(s344)。然后，基础镜头配准单元220将用户选择的处理框中包括的主要被摄体、处理框相对于包括在处理框中的主要被摄体的身体部位的相对位置和尺寸(间距)、处理框中包括的被摄体的身体部位以及指示用户指定的相机工作的基础镜头配准在基础镜头存储单元224中(s348)。
[0153]
另一方面，在手动指定处理框和被摄体的方法中(s304/是，s324/是)，用户在uhd捕获图像中指定被摄体和身体部位(s328)，并且用户还指定处理框(s332)。当用户指定相机工作时(s344)，基础镜头配准单元220将由用户选择的指定的主要被摄体、身体部位、处理框相对于身体部位的相对位置和尺寸以及指示用户指定的相机工作的基础镜头配准在基础镜头存储单元224中(s348)。
[0154]
在手动指定处理框(s304/是)而未手动指定被摄体(s324/否)的方法中，当用户指
定处理框时(s336)，基础镜头配准单元220将最接近处理框的重心的被摄体指定为主要被摄体，并指定包括在处理框中的主要被摄体的身体部位(s340)。当用户指定相机工作时(s344)，基础镜头配准单元220将指定的主要被摄体、处理框相对于指定的身体部位的相对位置和尺寸(间距)、指定的身体部位，以及由用户指定的相机工作的基础镜头配准在基础镜头存储单元224中(s348)。
[0155]
(3
‑
2.裁剪操作)
[0156]
图22是图示裁剪操作的流程图。首先，图像识别单元228对从uhd成像设备10输入的uhd捕获图像执行图像识别，并且执行对被摄体的检测、跟踪等(s404)。然后，基础镜头区域指定单元232根据基础镜头存储单元224中存储的基础镜头并使用来自图像识别单元228的识别结果从uhd捕获图像中指定基础镜头区域(s408)。随后，校正镜头区域指定单元236校正存储在基础镜头存储单元224中的基础镜头、生成校正镜头，并根据校正镜头从uhd捕获图像中指定校正镜头区域(s412)。
[0157]
然后，评估单元240评估由基础镜头区域指定单元232所指定的基础镜头区域是否满足质量条件，并且镜头选择单元244基于来自评估单元240的评估结果选择基础镜头或由校正镜头区域指定单元236生成的校正镜头(s416)。
[0158]
随后，构图框设置单元248基于镜头选择单元244选择的镜头，在uhd捕获图像中设置构图框(s420)。然后，相机工作设置单元252在由构图框设置单元248设置的构图框中设置由镜头选择单元244选择的镜头指示的相机工作(s424)。此外，裁剪单元256裁剪包括在应用相机工作的构图框中的hd图像(s428)。
[0159]
此后，直到来自uhd成像设备10的uhd捕获图像的输入结束(s432)为止，切换器20执行要参考图23描述的循环处理(s500)。
[0160]
图23是图示循环处理的流程图。首先，图像识别单元228对从uhd成像设备10依次输入的uhd捕获图像执行图像识别，并执行被摄体的检测、跟踪等(s504)。然后，评估单元240评估基于由镜头选择单元244选择的镜头的镜头区域是否满足质量条件(s508)。
[0161]
当镜头区域满足质量条件(s512/是)时，构图框设置单元248基于由镜头选择单元244选择的镜头来设置构图框(s528)。然后，相机工作设置单元252在由构图框设置单元248设置的构图框中设置由镜头选择单元244选择的镜头指示的相机工作(s532)。此外，裁剪单元256裁剪应用了相机工作的构图框中包括的hd图像(s536)。
[0162]
相反，当镜头区域不满足质量条件(s512/否)时，基础镜头区域指定单元232根据存储在基础镜头存储单元224中的基础镜头从uhd捕获图像中指定基础镜头区域(s516)。校正镜头区域指定单元236校正存储在基础镜头存储单元224中的基础镜头、生成校正镜头，并根据校正镜头从uhd捕获图像中指定校正镜头区域(s520)。然后，评估单元240评估由基础镜头区域指定单元232指定的基础镜头区域是否满足质量条件，并且镜头选择单元244基于来自评估单元240的评估结果选择基础镜头或由校正镜头区域指定单元236生成的校正镜头(s524)。此后，执行上述s528至s536的处理。
[0163]
<4.结论>
[0164]
如上所述，根据本公开的实施例，可以自动设置合适的构图框，使得被摄体被跟随。此外，通过与根据每个镜头指定的镜头区域的质量相应地选择用于设置构图框的镜头，可以维持构图框的质量。例如，根据本公开的实施例，可以从诸如部分切出、构图平衡或像
素数量的观点来设置合适的构图框。即，根据本公开的实施例，可以显著减少用户设置合适的构图框的工作，并且即使在被摄体正在移动时，也可以根据被摄体的运动来设置合适的构图框。
[0165]
已经描述了本公开的实施例。在下文中，将描述本公开的实施例的几个变形例。下面将描述的每个变形例可以单独地应用于本公开的实施例，或者可以组合地应用于本公开的实施例。每个变形例可以代替本公开的实施例中描述的配置来应用，或者可以附加地应用于本公开的实施例中描述的配置。
[0166]
例如，根据本说明书的切换器20的处理中的每个步骤可以不必按序列图或流程图中描述的顺序按时间顺序进行处理。例如，切换器20的处理中的每个步骤可以以与流程图中描述的顺序不同的顺序来处理，或者可以并行地处理。
[0167]
用于实现与上述切换器20的配置相同功能的计算机程序可以在诸如内置在切换器20中的cpu、rom和ram之类的硬件中生成。还提供了存储计算机程序的存储介质。
[0168]
本说明书中描述的有利效果仅仅是说明性或示例性的，并且不受限制。即，在根据本公开的技术中，除前述有益效果之外或代替前述有益效果，可以从本说明书的描述中获得对本领域技术人员显而易见的其它有益效果。
[0169]
以下配置属于本公开的技术范围。
[0170]
(1)
[0171]
一种图像处理设备，包括：
[0172]
评估单元，被配置为评估捕获图像的第一区域是否满足质量条件；以及
[0173]
构图框设置单元，被配置为根据第一区域的评估结果对捕获图像设置不同的构图框。
[0174]
(2)
[0175]
(1)中所述的图像处理设备，还包括：
[0176]
第一区域指定单元，被配置为根据第一规则来指定第一区域；
[0177]
第二区域指定单元，被配置为根据第二规则来指定捕获图像的第二区域；以及
[0178]
规则选择单元，被配置为基于第一区域是否满足质量条件来选择第一规则或第二规则；
[0179]
构图框设置单元基于由规则选择单元选择的规则来设置构图框。
[0180]
(3)
[0181]
(2)中所述的图像处理设备，其中
[0182]
包括第一规则和第二规则的每条规则都与应该被包含在要指定的区域中的主要被摄体相关，并且
[0183]
评估单元考虑根据每条规则指定的区域中其它被摄体的存在来评估所述区域是否满足质量条件。
[0184]
(4)
[0185]
(3)中所述的图像处理设备，其中
[0186]
质量条件包括关于其它被摄体的部分切出的条件，并且，
[0187]
评估单元基于其它被摄体的部分切出的程度评估区域是否满足关于部分切出的条件。
[0188]
(5)
[0189]
(4)中所述的图像处理设备，其中，评估单元基于区域中包括的其它被摄体的面部以及区域中包括的面部范围小于整个面部的预定比例，来评估区域不满足关于部分切出的条件。
[0190]
(6)
[0191]
(4)或(5)中所述的图像处理设备，其中，当区域中的其它被摄体的尺寸小于区域中的主要被摄体的尺寸的预定比例时，不论其它被摄体的部分切除的程度如何，评估单元都评估为区域满足关于部分切出的条件。
[0192]
(7)
[0193]
(4)至(6)中的任一项所述的图像处理设备，其中，当第一区域不满足关于部分切出的条件时，第二区域指定单元指定包括其它被摄体并且满足关于部分切出的条件的区域作为第二区域。
[0194]
(8)
[0195]
(4)至(6)中的任一项所述的图像处理设备，其中，当第一区域不满足关于部分切出的条件时，第二区域指定单元指定不包括其它被摄体的区域作为第二区域。
[0196]
(9)
[0197]
(7)或(8)中所述的图像处理设备，其中
[0198]
每条规则都与应该被包括在区域中的主要被摄体的身体部位相关，并且
[0199]
第二区域指定单元将指示与由第一规则指示的身体部位不同的身体部位的规则设置为第二规则，并且根据第二规则来指定第二区域。
[0200]
(10)
[0201]
(7)或(8)中所述的图像处理设备，其中
[0202]
每条规则与主要被摄体在水平方向或垂直方向上的边距的尺寸相关，并且
[0203]
第二区域指定单元将指示与第一规则所指示的边距不同的边距的规则设置为第二规则，并根据第二规则指定第二区域。
[0204]
(11)
[0205]
(3)至(10)中的任一项所述的图像处理设备，其中
[0206]
每条规则都与主要被摄体在水平方向或垂直方向上的边距的尺寸相关，
[0207]
质量条件包括关于区域中的主要被摄体和其它被摄体在水平方向或垂直方向上的边距的偏差的条件，以及
[0208]
评估单元将主要被摄体和其它被摄体在水平方向或垂直方向上的边距存在偏差的区域评估为不满足关于边距偏差的条件。
[0209]
(12)
[0210]
(11)中所述的图像处理设备，其中，当在第一区域中主要被摄体和其它被摄体在水平方向或垂直方向上的边距存在偏差时，第二区域指定单元指定偏差减小的区域作为第二区域。
[0211]
(13)
[0212]
(3)至(8)中的任一项所述的图像处理设备，其中
[0213]
质量条件包括关于区域的像素数量的条件，以及
[0214]
评估单元将像素数量小于阈值的区域评估为不满足关于像素数量的条件。
[0215]
(14)
[0216]
(13)中描述的图像处理设备，其中
[0217]
每条规则都与应该被包括在区域中的主要被摄体的身体部位相关，并且，
[0218]
当第一区域的像素数量小于阈值时，第二区域指定单元将像素数量大于阈值的区域指定为第二区域。
[0219]
(15)
[0220]
(2)至(14)中的任一项所述的图像处理设备，其中
[0221]
捕获图像是运动图像，并且
[0222]
规则选择单元关于运动图像中包括的一个帧图像在第一区域不满足质量条件并且第二区域满足质量条件时选择第二规则，关于该一个帧图像之后的帧图像维持第二规则的选择直到根据第二规则指定的第二区域不再满足质量条件，并且在第二区域不满足质量条件之后，选择第一规则或新的第二规则。
[0223]
(16)
[0224]
(15)中所述的图像处理设备，其中，构图框设置单元在未从捕获图像中识别出主要被摄体的帧图像中维持在最接近的帧图像中设置的构图框。
[0225]
(17)
[0226]
(1)至(16)中的任一项所述的图像处理设备，还包括：切割单元，被配置为从捕获图像中切割由构图框设置单元设置的构图框中包括的图像。
[0227]
(18)
[0228]
(1)至(17)中的任一项所述的图像处理设备，其中，关于包括在捕获图像中的多个第一区域中的每个第一区域，执行包括评估单元和构图框设置单元的每种配置中的处理，以对捕获图像设置多个构图框。
[0229]
(19)
[0230]
一种程序，使计算机用作：
[0231]
评估单元，被配置为评估捕获图像的第一区域是否满足质量条件；以及
[0232]
构图框设置单元，被配置为根据第一区域的评估结果对捕获图像设置不同的构图框。
[0233]
(20)
[0234]
一种图像处理方法，包括：
[0235]
由处理器评估捕获图像的第一区域是否满足质量条件；以及
[0236]
根据第一区域的评估结果对捕获图像设置不同的构图框。
[0237]
[参考符号列表]
[0238]
10
ꢀꢀ
udh成像设备
[0239]
20
ꢀꢀ
切换器
[0240]
30
ꢀꢀ
操作终端
[0241]
211 端子组
[0242]
212 声音操作单元
[0243]
214 图像选择单元
[0244]
215 基础镜头选择单元
[0245]
216 输出图像切换单元
[0246]
220 基础镜头配准单元
[0247]
224 基础镜头存储单元
[0248]
228 图像识别单元
[0249]
232 基础镜头区域指定单元
[0250]
236 校正镜头区域指定单元
[0251]
240 评估单元
[0252]
244 镜头选择单元
[0253]
248 构图框设置单元
[0254]
252 相机工作设置单元
[0255]
256 裁剪单元