图像处理装置、图像处理方法和程序与流程

图像处理装置、图像处理方法和程序
1.相关申请的交叉引用
2.本技术要求于2019年9月27日提交的日本优先专利申请jp 2019-177627的优先权，其全部内容通过引用并入在本文中。
技术领域
3.本技术涉及图像处理装置、图像处理方法和程序，更特别地，涉及关于合成移动物体的提取图像与其他图像的处理的技术领域。


背景技术：

4.对于合成多个图像的图像合成处理，提出了各种技术。
5.例如，以下的ptl 1公开了关于被摄物体提取和与背景图像的合成处理的技术。
6.[引文列表]
[0007]
[专利文献]
[0008]
[ptl 1]jp 2013-3990a


技术实现要素：

[0009]
[技术问题]
[0010]
在设备具有从移动图像中提取移动物体以及合成提取图像与其他图像的功能的情况下，该设备检测存在于图像的帧中的移动物体，并提取作为移动物体的被摄物体的像素范围。在这种情况下，该设备可能提取额外的物品，尽管期望的是该设备只提取图像中的特定被摄物体。
[0011]
例如，设想对在室内进行表演或做出演示的表演者进行成像，并合成捕捉的图像与其他图像的情况。在这种情况下，期望的是从捕捉的图像中仅提取作为移动物体的表演者。由于在成像现场只有表演者移动，因此通常只提取表演者的图像。
[0012]
然而，例如，在某种移动物体的图像被反射到在表演者后面的窗玻璃上的情况下(例如，在窗帘移动等的情况下)，该图像或窗帘作为移动物体从捕捉的图像中被提取出来。然后，此类不需要的移动物体也被合成到合成图像中，从而不能创建期望的图像。
[0013]
另一方面，例如，可以通过识别在图像中出现的所有物体，并且只提取诸如人物之类的特定被摄物体来排除上述窗帘等。然而，这种处理增加了处理的负担，并且只能由具有高处理能力的设备来执行。
[0014]
于是，本公开提出用于通过更简单的处理，防止将不需要的移动物体提取为要合成的图像的技术。
[0015]
[问题的解决方案]
[0016]
按照本技术的图像处理装置包括移动物体提取单元，所述移动物体提取单元被配置为关于移动物体提取对象图像，生成通过在除遮蔽区域以外的区域中提取移动物体的图像而获得的提取图像，所述遮蔽区域被设定为不从中提取要用于合成的图像的区域；和图
像合成单元，所述图像合成单元被配置为进行合成提取图像与其他图像的处理。
[0017]
移动物体提取对象图像是对其进行移动物体提取处理的对象图像数据。例如，由相机捕捉并输入的图像被设定为移动物体提取对象图像。关于该图像，进行移动物体检测，并提取诸如人物之类的被确定为移动物体的被摄物体的图像。将提取的移动物体的图像与其他图像合成。在这种情况下，在移动物体提取对象图像中，使得可以设定其中不提取作为要用于合成的移动物体图像的图像的遮蔽区域。
[0018]
在按照本技术的上述图像处理装置中，可以想到的是，移动物体提取单元从移动物体提取对象图像中，提取被设定为从中提取要用于合成的图像的区域的绝对提取区域的图像，而不管物体是否是移动物体，并且生成提取图像。
[0019]
例如，存在不管物体是否是移动物体，都期望将由相机捕捉和输入的图像添加到合成图像中的情况。例如，将图像上存在此类物体的区域设定为绝对提取区域，并且使其被提取为用于合成处理的对象，而不管被摄物体的图像是否是移动物体。
[0020]
在按照本技术的上述图像处理装置中，可以想到的是包括用户界面控制单元，所述用户界面控制单元被配置为在画面(screen)上控制遮蔽区域的位置、形状或尺寸的设定。
[0021]
例如，在显示移动物体提取对象图像和其他图像的画面上，用户可以通过操作来确定遮蔽区域的位置，或者确定遮蔽区域的形状或尺寸。
[0022]
在按照本技术的上述图像处理装置中，可以想到的是所述用户界面控制单元在显示移动物体提取对象图像与其他图像的合成图像的画面上，控制遮蔽区域的位置、形状或尺寸的设定。
[0023]
例如，在显示合成图像用于预览的画面上，用户可以通过操作来确定遮蔽区域的位置，或者确定遮蔽区域的形状或尺寸。
[0024]
在按照本技术的上述图像处理装置中，可以想到的是包括用户界面控制单元，所述用户界面控制单元被配置为在画面上控制绝对提取区域的位置、形状或尺寸的设定。
[0025]
例如，在显示移动物体提取对象图像和其他图像的画面上，用户可以通过操作来确定绝对提取区域的位置，或者确定绝对提取区域的形状或尺寸。
[0026]
在按照本技术的上述图像处理装置中，可以想到的是所述用户界面控制单元在显示移动物体提取对象图像与其他图像的合成图像的画面上，控制绝对提取区域的位置、形状或尺寸的设定。
[0027]
例如，在显示合成图像用于预览的画面上，用户可以通过操作来确定绝对提取区域的位置，或者确定绝对提取区域的形状或尺寸。
[0028]
在按照本技术的上述图像处理装置中，可以想到的是所述用户界面控制单元按照对移动物体提取对象图像与其他图像的合成图像的操作来改变图像合成比率。
[0029]
在为了设定遮蔽区域而显示的合成图像中，例如相对于其他图像，可以通过用户的操作来改变移动物体提取对象图像的合成比率。例如，可以改变其中移动物体提取对象图像清晰地出现、淡淡地出现或者消失的显示状态。
[0030]
当然，在为了设定绝对提取区域而显示的合成图像中，可以类似地改变合成比率。
[0031]
在按照本技术的上述图像处理装置中，可以想到的是包括用户界面控制单元，所述用户界面控制单元被配置为在画面上控制遮蔽区域和绝对提取区域中的一者或两者的
位置、形状或尺寸的设定，并且所述用户界面控制单元使在画面上指示遮蔽区域的显示和在画面上指示绝对提取区域的显示处于不同的显示模式。
[0032]
例如，在画面上通过框显示或半透明区域显示来呈现遮蔽区域和绝对提取区域的范围。此时，使表示各个区域的显示的显示模式不同。例如，使框的范围的颜色、框线的类型(实线、虚线、波浪线、双线、粗线、细线等)、或者区域的颜色、亮度、透明度等不同。
[0033]
在按照本技术的上述图像处理装置中，可以想到的是包括用户界面控制单元，所述用户界面控制单元被配置为在画面上控制遮蔽区域和绝对提取区域中的一者或两者的位置、形状或尺寸的设定，并且所述用户界面控制单元进行限制设定操作的处理，以便不造成遮蔽区域和绝对提取区域的重叠。
[0034]
例如，在画面上，通过用遮蔽框和绝对提取框来显示遮蔽区域和绝对提取区域，使遮蔽区域和绝对提取区域可以任意设定。但是，这样的操作在由于操作而发生重叠的情况下受到限制。
[0035]
在按照本技术的上述图像处理装置中，可以想到的是所述用户界面控制单元控制其他图像的设定。
[0036]
即，提供用于选择例如背景图像作为要与移动物体提取对象图像合成的其他图像的环境。
[0037]
在按照本技术的上述图像处理装置中，可以想到的是所述图像合成单元能够输出提取图像与其他图像的合成图像，并且还能够输出合成图像的左右翻转图像。
[0038]
例如，所述图像合成单元在输出作为合成图像的图像数据的同时，输出左右翻转图像作为其他系统的输出。
[0039]
在按照本技术的上述图像处理装置中，可以想到的是所述图像合成单元能够输出提取图像与其他图像的合成图像，并且还能够输出提取图像。
[0040]
例如，所述图像合成单元在输出作为合成图像的图像数据的同时，输出提取图像作为其他系统的输出。
[0041]
在按照本技术的上述图像处理装置中，可以想到的是包括用户界面控制单元，所述用户界面控制单元被配置为控制合成图像的左右翻转图像的输出。
[0042]
用户可以选择是否使图像处理装置执行左右翻转图像的输出。
[0043]
在按照本技术的上述图像处理装置中，可以想到的是包括用户界面控制单元，所述用户界面控制单元配置为控制提取图像的输出。
[0044]
用户可以选择是否使图像处理装置只执行在移动物体提取单元中生成的提取图像的输出。
[0045]
在按照本技术的上述图像处理装置中，可以想到的是移动物体提取对象图像是相机所捕捉的图像。
[0046]
即，关于相机所捕捉的图像，提取移动物体，并且在合成图像中反映该移动物体。
[0047]
在按照本技术的上述图像处理装置中，可以想到的是其他图像之一是背景图像。
[0048]
即，准备背景图像并将背景图像与移动物体提取对象图像合成。
[0049]
在按照本技术的上述图像处理装置中，可以想到的是能够输入多个系统的图像，移动物体提取对象图像是在一个系统中输入的相机所捕捉的图像，而其他图像之一是在其他系统中输入的输入图像。作为其他输入系统，例如，可以使用于表演者的说明的其他图像
是可合成的。
[0050]
在按照本技术的上述图像处理装置中，可以想到的是其他图像之一是徽标图像。
[0051]
即，准备徽标图像并将徽标图像与移动物体提取对象图像合成。
[0052]
按照本技术的图像处理方法包括关于移动物体提取对象图像，生成通过在除遮蔽区域以外的区域中提取移动物体的图像而获得的提取图像，所述遮蔽区域被设定为不从中提取要用于合成的图像的区域，和进行合成提取图像与其他图像的处理。
[0053]
结果，从用于合成的提取对象中排除遮蔽区域中的移动物体。
[0054]
按照本技术的程序是使此类图像处理装置执行此类图像处理方法的程序。例如，所述程序使作为内置于所述图像处理装置中的控制单元的算术处理单元执行所述图像处理方法。结果，各种图像处理装置可以执行本技术的处理。
附图说明
[0055]
[图1]图1是按照本技术的实施例的合成图像的说明图。
[0056]
[图2]图2是按照实施例的合成图像的层配置的说明图。
[0057]
[图3]图3是按照实施例的图像处理装置的框图。
[0058]
[图4]图4是按照实施例的图像处理装置的功能配置的说明图。
[0059]
[图5]图5是按照实施例的设定处理的流程图。
[0060]
[图6]图6是按照实施例的遮蔽区域设定处理的流程图。
[0061]
[图7]图7是按照实施例的绝对提取区域设定处理的流程图。
[0062]
[图8]图8是按照实施例的在设定画面上显示背景图像的状态的说明图。
[0063]
[图9]图9是按照实施例的在设定画面上显示另一个背景图像的状态的说明图。
[0064]
[图10]图10是按照实施例的在设定画面上布置画面区域的状态的说明图。
[0065]
[图11]图11是按照实施例的相机图像的说明图。
[0066]
[图12]图12是按照实施例的在设定画面上进行的区域设定的说明图。
[0067]
[图13]图13是按照实施例的在设定画面上进行透过率操作时的说明图。
[0068]
[图14]图14是按照实施例的在设定画面上执行透过率操作时的说明图。
[0069]
[图15]图15是按照实施例的在设定画面上设定的遮蔽区域和绝对提取区域的说明图。
[0070]
[图16]图16是实施例的合成处理的流程图。
[0071]
[图17]图17a-17f是按照实施例的合成处理的关键图像生成处理的说明图。
[0072]
[图18]图18是按照实施例的输出监视器画面的说明图。
[0073]
[图19]图19是实施例的左右翻转图像的说明图。
[0074]
[图20]图20是按照实施例的只显示相机图像的说明图。
[0075]
[图21]图21是在实施例中通过遮蔽处理来进行物体识别的情况的流程图。
[0076]
[图22]图22是在实施例中通过绝对提取区域图像提取处理来进行物体识别的情况的流程图。
具体实施方式
[0077]
下文中，将按照以下顺序说明实施例。
[0078]
《1.合成图像的说明》
[0079]
《2.图像处理装置的配置》
[0080]
《3.设定处理和ui》
[0081]
《4.合成处理和ui》
[0082]
《5.进行物体识别情况下的处理例子》
[0083]
《6.结论和变形例》
[0084]
《1.合成图像的说明》
[0085]
图1例示通过本公开的技术制作的合成图像的例子。
[0086]
该合成图像基本上例如是在将某个图像设定为背景之后，通过合成相机所捕捉的表演者62的图像而获得的。
[0087]
此外，在这种情况下，在图像中设定画面区域61，并在画面区域61中显示与包含表演者62的图像不同的系统的图像。这里，例示了将花的图像与画面区域61合成的状态。
[0088]
结果，在此创建例示好像表演者62在由背景设定的场所中，在使用显示在画面区域61中的图像(画面图像)的同时进行演示一样的场景的合成图像。
[0089]
此外，徽标65的图像被合成并显示在图像中。
[0090]
图2例示这样的合成图像的层配置。
[0091]
在本例中，合成图像具有包括顶层l1、第二层l2、第三层l3和底层l3的4层配置。
[0092]
注意，按照本技术的合成图像不一定具有4层配置，并且合成图像可以具有至少2层配置。当然，可以采用3层配置，或者具有5层或更多层的层配置。
[0093]
顶层图像vl1显示在最前面的顶层l1上。在图1的例子中，徽标65的图像(下文中称为“徽标图像”)是顶层图像vl1。
[0094]
在图2中第二层图像vl2显示在第二层l2上。在图1的例子中，表演者62的图像是第二层图像vl2。例如，对相机所捕捉的表演者的图像进行移动物体提取处理，使得提取表演者62的图像并将其反映在合成图像中。
[0095]
注意，为了说明起见，相机所捕捉的图像也被称为“相机图像”。该“相机图像”特别指的是由在下面说明的图3中图解所示的相机11捕捉的输入到本实施例的图像处理装置1中的图像。
[0096]
对于相机图像的移动物体提取处理所提取的图像被表述为“提取图像ve”，并且与提取处理前的相机图像区别开来。
[0097]
在图2中第三层图像vl3显示在第三层l3上。将第三层图像vl3应用于如图1中图解所示设定在预定位置的画面区域61。
[0098]
显示在画面区域61中的图像被称为“画面图像”。
[0099]
画面图像可以是移动图像、静止图像、或者诸如伪移动图像或幻灯片之类的图像。
[0100]
画面图像的内容例如可以与作为合成图像创建的移动图像内容的目的相适应。作为画面图像，设想演示图像、讲课图像、产品说明图像、各种说明用图像等。不过，内容并无特别限制。
[0101]
底层图像vl4显示在底层l4上。作为底层图像vl4，使用充当背景的图像(下文中，“背景图像”)。例如，在图1的例子中，使用像新闻演播室的场景的背景图像。除上述图像以外，作为背景，设想表示诸如教室、图书馆、实验室、海滩、公园或闹市区之类的场所的图像。
或者，可以使用不是通常的自然空间的背景图像，诸如像蓝色背景的单色背景，或者几何图案。
[0102]
作为背景图像，设想静止图像。不过，可以使用移动图像、伪移动图像等。
[0103]
通过图层结构，制作其中表演者62在某个背景前使用画面图像进行演示并且公司、产品、组织者等的徽标65显示在前表面上的合成图像。
[0104]
《2.图像处理装置的配置》
[0105]
图3例示按照本实施例的用于制作如上所述的合成图像的图像处理装置1的配置。图3例示将与图像处理装置1连接在一起的外围设备的例子。
[0106]
作为图像处理装置1的外围设备，例示了相机11、个人计算机(下面表述为“pc”)12、图像源设备13、监视器/记录器14、确认监视器15和16、以及操作pc 17。这些外围设备是用于说明的例子。
[0107]
图像处理装置1包括中央处理器(cpu)2、图形处理器(gpu)3、闪速只读存储器(rom)4、随机存取存储器(ram)5、输入端子6(6-1，6-2，
…
和6-n)、输出端子7(7-1，7-2，
…
和7-m)、以及网络通信单元8。
[0108]
输入端子6包括从输入端子6-1到输入端子6-n的n个端子，并且可以输入n个系统的图像。每个输入端子6例如是高清多媒体接口(hdmi，注册商标)输入端子。当然，输入端子6不限于hdmi输入端子，并且可以是数字视频接口(dvi)端子、s端子、rgb端子、y/c端子等。
[0109]
例如，相机11连接到输入端子6-1，并且作为相机11所捕捉的相机图像的图像数据被输入。例如，作为移动图像成像，相机11捕捉表演者62。在本例中，将说明其中包含表演者62的相机图像在图像处理装置1中用作移动物体提取对象图像的例子。
[0110]
在本公开中，“移动物体提取对象图像”是指示其中图像处理装置1检测到移动物体并提取其图像的图像数据的术语。在本例中，从相机11供给的捕捉的图像(用作第二层l2的图像)被用作移动物体提取对象图像。不过，本例不限于该例子。
[0111]
例如，pc 12连接到输入端子6-2，并且从pc 12输入图像数据。例如，可以从pc12供给画面图像、背景图像、徽标图像等的图像数据。
[0112]
下文中，作为用于说明的例子，设想将在画面区域61中显示的画面图像的图像数据是从pc 12供给的。
[0113]
某种图像源设备13可以连接到另一个输入端子6-n，并且可以将用于图像合成的图像数据输入到输入端子6-n。
[0114]
哪种设备连接到从输入端子6-1到输入端子6-n的各个输入端子6是任意的，图3中的连接例子仅仅是例子。充当图像源的设备可以连接到各个输入端子6，使得输入要用于合成图像的图像。
[0115]
输出端子7包括从输出端子7-1到输出端子7-m的m个端子，并且能够输出m系统的图像。各个输出端子7例如是hdmi输出端子。当然，输出端子7不限于hdmi端子，并且可以是dvi端子、s端子、rgb端子、y/c端子等。
[0116]
例如，监视器/记录器14连接到输出端子7-1。这里，监视器/记录器14表示监视器设备、记录器设备或监视器和记录器设备。
[0117]
输出端子7-1是用于将合成结果作为将用作图像内容的主输出(所谓的主线图像)供给到监视器/记录器14的例子。从输出端子7-1输出的合成图像的图像数据作为图像内容
被显示在监视器/记录器14上，或者被记录在记录介质上。
[0118]
确认监视器15和16连接到输出端子7-2和7-m。图像处理装置1例如将要由图像制作人员和表演者62监视的图像数据从输出端子7-2和7-3输出到确认监视器15和16。因此，所述人员、表演者62等可以检查图像状态。
[0119]
哪种设备连接到从输出端子7-1到输出端子7-m的各个输出端子7是任意的，图3中的连接例子仅仅是例子。根据需要，监视器设备或记录器设备可以连接到各个输出端子7。此外，通信设备可以连接到输出端子7，并且能够将诸如合成图像之类的图像数据发送到外部设备。
[0120]
cpu 2进行用于控制图像处理装置1的整体操作的处理。
[0121]
gpu 3用作通用计算图形处理器(gpgpu)，以实现高速图像处理。
[0122]
ram 5临时存储图像提取和合成处理的图像处理结果。
[0123]
闪速rom 4存储限定cpu 2和gpu 3的处理操作的程序。此外，闪速rom 4用作诸如下面说明的遮蔽区域和绝对提取区域之类的各种设定值的存储区域。此外，闪速rom 4存储背景图像、徽标图像、画面图像等，并且可以起要合成的图像的来源的作用。
[0124]
网络通信单元例如被实现为rj45以太网连接器，并且进行网络通信。这里，例示经由网络与操作pc 17进行通信的例子。
[0125]
在这种情况下，经由网络操作图像处理装置1。图像处理装置1充当web服务器，并且操作者使用操作pc 17访问操作网页，并可以在操作网页上进行操作。为此目的，图像处理装置1经由网络通信单元8与操作pc 17进行网络连接，并通过tcp/ip进行通信。
[0126]
注意，经由网络的操作是例子。图像处理装置1可以具备操作元件，或者可以使用诸如键盘、鼠标、触摸面板、触控板或遥控器之类的操作设备将操作信息输入到图像处理装置1，或者可以在确认监视器15等上显示操作界面画面，使得工作人员可以在画面上执行操作。
[0127]
例如，图3中图解所示的图像处理装置1配备linux(注册商标)作为操作系统。
[0128]
由于网页被用作控制图像处理装置1的用户界面，因此http服务器正在运行中。操作pc 17的浏览器通过cgi与设备通信，解释cgi命令，并向图像处理程序发出指令。
[0129]
图像合成程序具有准备状态和执行状态两种状态，在准备状态下进行用于合成的各种设定，而在执行状态下合成输入的视频，并将合成结果图像输出到输出端子7。
[0130]
图4中例示了在这样的图像处理装置1中，通过作为cpu 2、gpu 3、闪速rom 4和ram 5的硬件配置，以及软件程序实现的处理功能。
[0131]
要实现的处理功能包括移动物体提取单元20、图像合成单元21、设定单元22和用户界面控制单元23。注意，下文中，术语“用户界面”被表述为“ui”。
[0132]
移动物体提取单元20从移动物体提取对象图像中进行移动物体提取。如上所述，例如，从相机11供给的捕捉的图像(相机图像)是移动物体提取对象图像的例子。
[0133]
对于移动物体提取对象图像，移动物体提取单元20从除被设定为不进行图像提取的区域的遮蔽区域以外的区域提取移动物体的图像。此外，移动物体提取单元20提取被设定为从中提取要用于合成的图像的区域的绝对提取区域的图像，而不管物体是否是移动物体。移动物体提取单元20基于提取结果生成提取图像ve，并将提取图像ve作为要用于合成处理的图像供给到图像合成单元21。
[0134]
移动物体提取单元20获取作为要输入到输入端子6-1的相机图像的图像数据，并将该图像数据设定为移动物体提取对象图像。然后，移动物体提取单元20在相机图像中提取移动物体和绝对提取区域的图像，并输出该图像作为提取图像ve。
[0135]
图像合成单元21进行合成来自移动物体提取单元20的提取图像ve与其他图像的处理。作为所述其他图像，设想徽标图像(顶层图像vl1)、画面图像(第三层图像vl3)或背景图像(底层图像vl4)。
[0136]
例如，图像合成单元21将通过输入端子6-2输入的图像，和作为从闪速rom 4读取的图像的画面图像、背景图像及徽标图像与充当第二层图像vl2的提取图像ve进行合成。
[0137]
然后，图像合成单元21将生成的合成图像等，例如作为输出图像vout1、vout2和voutm从输出端子7-1、7-2和7-m输出。即，图像合成单元21能够输出多个系统的图像数据。
[0138]
输出图像vout1、vout2和voutm中的每一个是合成图像、预览图像或下面说明的左右翻转图像。另外，输入到图像合成单元21的图像(诸如提取图像ve)，可以原样用作输出图像。
[0139]
ui控制单元23例如通过使用网页，准备下面将说明的设定画面50和输出监视器画面80，并且使操作者(例如操作pc 17的用户)可以在设定画面50上进行操作。此外，ui控制单元23获取操作信息，并进行在画面上反映操作内容的处理。特别地，ui控制单元23使操作者能够执行用于设定遮蔽区域和绝对提取区域的操作。
[0140]
设定单元22具有将用户通过在ui控制单元23提供的设定画面50上的操作所设定的设定信息存储在例如闪速rom 4中的功能。
[0141]
设定信息例如包括遮蔽区域和绝对提取区域的设定信息、背景图像的选择信息、画面区域61的设定、徽标图像的选择信息等。
[0142]
在上述功能中，例如，可以想到的是，移动物体提取单元20和图像合成单元21的功能主要由gpu 3实现，而ui控制单元23和设定单元22的功能主要由cpu 2执行。不过，当然，所有的功能可以主要由cpu 2实现，或者可以主要由gpu 3实现。可以使用任意硬件配置，只要能够执行各功能的处理即可。
[0143]
《3.设定处理和ui》
[0144]
将说明由具有以上配置的图像处理装置1实现的操作。当图3中的图像处理装置1具有图4中的功能时，执行下面说明的处理。
[0145]
首先，参考图5、6和7说明设定处理。设定处理是在上述准备状态下进行的处理。
[0146]
主要的处理内容如下。
[0147]
a)选择背景视频
[0148]
b)画面区域61的设定
[0149]
c)遮蔽区域的设定
[0150]
d)绝对提取区域的设定
[0151]
e)徽标图像的选择以及布置位置和尺寸的设定
[0152]
通过设定上述项目，图层结构变成图2中图解所示的图层结构。
[0153]
特别地，在本实施例中，可以进行上述c)遮蔽区域的设定和上述d)绝对提取区域的设定，并且在设定时，可以一边与相机图像比较，一边调整这些区域的位置、形状和尺寸。
[0154]
在设定处理中，图像处理装置1(cpu 2或gpu 3)通过ui控制单元23的功能，在图5
的步骤s100中向用户提供设定画面50，并在步骤s101、s102、s103、s104、s105、s106和s107中检查用户操作的同时，响应操作执行需要的处理。
[0155]
图8例示图像处理装置1在步骤s100中提供的用于用户操作的设定画面50的例子。
[0156]
在设定画面50上，准备了输入显示部51、背景选择部52、区域设定描述部53、透过率调整条54、预览区域55、遮蔽区域复选框56、绝对提取区域复选框57、保存按钮58、画面区域复选框59和徽标选择部60。注意，这样的设定画面仅仅是例子，而用于操作的显示内容等并不限于这个例子。
[0157]
预览区域55在设定处理中适当地显示输入图像、背景图像、合成图像等。用户可以在预览区域55中确认图像的同时继续进行各种设定。
[0158]
输入显示部51将连接到输入端子6-1、6-2等的设备或信号类型显示为输入1、输入2等。例如，使用信号类型、连接设备的型号名称等，显示作为输入1的输入到输入端子6-1的来自相机11的图像信号和作为输入2的输入到输入端子6-2的来自pc 12的图像信号。
[0159]
背景选择部52例如具有下拉菜单格式，并且通过从下拉菜单中选择背景图像名称，可以选择背景图像。
[0160]
类似地，徽标选择部60例如具有下拉菜单格式，并且通过从下拉菜单中选择徽标图像名称，可以选择徽标图像。
[0161]
设置画面区域复选框59，以打开/关闭画面区域61。例如，通过勾选画面区域复选框59，将画面区域61显示在预览区域55上，如图10中图解所示。
[0162]
显示在画面区域61上的图像例如作为输入2呈现在输入显示部51中。例如，从pc 12供给的图像数据是hdmi图像数据，该hdmi图像数据将是画面图像。
[0163]
区域设定描述部53描述遮蔽区域和绝对提取区域。
[0164]
遮蔽区域是其中不提取用于合成的移动物体图像的区域。即，即使遮蔽区域中的被摄物体图像是移动物体，该被摄体图像也不包含在提取图像ve中。
[0165]
例如，在通过移动物体提取方法从相机图像中提取合成对象的情况下，由于窗户的反射、窗帘的移动等，可能会提取出意外的物体。为了防止这种提取，通过预先指定不提取移动物体的遮蔽区域，可以避免提取不需要的物体。
[0166]
遮蔽区域可以由用户任意设定。在本例中，用户可以在预览区域55的画面上任意设定遮蔽区域的位置、尺寸和形状。
[0167]
相反，绝对提取区域是其中不管物体图像是否是移动物体，即，即使物体图像是静止物体，该物体图像也包含在提取图像ve中的区域。例如，存在以下这样的物体图像：由于物体图像不是移动物体，因而通常不会被移动物体提取处理所提取，但是期望将该物体图像包含在合成图像中。例如，在表演者62附近存在物体并且期望该物体连同表演者62一起需要被捕捉该物体的情况下，使用绝对提取区域。
[0168]
该绝对提取区域也可以由用户任意设定。在本例中，类似于遮蔽区域，用户可以在预览区域55的画面上任意设定绝对提取区域的位置、尺寸和形状。
[0169]
准备4个复选框(“遮蔽区域1”～“遮蔽区域4”)作为遮蔽区域复选框56，并且准备4个复选框(“绝对提取区域1”～“绝对提取区域4”)作为绝对提取区域复选框57。
[0170]
当用户勾选复选框时，对应的遮蔽区域或绝对提取区域出现在预览区域55中。在本例中，可以设定最多4个遮蔽区域和最多4个绝对提取区域。
[0171]
透过率调整条54是用于调整显示在预览区域55中的相机图像的透过率的操作元件。在这种情况下，透过率可以被解释为例如与背景图像等的α混合(alpha blending)处理的混合比。
[0172]
例如，通过提供诸如作为网页的设定画面50，用户可以使用操作pc 17来进行操作。
[0173]
在设定处理中，用户首先设定背景图像。
[0174]
当检测到用户设定背景图像的操作时，图像处理装置1使处理从图5中的步骤s101前进到步骤s110，并设定用作底层图像vl4的背景图像。然后，在步骤s170，图像处理装置1执行用于在预览区域55中显示与背景设定相应的预览图像的控制。
[0175]
具体地，当用户通过操作背景选择部52从下拉菜单中选择特定背景时，图像处理装置1将所选背景的背景图像设定为底层图像vl4。例如，准备诸如“演播室”、“教室”、“实验室”、“图书馆”和“公园”之类的背景图。作为选择候选项的这些背景图像例如是存储在闪速rom 4中的图像，或者可以从pc 12或其他图像源设备13获取的图像。然后，在预览区域55中显示与用户的选择相应的背景图像。
[0176]
图8例示用户选择了“演播室”的状态，而图9例示用户选择了“教室”的状态。如上所述，图像处理装置1根据用户的选择操作，在步骤s110中进行背景图像设定，使得在步骤s170，在预览区域55中显示背景图像。用户可以在检查背景图像的同时，选择期望的背景图像作为底层图像vl4。
[0177]
例如，在背景图像设定之后，用户可以通过进行勾选画面区域复选框59的操作来设定第三层。
[0178]
响应关于画面区域61的操作，图像处理装置1从图5中的步骤s102前进到步骤s120，并进行设定进行第三层合成的区域(即，画面区域61)的位置和尺寸的处理。然后，在步骤s170，图像处理装置1基于设定生成包含画面区域61的预览图像，并将该预览图像显示在预览区域55中。
[0179]
例如，在检测到画面区域复选框59的勾选操作的情况下，在步骤s120，图像处理装置1用例如作为初始位置的预定位置和预定尺寸来设定画面区域61，然后在步骤s170，进行在预览区域55中显示画面区域61的处理。
[0180]
例如，图10例示画面区域61被显示成与先前的所选背景图像(教室)重叠的状态。
[0181]
注意，在上述背景设定中，可以用预先设定的位置和尺寸来设定并显示画面区域61。
[0182]
此外，关于画面区域61，可以想到的是能够通过诸如拖动和点击之类的操作来进行诸如移动、放大、缩小和变形之类的操作。每当检测到这些操作时，图像处理装置1从步骤s102进行到步骤s120，并响应操作来变更诸如画面区域61的位置和尺寸之类的设定，然后在步骤s170显示进行了移动、放大、缩小、变形等的画面区域61。注意，期望的是在保持纵横比的同时进行放大和缩小。
[0183]
结果，用户能够以任意位置、尺寸等设定画面区域61。
[0184]
当检测到关于遮蔽区域的操作时，图像处理装置1从步骤s103进行到步骤s130，并进行设定将应用于与第二层图像vl2合成的图像(即，相机图像)的遮蔽区域的处理。
[0185]
例如，设想如图11中图解所示的相机图像。该相机图像主要用于捕捉表演者62，并
且是通过要求表演者62在某个场所进行表演，并用相机11对表演者62进行成像而获得的。此时，设想在成像场所存在如图11中所示的关闭着窗帘64的窗户。不期望合成图像中包含该窗帘64。
[0186]
由于窗帘64没有移动，因此在移动物体提取处理中通常不会提取窗帘64。然而，窗帘64可能由于风吹等而移动，而在此期间，窗帘64可能被提取为移动物体并被包含在提取图像ve中。即，窗帘64可能只在某个帧时段内出现在合成图像中。在窗帘64这样的范围内设定遮蔽区域。于是，即使窗帘64移动，由于窗帘64在遮蔽区域内，窗帘64也从移动物体提取处理的对象中被排除，从而不被提取，并且不会出现在合成图像中。
[0187]
关于遮蔽区域的操作包括勾选/取消勾选遮蔽区域复选框56的操作，和针对遮蔽区域的位置、尺寸、形状等的操作。响应这些操作，图像处理装置1在图5中的步骤s130，进行与操作相应的设定遮蔽区域的处理，然后在步骤s170显示遮蔽区域的设定状态。
[0188]
图6中详细例示了步骤s130的处理。
[0189]
首先，为了设定遮蔽区域，用户进行通过勾选遮蔽区域复选框56，使指示遮蔽区域的遮蔽框70出现在预览区域55中的操作。
[0190]
在进行对遮蔽区域复选框56的勾选操作并且处理进行到图5中的步骤s130的情况下，图像处理装置1从图6中的步骤s131进行到步骤s134，并且例如在初始设定状态下添加有效的遮蔽区域。然后，在图5的步骤s170，图像处理装置1通过遮蔽框70显示遮蔽区域。
[0191]
图12将4个遮蔽框70例示为矩形实线。每个遮蔽框70指示在每个初始设定状态(位置、尺寸和形状)下有效的遮蔽区域。
[0192]
另一方面，当进行取消勾选遮蔽区域复选框56的操作时，图像处理装置1类似地从图5中的步骤s103进行到步骤s130。在这种情况下，处理从图6中的步骤s132进行到步骤s135，而图像处理装置1使与未被勾选的复选框对应的遮蔽区域的设定无效，然后在图5中的步骤s170，清除对应的遮蔽框70。
[0193]
用户可以通过勾选或取消勾选遮蔽区域复选框56，显示从0到4的任意数量的遮蔽框70。
[0194]
例如，在遮蔽框70的四个角显示操作圆rc，然后用户可以通过拖动操作圆rc的部分来变更遮蔽框70的尺寸和形状。
[0195]
此外，通过诸如遮蔽框70内的点击、双击或捏小/拉大之类的操作，可以扩大/缩小尺寸。此外，可以通过指定和拖动遮蔽框70的内部来移动位置。
[0196]
此外，通过对触摸面板画面进行描绘的操作，形状可以从正方形变更为三角形、圆形、椭圆形、多边形、不定形等。
[0197]
即使在检测到变更遮蔽区域的位置、尺寸和形状的操作的情况下，图像处理装置1也从图5中的步骤s103进行到步骤s130。在这种情况下，图像处理装置1从图6中的步骤s133进行到步骤s136，并变更遮蔽区域的位置、尺寸或形状的设定。然后，图像处理装置1进行到图5中的步骤s170，并显示已通过遮蔽框70的位置、尺寸或形状变更了其设定的遮蔽区域。
[0198]
注意，在步骤s136，图像处理装置1对于遮蔽区域的位置、尺寸和形状的设定变更，不会无限地响应操作，而是限制操作，以便在不与绝对提取区域重叠的范围内发生变更。这将在说明绝对提取区域之后进行说明。
[0199]
当图像处理装置1进行上述图5中的步骤s103和s130(图6中的处理)时，用户可以
按任意位置、尺寸和形状设定任意数量的遮蔽区域。
[0200]
图15例示了其中在预览区域55中显示相机图像的状态下，如遮蔽框70所示，在窗帘64周围设定一个遮蔽区域的例子。
[0201]
在检测到关于绝对提取区域的操作的情况下，图像处理装置1从图5中的步骤s104进行到步骤s140，并进行设定将应用于作为第二层图像vl2合成的图像(即，相机图像)的绝对提取区域的设定处理。
[0202]
在图11中图解所示的相机图像的情况下，例如，设想图像制作者期望讲台63连同表演者62一起的提取，即，期望讲台63出现在合成图像中。但是，由于讲台63不是移动物体，因此移动物体提取处理不会提取讲台63。在这种情况下，设定绝对提取区域。通过设定绝对提取区域，在移动物体提取处理中，即使绝对提取区域内的图像不是移动物体，图像处理装置1也提取该图像，并将该图像包含在提取图像ve中。即，该图像出现在合成图像中。
[0203]
关于绝对提取区域的操作包括勾选/取消勾选绝对提取区域复选框57的操作，和针对绝对提取区域的位置、尺寸、形状等的操作。响应这些操作，图像处理装置1在步骤s140，进行与操作相应的设定绝对提取区域的处理，然后在步骤s170显示绝对提取区域的设定状态。
[0204]
图7中详细例示了步骤s140的处理。
[0205]
首先，为了设定绝对提取区域，用户进行通过勾选绝对提取区域复选框57，使指示绝对提取区域的绝对提取框71出现在预览区域55中的操作。
[0206]
在进行对绝对提取区域复选框57的勾选操作并且处理进行到图5中的步骤s140的情况下，图像处理装置1从图7中的步骤s141进行到步骤s144，例如在初始设定状态下添加有效的绝对提取区域。然后，在图5的步骤s170，图像处理装置1通过绝对提取框71显示绝对提取区域。
[0207]
图12将4个绝对提取框71例示为矩形虚线。每个绝对提取框71指示在每个初始设定状态(位置、尺寸和形状)下有效的绝对提取区域。
[0208]
注意，图12用实线例示遮蔽框70，并用虚线例示绝对提取框71，这指示遮蔽框70和绝对提取框71的显示模式不同。
[0209]
这样，显示模式可以通过框线的类型的不同，或者框线的颜色的不同来区分。此外，代替被显示为框，例如，遮蔽区域可以被显示为蓝色半透明区域而绝对提取区域可以被显示为紫色半透明区域，作为半透明区域。总之，使显示模式不同，以使用户能够在显示上区分遮蔽区域和绝对提取区域。
[0210]
当进行取消勾选绝对提取区域复选框57的操作时，图像处理装置1类似地从图5中的步骤s104进行到步骤s140。在这种情况下，处理从图7中的步骤s142进行到步骤s145，图像处理装置1使与未被勾选的复选框对应的绝对提取区域的设定无效，然后在图5中的步骤s170，清除对应的绝对提取框71。
[0211]
用户可以通过勾选或取消勾选绝对提取区域复选框57来显示从0到4的任意数量的绝对提取框71。
[0212]
例如，在绝对提取框71的四个角显示操作圆rc，用户可以通过拖动操作圆rc的部分来变更绝对提取框71的尺寸和形状。
[0213]
此外，可以通过诸如绝对提取框71内的点击、双击或捏小/拉大之类的操作来扩
大/缩小尺寸。此外，可以通过指定和拖动绝对提取框71的内部来移动位置。此外，通过对触摸面板画面进行描绘的操作，形状可以从正方形变更为三角形、圆形、椭圆形、多边形、不定形等。
[0214]
即使在检测到变更绝对提取区域的位置、尺寸和形状的操作的情况下，图像处理装置1也从图5中的步骤s104进行到步骤s140。在这种情况下，图像处理装置1从图7中的步骤s143进行到步骤s146，并变更绝对提取区域的位置、尺寸或形状的设定。然后，图像处理装置1进行到图5中的步骤s170，并显示已通过绝对提取框71的位置、尺寸或形状变更了其设定的绝对提取区域。
[0215]
当图像处理装置1进行上述图5中的步骤s104和s140(图7中的处理)时，用户可以按任意位置、尺寸和形状设定任意数量的绝对提取区域。
[0216]
图15例示了其中在预览区域55中显示相机图像的状态下，如绝对提取框71所示，在讲台63周围设定一个绝对提取区域的例子。
[0217]
注意，在图7中的步骤s146，图像处理装置1对于绝对提取区域的位置、尺寸和形状的设定变更，不会无限地响应操作，而是限制操作，以便在不与遮蔽区域重叠的范围内发生变更。
[0218]
在图6的步骤s136中也说明了操作的限制。下面将共同说明操作的限制。
[0219]
如果用户可以任意设定遮蔽区域和绝对提取区域的位置、尺寸和形状，那么存在遮蔽区域和绝对提取区域发生重叠的可能性。如果遮蔽区域和绝对提取区域重叠，则在移动物体提取处理中，需要向遮蔽区域或绝对提取区域赋予优先权。但是不能一概而论地确定优先考虑哪一个。于是，即使存在设定变更操作，在遮蔽区域和绝对提取区域重叠的情况下，也使该操作无效。
[0220]
例如，当某个遮蔽区域的一部分在用户进行移动该遮蔽区域的操作的情况下与绝对提取区域重叠时，该遮蔽区域只能在重叠之前移动。例如，从用户的角度来看，遮蔽框70被显示成使得遮蔽框70在与绝对提取框71碰撞之后不能向重叠的方向移动。
[0221]
类似地，例如，当某个绝对提取区域的一部分在用户进行移动该绝对提取区域的操作的情况下与遮蔽区域重叠时，绝对提取区域只能在重叠之前移动。例如，从用户的角度来看，绝对提取框71被显示成使得绝对提取框71在与遮蔽框70碰撞之后不能向重叠的方向移动。
[0222]
类似地变更形状和尺寸。遮蔽区域(遮蔽框70)的形状和尺寸的变更在遮蔽区域不与绝对提取区域(绝对提取框71)重叠的范围内有效。此外，绝对提取区域(绝对提取框71)的形状和尺寸的变更在绝对提取区域不与遮蔽区域(遮蔽框70)重叠的范围内有效。
[0223]
在步骤s136和s146，在遮蔽区域和绝对提取区域不重叠的范围内接受用户的设定变更操作，并变更设定。
[0224]
注意，在根据优先考虑遮蔽区域或绝对提取区域的设计思想，即使发生重叠也不会出现问题的情况下，这样的限制是不必要的。
[0225]
如上所述进行对于遮蔽区域和绝对提取区域的设定处理，但是对用户来说，在设定操作时，期望的是不仅检查背景图像和画面区域61，而且还检查相机图像。用户可以通过操作透过率调整条54在预览区域55中检查相机图像的内容。
[0226]
当检测到透过率调整条54的操作时，图像处理装置1从图5中的步骤s105进行到步
骤s150，根据操作变更相机图像的混合比，并在步骤s170中的预览图像的生成中反映该变更。
[0227]
该设定处理在准备阶段进行，并且设想取决于相机11，还没有进行实际成像。于是，取决于相机11，在进行实际成像的环境中进行预演成像，并且将相机图像输入到图像处理装置1。可以捕捉表演者62或代替表演者的工作人员。
[0228]
显示在预览区域55中的预览图像是指示迄今为止已经选择和设定的背景图像和画面区域61的显示内容，不过预览图像可以是在该时间点(在准备处理时)与要预演的相机图像合成的图像。然后，通过透过率调整条54的操作，可变地设定相机图像与背景图像等的合成比率。
[0229]
图12例示其中相机图像处于最大透过率状态的例子。即，在预览区域55中无法在视觉上识别相机图像。
[0230]
图13例示根据透过率调整条54的操作，降低相机图像的透过率(提高混合比)的情况。包括表演者62、讲台63、窗帘64等的相机图像连同背景图像等一起可以在视觉上被识别。
[0231]
图14例示根据透过率调整条54的操作，使相机图像的透过率最小(使混合比最大)的情况。相机图像连同背景图像等一起可以在视觉上清晰地被识别。
[0232]
用户可以在对于用于第二层l2的图像(本例中，相机图像)进行改变混合比的操作的同时，设定遮蔽区域和绝对提取区域。从而，用户可以在确认作为被摄物体包含在相机图像中的物体的位置的同时，设定遮蔽区域和绝对提取区域。
[0233]
此外，当选择背景图像时或者当设定第三层(设定画面区域61)时，进行通过透过率调整条54的操作进行的相机图像的混合调整，使得可以按照从相机图像中提取的表演者62和讲台63来选择背景图像，并且可以适当地布置画面区域61。
[0234]
从而，例如，可以在比较各层的图像之间的位置关系和相机图像的视角的同时调整每个设定。
[0235]
在设定处理中，设定顶层图像vl1，例如，选择徽标图像。
[0236]
当检测到用户进行的设定顶层图像的操作时，图像处理装置1使处理从图5中的步骤s106前进到步骤s160，并设定用作顶层图像vl1的徽标图像。然后，在步骤s170，图像处理装置1执行将徽标图像叠加在预览图像上并在预览区域55中显示叠加的徽标图像的控制。
[0237]
具体地，当用户通过操作徽标选择部60从下拉菜单中选择特定徽标图案时，图像处理装置将所选徽标设计的徽标图像设定为顶层图像vl1。下拉菜单中作为选择候选项的这些徽标图像例如是存储在闪速rom 4中的图像，或者是可以从pc 12或其他图像源设备13获取的图像。
[0238]
此外，当用户对徽标图像进行诸如点击或拖动之类的预定操作时，图像处理装置1在步骤s160进行设定变更，诸如在保持纵横比的同时通过放大或缩小徽标图像来调整尺寸，或者将徽标图像布置在任意位置。
[0239]
在步骤s170，徽标图像也与预览图像合成并显示在预览区域55中。
[0240]
在设定了如上所述的背景图像、画面区域61、遮蔽区域、绝对提取区域和徽标图像中的全部或部分之后，用户进行保存设定的操作。
[0241]
当检测到用户操作了保存按钮58时，图像处理装置1从图5中的步骤s107进行到步
骤s180，并保存设定值。
[0242]
例如，图像处理装置1将背景图像、画面区域61的范围、遮蔽区域的范围、绝对提取区域的范围、徽标图像等的设定信息存储在闪速rom 4中。
[0243]
设定处理完成。
[0244]
注意，可以以各种方式考虑实际的设定过程、处理、操作内容等。
[0245]
可以使用全屏幕作为画面区域61，并且画面图像可以用作背景。
[0246]
对于遮蔽区域，可以想到的是作为默认设定，根据图像识别进行物体识别，以及当检测到的物体要被遮蔽时，作为初始状态，将该物体的区域设定为遮蔽区域。例如，当在相机图像中存在窗户、窗帘、时钟等时，识别这些物体，并在初始状态下自动地将它们设定为遮蔽区域。
[0247]
类似地，关于绝对提取区域的设定，可以使用物体识别。例如，当在相机图像中识别出预定物体的情况下，可以初始地将该物体的区域设定为绝对提取区域。
[0248]
此外，可以想到的是根据背景图像所意味的主题来指定对象物体。例如，在背景图像是新闻演播室并且在相机图像中发现讲台63的情况下，自动将讲台63的区域设定为绝对提取区域。此外，在背景图像是实验室并且发现白板的情况下，自动将白板的区域设定为绝对提取区域。
[0249]
《4.合成处理和ui》
[0250]
在作为准备状态进行上述设定处理之后，作为执行状态进行实际的图像合成处理的图像输出。将说明这种情况下的合成处理和ui。
[0251]
图16例示作为执行状态由图像处理装置1(cpu 2或gpu 3)进行的处理例子。例如，图16例示对于从相机11供给的相机图像在每个帧定时进行的处理例子。
[0252]
从步骤s210到步骤s250的处理由图像处理装置1使用图4中的移动物体提取单元20的功能来执行。
[0253]
在步骤s210，图像处理装置1获取作为相机图像的一帧图像数据。例如，如图17a中图解所示，图像处理装置1获取包括表演者62、讲台63、窗帘64等作为被摄物体的一帧相机图像，作为处理对象。
[0254]
注意，设想在准备阶段的设定处理中，如图17b中的遮蔽框70和绝对提取框71所示，设定了遮蔽区域和绝对提取区域。
[0255]
在步骤s220，图像处理装置1进行移动物体提取处理。例如，图像处理装置1比较此时获取的帧与先前的帧，检测存在差异的被摄物体，并提取该被摄物体的图像。
[0256]
图17c中例示了移动物体提取结果。这里，提取了表演者62。此外，由于作为实际被摄物体的窗帘64的移动，即使不是制作者想要的窗帘64的图像也被提取。注意，在这个阶段，由于没有反映遮蔽区域处理，因此这种提取可以说是试探性的移动物体提取。
[0257]
在步骤s230，图像处理装置1进行遮蔽处理。即，该遮蔽处理是对于存在于准备处理中设定的遮蔽区域中的图像，不提取移动物体作为要用于合成处理图像的处理。
[0258]
即使如图17c所示，提取了作为移动物体的图像，该移动物体图像也不能是作为如原样的要用于合成处理的图像而最终提取的图像(提取图像ve)。例如，在窗帘64的区域被设定为遮蔽区域的情况下，作为移动物体试探性提取的窗帘64是被设定为不提取的区域的图像。于是，窗帘64不被提取为移动物体。结果，如图17d中所示，移动物体提取结果仅为表
演者62。
[0259]
注意，在以上的例子中，说明了以下处理：在整个画面中提取移动物体之后，在遮蔽区域的范围内，使移动物体无效，以便不会被提取为要用于合成的图像。不过，步骤s220和s230从一开始就可以被进行为不在遮蔽区域中检测移动物体的处理。
[0260]
总之，遮蔽区域可能只需要成为其中作为结果不进行图像提取的区域。换句话说，只需要提取图像ve不包含遮蔽区域的图像即可。
[0261]
在步骤s240，图像处理装置1对相机图像中的绝对提取区域进行图像提取处理。即，该图像提取处理是从在准备处理中设定的绝对提取区域中提取图像的处理。在这种情况下，提取意味着提取不是移动物体的图像。结果，例如，如图17e所示，讲台63被提取。
[0262]
在步骤s250，图像处理装置1创建提取图像ve。即，图4中的移动物体提取单元创建要传送到图像合成单元21的图像。
[0263]
对于作为移动物体提取对象图像的相机图像，提取图像ve是从除被设定为不进行图像提取的区域的遮蔽区域以外的区域提取移动物体而获得的图像。此外，提取图像ve是通过提取绝对提取区域的图像而获得的图像，该绝对提取区域被设定为不管物体是否是移动物体，都需要进行图像提取的区域。
[0264]
提取图像ve是图17d中的图像与图17e中的图像的组合图像，结果产生如图17f中所示的图像。
[0265]
当如上所述生成提取图像ve时，图像处理装置1通过图4中的图像合成单元21的功能，执行图16中的从步骤s260到s280的处理。
[0266]
在步骤s260，图像处理装置1合成提取图像ve、底层图像vl4和第三层图像vl3。即，图像处理装置1进行合成在准备阶段的所选背景图像与提取图像ve，并且例如使画面图像融入画面区域61中的合成处理。画面图像例如是从pc 12供给的图像数据。
[0267]
在步骤s270，图像处理装置1合成顶层图像vl1。即，图像处理装置1合成在准备阶段所选的，并且位置和尺寸已被设定的徽标图像。
[0268]
在该阶段，生成其中合成了4个层的图像的合成图像。
[0269]
在步骤s280，图像处理装置1创建输出图像。即，图像处理装置1生成将从输出端子7-1，7-2，
…
，和7-m输出的图像数据(输出图像vout1，vout2，
…
，voutm)。
[0270]
例如，合成图像的图像数据作为输出图像vout1从输出端子7-1输出到监视器/记录器14。输出合成图像作为所谓的主线图像。
[0271]
与主线图像类似的图像数据可以从输出端子7-2和后续的输出端子输出，不过，例如，图像处理装置1可以生成用于生成输出监视画面以使工作人员能够监视图像并进行预定操作的图像数据。
[0272]
例如，图像处理装置1生成用于显示如图18中所示的输出监视器画面80的图像数据，并且从输出端子7-2输出该图像数据作为输出图像vout2。
[0273]
输出监视器画面80包括顶层图像vl1、第二层图像vl2、第三层图像vl3和底层图像vl4的合成图像，并且还设置有左右翻转复选框81和提取图像复选框82。
[0274]
例如，确保确认监视器15和16具有不仅简单地接收来自图像处理装置1的输入图像数据，而且使cpu 2可以检测确认监视器15的画面上的操作的接口。
[0275]
例如，可以想到的是，输出端子7-2和7-3可以是双向通信端子，或者确认监控器15
和16可以是经由网络通信单元8可通信的。
[0276]
例如，当在确认监视器15和16中没有勾选左右翻转复选框81和提取图像复选框时，图像处理装置1生成用于显示如图18中所示的图像作为输出图像vout2，
…
和voutm的图像数据，并从输出端子7-2，
…
和7-m输出输出图像vout2，
…
和voutm。
[0277]
由于图16中的处理是在各帧的定时进行的，因此视觉上识别确认监视器15或确认监视器16的工作人员可以将如图18中所示的图像视作表演者62正在表演的状态的合成图像。
[0278]
此外，例如，设想通过确认监视器16上的操作，勾选了左右翻转复选框81。在这种情况下，图像处理装置1生成用于显示如图19中所示的合成图像的左右翻转图像的图像数据作为输出图像voutm，并从输出端子7-m输出该图像数据。例如，当确认监视器16朝向表演者62时，表演者62一边观看左右翻转图像一边表演。
[0279]
在表演者62使用确认监视器16作为用于确认表演者62的动作的监视器的情况下，如果视频没有被左右翻转，则显示的视频和表演者62的动作被左右颠倒的，并且表演者62不能直观地动作。于是，通过就像在镜子里反映的视频一样的左右翻转视频，表演者的动作与视频匹配，从而表演者能够流畅地动作。
[0280]
此外，图像处理装置1在左右翻转图像上显示遮蔽框70和绝对提取框71，以便指示遮蔽区域和绝对提取区域，结果，表演者可以在确认不进入遮蔽区域或不移动绝对提取区域中的物品的同时开始成像。
[0281]
此外，例如，设想工作人员通过对确认监视器15侧的操作来进行勾选提取图像复选框82的操作。在这种情况下，图像处理装置1生成用于仅显示如图20中所示的提取图像ve的图像(仅第二层图像vl2的图像)的图像数据作为输出图像vout2，并从输出端子7-2输出该图像数据。
[0282]
结果，工作人员可以容易地确认提取图像ve是否处于适当的状态。通过只显示基于相机图像的提取图像ve，例如，当不能如预期那样进行合成时，可以确认哪种图像阻碍了正确的操作，并且工作人员可以针对存在问题的部分采取一些措施。
[0283]
例如，图20例示窗帘64的一部分由于相对较大的移动而出现在提取图像ve中的状态。可以理解的是，这是因为遮蔽区域的范围不够。于是，工作人员可以采取诸如重新设定遮蔽区域之类的措施，使得不会出现这种状态。
[0284]
《5.进行物理识别情况下的处理例子》
[0285]
顺便提及，在以上的处理例子中，可以进行将物体识别与移动物体提取相结合的处理。
[0286]
例如，图21例示在图16中的步骤s230的遮蔽处理中应用物体识别的处理例子。
[0287]
在图21的步骤s231，图像处理装置1进行将在图16中的步骤s220提取的移动物体的范围(作为移动物体提取的图像的像素范围)与遮蔽区域进行比较的处理。
[0288]
在步骤s232，图像处理装置1检查作为移动物体提取的被摄物体的一部分或全部是否在遮蔽区域中。
[0289]
特别地，在遮蔽区域中没有提取的移动物体的图像的情况下，图像处理装置1简单地终止遮蔽处理(进行到图16中的步骤s240)。
[0290]
在提取的移动物体的一部分或全部在遮蔽区域中的情况下，图像处理装置1进行
到步骤s233，并对遮蔽区域内的移动物体图像进行物体识别处理。即，图像处理装置1按物体类型进行识别处理，诸如检测为移动物体的被摄物体是人物还是除人物之外的其他事物。在这种情况下，可以使用现有的识别处理，诸如面部识别处理、姿态识别处理、瞳孔检测处理、或特定物体的模式识别处理。此外，图像处理装置1可以使用跟踪处理来确认过去识别的物体的每帧的位置。
[0291]
例如，在要提取的移动物体是人物(表演者62)的情况下，只需要至少识别移动物体是否是人物或除人物以外的其他事物即可。
[0292]
在步骤s234，图像处理装置1确认遮蔽区域中的移动物体图像是否是要提取的移动物体(例如，人物)的图像。
[0293]
当移动物体图像不是要提取的移动物体时，图像处理装置1从步骤s234进行到步骤s236，并常规地进行遮蔽处理。即，图像处理装置1进行遮蔽遮蔽区域中的移动物体图像的处理，以便不将其添加到提取图像ve中。
[0294]
另一方面，在遮蔽区域中的移动物体图像是要提取的移动物体(例如，人物)的图像的情况下，图像处理装置1从步骤s234进行到步骤s235，并从遮蔽区域中临时排除移动物体的像素部分。然后，图像处理装置1进行到步骤s236，并进行遮蔽处理。即，图像处理装置1进行遮蔽遮蔽区域中的移动物体图像的处理，以便不将其添加到提取图像ve中，但是只是不遮蔽移动物体部分。
[0295]
通过如上所述使用遮蔽处理来进行物体识别，即使在成像期间表演者62(例如，表演者62的整个身体或身体的一部分，诸如手)进入遮蔽区域，也可以避免表演者62的图像被遮蔽。
[0296]
在这种情况下，与单纯的遮蔽处理相比，物体识别处理增加了处理负荷。但是，不是对整个图像而是只对在遮蔽区域内提取的移动物体图像进行物体识别。于是，与对整个画面进行物体识别的情况相比，处理负荷的增加较小。
[0297]
说明了要提取的移动物体进入遮蔽区域的情况。不过，反过来，也可以想到进行用于应对要被遮蔽的物体进入遮蔽区域之外的情况的物体识别。
[0298]
例如，设想在步骤s233，将除表演者62以外的物体(诸如窗帘64)识别为物体识别的结果。
[0299]
在这种情况下，指定从遮蔽区域突出的窗帘64等的图像的像素部分，并将该像素部分也临时设定为遮蔽区域，然后进行遮蔽处理。通过这样做，即使不期望提取的物体的移动超过预期而从遮蔽区域突出，该物体也能够被适当遮蔽，以便不会包含在提取图像ve中。
[0300]
由于该处理也是在称为遮蔽区域的有限范围内的物体识别处理，因此，与对整个画面进行物体识别的情况相比，处理负担较小。
[0301]
接下来，参考图22，将说明在图16中的步骤s240的绝对提取区域图像识别处理中应用物体识别的例子。
[0302]
在步骤s241，图像处理装置1对绝对提取区域中的被摄物体进行物体识别处理。然后，在步骤s242，图像处理装置1识别主要物体范围(像素范围)。例如，指定讲台63的像素范围。
[0303]
在步骤s244，图像处理装置1进行提取指定的物体范围的图像的处理。即，图像处理装置1将绝对提取区域中的物体像该物体被裁切似的提取出来，而不是提取包含在绝对
提取区域中的所有像素。例如，图像处理装置只裁切讲台63，而不裁切除讲台63以外的周围的图像。结果，即使稍微含糊地设定绝对提取区域，也能够防止提取多余的物品等的图像。
[0304]
此外，在要提取的物体的一部分从绝对提取区域突出的情况下，通过基于图像识别结果来提取该物体，可以防止提取出物体的一部分缺失的图像的状态。
[0305]
如上所述，关于从绝对提取区域中的物体提取，可以想到以下例子：
[0306]
·
单纯地提取绝对提取区域中的所有像素；
[0307]
·
进行物体识别，并且提取绝对提取区域中的对象物体的像素部分(沿着识别的物体提取轮廓)；以及
[0308]
·
进行物体识别，并且即使对象物体的图像的一部分从绝对提取区域突出，也提取该对象物体的像素。
[0309]
《6.结论和变形例》
[0310]
在以上实施例中，可以获得以下效果。
[0311]
按照实施例的图像处理装置1包括移动物体提取单元20，移动物体提取单元20关于移动物体提取对象图像(例如，相机图像)，生成通过在除遮蔽区域以外的区域中提取移动物体的图像而获得的提取图像ve，所述遮蔽区域被设定为不从中提取要用于合成的图像的区域，和图像合成单元21，图像合成单元21进行合成移动物体提取单元20的提取图像ve与其他图像的处理(参见图16)。
[0312]
例如，通过利用诸如帧间差分之类的技术简单地检测移动物体，并提取移动物体的范围(轮廓部分)的图像，即使是处理能力一般的设备也能够小处理负荷充分进行对诸如表演者62之类的移动物体图像的移动物体提取。然而，与此同时，诸如上述例子中的窗帘64之类具有不需要的移动的物体被检测为移动物体，并被提取为要合成的图像。在本实施例中，由于通过遮蔽区域，具有不期望被提取为移动物体的被摄物体的区域不会被提取为要合成的移动物体图像，因此可以防止具有不需要的移动的被摄物体图像出现在合成图像中。
[0313]
从而，可以提供其中只将诸如表演者62之类的目标移动物体与例如背景图像等适当地合成的高质量合成图像。
[0314]
在实施例中，移动物体提取单元20将设定为从中提取要用于合成的图像的区域的绝对提取区域的图像，作为要由图像合成单元21合成的图像包含在提取图像ve中，而不管物体是否是移动物体(参见图16)。
[0315]
例如，即使在相机图像中存在想要用于合成的被摄物体，该被摄物体也由于是静止物体而不被提取，于是可能无法制作期望的图像。另一方面，实施例的例子设定绝对提取区域，从而，例如，尽管讲台63不是移动物体，但是讲台63的图像也出现在合成图像中。
[0316]
即，在简单的移动物体提取中，诸如讲台63之类的静止物体不会被提取，但是通过设定绝对提取区域，即使物体不是移动物体，期望提取的图像也能够被提取。于是，图像制作者能够容易地制作更期望的合成图像。
[0317]
说明了其中按照实施例的图像处理装置1包括在画面上控制遮蔽区域的位置、形状或尺寸的设定的ui控制单元23的例子(参见图12、13、14和15)。
[0318]
例如，提供设定画面50，使得在显示移动物体提取对象图像和其他图像的画面上，用户可通过操作来确定遮蔽区域的位置，或者确定遮蔽区域的形状和尺寸。从而，可以将遮
蔽区域设定在图像上的任意位置。此外，可以任意设定作为遮蔽区域的形状(正方形或长方形)及其尺寸。
[0319]
注意，遮蔽区域的形状不限于正方形或长方形，可以任意设定为各种形状，诸如三角形、五边形以上的多边形、圆形、椭圆形、不定形、以及沿着物体轮廓的形状。
[0320]
在实施例中，ui控制单元23在显示作为移动物体提取对象图像的相机图像与其他图像(例如，背景图像)的合成图像的画面上，控制遮蔽区域的位置、形状或尺寸的设定(参见图13和14)。
[0321]
从而，例如根据从相机供给的输入图像的被摄物体布局限制或表演者位置限制，或者诸如不希望合成的物体的选择之类的合成图像制作策略，可以将遮蔽区域设定为用户所期望的范围。特别地，由于用户可以在确认合成图像中的物体等的同时设定遮蔽区域，因此可以容易地设定作为遮蔽区域的适当位置、形状和尺寸。
[0322]
此外，由于能够容易地设定即使在图像中存在除被摄物体以外的移动物体，也能够被忽略的遮蔽区域，因此能够改善图像质量，并且相机安装的自由度变高，以及成像的准备变得简单。
[0323]
在实施例中，说明了其中ui控制单元23在画面上控制绝对提取区域的位置、形状或尺寸的设定的例子(参见图12、13、14和15)。
[0324]
例如，在显示移动物体提取对象图像和其他图像的画面上，用户可以通过操作来确定绝对提取区域的位置，或者确定绝对提取区域的形状或尺寸。
[0325]
从而，可以将绝对提取区域设定在图像上的任意位置。此外，可以任意设定作为绝对提取区域的形状(正方形或长方形)及其尺寸。
[0326]
注意，绝对提取区域的形状不限于正方形或长方形，并且可以想到的是，形状可以任意设定为各种形状，诸如三角形、五边形以上的多边形、圆形、椭圆形、不定形、以及沿着物体轮廓的形状。
[0327]
通过将其中需要使用输入图像的区域容易地设定作为绝对提取区域，提高了表现的自由度，并且可以容易地实现拍摄者的想法。
[0328]
在实施例中，ui控制单元23在显示移动物体提取对象图像与其他图像的合成图像的画面上，控制绝对提取区域的位置、形状或尺寸的设定(参见图13和14)。从而，例如根据从相机供给的输入图像的被摄物体布局限制或表演者位置限制，或者诸如要合成的物体的选择之类的合成图像制作策略，可以将绝对提取区域设定为用户所期望的范围。特别地，由于用户可以在确认合成图像中的物体等的同时设定绝对提取区域，因此可以容易地设定作为绝对提取区域的适当位置、形状和尺寸。
[0329]
从而，可以容易地进行成像期望的图像的准备。
[0330]
在实施例中，说明了其中ui控制单元23在作为移动物体提取对象图像的相机图像与其他图像(例如，背景图像)的合成图像中，按照操作来改变图像合成比率的例子(参见图12、13和14)。
[0331]
在为了设定遮蔽区域而显示的合成图像中，例如相对于背景图像，可以通过用户对透过率调整条54的操作来改变相机图像的合成比率。例如，可以改变其中相机图像清晰地出现、淡淡地出现或者消失的显示状态。
[0332]
于是，通过相对于背景图像变换相机图像的透过率(合成比率)，用户可以确认被
摄体位置。结果，用户能够进行以有利的合成比率的状态，在背景图像上设定遮蔽区域和绝对提取区域的操作。
[0333]
通过在背景图像上改变相机图像的透过率，可以在考虑背景的同时，容易地将遮蔽区域和绝对提取区域设定到便利的位置。
[0334]
另一方面，还可以想到的是，在以恒定的基础显示相机图像之后，可变地设定背景图像和画面图像的合成比率。从而，在包括表演者的预演状况的情况下，能够在可以容易地确认相机图像的状态下设定遮蔽区域和绝对提取区域。
[0335]
说明了其中实施例的ui控制单元23使在画面上指示遮蔽区域的显示和在画面上指示绝对提取区域的显示处于不同显示模式的例子。
[0336]
即，当在画面上显示遮蔽区域和绝对提取区域，以呈现遮蔽区域和绝对提取区域的范围时，ui控制单元23使遮蔽框70和绝对提取框71的显示模式不同。例如，使框的范围的颜色、框线的类型(实线、虚线、波浪线、双线、粗线、细线等)、框内的透明度、亮度等不同。
[0337]
从而，用户可以清楚地识别遮蔽框和绝对提取框，并且可以适当地设定不期望提取的范围，和即使物体不是移动物体也期望提取的范围。
[0338]
在实施例中，说明了ui控制单元23进行限制设定操作的处理，以便不造成遮蔽区域和绝对提取区域的重叠。例如，在画面上，可以通过用遮蔽框70和绝对提取框71来显示遮蔽区域和绝对提取区域来任意地设定遮蔽区域和绝对提取区域。但是，这样的操作在由于操作而发生重叠的情况下受到限制(图6中的步骤s136和图7中的步骤s146)。
[0339]
如果遮蔽区域和绝对提取区域重叠，则可能无法适当地执行遮蔽处理和绝对提取处理。于是，在由于用户的操作而发生重叠的情况下，限制被设定为不发生重叠的范围。从而，即使当用户没有特别意识到时，也能够防止重叠。
[0340]
在实施例中，ui控制单元23控制要与相机图像合成的其他图像的设定。
[0341]
在上述例子中，ui控制单元23将诸如作为底层图像vl4的背景图像，作为第三层图像vl3的画面图像，和作为顶层图像vl1的徽标图像之类的其他图像与用作第二层图像vl2，来自相机图像的提取图像ve进行合成。这些其他图像可以在设定画面50上选择。结果，作为图像制作者的用户可以创建任意图像。
[0342]
在实施例中，图像合成单元21可以输出由移动物体提取单元20提取的提取图像ve与其他图像的合成图像，并且可以输出合成图像的左右翻转图像(参见图19)。
[0343]
在左右翻转图像中，由表演者62识别的左右方向与显示在监视器画面上的左右方向匹配。于是，适当的图像能够被提供为表演者62在表演的同时所确认的监视器图像。
[0344]
在实施例中，图像合成单元21可以输出由移动物体提取单元20提取的提取图像ve与其他图像的合成图像，并且可以只输出由移动物体提取单元20提取的提取图像ve(参见图20)。
[0345]
通过显示和输出提取图像ve，例如，检查确认监视器15的工作人员可以容易地确认是否正在进行适当的移动物体提取，并且还可以采取适当的措施。
[0346]
实施例的ui控制单元23控制合成图像的左右翻转图像在输出监视器画面80上的输出(参见图19)。
[0347]
用户可以根据状况，通过使用左右翻转复选框81，在确认监视器16等上显示左右翻转图像。例如，用户可以灵活地响应表演者62的请求等。
[0348]
实施例的ui控制单元23控制由移动物体提取单元提取的提取图像ve在输出监视器画面80上的输出(参见图20)。
[0349]
用户可以根据状况，通过使用提取图像复选框82，例如在确认监视器15等上只显示由移动物体提取单元20提取的图像。例如，用户可以在通常检查确认监视器15上的合成图像的同时，根据需要，只确认由移动物体提取单元20提取的图像。
[0350]
在实施例中，移动物体提取对象图像是相机11所捕捉的图像。
[0351]
于是，在捕捉的图像中，可以适当地进行在提取诸如表演者62之类的移动物体的同时，不提取在遮蔽区域内移动的物体，或者提取绝对在提取区域内没有移动的物体，并且在合成捕捉的图像与背景图像等的情况下实现适当的操作。
[0352]
在实施例中，与相机图像合成的其他图像之一是背景图像。
[0353]
于是，在制作其中诸如表演者62之类的移动物体在期望的背景中表演的视频的情况下，变得能够排除不需要的物体和提取期望合成的非移动物体。
[0354]
在实施例中，多个系统的图像可以输入到图像处理装置1，移动物体提取对象图像是在一个系统中输入的相机11所捕捉的图像，而其他图像之一是在其他系统中输入的从pc 12等输入的输入图像。
[0355]
说明了在背景上准备画面区域61，并使用从pc 12供给的图像作为第三层图像vl3来合成画面图像的例子。结果，准备了表演者62用于说明、表演、演示等的图像，并且所准备的图像可以是要合成的对象。
[0356]
在实施例中，与相机图像合成的其他图像之一是徽标图像。
[0357]
结果，可以容易地制作明确了图像权利人、制作者等的合成图像。
[0358]
注意，在实施例中，遮蔽区域和绝对提取区域两者都是可设定的。不过，可以只有遮蔽区域是可设定的，或者可以只有绝对提取区域是可设定的。自然地，作为图16中所示的合成处理，可以按照设定进行步骤s230或s240。
[0359]
实施例的程序是用于使例如cpu、dsp、或包括cpu和dsp的设备执行图5、6和7中的处理，图16中的处理，或者作为上述处理的变形例的图21、22等中的处理的程序。
[0360]
即，实施例的程序是用于使图像处理装置执行以下处理的程序：关于移动物体提取对象图像，生成通过在除遮蔽区域以外的区域中提取移动物体的图像而获得的提取图像ve，所述遮蔽区域被设定为不从中提取要用于合成的图像的区域，和合成提取图像ve与其他图像。
[0361]
通过这样的程序，可以在诸如信息处理装置、便携式终端设备、图像编辑设备、切换器和成像设备之类的设备中实现上述图像处理装置。
[0362]
这样的程序可以预先记录在作为内置于诸如计算机设备之类的设备中的记录介质的hdd、具有cpu的微型计算机中的rom等中。
[0363]
或者，程序可以临时或永久地存储(记录)在可移除记录介质上，诸如软盘、光盘只读存储器(cd-rom)、磁光(mo)盘、数字通用光盘(dvd)、蓝光光盘(注册商标)、磁盘、半导体存储器或存储卡。这样的可移除记录介质可以被提供为所谓的套装软件。
[0364]
此外，这样的程序可以从可移除记录介质安装到个人计算机等，也可以经由诸如局域网(lan)或因特网之类的网络，从下载站点下载。
[0365]
此外，这样的程序适合于提供各种各样的按照实施例的图像处理设备。例如，通过
将程序下载到个人计算机、诸如智能电话或平板设备之类的便携式信息处理装置、移动电话、游戏设备、视频设备、个人数字助手(pda)等，可以使个人计算机等起按照本公开的图像处理设备的作用。
[0366]
注意，本说明书中描述的效果仅仅是例子，并不受限制，并且可以表现出其他效果。
[0367]
注意，本技术也可以具有以下配置。
[0368]
(1)一种图像处理装置，包括：
[0369]
移动物体提取单元，所述移动物体提取单元被配置为关于移动物体提取对象图像，生成通过在除遮蔽区域以外的区域中提取移动物体的图像而获得的提取图像，所述遮蔽区域被设定为不从中提取要用于合成的图像的区域；和
[0370]
图像合成单元，所述图像合成单元被配置为进行合成所述提取图像与其他图像的处理。
[0371]
(2)按照(1)所述的图像处理装置，其中
[0372]
所述移动物体提取单元从移动物体提取对象图像中，提取被设定为从中提取要用于合成的图像的区域的绝对提取区域的图像，而不管物体是否是移动物体，并且生成所述提取图像。
[0373]
(3)按照(1)或(2)所述的图像处理装置，还包括：
[0374]
用户界面控制单元，所述用户界面控制单元被配置为在画面上控制所述遮蔽区域的位置、形状或尺寸的设定。
[0375]
(4)按照(3)所述的图像处理装置，其中
[0376]
所述用户界面控制单元在显示移动物体提取对象图像与所述其他图像的合成图像的画面上，控制所述遮蔽区域的位置、形状或尺寸的设定。
[0377]
(5)按照(2)所述的图像处理装置，还包括：
[0378]
用户界面控制单元，所述用户界面控制单元被配置为在画面上控制所述绝对提取区域的位置、形状或尺寸的设定。
[0379]
(6)按照(5)所述的图像处理装置，其中
[0380]
所述用户界面控制单元在显示移动物体提取对象图像与所述其他图像的合成图像的画面上，控制所述绝对提取区域的位置、形状或尺寸的设定。
[0381]
(7)按照(4)或(6)所述的图像处理装置，其中
[0382]
所述用户界面控制单元按照对移动物体提取对象图像与所述其他图像的合成图像的操作来改变图像合成比率。
[0383]
(8)按照(2)、(5)和(6)中任意一项所述的图像处理装置，还包括：
[0384]
用户界面控制单元，所述用户界面控制单元被配置为在画面上控制所述遮蔽区域和所述绝对提取区域中的一者或两者的位置、形状或尺寸的设定，其中
[0385]
所述用户界面控制单元使在画面上指示所述遮蔽区域的显示和在画面上指示所述绝对提取区域的显示处于不同的显示模式。
[0386]
(9)按照(2)、(5)和(6)中任意一项所述的图像处理装置，还包括：
[0387]
用户界面控制单元，所述用户界面控制单元被配置为在画面上控制所述遮蔽区域和所述绝对提取区域中的一者或两者的位置、形状或尺寸的设定，其中
[0388]
所述用户界面控制单元进行限制设定操作的处理，以便不造成所述遮蔽区域和所述绝对提取区域的重叠。
[0389]
(10)按照(3)～(9)中任意一项所述的图像处理装置，其中
[0390]
所述用户界面控制单元控制所述其他图像的设定。
[0391]
(11)按照(1)～(10)中任意一项所述的图像处理装置，其中
[0392]
所述图像合成单元能够输出所述提取图像与所述其他图像的合成图像，并且还能够输出所述合成图像的左右翻转图像。
[0393]
(12)按照(1)～(11)中任意一项所述的图像处理装置，其中
[0394]
所述图像合成单元能够输出所述提取图像与所述其他图像的合成图像，并且还能够输出所述提取图像。
[0395]
(13)按照(11)所述的图像处理装置，还包括：
[0396]
用户界面控制单元，所述用户界面控制单元被配置为控制所述合成图像的左右翻转图像的输出。
[0397]
(14)按照(12)所述的图像处理装置，还包括：
[0398]
用户界面控制单元，所述用户界面控制单元被配置为控制所述提取图像的输出。
[0399]
(15)按照(1)～(14)中任意一项所述的图像处理装置，其中
[0400]
所述移动物体提取对象图像是相机所捕捉的图像。
[0401]
(16)按照(1)～(15)中任意一项所述的图像处理装置，其中
[0402]
所述其他图像之一是背景图像。
[0403]
(17)按照(1)～(16)中任意一项所述的图像处理装置，其中
[0404]
多个系统的图像能够被输入，
[0405]
所述移动物体提取对象图像是在一个系统中输入的相机所捕捉的图像，并且
[0406]
所述其他图像之一是在其他系统中输入的输入图像。
[0407]
(18)按照(1)～(15)中任意一项所述的图像处理装置，其中
[0408]
所述其他图像之一是徽标图像。
[0409]
(19)一种图像处理方法，包括：
[0410]
关于移动物体提取对象图像，生成通过在除遮蔽区域以外的区域中提取移动物体的图像而获得的提取图像，所述遮蔽区域被设定为不从中提取要用于合成的图像的区域；和
[0411]
进行合成所述提取图像与其他图像的处理。
[0412]
(20)一种程序，所述程序用于使图像处理装置：
[0413]
关于移动物体提取对象图像，执行生成通过在除遮蔽区域以外的区域中提取移动物体的图像而获得的提取图像的处理，所述遮蔽区域被设定为不从中提取要用于合成的图像的区域；和
[0414]
执行合成所述提取图像与其他图像的处理。
[0415]
本领域的技术人员应理解的是，根据设计需求和其他因素，可以产生各种修改、组合、子组合和改变，只要它们在所附的权利要求书或其等同物的范围之内。
[0416]
[附图标记列表]
[0417]1ꢀꢀꢀ
图像处理装置
[0418]2ꢀꢀꢀ
cpu
[0419]3ꢀꢀꢀ
gpu
[0420]4ꢀꢀꢀ
闪速rom
[0421]5ꢀꢀꢀ
ram
[0422]
6,6-1,6-2,6-n
ꢀꢀ
输入端子
[0423]
7,7-1,7-2,7-m 输出端子
[0424]8ꢀꢀꢀ
网络通信单元
[0425]
20
ꢀꢀ
移动物体提取单元
[0426]
21
ꢀꢀ
图像合成单元
[0427]
22
ꢀꢀ
设定单元
[0428]
23
ꢀꢀ
ui控制单元
[0429]
50
ꢀꢀ
设定画面
[0430]
54
ꢀꢀ
透过率调整条
[0431]
55 预览区域
[0432]
62 表演者
[0433]
63 讲台
[0434]
64 窗帘
[0435]
65 徽标
[0436]
70 遮蔽框
[0437]
71 绝对提取框