具有三层视频场景的影中影视频流的制作方法
【专利摘要】本申请案涉及一种具有三层视频场景的影中影视频流。一种移动计算装置包含经耦合以分别产生第一、第二及第三摄像机视频流的第一、第二及第三摄像机。所述第一摄像机在所述移动计算装置的第一侧上，且所述第二及第三摄像机包含于所述移动计算装置的第二侧上的立体摄像机中。视频处理器经耦合以产生包含从所述第一摄像机视频流产生的第一视频层的输出视频流。所述视频处理器进一步经耦合以响应于所述第二及所述第三摄像机视频流而从所述第二摄像机视频流将所述输出视频流产生为包含第二及第三视频层。所述视频处理器进一步经耦合以在所述输出视频流中将所述第一视频层叠加于所述第二视频层与所述第三视频层之间。
【专利说明】具有二层视频场景的影中影视频流
【技术领域】
[0001]本发明大体来说涉及一种移动计算装置，且更具体来说涉及一种可产生具有三层视频场景的影中影(ViV)视频流的移动电话或智能电话。
【背景技术】
[0002]在线共享视频已变为常见做法。通常，将视频流从所存储视频文件上载到服务器。多个接收器可在不同时间从所述服务器下载经上载的视频。可由单一摄像机产生所存储视频文件。上载及下载并非实时的。
[0003]例如移动电话、智能电话、平板计算机等移动计算装置已变得无所不在。确实，相信当今世界上移动电话的数目正在接近(如果不超过)全世界的人口数。现在，对从移动电话广播实时视频流的能力的需求正在增长。
【发明内容】
[0004]本发明的一个实施例涉及一种移动计算装置。所述装置包括:第一摄像机，其在所述移动计算装置的第一侧上，其中所述第一摄像机经耦合以产生第一摄像机视频流；第二摄像机，其在所述移动计算装置的第二侧上，其中所述第二摄像机经耦合以产生第二摄像机视频流；第三摄像机，其在所述移动计算装置的所述第二侧上，其中所述第三摄像机经耦合以产生第三摄像机视频流，其中所述第二摄像机及所述第三摄像机包含于所述移动计算装置的立体摄像机中；及视频处理器，其经耦合以产生包含从所述第一摄像机视频流产生的第一视频层的输出视频流，其中所述视频处理器进一步经耦合以响应于所述第二摄像机视频流及所述第三摄像机视频流而产生具有从所述第二摄像机视频流产生的第二视频层及第三视频层的所述输出视频流，其中所述视频处理器经耦合以在所述输出视频流中将所述第一视频层叠加于所述第二视频层与所述第三视频层之间。
[0005]本发明的另一实施例涉及一种网络。所述网络包括:服务器；第一移动计算装置，其连接到所述服务器，所述第一移动计算装置包含在所述第一移动计算装置的第一侧上的经耦合以产生第一摄像机视频流的第一摄像机；立体摄像机，其连接到所述服务器，所述立体摄像机包含经耦合以产生第二摄像机视频流的第二摄像机，且所述立体摄像机进一步包含经耦合以产生第三摄像机视频流的第三摄像机；视频处理器，其包含于所述第一移动计算装置中，其中所述视频处理器经耦合以接收所述第一摄像机视频流以产生输出视频流的第一视频层，且其中所述视频处理器经耦合以接收所述第二摄像机视频流及所述第三摄像机视频流以从所述第二摄像机视频流产生所述输出视频流的第二视频层及第三视频层，其中所述视频处理器经耦合以在所述输出视频流中将所述第一视频层叠加于所述第二视频层与所述第三视频层之间，且其中所述视频处理器经耦合以将所述输出视频流上载到所述服务器；及多个接收器，其耦合到所述服务器以接收所述输出视频流。
[0006]本发明的另一实施例涉及一种用于将三个视频层叠加于输出视频流中的方法。所述方法包括:在从立体摄像机接收的第二及第三摄像机视频流中识别对象；确定所述立体摄像机与在所述第二及第三摄像机视频流中识别的所述对象中的每一者之间的相应距离；将在所述第二及第三摄像机视频流中识别的小于距所述立体摄像机的中视频层距离的任何对象放置于第二视频层中；将在所述第二及第三摄像机视频流中识别的大于距所述立体摄像机的所述中视频层距离的任何对象放置于第三视频层中；在从第一摄像机接收的第一摄像机视频流中识别被摄体；从所述第一摄像机视频流修整背景以在所述第一摄像机视频流中仅仅留下所述经识别被摄体；仅仅将所述经识别被摄体放置于第一视频层中；及在所述输出视频流中将所述第一视频层叠加于所述第二与第三视频层之间。
【专利附图】
【附图说明】
[0007]参考以下各图描述本发明的非限制性及非详尽实施例，其中在所有各视图中相似参考编号指代相似部件，除非另有规定。
[0008]图1根据本发明的教示展示具有产生左场景的左摄像机及产生右场景的右摄像机的实例性立体摄像机。
[0009]图2根据本发明的教示展示产生场景的实例性单一摄像机。
[0010]图3根据本发明的教示展示修整背景且仅仅留下被摄体的图2的实例性场景。
[0011]图4根据本发明的教示展示经耦合以在视频场景中识别被摄体的视频处理器的实例性功能框图。
[0012]图5根据本发明的教示展示后视频层与前视频层之间的叠加中视频层从而产生具有三个视频场景层的ViV视频流的实例。
[0013]图6根据本发明的教示展示后视频层与前视频层之间的叠加中视频层从而产生具有三个视频场景层的ViV视频流的另一实例。
[0014]图7根据本发明的教示展示概述产生具有三个视频场景层的ViV视频流的过程的实例性框图。
[0015]图8根据本发明的教示展示通过因特网连接到服务器的实例性移动计算装置。
[0016]图9根据本发明的教示展示具有面向移动计算装置用户的单一前摄像机的移动计算装置前侧及具有面向移动计算装置用户所面向的视图的立体后摄像机的移动计算装置后侧的实例。
[0017]图10根据本发明的教示展示上载由立体摄像机产生的立体视频流从而替换由移动计算装置的立体后摄像机产生的左及右摄像机视频流的实例性装置。
[0018]在图式的所有数个视图中，对应参考字符指示对应组件。所属领域的技术人员将了解，各图中的元件是为简单明晰的起见而图解说明的，而未必按照比例绘制。举例来说，为有助于改进对本发明的各种实施例的理解，各图中某些元件的尺寸可能相对于其它元件放大。此外，通常未描绘在商业可行的实施例中有用或必需的常见但众所周知的元件以便促进对本发明的这些各种实施例的较不受阻碍的观察。
【具体实施方式】
[0019]在以下描述中，阐述众多特定细节以便提供对本发明的透彻理解。然而，所属领域的技术人员将明了，实践本发明不需要采用特定细节。在其它实例中，未详细地描述众所周知的材料或方法以便避免使本发明模糊。[0020]在本说明书通篇中对“一个实施例”、“一实施例”、“一个实例”或“一实例”的提及意指结合所述实施例或实例所描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因此，在本说明书通篇中各个地方短语“在一个实施例中”、“在一实施例中”、“一个实例”或“一实例”的出现未必全部指代同一实施例或实例。此外，所述特定特征、结构或特性可以任何适合组合及/或子组合而组合于一个或一个以上实施例或实例中。特定特征、结构或特性可包含于集成电路、电子电路、组合逻辑电路或提供所要功能性的其它适合组件中。另外，应了解，随本文提供的各图是出于向所属领域的技术人员解释的目的且所述图式未必按比例绘制。
[0021]由于越来越多数目的移动电话包含多个摄像机，因此合并来自同一移动电话的多个摄像机的多个视频流从而形成单一影中影(ViV)视频流可为有用的。如将论述，根据本发明的教示的实例针对具有形成立体摄像机的单一前摄像机及一对后摄像机的移动计算装置，例如移动电话、智能电话、平板计算机等。根据本发明的教示的实例组合由所述移动计算装置的单一前摄像机产生的视频流与由所述移动计算装置的后摄像机中的一者产生的视频流。由于前摄像机面向移动计算装置的用户，因此前摄像机视频流包含为移动计算装置的用户的被摄体。在一个实例中，可通过修整背景来提取被摄体使得前摄像机视频流仅仅包含所述被摄体的面部及身体而背景被从场景移除。在一个实例中，恰当地缩放仅仅包含被摄体的前摄像机视频流以形成中视频层场景。
[0022]在一个实例中，移动计算装置的后摄像机面向所述移动计算装置的用户也面向的视图。基于三角测量，可将由后摄像机产生的后摄像机视频流的场景中的对象划分成远区及近区。远区中的对象包含于后视频层场景中，且近区中的对象包含于前视频层场景中。
[0023]在所述实例中，将来自前摄像机的中视频层场景叠加于后视频层场景的顶部上，且将前视频层场景叠加于中视频层场景的顶部上，从而形成具有三个视频层的ViV视频流。在恰当遮挡的情况下，所得ViV视频流展示被摄体整合到所述被摄体实际上观看的背景场景中。事实上，被摄体并不在所述背景中。在一个实例中，可将所形成的ViV视频流上载到服务器且接着由所述服务器通过因特网实时地广播。因此，在一个实例中，可从移动计算装置实时地广播正在进行的事件的实况视图，其中所述移动计算装置的用户被并入到所述实况视图中。事实上，呈现者并不在实况视图中。由于呈现者实际上观看所述实况视图，因此呈现者可精确地对所述实况视图进行评论。
[0024]为了图解说明，图1根据本发明的教示展示移动计算装置的实例性立体摄像机100，其具有左摄像机102及右摄像机104。出于解释目的且如图1中所描绘的实例中所图解说明，在本发明中假定左摄像机102的镜头与右摄像机104的镜头分别位于与左摄像机102及右摄像机104实质上相同的位置处。因此，如图1中所描绘的实例中所展示，左摄像机102与右摄像机104之间存在基线110距离。在一个实例中，视频处理器400包含于所述移动计算装置中且耦合到左摄像机102及右摄像机104。左摄像机102产生左摄像机视频流106，在一个实例中，左摄像机视频流106经耦合而由视频处理器400接收并处理。右摄像机104产生右摄像机视频流108,在一个实例中，右摄像机视频流108经稱合而由视频处理器400接收并处理。由于左摄像机102及右摄像机104两者均包含于立体摄像机100中，因此左摄像机视频流106中的场景及右摄像机视频流108中的场景两者包含具有视差的相同对象111、112、113及114。可使用此项技术中众所周知的标准方法(例如三角测量)来测量所述视差并确定对象111-114到立体摄像机100的基线110的距离。
[0025]图2根据本发明的教示展示移动计算装置的实例性单一摄像机202，其耦合到视频处理器400。在一个实例中，图2中所描绘的移动计算装置及视频处理器400为图解说明立体摄像机100的图1中所描绘的相同移动计算装置及视频处理器400。在另一实例中，图2中所描绘的移动计算装置及视频处理器400处于不同于图1中所描绘的实例的移动计算装置中。返回参考图2中所描绘的实例，摄像机202为移动计算装置的前摄像机且产生包含被摄体211以及背景对象212及213的前摄像机视频流204。根据本发明的教示，可从前摄像机视频流204的场景修整背景对象212及213，使得仅仅被摄体211留在前摄像机视频流206中，如图3中所展示。
[0026]在一个实例中，可使用此项技术中众所周知的方法来从前摄像机视频流204修整背景对象212及213。举例来说，在一个实例中，可利用绿色屏幕或蓝色屏幕技术。也称为色度键合成或色度键控的绿色屏幕或蓝色屏幕技术为基于色调或色度范围而将两个图像合成或层化在一起的特殊技术。在许多领域中已大量使用所述技术从相片或视频的被摄体移除背景，例如新闻广播。使顶层中的色彩范围为透明的，从而展露后面的另一场景。此可借助均匀且明显的任何色彩的背景来完成，但较常使用绿色及蓝色背景，因为其在色调上最明显地不同于大多数人类皮肤色彩。视频中被摄体的任何部分可能均不复制背景中所使用的色彩。以此方式，被摄体站立于绿色或蓝色屏幕的前方。在背景修整过程中修整绿色或蓝色屏幕的背景。
[0027]为了图解说明，在电视上的天气预报新闻广播中，在其中于实况电视新闻广播期间被摄体(例如，气象学家)显现为站立于大的天气图前方的情形中，通常使用绿色屏幕或蓝色屏幕色度键合成技术。然而，事实上，被摄体实际站立于大的蓝色或绿色背景屏幕的前方。当使用蓝色屏幕时，在图像的在被摄体后面的其中色彩为蓝色的背景中的部分上添加不同背景(例如，天气图)。如果被摄体穿着蓝色衣服，那么还将用背景场景替换他的或她的衣服。类似系统用于绿色屏幕。使用绿色屏幕或蓝色屏幕色度键合成技术形成视频的各种计算机程序为可用的。
[0028]在一个实例中，不要求使用所述移动计算装置的被摄体站立于绿色或蓝色屏幕的前方。在一个实例中，移动计算装置的视频处理器400利用高级处理来从前摄像机视频流204修整背景场景以形成仅仅包含被摄体211的前摄像机视频流206。举例来说，图4根据本发明的教示描绘图解说明移动计算装置的视频处理器400的一个实例中所包含的处理框的功能框图。过程框中的一些或全部在过程400中出现的次序不应视为限制性。而是，受益于本发明的所属领域的技术人员将理解，可以未图解说明的多种次序或甚至并行地执行所述过程框中的一些。
[0029]如所描绘的实例中所展示，根据本发明的教示，视频处理器400经耦合以识别视频场景中的被摄体。在所述实例中，前摄像机视频流204经耦合而由视频处理器400的面部检测单元402从移动计算装置的前摄像机接收。面部检测单元402包含确定任意数字图像中的人类面部的位置及大小的处理技术。在一个实例中，面部检测单元402检测面部特征且忽略别的任何事物，例如建筑物(例如，图2的213)、树木(例如，图2的212)及身体。面部检测通常用于数码摄像机的自动聚焦中。在检测到被摄体的面部之后，在面部边缘检测单元404中确定面部的边缘。因此，识别面部的位置及边缘。在由面部边缘检测单元404进行的面部边缘检测之后，还可识别被摄体的身体并将其定位为从面部的延伸。在被摄体识别单元406中识别包含面部及身体的被摄体。在由被摄体识别单元406进行的被摄体识别之后，可在背景修整单元408中从场景204修整包含对象212及213而排除被摄体的面部及身体的背景对象以产生仅仅包含被摄体211的面部及身体而不具有背景的场景206。在一个实例中，根据本发明的教示，场景206将为中层。在各种实例中，应了解，根据本发明的教示，视频处理器400中所包含的处理框可在移动计算装置中所包含的硬件、计算机软件、固件及/或其组合中实施。
[0030]在一个实例中，来自场景106及108的仅一个场景用于形成两个其它视频层,其为后视频层及前视频层。根据本发明的教示，后视频层、中视频层及前视频层共同形成三层影中影(ViV)视频流。在一个实例中，场景106用于形成三层ViV视频流的后视频层及前视频层。首先识别场景106中的对象111-114。在另一实例中，应了解，也可使用场景108。可使用此项技术中的标准方法来进行对象识别。举例来说，可辨识对象的边界或边缘且因此可使用其纹理及/或色彩来识别所述边界或边缘。另外，假定同一对象的各部分具有到立体摄像机100的基线110的实质上相同的距离。
[0031]继续所述实例，在识别场景106中的对象111-114之后，或换句话说，在辨识对象111-114的所有边界或边缘之后，可使用左场景106与右场景108的视差基于(举例来说)三角测量而确定对象111-114中的每一者到立体摄像机100的基线110的距离。出于解释目的，在所描绘的实例中假定对象111、112、113及114到立体摄像机100的基线110的所确定距离分别为D1、D2、D3及D4。另外，在所描绘的实例中，假定D1<D2<D3<D4。
[0032]基于其距离D1、D2、D3及D4，可将场景106中的对象111-114划分成远区及近区。此外，远区中的对象包含于后视频层中，且近区中的对象包含于前视频层中。图3的场景206用作中视频层。可选择中视频层到立体摄像机100的基线110的距离，且使用所述距离来划分远区及近区。比中视频层到立体摄像机100的基线110的距离远的对象包含于远区中，且比中视频层到立体摄像机100的基线110的距离近的对象包含于近区中。
[0033]举例来说，根据本发明的教示，将中视频层的距离DS(S代表被摄体)选择为D1〈DS〈D2，如图5中所展示。后视频层502包含对象112、113及114。中视频层504为包含被摄体211的图3的经恰当缩放的场景206。前视频层506包含对象111。将中视频层504叠加于后视频层502上且进一步将前视频层506叠加于中视频层504上产生具有三个视频层的ViV视频场景508。换句话说，根据本发明的教示，中视频层504叠加于前视频层506与后视频层502之间。在所得ViV视频场景508中，被摄体211遮挡后视频层502中的对象112及113，且前视频层506中的对象111遮挡被摄体211。应注意，前视频层508中的对象已适当遮挡后视频层502中的对象，因为前视频层508及后视频层502中的对象最初均是从场景106裁切的。
[0034]如所描绘的实例中所图解说明，恰当缩放中视频层504中的被摄体211的大小。举例来说，假定人类面部的宽度W为约18cm。应了解，可假定W为其它值。参考摄像机102的放大率及距离DS，可缩放场景206使得如果被摄体211站立在距立体摄像机100的基线110距离DS处，那么在中视频层504中被摄体211的面部的宽度W’将等于W或大约18cm。因此，根据本发明的教示，被摄体适当地处于ViV视频场景508中的中视频层504中使得在ViV视频场景508中被摄体的面部的宽度W被缩放为等于预定值，例如18cm。应了解，18cm的预定值是出于解释目的而随本文提供的且根据本发明的教示还可利用其它预定值。
[0035]图6根据本发明的教示图解说明其中将中视频层的距离DS选择为D2〈DS〈D3的另一实例。如所图解说明，后视频层602包含对象113及114。中视频层604为如先前所描述经恰当缩放的包含被摄体211的图3的场景206。前视频层606包含对象111及112。将中视频层604叠加于后视频层602上且进一步将前视频层606叠加于中视频层604上产生具有三个视频层的ViV视频场景608。在所得ViV视频场景608中，被摄体211遮挡后视频层602中的对象113，且前视频层606中的对象111及112遮挡被摄体211。
[0036]以此方式，根据本发明的教示，可产生具有三个视频层的ViV视频流。在进行恰当遮挡的情况下被摄体显现为作为背景的一部分而站立，但事实上被摄体并不站立于背景中。在ViV视频流中，还根据被摄体虚拟站立之处的选定距离来恰当缩放被摄体。虽然立体摄像机100用于确定场景中各种对象的距离，但所产生的ViV视频流并非立体显示。而是，根据本发明的教示，所得三视频层ViV视频流为单一视频流。
[0037]图7根据本发明的教示展示由视频处理器执行的实例性过程(例如借助上文所论述的视频处理器400中所包含的高级处理)的框图700，所述视频处理器经耦合以从前摄像机及立体摄像机接收视频流以产生具有视频场景的三个视频层的ViV视频流。过程框中的一些或全部在框图700中出现的次序不应视为限制性。而是，受益于本发明的所属领域的技术人员将理解，可以未图解说明的多种次序或甚至并行地执行所述过程框中的一些。
[0038]如过程框702中所展示，基于立体摄像机的左场景或右场景中的对象的边界或边缘而识别所述对象，可使用包含纹理及/或色彩以及其它的各种因素来确定所述边界或边缘。在过程框704中，使用左场景与右场景的视差基于三角测量而确定每一对象的距离。在过程框706中，选择中视频层的距离。在过程框708中，将场景中的对象划分成远区及近区。比中视频层的距离远的对象包含于远区中，且比中视频层的距离近的对象包含于近区中。在过程框710中，形成包含远区中的对象的后视频层，且形成包含近区中的对象的前视频层。
[0039]在过程框712中，使用色度键合成方法及/或视频处理器来识别单摄像机场景(例如前摄像机)中的被摄体以检测所述被摄体的面部及身体。在过程框714中，修整所述单摄像机场景中的背景，从而仅仅留下经识别被摄体的面部及身体。在过程框716中，根据过程706来选择中视频层的距离。在过程框718中，缩放被摄体。出于解释目的，在一个实例中，被摄体经缩放使得在场景中根据过程框706选择的中视频层距离处被摄体的面部的宽度将为约18cm。当然，应了解，可利用被摄体的面部的宽度的任何预定值来将被摄体适当缩放到背景场景中。在过程框720中，形成包含经恰当缩放的被摄体的中视频层。在过程框722中，根据本发明的教示，叠加后视频层、中视频层及前视频层，从而形成具有三个视频层的ViV视频流。根据本发明的教示，在进行恰当遮挡的情况下，将中视频层叠加于后视频层的顶部上且将前视频层叠加于中视频层的顶部上产生被摄体站立于背景中的表观。在各种实例中，应了解，根据本发明的教示，框图700中所描述的处理框可在移动计算装置中所包含的硬件、计算机软件、固件及/或其组合中实施。
[0040]图8根据本发明的教示展示通过因特网连接到网络800中的服务器804的移动计算装置802的实例。在一个实例中，举例来说，移动计算装置802可为移动电话、智能电话、平板计算机等。如所描绘的实例中所展示，网络800包含移动计算装置802、服务器804以及多个接收器810、812、814及816。所述因特网包含有线与无线网络的组合。在一个实例中，移动计算装置802使用无线网络来与服务器804连接。所述无线网络可包含W1-Fi网络、移动宽带网络、电话网络或任何适当网络。移动计算装置802中所包含的视频处理器将视频流视频I上载806到服务器804。在一个实例中，视频流视频I为由移动计算装置802捕获的实时视频流。在一个实例中，视频流视频I可为先前存储于移动计算装置802中的经记录视频流。
[0041]如先前所提及，在一个实例中，移动计算装置802可为智能电话。出于本发明的目的，可将智能电话视为建立在移动操作系统(OS)基础上的具有比功能电话更高级的计算能力及连接性的移动电话。除摄像机、触摸屏及web浏览器以外，智能电话还可包含个人数字助理(PDA)、便携式媒体播放器及全球定位系统(GPS)导航单元的功能。由现代智能电话使用的移动操作系统(OS)的实例包含但不限于:Android、iOS、Symbian、BlackBerry OS、Bada、Windows Phone、webOS 及嵌入式 Linux 以及其它。
[0042]在服务器804使与移动计算装置802的连接安全之后，移动计算装置802将视频流视频I上载806到服务器804。所接收的视频流视频I又由服务器804通过包含有线与无线网络的组合的因特网广播808。在所图解说明的实例中，服务器804将视频流视频I广播到个别接收器，例如接收器810、812、814及816。所广播视频流视频I的接收器可包含另一移动计算装置810，例如移动电话、智能电话、平板计算机等。以此方式，移动计算装置810的用户可收看视频流视频I。类似地，其它接收器812、814及816可收看所广播视频流视频I。在一个实例中，上载及广播可为实时的。在另一实例中，上载及广播可并非实时的。
[0043]可使用此项技术中众所周知的标准方法来使移动计算装置802与服务器804之间的连接安全且由服务器804将视频流广播到接收器810-816。在所描绘的实例中，视频流视频I包含视频及音频信号两者。视频流视频I还可包含嵌入于视频流中的文本、图形及其它数据。
[0044]图9根据本发明的教示展示实例性移动计算装置802的具有单一前摄像机906的前侧902，前侧902面向移动计算装置802的用户。在一个实例中，前摄像机906经耦合以将前摄像机视频流提供到视频处理器400。图9还根据本发明的教示展示移动计算装置802的具有立体后摄像机908的后侧904,后侧904面向移动计算装置802的用户所面向的视图。立体后摄像机908进一步包含左后摄像机910及右后摄像机912。在Iv实例中，立体后摄像机906经耦合以将左后摄像机视频流及右后摄像机视频流提供到视频处理器400。前摄像机906产生包含参考图2的视频场景204的前摄像机视频流，其可为展示移动计算装置802的用户的视图。左后摄像机910广生包含参考图1的视频场景106的左后视频流。右后摄像机912产生包含参考图1的视频场景108的右后视频流。场景106及108可为移动计算装置802的用户所面向的左视图及右视图。
[0045]简单地返回参考图7、图4、图2及图1，视频处理器400经耦合以产生具有包含来自视频场景204及视频场景106或视频场景108的对象及被摄体的三个视频层的输出ViV视频流。在一个实例中，移动计算装置的视频处理器400执行图7中所描述的过程以产生具有三个视频层的输出ViV视频流。在图8中所描绘的实例中，将所产生的输出ViV视频流展示为上载806到服务器804的视频I。
[0046]以此方式，移动计算装置802的用户可产生包含他或她所面向的视图的ViV视频流，其中他或她在中间视频层中的图像被缩放为在距移动计算装置802的中视频层距离处且具有恰当遮挡(即，他的或她的图像适当地遮挡后对象)。因此，被确定为距移动计算装置802小于中视频层距离的距离的叠加于前视频层中的相对近的对象适当地遮挡他或她在所形成ViV视频流视频I中的图像。另外，被确定为距移动计算装置802大于中视频层距离的距离的叠加于后视频层中的相对远的对象由他或她在所形成ViV视频流视频I中的图像适当地遮挡。此外，将所产生的ViV视频流视频I上载806到服务器，且所述服务器将视频流视频I广播到接收器810-816。在一个实例中，视频I的上载及广播可为实时的。在另一实例中，视频I的上载及广播可并非实时的。
[0047]图10根据本发明的教示展示其中背景立体场景106及108不来自移动计算装置802的实例。为了图解说明，移动计算装置1000或具有包含产生包含图1的左视频场景106的左视频流的左摄像机1002及广生包含图1的右视频场景108的右视频流的右摄像机1004的立体摄像机的另一装置将包含左视频流及右视频流的立体视频流视频2上载1006到网络800中的服务器804。网络800包含移动计算装置802、装置1000、服务器804以及多个接收器810、812、814及816，如所展示。应注意，立体视频流可需要用于上载的双倍带宽。移动计算装置802从服务器804接收1008立体视频流视频2。根据本发明的教示，将包含由移动计算装置802的前摄像机906产生的图2的视频流204的视频流连同视频流视频2 —起处理，从而形成如先前所描述具有三个视频层的ViV视频流视频I。将所形成的ViV视频流视频I上载806到服务器804。服务器804又将视频I广播到接收器810-816。在一个实例中，上载及广播可为实时的。在另一实例中，上载及广播可并非实时的。
[0048]还应了解，实时上载及实时广播可包含由因特网业务导致的延迟。在一个实例中，根据本发明的教示，出于本发明的目的，可将多达数秒的延迟视为实时的。在另一实例中，应了解，根据本发明的教示，出于本发明的目的，仍可将更长延迟视为实时的。
[0049]如先前所提及，可利用计算机软件及硬件来实施上文所解释的过程。所描述的技术可构成在有形或非暂时机器(例如，计算机)可读存储媒体内体现的机器可执行指令，所述机器可执行指令在由机器(例如视频处理器400)执行时将致使所述机器执行所描述的操作。另外，可在硬件(例如专用集成电路(“ASIC”)或其它)内体现所述过程。
[0050]有形非暂时机器可读存储媒体包含以可由机器(例如，计算机、网络装置、移动计算装置、制造工具、具有一个或一个以上处理器的集合的任何装置等)存取的形式提供(即，存储)信息的任何机构。举例来说，机器可读存储媒体包含可记录/不可记录媒体(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置等)。
[0051]包含发明摘要中所描述内容的本发明的所图解说明实例的以上描述并非打算为穷尽性或限制于所揭示的精确形式。尽管出于说明性目的而在本文中描述本发明的特定实施例及实例，但可做出各种等效修改，此并不背离本发明的较广泛精神及范围。
[0052]可根据以上详细描述对本发明的实例做出这些修改。所附权利要求书中所使用的术语不应理解为将本发明限制于说明书及权利要求书中所揭示的特定实施例。相反，范围将完全由所附权利要求书来确定，所述权利要求书将根据所创建的权利要求解释原则来加以理解。因此，应将本说明书及各图视为说明性而非限制性。
【权利要求】
1.一种移动计算装置，其包括: 第一摄像机，其在所述移动计算装置的第一侧上，其中所述第一摄像机经耦合以产生第一摄像机视频流； 第二摄像机，其在所述移动计算装置的第二侧上，其中所述第二摄像机经耦合以产生第二摄像机视频流； 第三摄像机，其在所述移动计算装置的所述第二侧上，其中所述第三摄像机经耦合以产生第三摄像机视频流，其中所述第二摄像机及所述第三摄像机包含于所述移动计算装置的立体摄像机中 '及 视频处理器，其经耦合以产生包含从所述第一摄像机视频流产生的第一视频层的输出视频流，其中所述视频处理器进一步经耦合以响应于所述第二摄像机视频流及所述第三摄像机视频流而产生具有从所述第二摄像机视频流产生的第二视频层及第三视频层的所述输出视频流，其中所述视频处理器经耦合以在所述输出视频流中将所述第一视频层叠加于所述第二视频层与所述第三视频层之间。
2.根据权利要求1所述的移动计算装置，其中所述视频处理器耦合到所述立体摄像机以响应于所述第二摄像机视频流及所述第三摄像机视频流而从所述第二摄像机视频流产生所述输出视频流的所述第二视频层及所述第三视频层，使得所述输出视频流的所述第三视频层中的第三对象比所述输出视频流的所述第二视频层中的第二对象更远离所述立体摄像机。
3.根据权利要求2所述的移动计算装置，其中所述输出视频流的叠加于所述输出视频流的所述第二视频层与第三视频层之间的所述第一视频层中的第一对象经耦合而由所述视频处理器缩放为比所述第二视频层中的所述第二对象更远离所述立体摄像机，且其中所述第一视频层中的所述第一对象经耦合而由所述视频处理器缩放为比所述输出视频流的所述第三视频层中的所述第三对象更靠近所述立体摄像机。
4.根据权利要求3所述的移动计算装置，其中所述输出视频流的所述第二视频层中的所述第二对象遮挡所述输出视频流的所述第一视频层中的所述第一对象，且其中所述输出视频流的所述第一视频层中的所述第一对象遮挡所述输出视频流的所述第三视频层中的所述第三对象。
5.根据权利要求2所述的移动计算装置，其中所述视频处理器进一步经耦合以在所述第二及第三摄像机视频流中识别所述第二对象且基于所述第二对象在所述第二与第三摄像机视频流之间的视差而确定所述第二对象距所述立体摄像机的距离，其中所述视频处理器进一步经耦合以在所述第二及第三摄像机视频流中识别所述第三对象且基于所述第三对象在所述第二与第三摄像机视频流之间的视差而确定所述第三对象距所述立体摄像机的距离，其中所述第二对象距所述立体摄像机的所述距离小于所述第三对象距所述立体摄像机的所述距离。
6.根据权利要求1所述的移动计算装置，其中所述视频处理器进一步经耦合以将在所述第二及第三摄像机视频流中识别的比中视频层距离更靠近所述立体摄像机的任何对象放置于所述 第二视频层中，其中所述视频处理器进一步经耦合以将在所述第二及第三摄像机视频流中识别的比所述中视频层距离更远离所述立体摄像机的任何对象放置于所述第三视频层中，且其中所述视频处理器进一步经耦合以将所述第一摄像机视频流中的在所述中视频层距离处的第一对象放置于所述第一视频层中。
7.根据权利要求1所述的移动计算装置，其中所述视频处理器进一步经耦合以从所述第一摄像机视频流修整背景以在所述输出视频流中仅仅将被摄体叠加于所述第二视频层与所述第三视频层之间的所述第一视频层中，其中所述被摄体为所述移动计算装置的用户。
8.根据权利要求7所述的移动计算装置，其中所述视频处理器进一步经耦合以缩放所述输出视频流的所述第一视频层中的所述被摄体，使得所述被摄体的面部的宽度被缩放为等于所述输出视频流中的预定值。
9.根据权利要求7所述的移动计算装置，其中所述视频处理器经耦合以利用色度键合成从所述第一摄像机视频流修整所述背景。
10.根据权利要求7所述的移动计算装置，其中所述视频处理器进一步包括: 面部检测单元，其耦合到所述第一摄像机以接收所述第一摄像机视频流，其中所述面部检测单元经耦合以确定所述第一摄像机视频流中的所述被摄体的面部的位置； 面部边缘检测单元，其耦合到所述面部检测单元，其中所述面部边缘检测单元经耦合以检测所述第一摄像机视频流中的所述被摄体的所述面部的边缘； 被摄体识别单元，其耦合到所述面部边缘检测单元，其中所述被摄体识别单元经耦合以识别所述第一摄像机视频流中的所述被摄体的身体；及 背景修整单元，其耦合到所述被摄体识别单元，其中所述背景修整单元经耦合以从所述第一摄像机视频流修整所述背景以在所述输出视频流的所述第一视频层中仅仅留下所述被摄体的所述面部及所述身体。
11.根据权利要求1所述的移动计算装置，其中包含所述第一视频层、所述第二视频层及第三视频层的所述输出视频流经耦合以上载到服务器。
12.根据权利要求11所述的移动计算装置，其中所述输出视频流经耦合而由所述服务器广播到多个接收器。
13.根据权利要求11所述的移动计算装置，其中所述输出视频流经耦合以通过包含W1-Fi网络、移动宽带网络及电话网络中的至少一者的因特网无线网络上载到所述服务器。
14.根据权利要求12所述的移动计算装置，其中所述移动计算装置经耦合以将所述输出视频流实时地上载到所述服务器，且其中所述服务器经耦合以使用有线因特网网络及无线因特网网络中的至少一者将所述输出视频流实时地广播到所述多个接收器。
15.根据权利要求14所述的移动计算装置，其中所述输出视频流从所述移动计算装置到所述服务器的所述实时上载及其中所述输出视频流从所述服务器到所述多个接收器的所述实时广播包含由因特网业务导致的延迟。
16.根据权利要求1所述的移动计算装置，其中所述移动计算装置为移动电话、智能电话或平板计算机中的一者。
17.一种网络，其包括: 服务器； 第一移动计算装置，其连接到所述服务器，所述第一移动计算装置包含在所述第一移动计算装置的第一侧上的经耦合以产生第一摄像机视频流的第一摄像机；
立体摄像机，其连接到所述服务器，所述立体摄像机包含经耦合以产生第二摄像机视频流的第二摄像机，且所述立体摄像机进一步包含经耦合以产生第三摄像机视频流的第三摄像机； 视频处理器，其包含于所述第一移动计算装置中，其中所述视频处理器经耦合以接收所述第一摄像机视频流以产生输出视频流的第一视频层，且其中所述视频处理器经耦合以接收所述第二摄像机视频流及所述第三摄像机视频流以从所述第二摄像机视频流产生所述输出视频流的第二视频层及第三视频层，其中所述视频处理器经耦合以在所述输出视频流中将所述第一视频层叠加于所述第二视频层与所述第三视频层之间，且其中所述视频处理器经耦合以将所述输出视频流上载到所述服务器；及 多个接收器，其耦合到所述服务器以接收所述输出视频流。
18.根据权利要求17所述的网络，其中所述立体摄像机包含于所述第一移动计算装置中所述第一移动计算装置的第二侧上。
19.根据权利 要求17所述的网络，其中所述立体摄像机包含于第二移动计算装置中，其中所述第二计算装置经耦合以将所述第二摄像机视频流及所述第三摄像机视频流上载到所述服务器，且其中所述第一移动计算装置的所述视频处理器经耦合以从所述服务器接收所述第二摄像机视频流及所述第三摄像机视频流。
20.根据权利要求19所述的网络，其中所述第二移动计算装置为移动电话、智能电话或平板计算机中的一者。
21.根据权利要求17所述的网络，其中所述视频处理器经耦合以响应于所述第二摄像机视频流及所述第三摄像机视频流而从所述第二摄像机视频流产生所述输出视频流的所述第二视频层及所述第三视频层，使得所述输出视频流的所述第三视频层中的第三对象比所述输出视频流的所述第二视频层中的第二对象更远离所述立体摄像机。
22.根据权利要求21所述的网络，其中所述视频处理器经耦合以将所述输出视频流的所述第一视频层中的第一对象叠加于所述输出视频流的所述第二视频层与所述第三视频层之间，其中所述视频处理器经耦合以将所述第一视频层中的所述第一对象缩放为比所述第二视频层中的所述第二对象更远离所述立体摄像机，且其中所述第一视频层中的所述第一对象经耦合而由所述视频处理器缩放为比所述输出视频流的所述第三视频层中的所述第三对象更靠近所述立体摄像机。
23.根据权利要求22所述的网络，其中所述输出视频流的所述第二视频层中的所述第二对象遮挡所述输出视频流的所述第一视频层中的所述第一对象，且其中所述输出视频流的所述第一视频层中的所述第一对象遮挡所述输出视频流的所述第三视频层中的所述第三对象。
24.根据权利要求21所述的网络，其中所述视频处理器进一步经耦合以在所述第二及第三摄像机视频流中识别所述第二对象且基于所述第二对象在所述第二与第三摄像机视频流之间的视差而确定所述第二对象距所述立体摄像机的距离，其中所述视频处理器进一步经耦合以在所述第二及第三摄像机视频流中识别所述第三对象且基于所述第三对象在所述第二与第三摄像机视频流之间的视差而确定所述第三对象距所述立体摄像机的距离，其中所述第二对象距所述立体摄像机的所述距离小于所述第三对象距所述立体摄像机的所述距离。
25.根据权利要求22所述的网络，其中所述视频处理器进一步经耦合以将在所述第二及第三摄像机视频流中识别的比距所述立体摄像机的中视频层距离更靠近所述立体摄像机的任何对象叠加于所述第二视频层中，其中所述视频处理器进一步经耦合以将在所述第二及第三摄像机视频流中识别的比所述中视频层距离更远离所述立体摄像机的任何对象叠加于所述第三视频层中，且其中所述视频处理器进一步经耦合以在所述输出视频流的所述第一视频层中将所述第一对象叠加为在距所述立体摄像机的所述中视频层距离处。
26.根据权利要求17所述的网络，其中所述视频处理器进一步经耦合以从所述第一摄像机视频流修整背景以在所述输出视频流中仅仅将被摄体叠加于所述第二视频层与所述第三视频层之间的所述第一视频层中，其中所述被摄体为所述第一移动计算装置的用户。
27.根据权利要求26所述的网络，其中所述视频处理器进一步经耦合以缩放所述输出视频流的所述第一视频层中的所述被摄体，使得所述被摄体的面部的宽度被缩放为等于所述输出视频流中的预定值。
28.根据权利要求26所述的网络，其中所述视频处理器经耦合以利用色度键合成从所述第一摄像机视频流修整所述背景。
29.根据权利要求26所述的网络，其中所述视频处理器进一步包括: 面部检测单元，其耦合到所述第一摄像机以接收所述第一摄像机视频流，其中所述面部检测单元经耦合以确定所述第一摄像机视频流中的所述被摄体的面部的位置； 面部边缘检测单元，其耦合到所述面部检测单元，其中所述面部边缘检测单元经耦合以检测所述第一摄像机视频流中的所述被摄体的所述面部的边缘； 被摄体识别单元，其耦合到所述面部边缘检测单元，其中所述被摄体识别单元经耦合以识别所述第一摄像机视频流中的所述被摄体的身体；及 背景修整单元，其耦合到所述被摄体识别单元，其中所述背景修整单元经耦合以从所述第一摄像机视频流修整所述背景以在所述输出视频流的所述第一视频层中仅仅留下所述被摄体的所述面部及所述身体。
30.根据权利要求17所述的网络，其中所述第一移动计算装置为移动电话、智能电话或平板计算机中的一者。
31.一种用于将三个视频层叠加于输出视频流中的方法，其包括: 在从立体摄像机接收的第二及第三摄像机视频流中识别对象； 确定所述立体摄像机与在所述第二及第三摄像机视频流中识别的所述对象中的每一者之间的相应距离； 将在所述第二及第三摄像机视频流中识别的小于距所述立体摄像机的中视频层距离的任何对象放置于第二视频层中； 将在所述第二及第三摄像机视频流中识别的大于距所述立体摄像机的所述中视频层距离的任何对象放置于第三视频层中； 在从第一摄像机接收的第一摄像机视频流中识别被摄体； 从所述第一摄像机视频流修整背景以在所述第一摄像机视频流中仅仅留下所述经识别被摄体； 仅仅将所述经识别被摄体放置于第一视频层中；及 在所述输出视频流中将所述第一视频层叠加于所述第二与第三视频层之间。
32.根据权利要求31所述的方法，其进一步包括:在所述第一摄像机视频流中检测所述经识别被摄体的面部； 在所述第一摄像机视频流中识别所述经识别被摄体的身体，其中从所述第一摄像机视频流修整所述背景以在所述第一视频层中仅仅留下所述经识别被摄体的所述面部及所述身体。
33.根据权利要求32所述的方法，其进一步包括在所述第一视频层中将所述经识别被摄体缩放为在距所述立体摄像机的所述中视频层距离处，使得所述经识别被摄体的所述面部的宽度被缩放为等于所述输出视频流中的预定值。
34.根据权利要求31所述的方法，其中在所述第一摄像机视频流上识别所述被摄体包括在所述第一摄像机视频流中利用色度键合成。
35.根据权利要求31所述的方法，其中在所述输出视频流中将所述第一视频层叠加于所述第二与第三视频层之间包括: 用所述第二视频层中的在所述第二及第三摄像机视频流中识别的小于距所述立体摄像机的所述中视频层距离的所述任何对象遮挡所述第一视频层中的所述经识别被摄体；及 用所述第一视频层中的所述经识别被摄体遮挡所述第三视频层中的在所述第二及第三摄像机视频流中识别的大于距所述立体摄像机的所述中视频层距离的所述任何对象。
36.根据权利要求31所述的方法，其中所述第一摄像机在第一移动计算装置上。
37.根据权利要求31所述的方法，其中所述立体摄像机在第二移动计算装置上。
【文档编号】H04N5/262GK103916604SQ201310405499
【公开日】2014年7月9日 申请日期:2013年9月9日 优先权日:2013年1月4日
【发明者】古安诺·乔治·曹, 单继璋, 潘辉, 陈家旺 申请人:全视科技有限公司