使用叠加动画促成由多个用户对媒体内容的同时消费的制作方法

使用叠加动画促成由多个用户对媒体内容的同时消费的制作方法
【专利摘要】在本文中描述了装置、计算机执行的方法、系统、设备、和计算机可读介质的实施例以用于促成由第一计算设备的第一用户和第二计算设备的第二用户对媒体内容的同时消费。在各个实施例中，基于从第二计算设备接收到的捕获的第二用户的视觉数据，促成可以包括在第一计算设备上所呈现的媒体内容上的对第二用户的动画的叠加。在确定第一用户对第二用户有兴趣之后，可以将动画在视觉上强化。促成可以包括至少部分地基于第二用户是否被第一用户分配了可信状态的对捕获的第一用户的视觉数据的有条件改变，以及第一用户的改变的或未改变的视觉数据到第二计算设备的传输。
【专利说明】使用叠加动画促成由多个用户对媒体内容的同时消费
[0001]相关申请的交叉引用
[0002]本申请要求享有于2012年6月25日递交的、美国专利申请N0.13/532，612的优先权，该专利申请的全部内容特此以引用的方式全部并入本文以用于所有目的。

【技术领域】
[0003]本发明的实施例总体上涉及数据处理的【技术领域】，并且更具体地，涉及使用叠加动画促成由多个用户对媒体内容的同时消费。

【背景技术】
[0004]本文中所提供的背景描述是为了总体上呈现出本公开的背景的目的。就本背景部分中所描述的程度来说，目前所指定的
【发明者】的工作，以及在本发明递交时可能没有资格作为现有技术的本描述中的方面，既不能明确地也不能隐含地被承认为针对本公开的现有技术。除非在本文中另有说明，在本部分中所描述的方法不是针对本公开中的权利要求的现有技术，并且将其包括在本部分中并不是被承认为是现有技术。
[0005]人们可能希望一起消费媒体内容。例如，一群朋友可以聚在一起观看电影、电视节目、体育赛事、家庭录像或其它类似的媒体内容。朋友们可以在展示期间互相交流以增强媒体消费体验。物理上相互分离的和不能聚在单个位置中的两个或更多的人可能仍然希望分享媒体内容消费体验。

【专利附图】

【附图说明】
[0006]通过以下详细描述以及附图，将容易理解实施例。为了便于本描述，相似的附图标记指代相似的结构元件。以示例的方式而非限制的方式在附图的图中示出了实施例。
[0007]图1示意性地示出了根据各个实施例的示例计算设备，其被使用本公开的教学内容的适用部分进行配置，与其它被类似配置的远程计算设备进行通信。
[0008]图2示意性地描绘了根据各个实施例的图1的情景，其中计算设备的用户已经表明了对远程用户的特定叠加动画的兴趣。
[0009]图3示意性地描绘了根据各个实施例的图1的情景，其中计算设备的用户已经表明了对远程用户的兴趣超过对叠加动画的媒体内容的兴趣。
[0010]图4示意性地描绘了根据各个实施例的可以由计算设备实施的示例方法。
[0011]图5示意性地描绘了根据各个实施例的可以由计算设备实施的另一个示例方法。
[0012]图6示意性地描绘了根据各个实施例的可以在其上实施所公开的方法和计算机可读介质的示例计算设备。

【具体实施方式】
[0013]在以下详细描述中，参考了构成该详细描述的一部分的附图，其中相似附图标记指代相似部件，并且其以说明的方式示出了可以被实现的实施例。应当理解，可以利用其它实施例并且可以进行结构或逻辑改变而不背离本公开的范围。因此，以下详细描述不应被认为是限制性的，并且由所附权利要求和它们的等价物来限定实施例的范围。
[0014]可以以最有助于理解所要求保护的主题的方式，将各个操作描述为多个依次进行的分立行动或操作。然而，描述的顺序不应被解释为暗示了这些操作一定是顺序相关的。特别地，这些操作可以不按照展示的顺序来执行。可以按不同于所描述的实施例的顺序来执行所描述的操作。在额外实施例中，可以执行额外的操作和/或可以省略所描述的操作。
[0015]为了本公开的目的，短语“A和/或B”意味着⑷、⑶或(A和B)。为了本公开的目的，短语“A、B和/或C，，意味着(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。
[0016]本描述可以使用短语“在一个实施例中”或“在实施例中”，其中的每个可以指代一个或多个相同或不同的实施例。此外，如关于本公开的实施例所使用的，术语“包括”、“包含”、“具有”等是同义的。
[0017]如在本文中所使用的，术语“模块”可以指代以下组件、是以下组件的一部分、或包括以下组件:专用集成电路(“ASIC”)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或组)和/或存储器(共享、专用、或组)、组合逻辑电路、和/或提供所描述功能的其它适合的组件。
[0018]图1示意性地描绘了根据各个实施例的示例计算设备100，其被使用本公开的教学内容的适用部分进行配置。计算设备100被描绘为平板计算设备，但是这并不意味着是限制性的。计算设备100可以是各种其它类型的计算设备(或其组合)，包括但不限于:膝上型计算机、上网本计算机、笔记本计算机、超级本、智能电话、个人数字助理(“PDA”)、超级移动PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元(例如，游戏机)、数码相机、便携式音乐播放机、数字视频录像机、电视(例如，等离子、液晶显示或“IXD”、阴极射线管“CRT”、投影屏幕)等。
[0019]计算设备100可以包括显示器102。显示器102可以是各种类型的显示器，其包括但不限于:等离子、IXD、CRT等。在一些实施例中(未示出)，显示器可以包括投影表面，其中投影仪可以将具有如本文中所描述的叠加动画的图形投影到该投影表面上。在各个实施例中，显示器102可以是触摸屏显示器，其可以用于向计算设备100提供输入并操作计算设备100。在各个实施例中，计算设备100可以包括额外的输入控制(未示出)以促成在经由触摸屏显示器之外的或者替代经由触摸屏显示器的输入。
[0020]在各个实施例中，计算设备100可以包括照相机104，其被配置为捕获视觉数据，例如一个或多个帧和/或数字图像。如将在下文描述的，捕获的视觉数据可以被传输到远程计算设备并用于促成由该远程设备进行的在其它内容上的动画叠加。
[0021]尽管照相机104被示为图1-3中的计算设备100的组成部分，但是这并不意味着是限制性的。在各个实施例中，照相机104可以与计算设备100分离。例如，照相机104可以是使用一条或多条导线或无线地连接到计算设备100的外部照相机(例如，网络摄像头)。
[0022]在各个实施例中，计算设备100可以包括眼球追踪设备106。在各个实施例中，例如图1中所示的计算平板，照相机104还作为眼球追踪设备106。然而，这不是必须的。在各个实施例中，眼球追踪设备106可以与照相机104分离，并且可以是不同类型的设备和/或不同类型的照相机。例如，在计算设备100是电视或连接到电视的游戏机的实施例中，眼球追踪设备106可以是可操作地耦合到该电视或游戏机的照相机或其它设备(例如，动作捕获设备)。在图3中示出了这样的示例，并且将在下文描述。
[0023]在各个实施例中，可以使用软件、硬件或两者的任意组合来分析由照相机104和/或眼球追踪设备106捕获的视觉数据以确定和/或估计用户正在看显示器102的哪个部分(如果有的话)。该确定可以包括各种操作，其包括但不限于:确定用户的脸和/或眼睛与显示器102的距离，在视觉数据中识别用户的眼睛的一个或多个特征，例如瞳孔，测量所识别的特征之间的距离等。如将在下文所讨论的，可以以各种方式来使用对用户正在看显示器102的哪个部分(并因此表明有兴趣)以及用户没有在看显示器102的哪个部分(并因此表明无兴趣)的确定。
[0024]计算设备100可以经由一个或多个网络与各种远程计算设备进行通信。例如，在图1和图2中，计算设备100与第一无线网络接入节点108进行无线通信，该第一无线网络接入节点108自身与网络110进行通信。在各个实施例中，第一无线接入节点108可以是计算设备100可以无线地连接到的演进节点B、WiMAXdEEE 802.16系列)接入点、W1-Fi (IEEE 802.11系列)接入点、或任何其它节点。网络110可以包括一个或多个个域网、局域网、或广域网、专用网络和/或公用网络，其包括但不限于互联网。尽管示出了无线设备100无线地连接到网络110，但是这并不意味着是限制性的，并且计算设备100可以以任何方式(包括经由所谓的“有线”连接)连接到一个或多个网络。
[0025]计算设备100可以与任意数量的远程计算设备进行网络通信。例如，在图1和图2中，计算设备100与第一远程计算设备112和第二远程计算设备114进行网络通信。与计算设备100的情况一样，第一和第二远程计算设备112、114可以是任何类型的计算设备，例如之前所提到的那些计算设备。例如，在图1中，第一远程计算设备112是智能电话而第二远程计算设备114是膝上型计算机。
[0026]示出了第一远程计算设备112无线地连接到另一个无线网络接入节点116。示出了第二远程计算设备114经由有线连接而连接到网络110。然而，由远程计算设备所使用的网络连接的类型并不是实质性的。任何计算设备可以使用任何类型的网络连接以本文中所描述的方式而与任何其它计算设备进行通信。
[0027]在各个实施例中，计算设备100可以被配置为促成由计算设备100的用户(未示出)与一个或多个远程计算设备的一个或多个用户(例如，第一远程计算设备112的第一远程用户118和/或第二远程计算设备114的第二远程用户120)对媒体内容的同时消费。在各个实施例中，计算设备100可以被配置为在计算设备100上所呈现的媒体内容122上叠加远程用户的一个或多个动画。
[0028]在各个实施例中，可以基于从远程计算设备接收到的视觉数据，由计算设备100来渲染一个或多个叠加的动画。在各个实施例中，从远程计算设备接收到的视觉数据可以基于在远程计算设备处捕获的远程用户(例如，118、120)的视觉数据。
[0029]如在本文中所使用的，术语“动画(animat1n) ”可以指代从捕获的视觉数据制造的移动视觉表示。这可以包括但不限于捕获的视觉数据的视频(例如，位图)再现，视觉数据的艺术诠释(例如，基于捕获的用户的视觉数据所渲染的卡通)等。换言之，在本文中，“动画”被用作动词“使动画(animate)”(其意为“带来生机”)的名词形式。因此，“动画”指代“使有生机”的描绘或渲染(与“无生机”相反)。“动画”并不限于绘画者所创建的图画。
[0030]在各个实施例中，媒体内容122可以包括但不限于音频和/或可视内容例如，视频(例如，流)、视频游戏、网页、幻灯片、演示(presentat1n)等。
[0031]通过将远程用户的动画叠加在媒体内容上，相互远离的两个或更多用户可以能够“一起”消费媒体内容。每个用户可以看到被叠加在媒体内容上的其它用户的动画。因此，例如，相互远离的两个或更多的朋友可以分享观看电影、电视节目、体育赛事等的体验。
[0032]在图1中，第一动画124和第二动画126 (分别代表第一远程用户118和第二远程用户120)可以被叠加在计算设备100的显示器102上的媒体内容122上。第一动画124可以基于由计算设备100从第一远程计算设备112 (例如，从第一远程计算设备112的照相机(未示出)上)接收到的第一远程用户118的捕获的视觉数据。例如，第一动画124可以是描绘第一远程用户118的视频流。类似地，第二动画126可以基于在计算设备100处接收到的来自第二远程计算设备114的第二远程用户120的捕获的视觉数据。
[0033]在各个实施例中，在其上渲染了动画的视觉数据可以以各种形式在计算设备之间传输。在各个实施例中，一台计算机可以以位图的形式(例如，*.png或具有阿尔法遮罩(alpha mask)的其它可视文件的视频流)将捕获的视觉数据传输到另一台计算机。在其它实施例中，可以使用具有结合了阿尔法的流视频来传输捕获的视觉数据。在又一个实施例中，可以使用位图(例如，RGB)帧和深度帧的流(从其可以渲染二维(“2D”)或三维(“3D”)动画)来传输捕获的视觉数据。
[0034]在图1-3中，在接近显示器102底部处渲染动画，从而使得计算设备100的用户仍可以查看媒体内容122。然而，这并不意味着是限制性的。诸如第一动画124和第二动画126这样的动画可以在显示器102的任何部分上渲染。在一些实施例中，可以在多个显示器上显示动画。例如，如果台式计算机用户有多个监视器，则可以在一个监视器或另一个监视器上显示动画中的一个或多个。在各个实施例中，这些动画可以被叠加在一个或两个监视器上的内容122上。
[0035]在各个实施例中，在由计算设备100确定用户对特定动画的兴趣之后，可以将该动画在视觉上强化。如在本文中所使用的，将动画“在视觉上强化”可以指相比于其它叠加的动画或媒体内容，不同地渲染该动画，以便相对于一个或多个其它动画而引起对一个动画的注意，或另外将一个动画从一个或多个其它动画中区别开。
[0036]例如，在图1中，以白色和黑色轮廓线描绘第一和第二动画124、126以表示这两个动画被均等地在视觉上强化，从而相对于另一个动画，用户的注意并没有被更加吸引到一个动画。例如，;两个动画都可以实时描绘第一和第二用户并且可以以几乎均等显著的方式来渲染。换言之，两个动画都没有“在视觉上淡化”。
[0037]“在视觉上淡化”可以指以以下方式来渲染动画:不引起对该动画的注意或以将注意力从该动画引开(例如，引到在视觉上被强化的另一个动画或引到其下面的媒体内容)的方式将该动画从其它动画或媒体内容中区别开。在图2中示出了视觉淡化的示例。以全黑色示出第一动画124以表示其在视觉上被淡化。以白色和黑色轮廓线示出第二动画126以表明其在视觉上被强化。
[0038]在各个实施例中，可以以各种方式在视觉上淡化远程用户的动画。例如，可以以例如单一颜色(例如，灰色、黑色、或任何其它颜色或阴影)来渲染远程用户的剪影，而不是渲染出具有全部颜色或全部特征的用户的动画。在各个实施例中，可以以阴影来渲染远程用户。在一些实施例中，在视觉上被淡化的动画可以根本不被动画，或以相比于在视觉上被强化的动画更慢的帧速率来进行动画。
[0039]在图3中，第一动画124和第二动画126都在视觉上被淡化。当计算设备100的用户还没有表明对任何一个用户的兴趣时，可以发生这种情况。例如，用户可能已表明对查看媒体内容122的兴趣，而不是对远程用户的动画的兴趣。当用户表明对一个或另一个动画的兴趣时，则可以由计算设备100将用户对其表达出兴趣的动画在视觉上强化。
[0040]用户可以以各种方式表明对特定动画或显示器102的其它部分有兴趣或无兴趣。例如，照相机104和/或眼球追踪设备106可以被配置为收集与用户的眼球运动相关的数据。基于该数据，计算设备100可以计算用户在观看显示器102的哪个部分(如果有的话)。
[0041]例如，在图2中，基于来自眼球追踪设备106的输入，计算设备100可能已经确定用户在关注(或在观看)第二动画126。由此，计算设备100可以将第二动画126在视觉上强化并且将第一动画124在视觉上淡化。
[0042]作为另一个示例，在图3中，基于来自眼球追踪设备106的输入，计算设备可能已经确定用户在关注媒体内容122，和/或没有关注第一动画124或第二动画126。由此，计算设备100可以将第一动画124和第二动画126都在视觉上淡化，以促成对媒体内容122的较少分心的观看。
[0043]尽管未在图1-3中示出，但是类似于计算设备100，第一远程计算设备112和第二远程计算设备114可以同时显示媒体内容122以及对其它远程用户的动画的叠加。例如，第一远程计算设备112可以将计算设备100的用户(未示出)的动画和第二远程用户120的动画叠加在媒体内容122上。类似地，第二远程计算设备114可以将计算设备100的用户(未示出)和第一远程用户118的动画叠加在媒体内容122上。另外，尽管示出了三个计算设备，但是应当理解的是，用本公开的适用部分进行配置的任意数量的计算设备可以参与媒体内容同时观看会话。
[0044]尽管图中所示的动画描绘了远程用户的整个身体，但是这并不意味着是限制性的。在各个实施例中，可以渲染出少于远程用户的整个身体。例如，在一些实施例中，可以描绘远程用户的一部分，例如躯干以上(例如，远程用户的半身像)。在一些情况中，可以在邻近显示器底部处渲染动画从而使得远程用户的动画看起来从显示器的底部“弹出”。远程用户的其它部分(例如，仅头部、胸部以上、膝部或腿部以上、远程用户的一半或另一半等)也可以被动画。
[0045]在一些实施例中，计算设备100可以被配置为裁剪捕获的远程用户的视觉数据和/或所得到的动画。例如，捕获的远程用户的视觉数据包括远程用户的整个身体和背景。在各个实施例中，计算设备100可以被配置为自动地剪裁掉不需要的部分，例如远程用户的腿和/或背景中的空白空间。
[0046]在各个实施例中，计算设备100可以被配置为基于各种标准而动态地和/或自动地对捕获的其自身的本地用户或远程用户的视觉数据进行剪裁。例如，基于确定视觉数据的区域(在其中表示了本地或远程用户)占用少于全部视觉数据的预先确定的部分，计算设备100可以动态地剪裁计算设备100的本地用户的视觉数据或远程用户的视觉数据的至少一部分。如果本地或远程用户来回移动，例如靠近他或她的照相机，则本地或远程用户在观看区域内可以变得更大。在这种情况中，计算设备100可以根据需要动态地减少剪裁。从而，计算设备100可以确保在其提供给远程计算设备的视觉数据中以及在其从远程计算设备接收到的视觉数据中，用户(本地或远程)的动画具有适当的大小和比例。
[0047]在各个实施例中，除了渲染远程用户的动画之外，计算设备100还可以渲染计算设备100的本地用户的动画。这可以允许用户看到远程用户将会看到的东西。这还可以通过将本地用户的动画放置在与远程用户的动画的“公共区域”中来增加团体感。如将在下文进一步讨论的，这还可以促成用户进行的关于他或她的隐私的决策。
[0048]在各个实施例中，可以使用安装在每个计算设备上的点对点和/或客户端-服务器软件来实施媒体内容同时分享会话。在各个实施例中，即使一个或多个用户退出媒体内容同时分享会话，该会话仍可以持续。例如，在图1中，如果第一远程用户118要退出，则计算设备100上的第一动画124可以消失，但是只要计算设备100和第二远程计算设备114保持媒体内容同时分享会话，第二动画126就可以持续。
[0049]在各个实施例中，用户可以能够加入(或重新加入)现有的媒体内容同时分享会话。例如，在图1和2中，第二远程用户120经由膝上型计算机来参与。然而，在图3中，第二远程用户120可能已经在膝上型计算机上退出了该媒体内容同时分享会话并且可能已经使用第三远程计算设备128 (其使用本公开的适用部分来配置)而重新加入。
[0050]在图3中，第三远程计算设备128是连接到电视130的游戏机的形式。在该布置中，电视130可以与计算设备100的显示器102发挥类似的功能。第三远程计算设备128还可以可操作地耦合到运动感应设备132。在各个实施例中，运动感应设备132可以包括照相机(未示出)。在各个实施例中，运动感应设备132可以包括眼球追踪设备(未示出)。
[0051]在各个实施例中，除了叠加动画之外，计算设备100还可以从远程计算设备接收音频或其它数据并将其呈现给用户。例如，远程计算设备(例如，112、114、128)可以配备有麦克风(未示出)以录制远程用户(例如，118、120)的声音。远程计算设备可以将接收到的音频数字化并将其传输到计算设备100。计算设备100可以在听觉上渲染接收到的音频数据，例如结合动画(例如，124、126)。
[0052]当多个用户同时分享媒体内容时，用户可能希望防止来自远程用户的音频中断媒体内容的音频部分。由此，在各个实施例中，用户可以能够禁止(例如，静音)来自一个或多个远程用户的音频，即使仍允许那些远程用户的动画出现在显示器102上。在各个实施例中，计算设备100可以被配置为在显示器102上的媒体内容上叠加一个或多个远程用户的语音的文本表示。这种情况的示例在图3中可见，其中已经在媒体内容122上叠加了呼叫气泡140以显示第二远程用户120所作的评论的文本表示。
[0053]在各个实施例中，在计算设备100处的远程用户的语音的文本表示可以基于从远程计算设备接收到的语音转文本数据。在各个其它实施例中，远程用户的语音的文本表示可以基于由计算设备100从远程计算设备接收到的音频数据。在后一种情况中，计算设备100可以被配置为利用语音转文本软件来将接收到的音频转换为文本。
[0054]可以以各种方式由多个用户来同时消费媒体。在各个实施例中，可以在多个计算设备(例如，100、112、114、128)之间将流视频或其它媒体内容同步，从而使得所有用户同时看到相同的内容。可以以各种方式发布媒体内容。在一些实施例中，第一用户可以具有媒体内容并可以将其提供给其它用户。例如，计算设备100的用户可以具有流视频的账号(例如，订阅点播视频流)并可以将该流的副本转发给远程计算设备(例如，112、114、128)。在这种情况中，第一用户的计算设备可以在视频流的播放中插入延迟，从而使得其不会在远程计算设备上的视频流播放之前播放。
[0055]在其它实施例中，媒体内容可以位于中间(例如，在内容服务器处)，并且计算设备可以单独地连接到内容服务器或从内容服务器进行流式传输。在这种情况中，计算设备可以交换同步信号以确保每个用户同时观看相同的内容。在一些实施例中，如果用户暂停了计算设备100上的媒体内容的播放，则在其它参与的计算设备(例如，远程计算设备112、114、128)上的内容的播放可以被暂停。
[0056]在各个实施例中，可以采用隐私机制来保护用户的隐私。例如，计算设备100的用户可以指示计算设备100 (例如，向远程计算设备(例如，112、114))仅提供足以供远程计算设备来渲染用户动画的剪影或阴影的视觉数据。在一些实施例中，用户可以引导计算设备100以根本不提供捕获的视觉数据。在一些实施例中，用户可以引导计算设备100以仅在某时段期间捕获视觉数据和/或在其它时段期间限制捕获或改变/扭曲视觉数据。
[0057]在一些实施例中，计算设备100可以采用一个或多个图像处理滤波器以使得渲染在远程计算设备上的用户的动画难以辨认和/或不完全渲染。例如，由计算设备100的照相机104捕获的视觉数据可以穿过一个或多个图像处理滤波器以模糊、像素化、或另外改变数据。在一些实施例中，用户可以引导计算设备100以从捕获的视觉数据中移除一些特征，以使得所得到的动画具有减少的帧速率。附加地或替代地，计算设备100可以降低照相机104的采样速率以捕获较粗糙的视觉数据。
[0058]在一些实施例中，计算设备100可以被配置为例如响应于从远程计算设备(例如，112,114)接收到的指令以保护远程用户的隐私。例如，计算设备100可以被配置为改变(例如，通过穿过图像处理滤波器)代表远程用户的视觉数据(该视觉数据本来会另被完全渲染)，从而使得所得到的远程用户的动画难以辨认或另不被完全渲染。
[0059]在各个实施例中，用户可以将可信状态分配给一个或多个远程用户。此后，那些远程用户可以被认为是用户的“联系人”之一。当用户的联系人之一加入或重新加入媒体内容同时观看会话时，该联系人的动画可以出现、重新动画、或另发生外观变化。当用户的联系人之一离开媒体内容同时观看会话时，该联系人的动画可以消失、变成卧姿、或另发生外观变化。
[0060]在一些实施例中，根据目标远程计算设备的远程用户是否已被分配了可信状态，计算设备100可以有条件地改变传输到远程计算设备的视觉数据。例如，计算设备100可以发送“完整”或未改变的视觉数据到用户的联系人，或发送到被分配了比其它联系人更高的可信状态的特定联系人(例如，“亲密好友”)。计算设备100可以发送不完整视觉数据(例如，具有被移除的帧的视觉数据或用降低的采用率捕获的视觉数据)或改变的视觉数据(例如，被模糊的、被像素化的等)到被认为更疏远的联系人(例如，熟人)。在一些实施例中，计算设备100可以发送很少甚至不发送视觉数据、或被严重改变的视觉数据到没有被分配可信状态的用户的远程计算设备。
[0061]在各个实施例中，在计算设备100将要在媒体内容上叠加远程用户的动画，或为远程计算设备提供捕获的用户的视觉数据之前，计算设备100可以请求执行与远程计算设备(例如，112、114)的握手程序。例如，在计算设备100将要在媒体内容上叠加远程用户的动画，或为远程计算设备提供视觉数据之前，可以要求计算设备100的用户点击或另外选择表示远程用户的图标或其它图形。在一些实施例中，计算设备100可以叠加用户的“最亲密”联系人(例如，已被用户分配了相对高的信任等级的联系人)的动画，或为最亲密联系人提供捕获的该用户的视觉数据，而无需请求任何握手。
[0062]在一些实施例中，可以将图像处理应用于视觉数据以为了隐私之外的目的。例如，在一些实施例中，可以由计算设备100来实施背景减除以从“减出”用户并视觉数据中减掉背景。当远程计算设备使用视觉数据叠加用户的动画时，用户可以单独地被渲染，而没有任何背景。
[0063]在各个实施例中，可以以2D和/或3D来渲染诸如第一动画124和第二动画126这样的叠加的动画。在将动画以3D渲染的实施例中，计算设备100可以被配置为对远程用户的动画的叠加采用视差校正。在一些3D实施例中，捕获的视觉数据(其中，动画基于该视觉数据)可以作为点云、顶点列表、三角形列表而在计算设备之间传输。
[0064]在计算设备100被配置为以3D来渲染动画的实施例中，计算设备100可以以多种方式来这样做。例如，在一些实施例中，计算设备100可以在2D屏幕上渲染3D几何。在其它3D实施例中，计算设备100可以在立体显示器上以3D来渲染3D几何，并且用户可以戴上3D眼镜。
[0065]可以以各种方式在显示器102上渲染远程用户的动画的叠加。在各个实施例中，可以在透明窗中渲染远程用户的动画的叠加，该透明窗自身被叠加在显示器102上所显示的其它内容的全部或一部分上。
[0066]图4描绘了可以在计算设备(例如，计算设备100、第一远程计算设备112、第二远程计算设备114、和/或第三远程计算设备128)上实施的示例方法400。在块402，可以例如由计算设备100从远程计算设备接收捕获的该远程计算设备的远程用户的视觉数据。在块404，可以例如由计算设备100来呈现媒体内容(例如,视频、共享的网页浏览会话、幻灯片等)，在远程计算设备上同时呈现该媒体内容。
[0067]在块406，可以例如由计算设备100来确定计算设备的用户对远程用户有兴趣或无兴趣。例如，计算设备100可以从眼球追踪设备(例如，106)接收数据，计算设备100可以用该数据来确定用户在看哪个位置。如果远程用户的动画在该位置或距离该位置特定的距离，则可以例如由计算设备100来确定该用户对远程用户有兴趣。
[0068]在块408，基于接收到的视觉数据，可以例如由计算设备100将远程用户的动画叠加在媒体内容(例如，122)上。在块410，基于对用户兴趣的确定结果，可以例如由计算设备100将动画在视觉上强化或淡化。例如，如果用户对远程用户有兴趣，则远程用户的动画可以被完全渲染。如果用户对远程用户无兴趣，则远程用户的动画可以例如以阴影、以较低的帧速率、像素化等来不完全渲染。在块410之后，如果媒体同时分享会话仍在进行中，则方法400可以回到块402。如果会话终止了，则方法400可以进行到结束块。
[0069]图5描绘了可以在计算设备(例如，计算设备100、第一远程计算设备112、第二远程计算设备114、和/或第三远程计算设备128)上实施的示例方法500。在块502，可以例如由照相机104捕获视觉数据。在块504，可以例如由照相机104确定计算设备100的用户希望与其同时消费媒体内容的一个或多个远程用户是否被包含在具有可信状态的远程用户(例如，联系人)列表中。如果答案为否，则在块506，可以例如由计算设备100改变捕获的用户的视觉数据以保持用户的隐私。例如，可以提供视觉数据使其通过一个或多个图像处理滤波器(例如，模糊滤波器、像素化滤波器)或另将其改变以使得在远程计算设备上所得到的动画难以辨认、扭曲和/或不完全表露。在块508，可以例如由计算设备100将改变的视觉数据传输到远程计算设备(例如，112、114、128)。在块508之后，如果媒体同时分享会话仍在进行中，则方法500可以回到块502。如果会话终止了，则方法500可以进行到结束块。
[0070]如果在块504答案为是，则在块510，可以例如由计算设备100来确定用户是否需要隐私。例如，计算设备100可以确定是否设置了隐私标志、或者当前时间是否在用户已表明的需要隐私的时间段内。如果用户需要隐私，则方法500可以进行到块506，并且可以在传输之前将视觉数据改变以保护用户的隐私。如果在块510答案为否，则在块508，可以例如由计算设备100来传输未改变的视觉数据到一个或多个远程计算设备(例如，112、114、128)。
[0071]图6示出了根据各个实施例的示例计算设备600。计算设备600可以包括多个组件，处理器604和至少一个通信芯片606。在各个实施例中，处理器604可以是处理器内核。在各个实施例中，至少一个通信芯片606还可以被物理地和电地耦合到处理器604。在进一步的实施中，通信芯片606可以是处理器604的一部分。在各个实施例中，计算设备600可以包括印刷电路板(“PCB”)602。对于这些实施例，处理器604和通信芯片606可以被布置在其上。在替代实施例中，各个组件可以被耦合而无需采用PCB 602。
[0072]根据其应用，计算设备600可以包括可以或可以不被物理地和电地耦合到PCB602的其它组件。这些其它组件包括但不限于:易失性存储器(例如，动态随机存取存储器608，也称为“DRAM”)、非易失性存储器(例如，只读存储器610，也称为“ROM”)、闪速存储器612、图形处理器614、数字信号处理器(未不出)、加密处理器(未不出)、输入/输出(“I/O”)控制器616、天线618、显示器(未示出)、触摸屏显示器620、触摸屏控制器622、电池624、音频编解码器(未示出)、视频编解码器(未示出)、全球定位系统(“GPS”)设备628、指南针630、加速计(未示出)、陀螺仪(未示出)、扬声器632、照相机634、和大容量存储设备(例如，硬盘驱动器、固态驱动器、光盘(“CD”)、数字多功能盘(“DVD”))(未示出)等。在各个实施例中，处理器604可以与其它组件集成在相同管芯上以形成片上系统(“SoC”)。
[0073]在各个实施例中，易失性存储器(例如，DRAM 608)、非易失性存储器(例如，ROM610)、闪速存储器612、和大容量存储设备可以包括程序指令，其被配置为响应于由处理器604的执行来使得计算设备600能够实现方法400和/或500的所有或选定的方面。例如，诸如易失性存储器(例如，DRAM 608)、非易失性存储器(例如，ROM 610)、闪速存储器612、和大容量存储设备这样的存储器组件中的一个或多个可以包括指令的临时和/或永久副本(示为图6中的控制模块636)，其被配置为使得计算设备600能够实现所公开的技术，例如方法400和/或方法500的所有或选定的方面。
[0074]通信芯片606可以启用有线和/或无线通信以用于将数据传输到计算设备600或从计算设备600传输数据。术语“无线”及其衍生词可以用于描述可以通过经由非固态介质的调制电磁辐射的使用来通信数据的电路、设备、系统、方法、技术、通信信道等。该术语并不暗示相关联的设备不含有任何导线，尽管在一些实施例中它们可能不含有导线。通信芯片606可以实施以下多种无线标准或协议中的任何一种，包括但不限于:IEEE802.11 ( “WiFi”)、IEEE 802.16( “WiMAX”)、IEEE 702.20、长期演进(“LTE”)、通用分组无线业务(“GPRS”)、演进数据最优化(“Ev-DO”)、演进高速分组接入(“HSPA+”)、演进高速下行链路分组接入(“HSDPA+”)、演进高速上行链路分组接入(“HSUPA+”)、全球移动通信系统(“GSM”)、增强型数据速率GSM演进(“EDGE”)、码分多址(“CDMA”)、时分多址(“TDMA”)、数字增强无绳通信(“DECT”)、蓝牙、其衍生物、以及被指定为3G、4G、5G和更高代的任何其它无线协议。计算设备600可以包括多个通信芯片606。例如，第一通信芯片606可以专用于诸如W1-Fi和蓝牙这样的较短距离无线通信而第二通信芯片606可以专用于较长距离无线通信，例如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO等。
[0075]在各个实施例中，计算设备600可以是膝上型计算机、上网本计算机、笔记本计算机、超级本、智能电话、计算平板、个人数字助理(“PDA”)、超便携PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元(例如，游戏机)、数码相机、便携式音乐播放机、或数字视频录像机。在进一步的实施中，计算设备600可以是处理数据的任何其它电子设备。
[0076]在本文中描述了装置、计算机实施的方法、系统、设备、和计算机可读介质的实施例以用于促成由第一计算设备的第一用户和第二计算设备的第二用户对媒体内容的同时消费。在各个实施例中，基于从第二计算设备接收到的捕获的第二用户的视觉数据，所述促成可以包括在第一计算设备上所呈现的媒体内容上的对第二用户的动画的叠加。在各个实施例中，在确定第一用户对第二用户有兴趣之后，可以将动画在视觉上强化。在各个实施例中，第一用户的兴趣的确定可以基于从与第一计算设备相关联的眼球追踪输入设备接收到的数据。
[0077]在各个实施例中，在确定第一用户对第二用户有兴趣或对第三用户无兴趣之后，可以将在第一计算设备上所呈现的媒体内容上的对第三计算设备的第三用户的动画的叠加在视觉上进行淡化。在各个实施例中，第一计算设备可以以阴影来渲染第三用户的动画的叠加，以在视觉上淡化第三用户的动画的叠加。
[0078]在各个实施例中，第二用户的动画的叠加包括邻近第一计算设备的显示器底部处的第二用户的动画的叠加。在各个实施例中，可以对第二用户的动画的叠加采用视差校正。
[0079]在各个实施例中，可以将第二用户的语音的文本表示叠加在媒体内容上。在各个实施例中，第二用户的语音的文本表示可以基于从第二计算设备接收到的语音转文本数据或从第二计算设备接收到的音频数据。在各个实施例中，可以以透明窗来渲染第二用户的动画的叠加。
[0080]在各个实施例中，至少部分地基于第二用户是否被第一用户分配了可信状态，可以将捕获的第一用户的视觉数据在视觉上改变。在各个实施例中，可以将捕获的第一用户的视觉数据传输到第二计算设备。在各个实施例中，捕获的视觉数据可以被配置为使得第二计算设备在第二计算设备上所显示的媒体内容上叠加第一用户的动画。
[0081]在各个实施例中，有条件的改变可以包括对捕获的第一用户的视觉数据的图像处理，所述图像处理包括模糊、像素化、背景减除、或帧移除。在各个实施例中，可以响应于确定第二用户没有被第一用户分配可信状态而改变捕获的第一用户的视觉数据。
[0082]在各个实施例中，捕获的第一或第二用户的视觉数据中的至少一些视觉数据可以被自动地剪裁。在各个实施例中，基于确定视觉数据的区域(在其中表示了第一或第二用户)占用少于全部捕获的第一或第二用户的视觉数据的预先确定的部分，捕获的第一或第二用户的视觉数据中的至少一些视觉数据可以被动态地剪裁。
[0083]尽管为了描述的目的在本文中示出和描述了某些实施例，但是本申请是要覆盖本文中所讨论的实施例的任何适应或变型。因此，显然希望的是，仅由权利要求来限制本文中所描述的实施例。
[0084]在本公开陈述“一个”或“第一”元件或其等同物处，该公开包括一个或多个这样的元件，既不要求也不排除两个或更多这样的元件。此外，针对所识别的元件的顺序指示(例如，第一、第二或第三)用于区别元件，并且并不表明或暗示要求或限定数量的这种元件，它们也不表明特定这种元件的特定位置或顺序，除非另作特别说明。
【权利要求】
1.一种计算机实现的方法，包括: 由被第一用户使用的第一计算设备接收从第二计算设备接收到的捕获的第二用户的视觉数据； 在所述第一计算设备上呈现媒体内容，同时地，在所述第二计算设备上呈现所述媒体内容； 由所述第一计算设备确定所述第一用户对所述第二计算设备的所述第二用户有兴趣或无兴趣； 基于所述捕获的第二用户的视觉数据，由所述第一计算设备在所述第一计算设备上呈现的所述媒体内容上叠加所述第二用户的动画；并且 基于确定的结果，由所述第一计算设备将所述动画在视觉上进行强化或淡化。
2.根据权利要求1所述的计算机实现的方法，其中，确定所述第一计算设备的用户有兴趣或无兴趣包括:由所述第一计算设备从眼球追踪设备接收眼球追踪数据，并且基于所述眼球追踪数据，确定所述用户正在看的位置。
3.根据权利要求1所述的计算机实现的方法，进一步包括:在确定所述第一用户对所述第二用户有兴趣或对第三计算设备的第三用户无兴趣时，将在所述第一计算设备上呈现的所述媒体内容上的所述第三用户的动画的叠加在视觉上进行淡化。
4.根据权利要求3所述的计算机实现的方法，进一步包括:由所述第一计算设备以阴影来渲染所述第三用户的动画的叠加，以将所述第三用户的动画的叠加在视觉上进行淡化。
5.根据权利要求1所述的计算机实现的方法，其中，所述第二用户的动画的叠加包括在邻近所述第一计算设备的显示器的底部侧处所述第二用户的动画的叠加。
6.根据权利要求1所述的计算机实现的方法，进一步包括:由所述第一计算设备针对所述第二用户的动画的叠加而采用视差校正。
7.根据权利要求1所述的计算机实现的方法，进一步包括:由所述第一计算设备在所述第一计算设备上呈现的所述媒体内容上叠加所述第二用户的语音的文本表示。
8.根据权利要求7所述的计算机实现的方法，其中，所述第二用户的语音的文本表示基于从所述第二计算设备接收到的语音转文本数据。
9.根据权利要求7所述的计算机实现的方法，其中，所述第二用户的语音的文本表示基于从所述第二计算设备接收到的音频数据。
10.根据权利要求1所述的计算机实现的方法，其中，以透明窗来渲染所述第二用户的动画。
11.根据权利要求1所述的计算机实现的方法，进一步包括: 至少部分地基于所述第一用户是否已经向所述第二用户分配了可信状态，由所述第一计算设备有条件地改变捕获的所述第一用户的视觉数据；并且 由所述第一计算设备将所述视觉数据传输到所述第二计算设备，所述捕获的视觉数据被配置为使得所述第二计算设备在所述第二计算设备上显示的所述媒体内容上叠加所述第一用户的动画。
12.根据权利要求11所述的计算机实现的方法，其中，有条件地改变所述捕获的所述第一用户的视觉数据包括:针对捕获的视觉数据执行图像处理，所述图像处理包括模糊、像素化、背景减除、或帧移除。
13.根据权利要求11所述的计算机实现的方法，其中，有条件地改变所述捕获的所述第一用户的视觉数据包括:响应于所述第二用户还没有被所述第一用户分配可信状态的确定而改变所述视觉数据。
14.根据权利要求11所述的计算机实现的方法，进一步包括:由所述第一计算设备自动地剪裁所述捕获的所述第一或第二用户的视觉数据中的至少一些视觉数据。
15.根据权利要求14所述的计算机实现的方法，进一步包括:基于在其中呈现所述第一或第二用户的视觉数据的区域占用少于全部所述捕获的所述第一或第二用户的视觉数据的预先确定的部分的确定，动态地剪裁所述捕获的所述第一或第二用户的视觉数据中的至少一些视觉数据。
16.包括多个指令的至少一种机器可读介质，所述指令响应于在计算设备上被执行，使得所述计算设备执行根据权利要求1-15中的任意一项所述的计算机实现的方法。
17.一种装置，包括用于执行根据权利要求1-15中的任意一项所述的计算机实现的方法的单元。
18.—种系统,包括: 一个或多个处理器； 可操作地耦合到所述一个或多个处理器的存储器； 显不器；以及 控制模块，其被包含在所述存储器中并且被配置为由所述一个或多个处理器来操作以促成由所述系统的第一用户和远程计算设备的第二用户对媒体内容的同时消费，其中，所述促成包括:基于从所述远程计算设备接收到的捕获的所述第二用户的视觉数据，在所述显示器上呈现的所述媒体内容上叠加所述第二用户的动画，其中，在确定所述第一用户对所述第二用户有兴趣时，将所述动画在视觉上进行强化。
19.根据权利要求18所述的系统，进一步包括:眼球追踪设备，其中，基于从所述眼球追踪设备接收到的数据来确定所述第一用户的兴趣。
20.根据权利要求18所述的系统，其中，所述远程计算设备是第一远程计算设备，并且所述控制模块进一步被配置为在确定所述第一用户对所述第二用户有兴趣或对第二远程计算设备的第三用户无兴趣时，将在所述系统上呈现的所述媒体内容上的所述第三用户的动画的叠加在视觉上进行淡化。
21.根据权利要求20所述的系统，其中，所述控制模块进一步被配置为以阴影来渲染所述第三用户的动画的叠加。
22.根据权利要求18-21中的任意一项所述的系统，其中，所述第二用户的动画的叠加包括在邻近所述显示器的底部侧处所述第二用户的动画的叠加。
23.根据权利要求18-21中的任意一项所述的系统，其中，所述控制模块进一步被配置为针对所述第二用户的动画的叠加而采用视差校正。
24.根据权利要求18-21中的任意一项所述的系统，其中，所述控制模块进一步被配置为在所述显示器上呈现的所述媒体内容上叠加所述第二用户的语音的文本表示。
25.根据权利要求18-21中的任意一项所述的系统，进一步包括触摸屏显示器。
【文档编号】G06T13/00GK104335242SQ201380027047
【公开日】2015年2月4日 申请日期:2013年5月20日 优先权日:2012年6月25日
【发明者】P·I·费尔考伊, A·哈珀, R·亚戈迪奇, R·K·蒙贾, G·休梅克 申请人:英特尔公司