从远程视角感测的媒体内容的消费和捕获的制作方法
【专利摘要】在本文描述了装置、封装、计算机实现的方法、系统、设备、以及计算机可读介质(暂时和非暂时)的实施例，用于使第一移动设备能够控制第二移动设备来使从第二移动设备的视角感测的媒体内容能够被：使用第一移动设备来消费或在第一移动设备的控制下由第二移动设备捕获。在各种实施例中，控制可包括使用至少在第一和第二移动设备之间的持久通信链路将一个或多个命令提供到第二移动设备。在各种实施例中，控制还可包括使用无状态通信协议接收至少由第二移动设备当前感测的媒体内容的视图。在各种实施例中，第一移动设备可控制多于一个远程移动设备。
【专利说明】从远程视角感测的媒体内容的消费和捕获
[0001]相关申请的交叉引用
[0002]本申请要求2012年8月12日提交的标题为“CONSUMPT1N AND CAPTURE OF MEDIACONTENT SENSED FROM REMOTE PERSPECTIVES” 的美国专利申请号 13/586,718 的优先权。
【技术领域】
[0003]本发明的实施例通常涉及数据处理的【技术领域】，且更具体地，涉及从远程视角感测的媒体内容的消费和捕获。
【背景技术】
[0004]本文提供的背景描述是为了大体呈现本公开的上下文的目的。目前列举的发明人的工作(在它在这个背景章节中被描述的程度上)以及在提交的时间可能不视为现有技术的描述的方面，即不明确地也不隐含地被承认为与本公开相对的现有技术。除非在本文另有指示，在这个章节中描述的方法对本公开中的权利要求并不是现有技术且不通过包括在这个章节中而被承认为现有技术。
[0005]随着在集成电路、计算、联网和相关技术中的进步，移动设备现在是普遍可得到的，并在各种环境中由很多用户使用。移动设备(包括但不限于智能电话、数字照相机、以及平板计算机)现在通常能够捕获媒体内容例如音频、照片和/或视频。
【专利附图】
【附图说明】
[0006]结合附图通过下面的详细描述将容易理解实施例。为了便于这个描述，相似的参考数字表示相似的结构元件。实施例作为例子而不是作为限制在附图的图中示出。
[0007]图1根据各种实施例示意性示出示例场景，其中两个移动设备(每个移动设备从其自己的视角)感测媒体内容。
[0008]图2根据各种实施例示意性示出图1的示例场景，其中移动设备之一提供从其它移动设备的视角感测的消费媒体内容。
[0009]图3根据各种实施例示意性示出示例场景，其中第一移动设备提供由三个其它远程移动设备感测的消费媒体内容。
[0010]图4根据各种实施例示意性示出可在移动设备上实现的示例协议栈。
[0011]图5根据各种实施例示意性示出可在移动设备上实现的示例软件和硬件部件。
[0012]图6根据各种实施例示意性描绘示例计算设备，所公开的方法和计算机可读介质可在该示例计算设备上实现。
【具体实施方式】
[0013]在本文公开了与增强的移动设备用户体验相关联的装置、方法和存储介质。在实施例中，图像或视频可从多个照相机的多个视角捕获并用于各种目的。例如，由多个照相机捕获的多个视图可组合成更复杂的媒体，例如全景图或三维图像或视频。此外或可选地，多个照相机视图可用来跟踪移动物体例如在足球场上的球。例如，来自多个照相机的移动物体的视图可被分析以确定哪个视图在给定的时间点是“最好的”。使用这样的分析，可能汇集当物体四处移动时在“最佳”照相机之间切换的统一视频以跟踪物体。下面进一步描述这些和其它实施例。
[0014]在下面的详细描述中，参考形成其一部分的附图，其中相似的数字始终表示相似的部件，且其中作为例证示出可被实施的实施例。应理解，其它实施例可被利用，且结构或逻辑变化可被做出而不偏离本公开的范围。因此，不应在限制性的意义上理解下面的详细描述，且实施例的范围由所附权利要求及其等效形式限定。
[0015]各种操作可以(用在理解所主张的主题中最有用的方式)依次被描述为多个分立的动作或操作。然而，描述的顺序不应被解释为暗示这些操作必须是顺序相关的。特别是，可以不以呈现的顺序执行这些操作。可以用与所描述的实施例不同的顺序执行所描述的操作。在额外的实施例中，可执行各种额外的操作和/或可省略所描述的操作。
[0016]为了本公开的目的，短语“A和/或B”意指(A)、⑶或(A和B)。为了本公开的目的，短语 “A、B 和 / 或 C，，意指(A)、(B)、(C)、(A 和 B)、(A 和 C)、(B 和 C)或(A、B 和 C)。
[0017]该描述可使用短语“在一个实施例中”或“在实施例中”，其每个可以指相同或不同的实施例中的一个或多个。此外，如关于本公开的实施例使用的术语“comprising (包括)”、“including(包括)”、“具有”等是同义的。
[0018]如在本文使用的，术语“模块”和/或“逻辑”可以指下列部件、或是下列部件的部分、或包括下列部件:专用集成电路(“ASIC”)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或组)和/或存储器(共享、专用、或组)、组合逻辑电路、和/或提供所描述的功能的其它适当的部件。
[0019]现在参考图1，由第一用户(未示出)使用的第一移动设备102可具有事件或物体104的第一视角。由第二用户(未示出)操作的第二移动设备108可具有物体104的第二不同的视角。
[0020]在各种实施例中，第一移动设备102和/或第二移动设备108可以是智能电话、平板计算机、数字照相机、或能够直接与其它移动电子设备(例如直接和无线地)通信的任何其它移动电子设备。在各种实施例中，第一移动设备102可包括输出设备例如触摸屏显不器110。第二移动设备108同样可包括输出设备例如触摸屏显示器112。虽然在图1中示出了触摸屏显示器，这并不意味着是限制性的。移动设备可具有用于媒体内容的消费的其它类型的输出设备，例如非触摸屏显示器(有时被称为“探视器”)、扬声器等。
[0021]第一移动设备102也可包括一个或多个输入设备。例如，第一移动设备102可包括第一照相机114，其在图1中以虚线示出，因为它物理地位于与在图1中可见的侧面相对的第一移动设备102的一侧上。在各种实施例中，第一移动设备102可包括第二前置照相机116。在两侧上给移动设备配备照相机可允许用户在照相机之间切换视图，例如用于视频聊天。在本文描述或设想的任何其它移动设备可类似地被配备。例如，第二移动设备108可包括其自己的第一照相机118(在与可见侧面相对的侧面上)和第二照相机120。由任一照相机感测的媒体内容可由远程移动设备消费或捕获，如下面将讨论的。
[0022]在图1中，人122位于第一移动设备102和物体104之间。作为结果，在触摸屏显示器I1中，人122部分地阻碍由第一照相机114捕获的物体104的视图。为了得到物体104的无阻碍视图，第一移动设备102可移动到不同的位置。然而，移动可能不是可行的。例如，第一移动设备102的用户可以是在事件处有指定座位的观众。即使来自第一移动设备102的视图不被人122阻碍，视图可能依然不是最佳的，例如远离事件或感兴趣的物体的当前位置(例如在体育比赛中的球)。
[0023]因此，在各种实施例中，第一移动设备102可配置成控制在附近的其它移动设备以实现由这些其它移动设备感测的媒体内容的消费，和/或在第一移动设备102的控制下由那些其它移动设备对媒体内容的捕获。例如，第一移动设备102可控制第二移动设备108以使从第二移动设备108的视角感测的媒体内容能够被:使用第一移动设备102来消费，或在第一移动设备102的控制下由第二移动设备108捕获。
[0024]在各种实施例中，第一移动设备102可配置成发现在区域(例如在体育比赛)中的配置成共享媒体内容的其它移动设备，例如第二移动设备108。第一移动设备102可传输可由区域中的其它移动设备(例如第二移动设备108)接收的多播消息，例如多播域名系统(“mDNS”)消息。多播消息可包括各种信息，例如第一移动设备102具有可用于共享的输入设备(例如第一照相机114)，和/或第一移动设备102希望控制在区域中的其它移动设备以使由那些设备感测的媒体内容能够被:使用第一移动设备102来消费，或在第一移动设备102的控制下由移动设备捕获。
[0025]一旦第一移动设备102发现区域中的其它适当配置的移动设备，第一移动设备102就可建立与那些移动设备的持久通信链路。在各种实施例中，那些持久通信链路可被维持，直到各种事件出现为止，例如移动设备失去与彼此的联系(例如离开范围)或移动设备指示它不再可用于被控制以实现由其输入设备感测的媒体内容的消费或捕获(例如，如果它的电池低)。在各种实施例中，例如移动设备使用WiFi Direct进行通信，可使用面向连接的协议(例如传输控制协议(“TCP”))来建立“持久”通信链路。此外和/或可选地，可使用周期性“保活”或“Hello”消息来建立和维持持久通信连路，如下所述。
[0026]一旦第一移动设备102建立与第二移动设备108的持久通信链路，第一移动设备102就可控制第二移动设备108以使从第二移动设备108的视角感测的媒体内容能够被:使用第一移动设备102来消费，并在第一移动设备102的控制下捕获。在图2中看到这样的例子。由第二移动设备108感测的媒体内容可流式传送到第一移动设备102并实时地显示在第一移动设备102上。这给第一移动设备102的用户提供物体104的无阻碍视图。在各种实施例中，第一移动设备102的用户可看到可在第二移动设备108的触摸屏显示器112上看得见的基本上相同的视图。在各种实施例中，媒体内容的视图可使用例如实时协议(“RTP”)、实时流传输协议(“RTSP”)、和/或在无状态通信协议例如用户数据报(“UDP”)上的实时控制协议(“RTCP”)中的一个或多个，从第二移动设备108流式传送到第一移动设备102。
[0027]在各种实施例中，第一移动设备102可(例如响应于用户输入)例如使用持久通信链路来向第二移动设备108提供一个或多个命令。在各种实施例中，这些命令可包括照相机控制命令(例如启动照明机、修改闪光灯设置、调节焦距等)和其它命令。在各种实施例中，可使用照相机控制协议来发送照相机控制命令，照相机控制协议的例子在下文中更详细地被讨论。可使用其它协议例如RTSP来发送其它命令，例如用于控制视频流式传送的命令。
[0028]例如，第一移动设备102可提供一个或多个照相机控制命令(例如“触发”命令)以启动第二移动设备108的第一照相机118或第二照相机120。一旦第一照相机118或第二照相机120被启动，且由第一照相机118或第二照相机120感测的媒体内容可用于流式传送，第一移动设备102就可例如使用RTSP向第二移动设备108发出实时视频流式传送命令例如开始、停止、或暂停，以由第二移动设备108相应地开始、停止或暂停流式传送。来自第二设备108的流式传送的视频可显示在第一设备102上，使得在效果上，第一设备102的用户能够“看”通过第二移动设备108的镜头。如果第一移动设备102的用户希望改变所捕获的媒体的外观，用户可在第一移动设备102上对界面进行操作(例如在触摸屏显示器110上的一个或多个图标)以使第一移动设备102向第二移动设备108发出照相机控制命令，例如以改变第二移动设备108的照相机(例如118、120)的参数。
[0029]在各种实施例中，移动设备可配置成使从多个其它移动设备的视角感测的媒体内容能够被在本地消费和/或在本地控制下捕获。在图3中示出这样的例子，其中在足球比赛时四个移动设备由观众握住。每个移动设备具有足球348的不同视角。可假设设备都发现彼此，以及在它们之间的持久通信链路已建立。
[0030]示出第一移动设备302的触摸屏显示器310，其同时显示分别来自三个远程移动设备340、342、以及344的媒体内容视图330、332和334。在各种实施例中，第一移动设备302可配置成:以暗示远程移动设备相对于第一移动设备302的物理位置的方式，将视图330、332和334定位在触摸屏显示器310上。在各种实施例中，也可计算多个移动设备相对于彼此的相对位置。
[0031]在各种实施例中，第一移动设备302可配置成例如基于各种标准或响应于各种事件，从这些多个视图中选择将要突出地显示在触摸屏显示器310上的视图。例如，第一移动设备302可配置成:为了消费而选择从第二移动设备340的视角、第三移动设备342的视角、或第四移动设备344的视角感测的媒体内容。可以用各种方式执行这个选择。
[0032]例如，第一移动设备302可配置成从一个或多个移动设备自动选择具有特定事件或物体(例如足球348)的最佳视图的媒体内容。在各种实施例中，这可实时地完成，使得第一移动设备302的用户可跟踪球。第一移动设备302可配置成:例如从用户接收用户的兴趣(例如要跟踪的物体例如足球348)作为输入。第一移动设备302可从在附近的多个其它移动设备(与其的持久通信链路被建立)接收足球的视图的多个流。第一移动设备302可使用各种算法来分析用户的兴趣，使用包含在流中的场景和/或事件(例如足球比赛)的进展来给用户提供球的最佳当前视图，这与体育比赛的广播可在来自多个照相机的视图之间转变的方式差不多相同。在各种实施例中，算法可利用各种数据(例如多个移动设备的相对位置)来执行这个分析。在各种实施例中，算法可用于跟踪感兴趣的任何物体或事件(例如球、球员、射门得分的尝试等)。在各种实施例中，第一移动设备302的用户也可从多个移动设备提供的多个视图手动地选择用户希望消费的特定视图。
[0033]回来参考图1-2，在各种实施例中，第一移动设备102的用户可能希望得到从第二移动设备108的视角感测的媒体内容的更持久和/或更高分辨率版本。在这样的情况下，第一移动设备102可进一步配置成控制第二移动设备108以使从第二移动设备108的视角感测的媒体内容能够被:在第一移动设备102的控制下由第二移动设备108捕获。
[0034]例如，“记录”图标可被渲染在触摸屏显示器110上，例如叠加在实时地从第二移动设备108接收的流式传送的媒体内容上。用户可在第一移动设备102处按下这个按钮以例如通过持久通信链路向第二移动设备108发出命令，以发起(或终止)记录媒体内容到第二移动设备108的存储器中。这个记录的媒体内容可例如经由已经建立的持久通信链路或另一按需的面向连接的通信链路，由第二移动设备108提供给第一移动设备102。
[0035]在各种实施例中，由第二移动设备108感测的和在第一移动设备102处消费的媒体内容的流式传送的视图，可具有比由第二移动设备108使用来记录媒体内容的记录分辨率低的分辨率。因此，所记录的媒体内容可在稍后的时间例如使用面向连接的协议从第二移动设备108传输到第一移动设备102。
[0036]在一些实施例中，单个移动设备可充当多个“从”设备的“主设备”。例如在图3中，第一移动设备302可充当主设备以消费由第二移动设备340、第三移动设备342和/或第四移动设备344感测的媒体内容和/或控制第二移动设备340、第三移动设备342和/或第四移动设备344。在这样的实施例中，第一移动设备302可配置成维持已连接设备的列表。假定从设备之一未能对周期性“Hello”消息做出响应，第一移动设备302可从其已连接设备的列表中移除那个远程移动设备。如果从设备回到在线或再次在范围内，则第一移动设备302可自动发现它(例如使用mDNS)并将它添加回到其已连接设备的列表。
[0037]在各种实施例中，移动设备可配置成:为了各种目的而组合从多个移动设备的视角感测的记录的媒体内容。例如，移动设备可配置成将多个静止图像或视频帧组合成三维视图或全景图。此外且与上述内容类似，移动设备可配置成接收多个媒体内容并以实现物体(例如足球)的连续“最佳视图”的方式组合它们。
[0038]图4示意性描绘根据各种实施例可由第一移动设备402和第二移动设备408实现的示例协议栈。在本例中，为了理解的容易，每个移动设备包括类似的部件，且因此使用相同的参考数字标识那些部件。然而，这并不意味着是限制性的，且具有不同部件的多个移动设备可仍然使用所公开的技术来共享媒体内容。
[0039]第一移动设备402可包括用于执行以下动作的网络管理部件450:例如发现其它移动设备、维持与所发现的移动设备的持久通信链路、建立其它通信链路(例如面向连接的链路和/或无状态链路)、传输和接收所感测的和/或捕获的媒体内容等。
[0040]第一移动设备402还可包括照相机414、媒体播放器部件454 (例如以在触摸屏显示器上渲染图形)、视频转换部件456、视频编解码器部件458，其在本例中配置成根据H.264/MPEG-4部分10高级视频编码(“AVC”)标准和RTSP/RTCP/RTP层460来操作。
[0041]在这些部件之下可以是通信层，例如用于提供“无状态”通信链路的UDP层464、用于提供面向连接的和/或持久通信链路的TCP层466、互联网协议(“IP”)层470、以及网络层472。在各种实施例中，网络层472可用于通过蜂窝网络、无线局域网(“WLAN”)例如WiFi,WiFi Direct等发送和接收命令和数据。在各种实施例中，移动设备可此外或可选地使用蓝牙或其它类似的技术交换命令和数据。在各种实施例中，这些直接通信可以或可以不利用其它通信层例如TCP或UDP。
[0042]根据各种实施例，在图4中通过箭头展示了:各种通信可如何在第一移动设备402和第二移动设备408之间被路由的非限制性例子。可使用协议栈在第一移动设备402和第二移动设备408之间交换与移动设备发现有关的通信例如mDNS通信，箭头476横穿该协议栈。这可在第一移动设备402和第二移动设备408上包括网络管理450、无状态通信协议例如UDP部件464、IP层470、以及网络层472。
[0043]第一移动设备402和第二移动设备408可配置成交换各种网络维护消息，例如以维持与彼此的持久通信链路。例如，第一移动设备402和第二移动设备408可配置成例如经由通过箭头478所示的路径(例如从网络管理通过TCP/IP)周期性地交换“Hello”消息。在例如移动设备维持持久蓝牙通信链路的其它场景中，周期性的“Hello”消息可经由其它通信堆栈(未示出)被交换。如果第二移动设备408未能及时对来自第一移动设备402的预定数量的“Hello”消息做出响应(反之亦然)，在发现之后在设备之间建立的持久通信链路可被拆卸。
[0044]在各种实施例(例如图4所示的实施例)中，可从媒体播放器部件454 (例如用户按下触摸屏上的记录图标)通过TCP/IP沿着由箭头480所示的路径交换照相机操作命令和/或RTSP命令。在例如替代地使用蓝牙或其它形式的通信链路的其它场景中，可沿着不同的路径(未示出)交换这些命令。这些命令可由第二移动设备408接收并反向地处理，其后它们可到达第二移动设备408的照相机418。响应于那些命令，第二移动设备408可执行各种操作例如开始、停止或暂停视频流式传送，或在照相机418上执行操作，例如操作闪光灯、改变焦距等。第二移动设备408可通过类似的通信路径但反向地操作第一移动设备402的照相机414。
[0045]在各种实施例中，照相机操作命令可在其自己的协议中被交换，与传统RTSP命令(例如开始、暂停和停止)分离。在各种实施例中，照相机控制协议可被定义为包括下面的字段:
[0046]帧类型I帧长度I帧主体
[0047]在各种实施例中，帧类型字段可以在长度上是一个八位字节，且帧长度字段可以是两个八位字节，且帧主体可以是可变的长度。命令也可采取任何其它格式。
[0048]由一个移动设备感测的媒体内容可沿着由箭头482横穿的路径被实时地流式传送。例如，第二移动设备408可操作其照相机418以从第二移动设备408的视角感测媒体内容。在各种实施例中，由照相机418捕获的视频帧可例如由H.264部件458转换成适合于流式传送的格式。一旦被转换，数据就可通过RTP/UDP/IP被发送到第一移动设备402。第一移动设备402可经由IP/UDP/RTP接收这个数据。第一移动设备402可接着例如使用视频转换部件456将数据从它被接收(例如在H.264部件458)的格式转换成适合于由媒体播放器部件454 (例如在YUV颜色空间中)显示的另一格式。
[0049]如上面提到的，所记录的媒体内容可具有比流式传送的实时媒体内容高的分辨率。因此，在各种实施例中，所记录的媒体内容可例如经由箭头484所指示的路径与其记录被非同时地分发。例如，第二移动设备408可经由面向连接的通信链路将所记录的媒体内容转移到第一移动设备402。在各种实施例中，可相同于或不同于第一移动设备402所使用的持久通信链路来向第二移动设备408提供命令。
[0050]在图5中示出可在移动设备上实现的示例硬件和软件部件。再一次描绘了可类似于图1-4的移动设备的第一移动设备502和第二移动设备508。在本例中，第一移动设备502充当“主设备”或“服务器”以控制充当“从设备”或“客户端”的第二移动设备508，但相反的情况也可为真。在可选的实施例中，第一和第二移动设备502和508可以是彼此的对等设备。
[0051]每个移动设备包括触摸屏显示器510，但这并不意味着是限制性的，且在一些实施例中，移动设备可包括非交互式显示器(例如在照相机或蜂窝电话上的取景器)和单独的输入控制。每个移动设备还可包括服务和应用部件520、连接管理器522、预览解码器524、mDNS部件526、连接建立管理器528、以及配对部件530。虽然在图5中被单独地示出，在各种实施例中，这些部件中的一个或多个可省略和/或与其它部件集成。
[0052]在各种实施例中，服务和应用部件520可维持各种部件和数据结构的全局状态。它也可协调和/或控制由图5中的其它部件执行的动作。例如，服务和应用部件520可执行与上面关于图4的网络管理部件450描述的动作类似的动作。
[0053]在各种实施例中，在第一移动设备502上的连接建立管理器528可与mDNS部件526 一起操作来发现第二移动设备508，如图5中的黑箭头所指示的。在发现时，可在第一移动设备502上的连接管理器522 (在本例中充当服务器)和在第二移动设备508上的连接管理器522(在本例中充当客户端)之间建立(在各种实施例中可包括通过面向连接的协议(例如TCP)的传输的)持久通信链路532。持久通信链路532可持续，直到第一移动设备502或第二移动设备508 (例如通过移动出范围或经由用户手动地关闭链路)终止链路为止。如上面提到的，持久通信链路532可用于交换各种RTSP和/或照相机控制命令。在各种实施例中，持久通信链路532可全部或部分地由可配置成实现安全配对过程的配对部件530建立。
[0054]当第一移动设备502将命令传输到第二移动设备508以从第二移动设备508的视角提供流式传送媒体内容(例如响应于如在图5中由“用户输入”箭头所示的用户输入)时，流式传送数据路径534可在第一移动设备502和第二移动设备508之间建立。如上面提到的，可使用无状态协议(例如UDP)发送流式传送数据路径534，并可携带RTP和/或RTCP业务。在流式传送数据路径534上的媒体内容流式传送在一些实施例中可具有适合于在一般移动设备显示器上显示的分辨率。因为这样的显示器常常很小，分辨率可以相对低，这也可适合于实时无线地流式传送。一旦流式传送的媒体内容在第一移动设备502处被接收到，流式传送的媒体内容就可被发送到预览解码器524，其可将数据解码和/或将它转换成适合于在触摸屏显示器510上渲染的形式(例如YUV颜色空间)。
[0055]当例如第一移动设备502向第二移动设备508提供命令以记录媒体内容时，单独的按需数据路径536可在第一移动设备502和第二移动设备508之间建立。例如，从第二移动设备508的视角观看流式传送的媒体内容的第一移动设备502的用户可决定记录内容的一部分。可例如经由持久通信链路532将命令发送到第二移动设备508以发起媒体内容的记录。第二移动设备508 (例如使用其连接建立管理器528)可接着立即或在某个时间以后建立按需数据路径536。如上面提到的，这个所记录的媒体内容可具有比通过流式传送数据路径534传输的实时流式传送的媒体内容更高的分辨率，并且可能在稍后转移所记录的媒体内容可能更方便，例如当有更多可用的带宽时。在各种实施例中，可使用面向连接的协议(例如TCP)来建立按需数据路径536。
[0056]图6示出根据各种实施例的示例计算设备600。计算设备600可包括多个部件、处理器604和至少一个通信芯片606。在各种实施例中，处理器604可以是处理器核心。在各种实施例中，至少一个通信芯片606也可物理地和电气地耦合到处理器604。在另外的实现中，通信芯片606可以是处理器604的部分。在各种实施例中，计算设备600可包括印刷电路板(“PCB”)602。对于这些实施例，处理器604和通信芯片606可布置在其上。在可选的实施例中，可在没有部署PCB 602的情况下耦合各种部件。
[0057]根据其应用，计算设备600可包括可以或可以不物理地和电气地耦合到PCB 602的其它部件。这些其它部件包括但不限于易失性存储器(例如也被称为“DRAM”的动态随机存取存储器608)、非易失性存储器(例如也被称为“ROM”的只读存储器610)、闪存612、输入/输出控制器614、数字信号处理器(未示出)、密码处理器(未示出)、图形处理器616、一个或多个天线618、显示器(未示出)、触摸屏显示器620、触摸屏控制器622、电池624、音频编解码器(未示出)、视频编解码器(未示出)、全球定位系统(“GPS”)设备628、指南针630、加速度计(未示出)、陀螺仪(未示出)、扬声器632、照相机634、以及大容量存储设备(例如硬盘驱动器、固态驱动器、光盘(“⑶”)、数字通用盘(“DVD”))(未示出)等。在各种实施例中，处理器604可与其它部件一起集成在同一管芯上以形成片上系统(“SoC”)。
[0058]在各种实施例中，易失性存储器(例如DRAM 608)、非易失性存储器(例如ROM610)、闪存612、以及大容量存储设备可包括:配置成使计算机设备600能够响应于由处理器604的执行来实现图4和5所示的技术和通信的所有或所选择的方面的编程指令。例如，一个或多个存储器部件例如易失性存储器(例如DRAM 608)、非易失性存储器(例如ROM610)、闪存612、以及大容量存储设备可包括指令的暂时和/或持久版本，当所述指令被执行时使计算设备600能够操作配置成实现图4和5所示的技术和通信的所有或所选择的方面的模块636。模块636可以例如是应用(未示出)的可调用的功能、操作系统(未示出)的系统服务等。在可选的实施例中，模块636可以是协处理器或嵌入式微控制器。
[0059]通信芯片606可实现用于往返计算设备600的数据的传送的有线和/或无线通信。术语“无线”及其派生词可用于描述可通过使用通过非固体介质的经调制电磁辐射来传递数据的电路、设备、系统、方法、技术、通信通道等。该术语并不暗示相关联的设备不包含任何电线，虽然在一些实施例中它们可以不包含电线。通信芯片606可实现多种无线标准或协议中的任意个，包括但不限于IEEE 802.16 ( “WiMAX”)、IEEE 802.20、长期演进(“LTE”)、通用分组无线业务(“GPRS”)、演进数据优化(“Ev-DO”)、演进高速分组接入(“HSPA+”)、演进高速下行链路分组接入(“HSDPA+”)、演进高速上行链路分组接入(“HSUPA+”)、全球移动通信系统(“GSM”)、GSM演进增强型数据速率(“EDGE”)、码分多址(“CDMA”)、时分多址(“TDMA”)、数字增强型无绳通信(“DECT”)、蓝牙、其派生物、以及被指定为3G、4G、5G和更高代的任何其它无线协议。计算设备600可包括多个通信芯片606。例如，第一通信芯片606可专用于较短距离无线通信例如W1-Fi和蓝牙，而第二通信芯片606可专用于较长距离无线通信例如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO等。
[0060]在各种实现中，计算设备600可以是膝上型计算机、上网本、笔记本计算机、超级本计算机、智能电话、平板计算机、个人数字助理(“PDA”)、超移动PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元(例如游戏控制台)、数字照相机、便携式音乐播放器、或数字视频记录器。在另外的实现中，计算设备600可以是处理数据的任何其它电子设备。
[0061]在本文描述了装置、封装、计算机实现的方法、系统、设备、以及计算机可读介质(暂时和非暂时)的实施例，用于使第一移动设备能够控制第二移动设备来使从第二移动设备的视角感测的媒体内容能够被:使用第一移动设备来消费或在第一移动设备的控制下由第二移动设备捕获。在各种实施例中，控制可包括使用至少在第一和第二移动设备之间的持久通信链路将一个或多个命令提供到第二移动设备。在各种实施例中，控制还可包括使用无状态通信协议接收至少由第二移动设备当前感测的媒体内容的视图。
[0062]在各种实施例中，提供一个或多个命令可包括使用持久通信链路将命令提供到第二移动设备以启动第二移动设备的图像捕获设备。在各种实施例中，提供一个或多个命令还可包括使用持久通信链路将命令提供到第二移动设备以启动与图像捕获设备相关联的闪光灯，或使图像捕获设备记录静止图像或一个或多个视频帧。在各种实施例中，提供一个或多个命令还可包括使用持久通信链路将命令提供到第二移动设备以使用无状态通信协议将第二移动设备当前感测的媒体内容的视图流式传送到第一移动设备。在各种实施例中，媒体内容的流式传送的视图可被编码。在各种实施例中，第一移动设备还可配置成调用第一移动设备的解码器以将媒体内容的流式传送的视图解码。
[0063]在各种实施例中，可使用RTSP通过无状态通信协议来流式传送媒体内容的视图。在各种实施例中，将一个或多个命令提供到第二移动设备还可包括使用RTSP将开始、停止、或暂停命令中的一个或多个提供到第二移动设备以由第二移动设备相应地开始、停止或暂停流式传送。
[0064]在各种实施例中，提供一个或多个命令还可包括使用持久通信链路将命令提供到第二移动设备以发起第二移动设备所感测的媒体内容的记录，或使用持久通信链路将命令提供到第二移动设备以终止第二移动设备所感测的媒体内容的记录。在各种实施例中，媒体内容的流式传送的视图可具有比由第二移动设备使用来记录媒体内容的记录分辨率低的分辨率。
[0065]在各种实施例中，提供一个或多个命令还可包括使用持久通信链路将命令提供到第二移动设备，以使用面向连接的通信协议将所记录的媒体内容提供到第一移动设备。在各种实施例中，接收还可包括使用面向连接的通信协议接收所记录的媒体内容。在各种实施例中，第一移动设备还可配置成传输或接收一个或多个多播通信以发现第二移动设备。
[0066]在各种实施例中，第一移动设备还可配置成控制第三移动设备以使从第三移动设备的视角感测的媒体内容能够被:使用第一移动设备来消费或在第一移动设备的控制下由第三移动设备捕获。在各种实施例中，第三移动设备的控制可包括使用至少在第一和第三移动设备之间的持久通信链路将一个或多个命令提供到第三移动设备。在各种实施例中，控制可此外或可选地包括使用无状态通信协议接收至少由第三移动设备当前感测的媒体内容的视图。在各种实施例中，第一移动设备还可配置成为了消费而自动选择从第二移动设备的视角感测的媒体内容、从第三移动设备的视角感测的媒体内容或、这两者。
[0067]除了控制另一设备以外，移动设备也可被控制。例如在各种实施例中，第一移动设备可配置成由第二移动设备控制以使从第一移动设备的视角感测的媒体内容能够被:使用第二移动设备来消费或在第二移动设备的控制下由第一移动设备捕获。在各种实施例中，将被控制可包括使用至少在第一和第二移动设备之间的持久通信链路从第二移动设备接收一个或多个命令。在各种实施例中，第一移动设备还可配置成使用无状态通信协议来提供至少由第一移动设备当前感测的媒体内容的视图。
[0068]虽然为了描述的目的在本文示出并描述了某些实施例，本申请旨在覆盖本文讨论的实施例的任何改编或变化。因此，意图显然是本文描述的实施例仅由权利要求限制。
[0069]在本公开列举“一个”或“第一”元件或其等效形式的场合，这样的公开包括一个或多个这样的元件，不需要也不排除两个或多个这样的元件。此外，所标识的元件的顺序指示符(例如第一、第二或第三)用于区分开元件，且并不指示或暗示这样的元件的所需的或限制的数量，它们也不指示这样的元件的特定位置或顺序，除非另外特别规定。
【权利要求】
1.一种系统，包括: 一个或多个处理器； 存储器，其可操作地耦合到所述处理器；以及 模块，其配置成与所述一个或多个处理器一起操作或由所述一个或多个处理器操作，以: 控制远程移动设备以使从所述远程移动设备的视角感测的媒体内容能够被:使用所述系统来消费或在所述系统的控制下由所述远程移动设备捕获，其中控制包括使用至少在所述系统和所述远程移动设备之间的持久通信链路将一个或多个命令提供到所述远程移动设备，以及使用无状态通信协议接收至少由所述远程移动设备当前感测的媒体内容的流式传送的视图。
2.如权利要求1所述的系统，其中提供一个或多个命令包括使用所述持久通信链路将命令提供到所述远程移动设备，以启动所述远程移动设备的图像捕获设备、启动与所述图像捕获设备相关联的闪光灯、或使所述图像捕获设备记录静止图像或一个或多个视频帧。
3.如权利要求1或2所述的系统，还包括触摸屏显示器。
4.一种计算机实现的方法，包括由第一移动设备控制第二移动设备以使从所述第二移动设备的视角感测的媒体内容能够被:使用所述第一移动设备来消费或在所述第一移动设备的控制下由所述第二移动设备捕获，其中控制包括由所述第一移动设备使用至少在所述第一移动设备和所述第二移动设备之间的持久通信链路将一个或多个命令提供到所述第二移动设备，以及由所述第一移动设备使用无状态通信协议接收至少由所述第二移动设备当前感测的媒体内容的视图。
5.如权利要求4所述的计算机实现的方法，其中提供一个或多个命令包括使用所述持久通信链路将命令提供到所述第二移动设备，以启动所述第二移动设备的图像捕获设备。
6.如权利要求5所述的计算机实现的方法，其中提供一个或多个命令还包括使用所述持久通信链路将命令提供到所述第二移动设备，以启动与所述图像捕获设备相关联的闪光灯，或使所述图像捕获设备记录静止图像或一个或多个视频帧。
7.如权利要求4所述的计算机实现的方法，其中提供一个或多个命令包括使用所述持久通信链路将命令提供到所述第二移动设备，以使用所述无状态通信协议将由所述第二移动设备当前感测的媒体内容的视图流式传送到所述第一移动设备。
8.如权利要求7所述的计算机实现的方法，其中所述媒体内容的流式传送的视图被编码，且其中指令响应于由所述第一移动设备执行所述指令而进一步调用所述第一移动设备的解码器以将所述媒体内容的流式传送的视图解码。
9.如权利要求7所述的计算机实现的方法，其中所述媒体内容的视图使用实时流式传送协议(“RTSP”)通过所述无状态通信协议被流式传送，且其中将一个或多个命令提供到所述第二移动设备还包括使用所述RTSP将开始、停止、或暂停命令中的一个或多个提供到所述第二移动设备，以由所述第二移动设备相应地开始、停止或暂停流式传送。
10.如权利要求7所述的计算机实现的方法，其中提供一个或多个命令还包括使用所述持久通信链路将命令提供到所述第二移动设备，以发起对由所述第二移动设备感测的媒体内容的记录，或使用所述持久通信链路将命令提供到所述第二移动设备，以终止对由所述第二移动设备感测的媒体内容的记录。
11.如权利要求10所述的计算机实现的方法，其中所述媒体内容的流式传送的视图具有比由所述第二移动设备使用来记录所述媒体内容的记录分辨率低的分辨率。
12.如权利要求10所述的计算机实现的方法，其中提供一个或多个命令还包括使用所述持久通信链路将命令提供到所述第二移动设备，以使用面向连接的通信协议将所记录的媒体内容提供到所述第一移动设备，且其中接收还包括使用所述面向连接的通信协议接收所记录的媒体内容。
13.如权利要求4所述的计算机实现的方法，其中指令响应于由所述第一移动设备执行所述指令而使所述第一移动设备传输或接收一个或多个多播通信以发现所述第二移动设备。
14.如权利要求4所述的计算机实现的方法，还包括由所述第一移动设备控制第三移动设备以使从所述第三移动设备的视角感测的媒体内容能够被:使用所述第一移动设备来消费或在所述第一移动设备的控制下由所述第三移动设备捕获，其中对所述第三移动设备的控制包括使用至少在所述第一移动设备和所述第三移动设备之间的持久通信链路将一个或多个命令提供到所述第三移动设备，以及由所述第一移动设备使用无状态通信协议接收至少由所述第三移动设备当前感测的媒体内容的视图。
15.如权利要求14所述的计算机实现的方法，其中指令响应于由所述第一移动设备执行所述指令而进一步使所述第一移动设备为了消费而自动选择:从所述第二移动设备的视角感测的媒体内容、从所述第三移动设备的视角感测的媒体内容、或这两者。
16.包括指令的至少一个计算机可读介质，所述指令响应于由移动设备执行所述指令而实施权利要求4-15所述的方法中的任何一项。
17.—种装置，其用于控制远程移动设备以使从所述远程移动设备的视角感测的媒体内容能够被:使用所述装置来消费或在所述装置的控制下由所述远程移动设备捕获，所述装置包括: 用于使用至少在所述装置和远程移动设备之间的持久通信链路将一个或多个命令提供到所述远程移动设备的单元；以及 用于使用无状态通信协议接收至少由所述第二移动设备当前感测的媒体内容的视图的单元。
18.如权利要求17所述的装置，还包括用于使用所述持久通信链路将命令提供到所述远程移动设备以启动所述远程移动设备的图像捕获设备的单元。
19.如权利要求18所述的装置，还包括用于使用所述持久通信链路将命令提供到所述远程移动设备以启动与所述图像捕获设备相关联的闪光灯或使所述图像捕获设备记录静止图像或一个或多个视频帧的单元。
20.如权利要求17-19中的任何一项所述的装置，还包括用于使用所述持久通信链路将命令提供到所述远程移动设备，以使用所述无状态通信协议将由所述远程移动设备当前感测的媒体内容的视图流式传送到所述装置的单元。
21.如权利要求20所述的装置，其中所述媒体内容的流式传送的视图被编码，所述装置还包括用于调用所述装置的解码器以将所述媒体内容的流式传送的视图解码的单元。
22.如权利要求20所述的装置，其中所述媒体内容的视图使用实时流式传送协议通过所述无状态通信协议被流式传送，所述装置还包括用于使用所述实时流式传送协议将开始、停止、或暂停命令中的一个或多个提供到所述远程移动设备，以由所述远程移动设备相应地开始、停止或暂停流式传送的单元。
23.如权利要求20所述的装置，还包括用于使用所述持久通信链路将命令提供到所述远程移动设备，以发起对由所述远程移动设备感测的媒体内容的记录的单元，或用于使用所述持久通信链路将命令提供到所述远程移动设备，以终止对由所述远程移动设备感测的媒体内容的记录的单元。
24.如权利要求23所述的装置，其中所述媒体内容的流式传送的视图具有比由所述远程移动设备使用来记录所述媒体内容的记录分辨率低的分辨率。
25.如权利要求23所述的装置，还包括用于使用所述持久通信链路将命令提供到所述远程移动设备，以使用面向连接的通信协议将所记录的媒体内容提供到所述装置的单元，且其中用于接收的所述单元还包括用于使用所述面向连接的通信协议接收所记录的媒体内容的单元。
【文档编号】H04N21/4227GK104471952SQ201380037739
【公开日】2015年3月25日 申请日期:2013年8月1日 优先权日:2012年8月15日
【发明者】M·X·龚, W·孙, K·T·安德森, H·W·豪斯科尔 申请人:英特尔公司