地理空间多观察器的制造方法

地理空间多观察器的制造方法
【专利摘要】一种地理空间多观察器可包括响应于用户输入而提供地理空间数据的地理空间应用，地理空间数据与至少一个地理区域的表示对应。请求引擎被配置为提供用于从至少一个数据源请求内容的搜索询问。搜索询问至少部分地基于来自地理空间应用的地理空间数据。图形管线被配置为动态产生用于响应于用户输入而调整输出呈现中的对象的至少一个变换。输出呈现基于所述至少一个变换被表现。输出呈现中的对象包括所接收的内容和至少一个地理区域的表示。
【专利说明】地理空间多观察器
【技术领域】
[0001]本发明一般地涉及用于显示地理空间相关的信息的系统和方法。
【背景技术】
[0002]为了向用户呈现地理和地理空间信息，开发了各种地理信息程序和系统。这样的地图和相关服务可向用户提供观察街道地图、基于卫星的地图、与地理兴趣区域(ROI)相关的其它空间元数据(诸如方向和交通细节)的选项。也可在地图上或附近的固定位置处向用户呈现附加的静态信息。但是，鉴于可能存在的信息和数据量，可关于地图呈现信息的类型和方式看起来是受限制的。

【发明内容】

[0003]本发明一般地涉及用于显示地理空间相关的数据的系统和方法。例如，数据可被用作容易导航并且对用户有用的行动情报。
[0004]在一个实施例中，一种地理空间多观察器可包括响应于用户输入而提供地理空间数据的地理空间应用，地理空间数据与至少一个地理区域的表示对应。请求引擎被配置为提供用于从至少一个数据源请求内容的搜索询问。搜索询问至少部分地基于包括有由地理空间应用中的可见区域限定的兴趣区域的地理空间数据。图形管线被配置为动态产生用于响应于用户输入调整输出呈现中的对象的至少一个变换。输出呈现基于该至少一个变换被表现。输出呈现中的对象包括所接收的内容和至少一个地理区域的表示。
[0005]在另一个实施例中，地理空间多观察器可包括地理空间应用、请求引擎、异步转移引擎、图形管线和动画引擎。地理空间应用响应于用户输入提供地理空间数据，地理空间数据与至少一个地理区域的表示对应。请求引擎被配置为发送从至少一个数据源请求内容的搜索询问，搜索询问至少部分地基于地理空间数据。在一个例子中，地理空间数据可包括由地理空间应用中的可见区域限定的兴趣区域。异步转移引擎被配置为向图形存储器转移地理区域(一个或多个)的表示连同从搜索询问返回的其它数据。作为例子，异步转移引擎可按与由图形管线使用或消耗的速率无关的速率转移其数据。图形管线接着使用所提供的数据以表现给定的输出帧。例如，以这种方式表现的帧可在用户的控制下将各种数据流转变成行动情报。
[0006]又一个实施例提供了用于提供地理空间信息的计算机实现的方法。该方法可包括接收至少一个用户输入和响应于用户输入而提供地理空间数据。地理空间数据与由在一个或多个计算机处理器上运行的地理空间应用产生的至少一个地理区域的表示相对应。针对内容的搜索请求被发送，该搜索请求包括至少部分地基于地理空间数据的搜索询问。响应于用于控制在输出呈现中表现的对象之间的关系的用户输入而产生至少一个变换。从识别的资源位置接收内容。基于至少一个变换、所接收的内容、和至少一个地理区域的表示而提供输出呈现的帧，使得与输出呈现的每个帧中的所接收内容对应的对象具有地理空间相关的上下文。【专利附图】

【附图说明】
[0007]图1描绘了用于实现地理空间多观察器的系统结构的例子。
[0008]图2描绘了地理空间多观察器的示例性实施例。
[0009]图3描绘了可结合地理空间多观察器使用的内容系统的例子。
[0010]图4是描绘用于提供地理空间多观察器的功能的方法的流程图。
[0011]图5是描绘了用于提供包括用于地理空间ROI的地理表示和内容的输出呈现的方法的流程图。
[0012]图6描绘了展示由地理空间多观察器产生的显示的示例性实施例的截屏的例子。
[0013]图7是展示可由地理空间多观察器产生的另一显示的截屏的例子。
【具体实施方式】
[0014]本发明一般地涉及用于显示地理空间和相关数据的系统和方法。这里所示出和描述的地理空间多观察器的实施例提供了可将内容(例如静态或实时的，来自实况和/或历史数据源的)、地理空间元数据、传感器元数据、分布协议和资产的可视化表示统一到单个地理空间环境中的地理空间多观察器。作为结果，用户可利用地理空间多观察器以获知用户可从中导出行动情报的多元情报。
[0015]在一个实施例中，地理空间多观察器可利用响应于用户输入而提供地理空间数据的地理空间地图应用。地理空间数据可与至少一个地理兴趣区域(ROI)的表示(例如二维或三维)对应。多观察器可从一个或多个数据源请求内容，诸如通过提供至少部分地基于来自地理空间地图应用的地理空间数据(例如地理空间坐标)导出的搜索询问。内容可基于数据源与地理空间元数据和其它信息一起被存储，并且基于请求中的搜索询问提供响应内容。多观察器使用可动态产生用于响应于用于控制地理空间地图应用的用户输入而调整输出呈现的至少一个变换的图形管线。输出呈现包括所接收的内容和地理区域的表示，并基于至少一个变换被表现。
[0016]图1是可实现地理空间多观察器12的系统10的例子。地理空间多观察器12被配置为针对给定的兴趣区域产生在地理空间上被组织的内容的视图。内容可包括视频、静态图像、音频以及其它类型的元数据(诸如例如坐标、兴趣区域、时间线和大量的广播和/或军事级别报警)。可通过与地理空间应用14的用户交互来控制兴趣区域。地理空间应用14为用户提供受用户控制的基准帧。可通过对应的用户界面16基于由用户输入设备(例如鼠标、触摸屏或键盘等)18输入的用户输入控制得到的基准帧和兴趣区域。
[0017]地理空间应用14产生用于受用户控制的地理区域的地理空间数据。地理空间数据可包括地理空间坐标、与兴趣区域的图形表示对应的数据以及可在地图或卫星影像中显示的其它可识别信息(例如城市、区域、地标或其它对象的标签)。地理区域的图形表示可与二维或三维的地理地图或可视化表示对应。图形表示的类型和内容可根据正被利用的特定的地理空间应用而变化。
[0018]可在多观察器12中利用的地理空间应用的例子可包括一列举几种商业可用的地图应用一谷歌地图、谷歌地球、Bing地图(以前为微软虚拟地球)。作为替代方案，地理空间应用可以是可被设置有与一个或多个地理区域对应的适当的地理空间数据的专有地理空间应用。地理空间应用可被设置有多种多样形式的地理空间数据，包括锁眼标记语言(Keyhole Markup Language, KML) JML是可用于在基于因特网的、二维地图和三维表示上表达地理注解和可视化表示的基于XML的语言模式。KML文件规定用于在由地理空间应用38提供的缓冲器中表现的一组特征(例如位置标记、图像、多边形、3D模型和文本描述等)。地理空间应用也可提供由表现管线使用的数据，最重要的是可见区域、焦点、照相机位置和与当前的基准帧有关的其它数据。
[0019]用户可通过用户界面16与地理空间应用14交互以例如改变基准帧或者在地图上选择一个或多个点。例如，可响应于用户经由用户界面16输入指令(例如通过移动指点元件)而添加或选择和改变兴趣区域。另外，可通过在键盘上调整照相机位置或者通过用鼠标轮缩放来改变基准帧。地理空间多观察器12被配置为提供对应的输出以在可在相关联的输出显示器20上可视化的统一输出呈现中呈现地理兴趣区域的表示连同其它的内容。例如，多观察器12可被配置为根据其在兴趣区域内的地理相关性选择性地将内容叠加于图形表示上。
[0020]附加地或者作为替代方案，地理空间多观察器12可诸如通过供一个或多个外部用户24使用的对应的网络22来向远程设备发送统一输出。例如，地理空间多观察器12可将对应的统一输出作为与地理表不和相关内容的统一呈现对应的一系列的巾贞而串流(stream)至与一个或多个外部用户24对应的预定资源位置。巾贞可按一个或多个用户可配置的分辨率和编码类型从多观察器12串流。
[0021]响应于用户经由用户界面16与地理空间应用14的交互并根据地理空间多观察器12的上下文，多观察器产生搜索询问。地理空间多观察器12可至少部分地基于来自地理空间应用14的地理空间数据导出搜索询问。例如，地理空间数据可包括来自地理空间应用14的与用户限定的基准帧对应的地理空间坐标。地理空间坐标可限定地理区域。区域可以是经由输出显示器20向用户呈现的整个区域，或者它可以是向用户显示的区域的一部分或更多。作为替代方案或者附加地，地理空间数据可包括可位于经由输出显示器20呈现的地理空间区域内的用户所选择的一个或多个点的坐标。例如，用户可使用用户界面16以选择所显示的地图上的点或区域，该选择可导致地理空间应用14产生限定每个所选择位置的数据。用于用户所控制的图形区域的坐标因而提供可用作搜索询问的一部分的基准帧以使内容的搜索基础变窄。
[0022]地理空间多观察器12还包括可用于基于经由用户界面16提供的用户输入而构建搜索询问的控制部26。用户界面16因而可使用来自地理空间应用(例如经由用于应用的一组API)的用户界面元素以及由控制部26实现的功能和界面元素。
[0023]控制部26可包括被配置为构建用于从内容系统30请求对应的内容的搜索询问的请求引擎28。例如，请求引擎28可构建用于基于由地理空间应用提供的地理空间数据询问内容的搜索询问，以将内容搜索约束为与用户控制的地理区域有关的内容。例如，地理空间数据可包括由地理空间应用所提供的表示中的可见区域限定的兴趣区域的描述。另外，请求引擎28可基于包括关键字、时间约束或上下文过滤的用户限定的搜索准则构建搜索询问。用户可使用用户界面16以输入由请求引擎28用来构建搜索询问的搜索准则。得到的搜索询问可包含包括一个或多个搜索字符串的组，并且可使用布尔逻辑以及其它的描述符以限定搜索的范围。可根据任何一种或多种询问语言提供搜索询问，这些询问语言可以是公知或专有的。
[0024]也可利用控制部26以建立作为输出呈现的一部分被提供的内容的优先级，该优先级可确定在输出显示器上向用户呈现内容的哪些单元。优先级还可被用于确定内容的每个单元将被显示的特定方式。例如，较高优先级的内容可在地理表示(例如地图)上显示为具有可确定的分辨率的窗口，而较低优先级的内容可显示为地图或地图上的简单图标。控制部26还可根据被识别为内容的结果的数目来控制显示的方式。
[0025]作为另一例子，控制部26可使用可编程的规则以控制输出呈现。控制部26可使用用于限定请求的形式和内容的这样的规则，该请求被发送(例如由请求引擎28)以基于这样的规则请求内容。另外，控制部可产生图形控制指令以控制显示什么内容以及如何结合来自地理空间应用14的地理空间数据显示这样的内容。例如，控制部26可使用这样的规则以动态重新配置用于表现响应于用户输入而显示的内容和图形的布局、比例缩放和其它参数。控制部26也可使用规则以触发在输出中呈现的一个或多个警告以及控制可诸如经由可通过有线和/或无线通信提供的网络而提供给一个或多个其它的预定接收者的消息传递。除了由控制部26自动产生以外，还可手动或半自动产生警告。
[0026]如上面所提及的，请求引擎28可被编程为请求来自内容系统30的内容。内容系统30可包括任何数目的一个或多个数据源，这些数据源可包含或以其它方式可访问内容数据34。例如，请求引擎28可通过诸如可在多观察器12中实现的IP网关向网络22发送询问。作为替代方案，地理空间多观察器12和内容系统30可经由在虚线36处指示的通信链路直接通信。链路36可以是无线链路或物理连接(例如光缆或导体电缆)。
[0027]内容系统30接收和处理包含对应的搜索描述的请求。至少部分地基于来自地理空间应用14的地理空间数据(例如地理空间坐标)导出搜索询问。例如，地理空间数据可识别限定正被显示的区域的周界的一组坐标。附加地或者作为替代方案，地理空间数据可包括由用户经由用户界面16——诸如经由用户输入设备18 (例如鼠标或触摸屏等)——选择的一个或多个点。如这里所描述的，用户界面16可被实现以在实现多观察器的专用计算机系统处本地访问控制部。附加地或者作为替代方案，外部用户24中的一个或多个可远程控制包括控制部26和地理空间应用14的地理空间多观察器12的功能(例如经由外部键盘、视频、鼠标(KVM)控制部)。
[0028]内容系统30可响应于搜索询问来进行询问以识别内容数据34。内容系统30可发送与由请求引擎28发出的请求匹配或者以其它方式相关的内容的列表。列表可包括地理空间元数据、内容元数据以及资源位置标识符(例如网络地址或统一资源定位符(URL))和用于响应中的每件内容的其它信息。地理空间多观察器12的控制部26接着可基于为在响应中识别的内容的每个单元提供的位置标识符检索内容。作为替代方案，响应于来自询问引擎的初始请求，内容系统30可将内容作为其响应的一部分返回到地理空间多观察器。
[0029]作为一个例子，串流引擎可被编程为经由网络22将各内容串流到地理空间多观察器。地理空间多观察器可从内容系统以及从其它可用的内容源接收任何数目的内容流。多观察器12可根据已被确定为与由请求引擎28提供的搜索询问匹配的内容量和可用于接收内容的带宽量来控制内容流的数目。
[0030]作为进一步的例子，给定的内容流可包括与内容相关联的一个或多个多路复用基本流。用于给定内容类型(例如音频、视频和元数据等)的基本流中的每个可根据预定的协议栈被分包和传送，预定的协议栈可以是用于向地理空间多观察器串流内容的一组标准化并商业可用的协议或一组专有协议。可能的协议的例子包括TCP/IP、UDP、RTP和RTSPds也可使用其它的已知或专有的协议。流的特定格式可根据内容流中所承载的内容的类型或数据编码所针对的给定编解码器而变化。因此，多观察器12可使用被配置为接收格式为这些多种多样的格式中的一种或多种的流的网关，并向图形管线38提供所接收的内容，用于在这里描述的对应的输出呈现中表现。可由用户在反馈回路中操作对应的控制部26以修改输出并产生新的询问，这可导致输出呈现的动态变化。
[0031 ] 图形管线38从内容系统30接收内容流并将内容与来自地理空间应用的地理空间数据动态组合以呈现可经由输出显示器20向用户呈现的聚合输出呈现。控制部26和图形管线38协作以组织内容并控制这样的组合内容的呈现，诸如可被呈现为预定速率下的一系列的帧。例如，图形管线可按约24?60帧每秒的典型的广播视频帧速率表现输出呈现；然而，对帧速率的仅有的限制是硬件能力。例如，可按120帧每秒向适当的具有三维能力的硬件表现三维视频内容。
[0032]图形管线38进一步被编程为动态产生用于响应于被提供(例如经由用户界面16)用于控制地理空间应用14的用户输入而调整内容的呈现的至少一个变换。例如，图形管线38被配置为动态产生用于响应于用户输入调整输出呈现中的对象的至少一个笛卡尔或其它数学变换(根据基准帧)。这与所谓的动画引擎对应。作为替代方案或者附加地，图形管线38可由从地理空间应用14导出的基准帧变换、在内容流中提供的数据、预先配置的动画例程或多种多样的其它源而动态地产生一个或多个变换。如上面所提及的，可由用户在本地经由用户输入设备18或者以远程方式提供用户输入。图形管线38根据管理和控制要在地理表示上呈现哪些内容元素或对象的合成参数以及包括对象的相对位置、尺寸、比例缩放和取向等的对象之间的关系来表现输出呈现。
[0033]作为进一步的例子，当用户经由用户界面16与地理空间应用14和/或控制部26交互时，该交互可导致地理空间数据的对应的变化。请求引擎28因而基于用户的实时交互动态地构建搜索询问，这导致内容系统30基于由搜索询问限定的约束识别用于地理空间多观察器12的对应的内容。所识别的内容源可包括存储于已知的网络位置处的内容数据34以及由一个或多个资源(例如视频照相机、音频或传感器等)正在获取的实况内容。地理空间多观察器12可经由网络22或其它的通信链路36将所识别的内容作为分别的流来接收。图形管线38随之可将输出呈现表现为具有诸如视频帧速率的预定帧速率的输出数据的连续帧系列，这些连续帧可包括由图形管线布置和组织的动态产生的图形、内容和地理空间数据。
[0034]可以理解，可按与输出速率不同的速率提供由地理空间多观察器12接收的每个内容流和由地理空间应用14提供的地理表示。因此，为了减少由于速率差异导致的管线停转，图形管线38可被配置为产生图形、构成每个帧并提供用于按期望的输出速率表现的指令，而与地理区域对应的地理数据和内容流被以异步方式直接转移到图形存储器。图形管线38可访问内容和地理空间图形存储器以按期望的输出速率表现每个帧。
[0035]作为进一步的例子，地理空间多观察器可包括被配置为实现用于向图形处理器单元(GPU)的存储器转移所选择的数据子集的直接存储器访问(DMA) API的异步转移引擎。GPU进而可基于合成参数和其它信息连同经由DMA处理而存储于其存储器中的数据(例如内容和地理空间信息)将得到的输出呈现表现为帧。该其它信息可包括图形和内容的一部分，诸如元数据和音频及控制信息。即，通过包括图形管线的第一同步路径处理合成参数和其它的输出内容(图形和音频等)，而沿着采用DMA的第二异步路径处理所选择的其它内容部分(例如流视频)和兴趣区域的图形表示。如所提及的，这里可至少部分地基于响应于与地理空间应用14的交互而动态产生的变换来导出合成参数。
[0036]地理空间多观察器12也可向用户呈现其它类型的信息，包括可能已经被插入到由多观察器12所接收的内容中的音频和元数据。因此，控制部26可实现可从串流到地理空间多观察器的内容提取元数据和其它类型的信息(例如音频)的各种解码器。因此，图形管线38可采用表现指令，以在与视频和其它内容对应的地理空间位置(实时或存档的)处在地理空间兴趣区域(来自地理空间应用)之上叠加视频和其它内容，并且视频和其它内容以基于用户输入、从地理空间应用导出的变换、在内容流中提供的数据、预先配置的动画例程或多种多样的其它源而控制的取向和尺寸而被布置。这样的信息也可连同其相关联的元数据和交互控制在输出呈现中呈现，以通过直观、简单的方式向用户提供情境感知。
[0037]如上面所提及的，地理空间多观察器12也可被配置为提供可由一个或多个外部用户24接收的输出呈现的另一版本。例如，地理空间多观察器12可包括可将输出呈现(例如包含地理空间RO1、叠加的内容流、元数据、报警、动态标签、RSS源、计算机命令和控制区域等)编码为期望的格式的一个或多个输出编码器。多观察器可按期望的速率和分辨率传送编码输出(例如经由串流为视频和其它内容帧)以供外部用户24中的一个或多个使用。可存在任何数目的一个或多个这样的流，每个流可按针对每个外部用户可能变化的期望的分辨率和输出格式被编码。例如，可根据可允许任何用户共享输出体验的因特网协议栈传送串流输出。例如，外部用户可经由个人计算机或诸如智能电话的包括因特网能力的移动设备观看串流输出呈现以及实现控制。
[0038]图2描绘了地理空间多观察器100的例子。地理空间多观察器100包括被配置为提供与地理空间兴趣区域和可基于用户控制选择、布置和组织的其它地理空间相关的内容的组合呈现对应的输出的硬件和软件的组合。
[0039]地理空间多观察器100包括被配置为控制图形管线104的各方面以及提供对地理空间应用106的交互和控制的应用控制部102。例如，应用控制部102可实现用于地理空间应用106的一组API。应用控制部102可包括可呈现可由用户经由用户输入设备操作或以其它方式与其交互的用户界面元素的图形用户界面(⑶I) 108。⑶1108也可被用于设置可控制输出的布局和组织的各种操作参数和规则以及用于约束或过滤对内容的请求。
[0040]应用控制部102可进一步使用API以从地理空间应用106获得地理空间数据，包括与和形成输出112的一部分的、用户控制的地理ROI对应的地理空间输出110相关联的地理空间坐标。应用控制部由此可部分地基于地理空间数据和由用户经由网络114建立的其它参数接收内容。可以理解，网络114可包括局域网络、广域网络(例如因特网)，并且可包括物理连接以及无线链路。
[0041]应用控制部102也可包括被配置为产生发送到内容系统的用于请求相关内容的搜索询问的请求引擎118。请求引擎118可使用来自地理空间应用106的地理空间数据以及其它由用户限定的约束和控制以构建搜索询问。例如，这种其它的约束可包括时间参数(例如相关时间窗口，诸如通过规定日期范围和/或时间范围)、关键字、媒体的类型、媒体源或可用于使由搜索询问提供的询问变窄的其它约束。
[0042]应用控制部120也可包括被编程为控制输出呈现112中的对象和数据元素的布局的引导器116。引导器116可提供适当的构建和关系以及控制用于构成和表现输出呈现的变换和矩阵的产生。应用控制部102向图形管线104提供用于配置和组织将要在输出呈现112中表现的数据元素或数据对象的控制指令。
[0043]应用控制部102还可包括可执行由一组规则所限定的各种动作的规则引擎120。规则可由用户编程，诸如通过经由⑶1108输入规则组。附加地或者作为替代方案，可根据可通过多种多样的方式建立的一组用户级许可而将一个或多个规则编程。规则引擎120可使用规则以控制输出呈现112中的内容的次序和/或布置以及建立内容呈现的层次，诸如可由规则引擎通过监视已插入到所接收的内容中的预定元数据或标签确定的。附加地或者作为替代方案，规则引擎120可执行规则以向一个或多个预定的接收者(例如网络终点或用户)发出警告，这些警告诸如可包括视觉、音频、远程或本地触发器、电子邮件、布局变化、动画、或其它形式的通信和消息传递。
[0044]多观察器100还包括提供网络114与多观察器100之间的接口的网关122。网关122可包含接口 123，诸如提供系统互用性所需要的协议转换器、速率转换器、故障隔离器或信号转换器。网关122也可执行协议转换/映射以诸如通过执行所需要的协议转换而经由网络114与内容系统通信。
[0045]在图2的例子中，网关经由网络114接收N个内容流，其中N是表示流的数目的正整数。网关接口 123也可被配置为从经由网络114所接收的一个或多个内容流中的每个提取各种形式的内容。例如，网关114可对内容流中的每个解多路复用以提供对应的基本数据流，这些基本数据流诸如可包括地理空间元数据124、内容元数据126、音频数据128、视频数据130或它们的任意的组合。
[0046]地理空间元数据124可对应于与给定的内容单元相关联的地理空间坐标。坐标可以是数值地理空间坐标，诸如根据地理坐标系(例如Universal Transverse Mercator(UTM)和Universal Polar Stereographic (UPS)坐标系、笛卡尔坐标系或任何其它已知的或专有的坐标系)所限定的。作为替代方案或者附加地，地理空间元数据可包括识别诸如城市、区域或其它可识别位置之类的位置的名称。地理空间坐标可以是固定的，或者它们可随着在内容中表示的信息的位置相称地变化。例如，内容可表示移动通过区域的车辆的视频，这样视频内容的地理空间坐标(如由地理空间元数据所提供的)根据车辆随时间的位置而变化。
[0047]内容元数据126可包括与所接收的内容相关联的其它类型的信息。例如，内容元数据126可包括键长度值(KLV)元数据、关闭字幕元数据或其它形式。作为例子，内容元数据126可包括限定与内容单元相关联的优先级水平的优先级标签。内容元数据126可包括可被填加到内容或描述与内容相关联的性质或特性的任何其它信息，而内容元数据126已被嵌入内容中。
[0048]音频数据128可包括音频内容，该音频内容可被压缩或者以任何一种或多种期望的格式被提供为基本音频流。对于每个给定的内容单元可存在任何数目的一个或多个音频流，诸如不同音频格式或不同语言的不同音频流。类似地，可存在与给定的视频内容段相关联的任何数目的视频流。例如，可存在与给定的内容段相关联的不同角度的多个视频流，这些视频流诸如可通过由位于共同位置的视线中的不同照相机所提供的不同观看角度被记录。
[0049]地理空间元数据124被提供给图形管线104的动画引擎132。动画引擎132可使用地理空间元数据124以在地理空间ROI中识别内容(例如包括元数据126、音频128和视频130)相关联的对应的位置。如上面所提及的，控制指令也由应用控制部102提供给动画引擎132。动画引擎132使用控制指令以计算用于控制每个给定内容对象和其它图形元素在输出呈现112中的布置、组织和布局以及呈现的参数。在一个实施例中，动画引擎132可被编程以产生用于响应于由应用控制部102所提供的控制指令而调整输出呈现112的变换。控制指令将进一步根据经由⑶1108所接收的用户输入而变化。
[0050]例如，动画引擎132可基于响应于与控制地理空间应用106相关联的用户输入而产生的地理空间数据而动态产生变换。变换可包括旋转、比例缩放、转换、剪切、变形或其它图像操作动作。变换可被应用到在输出呈现的每个帧中所提供的图像对象中的每个。因此，动画引擎132可响应于对由地理空间应用106提供的、用户控制的基准帧产生影响的用户输入中的每个而更新和重新计算变换。
[0051]动画引擎可向合成器134提供所产生的变换和其它图形控制参数。合成器134被编程为基于来自动画引擎的变换而产生合成参数并对基于一个或多个场景图表136构建的一个或多个模型进行调用。场景图表136可被编程为对输出呈现112的每个帧布置图形场景的逻辑和空间表示的数据结构。例如，场景图表可实现为表示掌控与输出呈现112对应的场景中的对象(例如与参与者对应)之间的相互关系和运动的运算层次的数组或链表。场景图表136由此使得合成器能够将相关的对象集合成于是可如单个对象般容易地被移动、变换、选择和表现的复合对象。即，由动画引擎132计算的变换可通过场景图表传播以有利于表现输出呈现112的每个帧。
[0052]合成器134还从应用控制部102接收控制指令。元数据126也可被提供给元数据解码器138，该元数据解码器138向合成器提供所解码的元数据以用于管理数据对象和内容的放置和表现次序。音频解码器144可接收从一个或多个的N输入流中的每个所提取的音频内容128。音频解码器144可向合成器136提供所解码的音频水平以用于合成(通过音频计)视觉输出和/或用于输出到可听音频。
[0053]合成器134实时操作以管理数据对象中的每个的位置，包括它们在输出呈现112中的布置和相对位置。合成器134由此根据由动画引擎132提供的参数和变换来管理表现对象的次序以及要在哪里放置这些对象。在图2的例子中，合成器136接收图形和输出指令以及内容的所选择部分，包括音频和元数据。
[0054]合成器134可被编程为经由一组图形API140向表现器142输出表现指令和图形数据。表现指令包括用于由合成器134接收的内容(音频、地理空间元数据和内容元数据)的合成参数以及用于直接转移到表现器142的内容的异步形式的合成参数。例如，图形API140可实现为诸如可根据应用需求选择的API库。作为一个例子，可经由可从华盛顿雷蒙德的微软公司得到的DirectX平台实现图形API140。开源图形API140的其它例子包括OpenGL (例如可从Khronos Group Consortium下的开放式GL工作组得到)、SDL (简单直接链接媒体)和Allegro。
[0055]表现器142基于由合成器134提供的表现指令和内容以及由异步转移引擎150提供的内容来表现输出呈现112。[0056]异步转移引擎150接收要形成输出112的一部分的所选择的一组内容，该组内容诸如包括来自地理空间应用106的地理表示110以及一个或多个所解码的视频内容流。例如，从所接收的流提取的视频数据130可被提供给向异步转移引擎150提供所解码的视频流的一个或多个视频解码器152。每个解码器152可被编程为根据编解码器解码给定的视频流130。所解码的视频内容可按可与其它内容不同的位速率和帧速率被提供给异步转移引擎150。
[0057]异步转移引擎150使用用于直接从主存储器向表现器142的存储器提供地理空间表示和每个所解码的视频流的DMA API154。例如，表现器142可被实现为具有异步转移引擎150可直接向其转移所解码的视频内容以及地理空间表示的芯存储器的GPU。例如，应用控制部102可关于异步内容的每个单元要被直接传送到的存储器位置而指令合成器134和异步转移引擎150。以这种方式,表现器可在表现输出的每个巾贞时聚合来自合成器的表现指令、图形和内容与从异步转移引擎直接转移的内容。
[0058]作为进一步的例子，异步转移引擎150可经由双重缓冲处理从所解码的视频和地理空间表示直接转移帧以减少管线停转，使得视频内容最新的帧和地理空间应用数据在表现器的存储器156 (例如GPU存储器)中可获得以用于输出呈现112的最终合成和表现。双重缓冲为多重缓冲的一种形式，多重缓冲是在GPU的循环队列中使用多个缓冲器以同时发生处理和向缓冲器的数据转移的方法。
[0059]除了其中异步转移引擎150直接向存储器156提供视频内容和地理空间表示数据的DMA转移以外，异步转移引擎还可使用DMA API以从用于提供一个或多个的附加的输出的表现器142读回输出帧。异步转移引擎150可提供所读回的帧数据用于进一步处理以从多观察器100被发送出去。例如，异步转移引擎150可包括被用于向一个或多个编码器162发送输出的输出API160。该一个或多个编码器162可被配置为以一种或多种期望的格式编码输出帧，这些格式可包括用于由表现器142提供为输出呈现112的对应音频和视频的期望的编码分辨率和类型。所编码的输出可被提供给串流引擎164，串流引擎164转而可提供与同一输出呈现对应、但通过网络所提供以供一个或多个第三方使用的一个或多个输出流。
[0060]可以理解，可沿分别的路径处理与提供输出呈现112相关联的控制和内容的不同部分。图形管线104的动画引擎132和合成器134提供用于控制经由图形API提供给表现器142的参数、图形以及内容和元数据的选择部分的路径。异步转移引擎150形成用于将包括所解码的视频流的内容的其它部分和来自地理空间应用106的地理空间表示直接提供给表现器142的存储器的另一数据路径的一部分。该方法减少管线停转，诸如当可按与其它信息不同的速率提供所解码的视频和地理空间表示110时。因此，异步转移引擎可被用于确保在存储器156中可得到视频流和地理空间表示以用于按期望的输出帧速率(例如60帧每秒)表现。
[0061]图3描绘了可结合地理空间多观察器使用的内容系统180的示意性例子。内容系统180包括从多观察器接收请求的内容管理源控制部182。请求可包括限定(例如约束)对地理空间相关的内容的搜索的搜索询问。请求中的搜索询问可包括地理空间数据，诸如坐标或可限定用户可控制的地理兴趣区域的地理空间边界的其它位置识别信息以及可由用户诸如经由⑶I选择的一个或多个特定的地理空间位置。内容管理源控制部182可转而询问可使用用于定位与在请求中提供的搜索询问匹配的内容的功能和方法的内容数据库184。数据库184可转而将询问的结果提供为识别每个内容单元的位置的结果集的形式。结果集还可包括与在结果中识别的内容相关联的其它信息，诸如地理空间信息或其它元数据。源控制部182可将结果返回到地理空间多观察器，用于诸如这里所描述的进一步的动作。
[0062]举例而言，地理空间多观察器可使用网关以基于由源控制部182提供的结果发出对内容的请求。请求可由串流引擎186执行以串流所请求的内容，所请求的内容可与直接到多观察器的单播流对应，或者所请求的内容可与发送到对于多个用户同时可用的预先确定的网络地址的多播流对应。作为替代方案，串流引擎186可由内容管理源控制部182控制以响应于由给定的多观察器发出的对内容的请求而直接提供一个或多个内容流。例如，流可包括流视频、流音频、音频和视频的组合或其它内容信息和元数据。流可与诸如存储于内容数据库184中的存档的历史内容的流对应，或者它可以是实况内容(例如从照相机、传感器或其它设备获得的)。
[0063]也可使用一个或多个其它的内容源188以向地理空间多观察器提供内容。内容管理源控制部182可基于每个内容请求中的搜索询问识别一个或多个其它的内容源188。其它内容源188可响应于来自地理空间多观察器的对对应内容的请求而提供内容。该内容可被直接提供给多观察器，由串流引擎186或另一设备串流。内容的类型可帮助确定如何将内容传递回到地理空间多观察器。因此可以理解，由各内容系统180提供的响应可识别和/或包括任何数目的一个或多个内容流。
[0064]内容数据库184中的内容可与元数据一起被存储以有利于搜索和询问，包括可根据与视频对应的位置填加到视频的地理空间元数据。可利用的内容管理源控制部182和对应的内容数据库184的例子包括可从佛罗里达州墨尔本的Harris Corporation获得的全运动视频资产管理引擎(FAME)系统。
[0065]在于2004 年 4 月 29 日提交的、发明名称为“Media Asset Management System forManaging Video News Segments in Associated Methods” 的共同未决和共同受让的美国专利申请N0.10/834，495中示出并描述了内容可以如何被接收并存储在内容数据库184中的进一步的例子，该专利申请通过引用并入于此。本申请还通过引用并入了也共同受让给 申请人:的共同未决的美国申请N0.10/834，728和美国申请N0.10/834,543。以上并入的申请中的每个公开了可用于收集视频或其它类型的传感器数据和将对应的地理空间数据(例如作为元数据)与诸如可用于在图3的示例性内容系统180中提供内容数据184的视频和/或传感器数据中的每个相关联的方法。
[0066]本领域技术人员可以理解，本发明的部分可具体实现为方法、数据处理系统或计算机程序产品。例如，实施例可采取完全的硬件实施例、完全的软件实施例或组合软件和硬件的实施例的形式。并且，实施例可以为具有计算机可读程序代码的计算机可用存储介质上的计算机程序产品。可以利用任何适当的计算可读介质，包括但不限于静态和动态存储设备、硬盘、光学存储设备和磁存储设备。
[0067]这里参照方法、系统和计算机程序产品的流程图说明来描述某些实施例。可以理解，可由计算机可执行的指令实现说明中的各框和说明中的框的组合。这些计算机可执行指令可被提供给通用计算机、专用计算机或其它的可编程数据处理装置(或设备和电路的组合)的一个或多个处理器以生产机器，使得经由处理器执行的指令实现在一个框或多个框中规定的功能。
[0068]这些计算机可执行的指令也可存储于可指令计算机或其它可编程数据处理装置以特定的方式起作用的计算机可读存储器中，使得存储于计算机可读存储器中的指令产生包括实现在一个或多个流程框中规定的功能的指令的制造品。计算机程序指令也可被装入计算机或其它可编程数据处理装置上以导致在计算机或其它可编程数据处理装置上执行一系列的操作步骤以产生计算机实现的处理，使得在计算机或其它可编程装置上执行的指令提供用于实现在一个或多个流程图框中规定的功能的步骤，诸如在图4和图5的例子中所展示的。
[0069]应当理解并清楚，在其它的实施例中所说明的动作可按不同的次序或与其它动作同时地出现。并且，实现方法的实施例可能不需要图4和图5所示的所有特征。应当进一步理解，以下的方法可实现为硬件(例如诸如一个或多个计算机中的一个或多个处理器)、软件(例如存储于计算机可读介质中或者存储为在一个或多个处理器上运行的可执行指令)，或者作为硬件和软件的组合实现。
[0070]另外，可以理解，图4和图5所示的描绘了动作或功能的串行流的流程图可能没有充分地展示一定的功能可如何在地理空间多观察器的上下文中操作的异步本质。例如，一旦被配置，该方法就可自动对数据流的变化响应(例如通过动画、报警或其它输出)，而不必具有直接的用户交互。例如，响应于激活方法，地理空间方法将基于地理空间应用的基准帧和默认设置产生请求(例如搜索询问)。该请求接着被发送到提供内容的服务器(例如数据源)，并且图形系统将在没有任何进一步的用户交互的情况下自动表现、动画化和监视内容。当然，用户可修改基准帧，并在任何时间对询问约束、多观察器的布局或系统和方法的其它方面做出其它变化，这可以影响内容的变化以及如何显示它。图4和图5在该上下文和操作的异步本质内被考虑。
[0071]图4描绘了可用于访问要结合来自地理空间应用的地理空间表示被显示的内容的方法200的例子。方法200在202处开始，诸如结合开启包括用户界面、应用控制部和地理空间应用的地理空间多观察器。如上面所提及的，响应于在202处开始，该方法可发出一个或多个请求以在多观察器中检索和显示内容。
[0072]在204处，做出是否接收到输入的判决。可以理解，可经由用户界面在本地提供输入，诸如经由用户输入设备(例如键盘、鼠标或触摸屏等)的输入。附加地或者作为替代方案，可通过远程界面接收用户输入，诸如通过外部控制界面。作为替代方案或者附加地，输入可从另一应用被接收，可与简单地开启和/或配置应用对应以操作或诸如从远程源通过一个或多个流而被接收。如果没有用户输入被接收，则该方法可继续提供其输出，该输出可连续更新或者不变，并且该方法可在204处循环，直到接收到一个或多个输入。
[0073]例如，在缺少用户输入的情况下，用户可控制的ROI的地理空间表示的输出表示可继续被显示，并将通过叠加于地理空间ROI上的内容的更新而动态变化，该内容包括流视频、音频、或音频/视频图像和/或其它数据的组合。另外，这些变化可导致报警被触发，这根据报警被配置来调动的级联事件的类型而可能导致显著的变化。
[0074]如果在204处接收到输入，则方法前进到206。例如，如果视频流优先级(作为流中的元数据元素被传递)达到临界阈值，则视频流会被移动到合成输出中的突出位置，触发到在空间上接近其地理空间位置的所有数据流的自动连接，使其边界变红，发出可听到的报警，并触发一组紧急电子邮件被发送到重要的个体，所有这些均不需要任何直接的用户交互(超出初始配置的)。
[0075]在206处提供地理空间数据。可通过地理空间应用(例如图1的地理空间应用14)提供地理空间数据。地理空间数据可包括地理空间坐标或其它位置识别信息，诸如可用于识别对应的用户所选择的地理ROI正被显示给用户的地图上的点、区域或点和区域的组合的位置识别信息。地理空间数据也可包括地理空间元数据，诸如限定了与正呈现给用户的地理空间显示的可见部分对应的兴趣区域的地理空间元数据。
[0076]在207处，做出是否需要一个或多个新的内容源的判决。可响应于在204处接收的输入和/或可基于在206处提供的地理空间数据做出该判决。如果不需要新的内容源，则该方法可返回到206并继续提供地理空间数据。如果可能需要一个或多个新的内容源，则该方法可前进到208。
[0077]在208处构建搜索询问。搜索询问包括与一个或多个内容系统将用于识别内容的用户控制准则对应的约束，该内容是地理空间位置输出的材料。例如，搜索询问可包括与由地理空间应用接收并作为对应的地理空间数据被提供的用户输入对应的地理空间坐标。除了响应于204处的用户输入的地理空间数据以外，搜索询问还可包括任何数目的关键字，这些关键字可作为诸如包括布尔操作符、自然语言或不同询问的组合的结构化询问被输入。
[0078]在210处，搜索询问被发送到源控制部。源控制部可实现为诸如这里所示出和描述的内容系统(例如图1的内容系统30)的一部分。源控制部可被编程并被配置为基于搜索询问而询问数据库。作为一个例子，源控制部可以是与可从佛罗里达州墨尔本的HarrisCorporation获得的FAME构架相关联的前端界面。可以清楚并理解，搜索控制部可被配置为从任何数目的源搜索任何数目的数据库或其它内容资源用于识别和/或检索可与搜索询问相关的内容资产。源可包括防火墙内的内部源以及公开可获得的源内容。另外，内容可以是所存储的内容，以及可包括实况内容，诸如实时音频、实时视频、传感器数据、或实时信息内容和所存储的信息内容的组合。
[0079]在212处接收响应数据。响应数据可包括相关内容的识别。响应数据可以用内容资源的列表的形式被提供，这些内容资源要么匹配搜索的描述要么具有匹配搜索的描述的可能性。例如，响应数据可以用多种多样的形式被提供，这些形式诸如包含资源标识符(例如统一资源定位符(URL))或识别针对与搜索询问相关的所识别内容的每个单元的可访问位置的其它类型的资源标识符的列表的文档或文件。
[0080]在214处，做出检索在响应数据中识别的内容的至少一部分的请求。例如，可做出用于启动与内容位置的连接的请求。例如，该连接和内容的每个单元的接收可由被配置为连接到内容位置以经由网络接收内容的网关来管理。即，网关可连接到所识别的内容资源，并在216处管理源连接及接收内容。如这里所描述的，内容可从每个资源串流，诸如以音频、视频或其它内容(例如传感器数据或手动监测数据等)或它们的组合的形式。方法200可返回到204并响应于每个用户输入重复选择性地检索内容。附加地或者作为替代方案，方法200可返回到206以提供地理空间信息，如这里所描述的，地理空间信息可由地理空间处理连续地更新和产生。[0081]图5描绘了可用于提供包括用于地理空间ROI的地理表示和可叠加于表示上的内容的输出呈现的方法250的例子。方法250在252处开始，诸如结合地理空间多观察器的执行，地理空间多观察器包括将变量初始化为开始条件以及访问和调用诸如这里示出和描述的地理空间应用的应用控制部。因此，首先，可向输出显示器呈现用于对应的地理区域的默认地理空间位置。初始显示可以是用户限定的位置、根据特定于用户的需求的默认位置，或者与由给定用户观看的最后的位置对应。
[0082]在254处，做出是否已经接收到任何输入的判决。输入可以是可能需要一个或多个数据源的输入类型。例如，输入可以是用户输入，或者它可与可由另一应用或输入源的组合提供的其它数据(例如元数据)对应。例如，如果没有接收到可能需要额外的一个或多个源的输入，如虚线255所示意性地表示的，则方法250可基于在数据流(例如元数据)中提供的动态内容和现有配置而继续动态更新对应地理区域的地理表示以及与所显示的区域相关联的内容。内容可以是固定的或者相对于时间变化，这可以基于多种多样的基于用户的控制或约束。如果接收到输入，则方法前进到256，并且对应的地理空间数据可被提供(例如通过地理空间应用)。地理空间数据可包括用于表现兴趣区域的地理数据以及与该区域相关联的地理空间坐标和元数据。地理空间数据还可包括与已经做出用户输入处的地理空间位置或区域对应的一个或多个位置。例如，用户可使用用户输入设备以通过使用GUI从当前的地理表示选择点或区域。
[0083]方法从256前进到258和260以实现在路径A和路径B处指示的、可用于处理和产生得到的输出呈现的并行数据流路径如这里所描述的，为了减少管线停转，所接收的内容和与ROI的地理表示对应的地理空间内容单独地在路径A中被处理，并且连同在路径B中产生的图形和表现指令由表现器(例如图2的表现器142)被集成到一起以提供对应的输出呈现。还应理解，可存在用于处理来自任何数目的一个或多个内容源的对应图形内容和元数据的任何数目的这样的并行路径。即，虽然路径A和路径B在提供了地理空间数据的256处之后被描绘为在本质上是串行的，但可以理解，这样的路径可基于地理空间数据和由多观察器处理接收的流中的其它数据而重复地实现和动态地更新。
[0084]转到路径A，在258处，对应的搜索询问被产生并发送到源控制部，这导致内容在262处被接收。在258和262处的搜索询问和内容接收可根据参照图4示出和描述的方法200被实现。本领域的技术人员可以理解并清楚，可单独地或者组合使用其它的方法以响应于搜索询问而访问和接收合适的内容。
[0085]在内容在262处被接收到之后，任何经编码的所接收内容可在264处被解码。例如，内容被接收并从输入流分离，诸如通过解多路复用器或包提取的其它方法。这可导致从所接收的内容流提取出各种类型的元数据和内容，诸如提取并存储于存储器(例如缓冲器)中的地理空间元数据、内容元数据、音频和视频。所提取的元数据和内容可视情况而被发送到对应的解码器。例如，所提取的元数据、音频和视频的包可被缓冲并由对应的解码器解码。元数据和音频可被发送到图形管线以供进一步的处理(例如由虚线265所表示的，其中，一定的内容被提供给路径B的图形管线，以用于方法250中的附加处理)。
[0086]在266处，所接收的内容和地理空间ROI (来自在256处提供的地理空间数据)的其它某些部分被存储于系统存储器中。例如，所接收的内容可与任何数目的一个或多个内容流的视频数据对应，每个视频流通过相关联的地理空间元数据与分别的地理空间位置对应。地理空间ROI内容与由地理空间应用输出的地理表示对应，诸如可与对应的兴趣区域的地图或卫星影像对应。
[0087]在268处，所存储的内容被异步转移到图形存储器。例如，每个给定内容流的对应的视频内容帧可被直接异步转移到GPU的预先确定的存储器区域。另外，地理空间应用的地理表示也可经由DMA被发送到GPU存储器的另一预先确定的位置以减少管线停转。可根据异步转移引擎和GPU之间的多重缓冲处理实现用于这样的内容的DMA处理。
[0088]返回到路径B，在260处，响应于在254和256处所接收的地理空间数据和用户输入产生图形控制。在270处，产生一个或多个变换和高级图形参数。可响应于254处的用户输入产生变换，以使得保持和/或修改图形对象的关系和位置(例如通过比例缩放、旋转、移动和转换图形参数)。在272处，可针对下一输出帧填充对应的场景图表。例如，场景图表可以是基于节点的元素布置，可针对给定的场景(例如帧)通过场景图表节点的横穿来填充布置，用于实现在270处产生的变换。
[0089]在274处，可构成帧并产生表现指令。例如，可由基于在270处的参数和在272处的场景图表而产生的一组合成参数以及在265处经由路径A提供的其它图形和所解码的内容而限定帧合成。合成参数还限定输出位置，在这些输出位置处，已在268处转移到图形存储器的其它内容被用于产生控制要如何在得到的输出呈现中布置和组织图形元素和内容段中的每个的合成参数。
[0090]在276处，诸如基于在274处产生的合成参数和图形对象，构成帧并提供表现指令。例如，表现指令可使用用于控制被配置为用于表现输出呈现的GPU的图形输出的一组图形API，所述输出呈现包括已通过路径B处理的图形和相关内容以及其它内容，所述其它内容包括经由路径A直接转移到了图形存储器中的地理空间内容和所接收内容。
[0091]在278处表现对应的帧，该帧继而在280处被显示。除了表现用于在本地机器处显示的帧以用期望的格式(例如经由数字视频接口(DVI)或其它标准输出)向用户显示以外，还可在282处从图形存储器读出对应的输出帧。对应的帧接着可在284处被编码并在286处被串流输出为通过网络以供一个或多个外部用户使用的视频。因此，在286处的串流输出可被串流到可由一个或多个用户访问的资源位置(例如在预先确定的URL处)，使得多个用户可观看相同的地理空间多观察器输出呈现。除了观看对应的输出以外，一个或多个用户还可通过远程输入可在254处作为用户输入被接收的命令而远程控制包括地理空间输出和得到的内容的输出。
[0092]图6描绘了可由地理空间多观察器呈现的对应输出显示300的例子。在输出显示300中，输出包括在302处指示的用于受用户控制的ROI的显示窗口。设置在窗口 302中的内容可包括在预先确定的位置处叠加于ROI上的附加的地理空间相关的内容。在示例的内容窗口 302中，多个内容单元被叠加于ROI的地理表示上，并被展示为流内容窗口 304、306、308和310。各内容窗口 304、306、308和310中的每个是可相对于输出窗口 302中的地理空间内容的尺寸和比例缩放被取向、比例缩放和尺寸化的对象，这可响应于用户输入而变化。
[0093]举例来说，用户可使用指针312以选择诸如地理区域上的点或ROI的一部分的位置。用户可经由其它的用户界面元素——诸如通过鼠标右击操作或者其它的用户输入控制——访问附加的控制和功能。另外，可响应于经由指针312或其它用户界面元素的用户输入而激活与地理空间应用相关联的控制。例如，用户可提供用户输入以缩放地理空间ROI或改变地图位置，这些用户输入可导致地理空间ROI以及正叠加在地理空间表示上的对应内容的比例缩放和定位的变化(例如经由如这里所描述的产生对应的变换)。如上面所提及的，内容窗口 304、306、308和310中的每个可以是以编程方式参照地理空间位置的对象(例如经由为每个分别的窗口提供的用于每个内容流的地理空间元数据)。可通过可在显示上的314、316、318和320处指示的图形对象连同各自的坐标来识别位置。如这里所描述的，内容窗口可固定于地理空间ROI上的位置中，或者内容窗口的相对位置可以是可移动的，诸如根据其地理空间元数据是固定还是会变化。
[0094]除了直接在地理表示上示出内容的比例缩放版本以外，附加的显示窗口 321还可包括用于所选择的兴趣区域的相关内容。因此，在图6的例子中，窗口 321包括多个内容对象 322、324、326、304'、308、306'和 310'。显示对象 322、324、326、304'、308、306'和310'中的每个可包含响应于与地理空间窗口 302相关联的用户输入而被接收的流内容。例如，当用户选择了诸如位置314的给定位置时，从内容源检索到对应的内容，从而导致内容窗口 304在对应位置处叠加在地理空间ROI上。还在内容窗口 321中示出和显示对应的图形对象304'。也可结合流内容304'的图形显示而显示与内容窗口 304相关联的描述，该描述在本例子中为“任务4:街道名称”。可以清楚的是，可将各种类型的信息插入显示300上，显示300由此可向用户识别位置以及任何其它的相关信息。可通过激活分别的对象322、324、326、304'、308、306'和310'以访问进一步的信息。这样的信息可从与串流到地理空间多观察器的内容一起被提供的元数据中被提取。类似地，在图形显示窗口 302中呈现的其它内容窗口 306、308和310也可包括在内容显示窗口 321中分别在306'、308'和310'处指示的对应的内容对象。也可在显示上呈现包括322、324和326的附加的相关内容，诸如用于附近区域的内容或可基于与地理空间多观察器相关联的预定规则而被视为重要的其它高优先级数据。
[0095]图7描绘了诸如与在图6的例子中示出的显示的一部分的放大视图对应的输出呈现400的例子。例如，用户可使用用户界面控制部以在地理空间ROI上放大，诸如经由对应的用户输入设备。与放大或者以其它方式影响地理空间应用的显示相关联的控制可由地理空间多观察器访问以进而控制图形管线，用于实现输出图像的对应变换和诸如这里所公开的图形管线的其它特征(参见图2和图5)。
[0096]在图7的例子中，输出呈现400包括呈现对应的地理空间ROI连同叠加于位置上的内容窗口 404和406的地理空间内容输出窗口 402。内容窗口 404和406中的每个与在408和410处指示的对应的地理空间位置相关联，这样的地理空间位置诸如可由用户经由指针412已选择的。每个位置的内容由此可串流到每个内容窗口 404和406中，以供按期望的帧速率与地理空间内容同时表现。
[0097]内容显示窗口 414与地理空间显示窗口 402相邻。内容显示窗口 414可包括对由地理空间应用针对显示窗口 402中的兴趣区域提供的地理空间数据进行响应而串流的内容的呈现。在图7的例子中，内容显示区域414包括在404'和406'处指示的用于显示分别与内容窗口 404和406相关联的相同内容的区域。另外，显示区域414包括在416、418和420处指示的附加内容，其诸如可与高优先级内容或以其它方式与显示窗口 402中的区域的搜索结果或可能已经由用户输入的其它搜索准则相关的内容相关联。
[0098]以上描述了本发明的例子和实施例。当然，不可能出于描述本发明的目的而描述组件或方法的每个可构想的组合，但本领域的技术人员将认识到，本发明的许多其它的组合和排列是可能的。因此，本发明旨在包括落入权利要求和申请的范围内的所有这样的改变、修改和变型。
【权利要求】
1.一种地理空间多观察器，包括: 响应于用户输入而提供地理空间数据的地理空间应用，地理空间数据与至少一个地理区域的表示相对应； 被配置为提供用于从至少一个数据源请求内容的搜索询问的请求引擎，所述搜索询问至少部分地基于来自地理空间应用的地理空间数据； 被配置为动态产生用于响应于用户输入而调整输出呈现中的对象的至少一个变换的图形管线，所述输出呈现基于所述至少一个变换被表现，输出呈现中的对象包括至少一个地理区域的表示和响应于搜索询问的所接收内容。
2.根据权利要求1的地理空间多观察器，其中，图形管线还包括: 被配置为针对多个帧中的至少很大一部分计算用于响应于用户输入而至少控制输出呈现中的对象的相对取向和比例缩放的分别的变换的动画弓丨擎；和 被配置为基于针对每个分别的帧所计算的变换为所述多个帧中的每个帧表现所述输出呈现的表现器。
3.根据权利要求2的地理空间多观察器，其中，图形管线还包括被编程为向表现器提供表现指令和所选择的内容的合成器，合成器基于所述至少一个变换产生表现指令以控制在输出呈现的每个帧中表现的对象的位置和关系。
4.根据权利要求3的地理空间多观察器，其中，针对每个帧由合成器向表现器提供的所选择的内容排除视频内容和所述至少一个地理区域的表示中的至少一个，视频内容和所述至少一个地理区域的表示经由不同的单独路径被提供给表现器。
5.根据权利要求2的地理空间多观察器，其中，表现器被配置为将输出呈现提供为具有预先确定的帧速率的连续帧，其中，预先确定的帧速率包括广播视频帧速率。
6.根据权利要求1的地理空间多观察器，还包括: 被配置为解码所接收的内容并提供所解码的内容的至少一个解码器；和 被配置为接收所解码的内容和由地理空间应用提供的所述至少一个地理区域的表示的异步转移引擎，异步转移引擎向图形存储器转移所解码的内容和所述至少一个地理区域的表示以有利于所述输出呈现的表现。
7.根据权利要求6的地理空间多观察器，还包括被配置为基于针对每个分别的帧产生的变换为所述多个帧中的每个帧表现所述输出呈现的表现器，表现器包括图形存储器，异步转移引擎被配置为将所述至少一个地理区域的表示和所解码的内容直接转移到表现器的图形存储器中的对应位置。
8.根据权利要求6的地理空间多观察器，其中，所解码的内容包括至少一个所解码的视频内容流。
9.根据权利要求6的地理空间多观察器，其中，所述至少一个地理区域的表示和所解码的内容按不同的速率被提供给异步转移引擎。
10.根据权利要求6的地理空间多观察器，其中，图形管线还包括被编程为向表现器提供表现指令和所选择的内容的合成器，合成器基于所述至少一个变换产生表现指令以控制在输出呈现的每个帧中表现的对象的位置和关系，由合成器提供的所选择的内容排除所述至少一个地理区域的表示和所解码的内容。
11.根据权利要求1的地理空间多观察器，其中，对所请求的内容的响应包括用于被确定为与搜索询问相关的每个内容源的位置标识器，请求引擎使用位置标识符以连接到来自每个分别的内容源的对应内容。
12.根据权利要求1的地理空间多观察器，其中，所接收的内容包括至少一个视频内容流，所述至少一个视频内容流包括提供用于所接收的内容的地理空间基准的地理空间元数据，图形管线使用地理空间元数据以控制与所述至少一个视频内容流对应的对象关于所述至少一个地理区域的表示的相对放置。
13.根据权利要求1的地理空间多观察器，其中，搜索询问包括来自地理空间应用的、与用于至少一个地理区域的由用户限定的基准帧对应的地理空间描述符。
14.根据权利要求13的地理空间多观察器，还包括被配置为使输出呈现的编码版本通过网络串流到至少一 个远程用户的串流引擎。
【文档编号】H04N21/234GK104011715SQ201280044743
【公开日】2014年8月27日 申请日期:2012年9月14日 优先权日:2011年9月14日
【发明者】C·奥瑞, S·苏勒特 申请人:想象通信公司