用于数据的自适应传送的系统和方法

用于数据的自适应传送的系统和方法
【专利摘要】本发明描述了用于发送、接收和显示数据的系统和方法。系统和方法可针对向设备提供恒定或基本上恒定的数据传送速率（例如，每秒帧速率）并且通过呈现针对用户感兴趣的区域的信息来控制带宽。例如，通过呈现针对用户感兴趣的区域（例如，用户正利用抬头显示器看着或“注视”的区域）的高分辨率数据和针对其他区域的较低分辨率数据，可以降低带宽。可以按恒定的帧速率或基本上恒定的帧速率来发送和接收数据，并且可以使用注视方向和渐进压缩/解压缩技术来发送专注于针对用户感兴趣的区域的数据。
【专利说明】用于数据的自适应传送的系统和方法
[0001]相关申请的交叉引用
[0002]本公开要求2011年6月20日递交的13/164，445号美国专利申请和2012年4月23日递交的13/453，065号美国专利申请的优先权，这里通过引用并入这些美国专利申请的每一个的内容。
【背景技术】
[0003]高分辨率数据或图像流可由主机或发送器利用包括有线或无线连接在内的多种传送技术提供给显示器或接收器。当使用无线连接时，与使用有线连接时相比，可用于传送数据的带宽可能更有限。此外，无线连接的带宽可由于变化的信号状况而动态地变动。在有限的带宽下，可以使用压缩方案来减少要传送的数据的量，但数据压缩可添加等待时间、降低帧速率、降低图像质量，并从而引起系统用户的视觉不适。
[0004]可以利用各种技术来无线地接收数据并将数据显示给系统的用户。一些用于显示信息的系统可利用“抬头”显示器(heads-up display)。抬头显示器通常被定位在用户的眼睛附近以允许用户在头部运动很小或没有头部运动的情况下观看显示的图像或信息。为了在显示器上生成图像，可以使用计算机处理系统。这种抬头显示器具有多种应用，例如航空信息系统、车辆导航系统以及视频游戏。
[0005]一类抬头显示器是头戴式显示器。头戴式显示器可被包含到用户可佩戴的一副眼镜或头盔中。该显示器通常被校准并与用户的视野对齐。当向抬头显示器提供图像流时，抬头显示器与主机或发送器之间的有限带宽可引起问题。

【发明内容】

[0006]本申请公开了用于发送、接收和显示数据的系统和方法，等等。
[0007]在一个示例中，提供了一种用于发送数据的方法。该方法包括接收指示与设备相关联的兴趣图像的信息，并且兴趣图像在设备的视野内。该方法还包括接收指示兴趣图像的内容的优先级的优先级区分指令，并且基于指示兴趣图像的信息和优先级区分指令，确定与兴趣图像的信息相关联的数据的发送顺序。该方法还包括按所确定的顺序发送与兴趣图像相关联的数据，使得具有第一优先级的与兴趣图像有关的数据在第一时间帧槽(timeframe slot)中被发送，然后具有第二优先级的与兴趣图像有关的数据在第二时间帧槽中被发送，其中第一优先级高于第二优先级。该方法还包括在随后的时间帧槽中按所确定的顺序逐步地发送与兴趣图像有关的额外数据，直到与兴趣图像相关联的数据的发送完成为止，或者直到从设备接收到对数据的另一请求为止，并且通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率。
[0008]在另一示例中，提供了一种制品，该制品包括有形计算机可读介质，其上编码有计算机可读指令。指令包括用于接收指示与设备相关联的兴趣图像的信息的指令，并且兴趣图像在设备的视野内。该方法还包括接收指示兴趣图像的内容的优先级的优先级区分指令，以及基于指示兴趣图像的信息和优先级区分指令，用于确定与兴趣图像相关联的数据的发送顺序的指令。指令还包括用于进行以下操作的指令:按所确定的顺序发送与兴趣图像相关联的数据，使得具有第一优先级的与兴趣图像有关的数据在第一时间帧槽中被发送，然后具有第二优先级的与兴趣图像有关的数据在第二时间帧槽中被发送，并且第一优先级高于第二优先级。指令还包括用于在随后的时间帧槽中按所确定的顺序逐步地发送与兴趣图像有关的额外数据，直到与兴趣图像相关联的数据的发送完成为止或者直到从设备接收到对数据的另一请求为止的指令，以及用于通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率的指令。
[0009]在另一示例中，提供了一种系统，其包括用于接收指示与设备相关联的兴趣图像的信息的装置，并且兴趣图像在设备的视野内。该系统还包括用于接收指示兴趣图像的内容的优先级的优先级区分指令的装置，以及基于指示兴趣图像的信息和优先级区分指令，用于确定与兴趣图像相关联的数据的发送顺序的装置。该系统还包括用于进行以下操作的装置:按所确定的顺序发送与兴趣图像相关联的数据，使得具有第一优先级的与兴趣图像有关的数据在第一时间帧槽中被发送，然后具有第二优先级的与兴趣图像有关的数据在第二时间帧槽中被发送，并且第一优先级高于第二优先级。该系统还包括用于在随后的时间帧槽中按所确定的顺序逐步地发送与兴趣图像有关的额外数据，直到与兴趣图像相关联的数据的发送完成为止，或者直到从设备接收到对数据的另一请求为止的装置，以及用于通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率的装置。
[0010]上述
【发明内容】
只是说明性的，而并不打算以任何方式进行限定。除了上文描述的说明性方面、实施例和特征以外，通过参考附图和接下来的详细描述，更多的方面、实施例和特征将变得清楚。
【专利附图】

【附图说明】
[0011]图1图示了用于发送和接收数据的示例系统。
[0012]图2A示出了用于发送和接收数据的系统的另一示例实施例。
[0013]图2B示出了用于发送和接收数据的系统的另一示例实施例。
[0014]图3A图示了确定兴趣区域或注视方向的示例。
[0015]图3B图示了确定注视方向的另一示例。
[0016]图4是根据本文描述的至少一些实施例的向设备发送数据的方法的示例框图。
[0017]图5是根据本文描述的至少一些实施例的向设备发送数据的方法的另一示例框图。
[0018]图6A-6B图示了可被配置为根据图4-5中所示的一个或多个方法来工作的设备的示例。
[0019]图6C 图不了兴趣区域(region of interest, R0I)的不例。
[0020]图7图示了抬头显示器的概念透镜。
[0021]图8是图示出根据本文描述的至少一些实施例布置的计算系统中使用的示例计算设备的功能框图。
[0022]图9是图示出根据本文给出的至少一些实施例布置的包括用于在计算设备上执行计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的示意图。【具体实施方式】
[0023]在以下详细描述中，参考形成描述的一部分的附图。在附图中，相似的标号通常标识相似的组件，除非上下文另有指示。详细描述、附图和权利要求中描述的说明性实施例并非意图是限定性的。在不脱离本文给出的主题的精神或范围的情况下，可以利用其他实施例，并且可以进行其他改变。容易理解，本文概括描述并且在附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计，所有这些在这里都已明确设想到。
[0024]本公开可公开用于发送、接收和显示数据的系统和方法，等等。系统和方法可针对向设备提供恒定或基本上恒定的数据传送速率(例如，每秒帧速率)并且通过呈现针对用户感兴趣的区域的信息来控制带宽。例如，通过呈现针对用户感兴趣的图像的高优先级区域(例如，用户正利用抬头显示器看着或“注视”的区域)的高分辨率数据和针对其他区域的较低分辨率数据，可以降低带宽。在一个示例中，可以按恒定的帧速率或基本上恒定的帧速率来发送和接收数据，并且可以使用注视方向和渐进压缩/解压缩技术来以专注于针对用户感兴趣的图像的区域的区分优先级的方式发送数据或者以更高的分辨率发送针对用户的兴趣图像的数据。
[0025]在一个示例中，在绘制(rendering)引擎与显示引擎之间具有低带宽传送信道的布置中，例如移动设备与抬头显示系统具有无线连接，实时、自适应或渐进压缩/解压缩技术中的一种或多种可用于最小化计算工作量和传送带宽，同时在用户的注视方向或者用户的兴趣区域(ROI)的其他代表上提供期望的帧速率和图像分辨率。
[0026]现在参考图1，图示了用于发送和接收数据的示例系统100。该系统包括主机102，该主机102利用通信链路106 (例如，有线或无线连接)与设备104通信。主机102可以是任何类型的被配置为向设备104发送数据的计算设备或发送器，包括膝上型计算机、移动电话，等等。主机102和设备104可包含使能通信链路106的硬件，例如发送器、接收器、天
妹坐坐
[0027]设备104可以是任何类型的能够接收数据并显示与该数据相对应或相关联的信息的设备。例如，设备104可以是抬头显示系统，例如眼镜或任何类型的包含显示装置的近眼显示单元(例如，头盔、隐形眼镜和护目镜)。其他的示例实施例可包括显示器，例如包括液晶显不器(liquid crystal display, LCD)、发光二极管(light emitting diode, LED)、模制聚合物(molded polymer)显示器、或者自由空间反射显示器，或者其他图像生成手段。另外的示例实施例可包括用于在用户的眼睛前方生成图像的显示器中的波导。显示手段和显示外壳并不打算限制本申请的范围。
[0028]在图1中，通信链路106被示为无线连接；然而，也可使用有线连接。例如，通信链路106可以是经由诸如USB之类的串行总线或者并行总线的有线链路。有线连接也可以是专有连接。通信链路106也可以是无线连接，例如蓝牙、IEEE802.11 (IEEE802.11可以指IEEE802.11-2007、IEEE802.lln-2009或者任何其他ffiEE802.11修订版)、或者其他基于无线的通信链路。
[0029]设备104可包括显示系统108，其中有处理器110耦合到显示器112。显示系统108可被配置为与主机102通信(例如，有线或无线地接收和发送数据)。处理器110可接收来自主机102的数据，并且配置该数据以用于显示在显示器112上。处理器110可以是任何类型的处理器，例如微处理器、数字信号处理器(digital signal processor, DSP),等等，并且显示器112可以是任何类型的显示器，包括IXD、等离子体，等等。
[0030]显示系统108可耦合到优先级跟踪设备114和感测设备116。优先级跟踪设备114可被配置为确定与设备104的视野中的图像相关联的优先级。在一个示例中，例如，优先级跟踪设备114可测量或接收与“注视”方向或者说由用户的眼球指向的方向确定的用户注视的方向相关联的信息。显示器112可以额外地或替换地具有关联或指定的兴趣区域或与用户的期望或兴趣区域有关的兴趣图像。例如，在显示器112是眼镜形式的抬头显示器的情况中，兴趣图像可包括针对在用户正面对或看着的方向上的区域的图像，并且这样的区域可被称为注视方向。例如，优先级跟踪设备114可包括许多不同类型的传感器，例如加速度计、陀螺仪或者包括罗盘型传感器来确定地理方向和位置的GPS系统。例如，在显示系统108采取由用户佩戴的眼镜的形式的情况中，优先级跟踪设备114可包括分析并解释头部运动以确定要与图像的优先级区分相关联的头部取向的传感器，或者分析并解释相对于眼角的虹膜中心位置以识别与眼睛运动一致的注视方向的传感器(例如相机)。例如，在设备102内可使用任何类型的优先级跟踪设备来识别并确定与设备102相关联的注视方向。此夕卜，注视方向可利用上述示例的任何组合来确定，例如通过使用观看者的眼睛在眼窝中的旋转以及设备的定位来确定。
[0031]优先级跟踪设备114可以额外地或者替换地被配置为确定针对所显示的图像流的特定区域中的优先兴趣的方向，或者观看者的其他“兴趣区域”或兴趣图像。图像中观看者正看着的点是兴趣区域的示例，或者额外地，优先级跟踪设备114可具有关于观看者可优先感兴趣的屏幕区域(例如，视野中变化了的或者引起观看者注意的东西)的信息。优先级跟踪设备114还可接收来自设备104上的其他传感器的可用于指示出对所显示数据的偏好的输出(例如，设备104可包括麦克风，该麦克风记录另一兴趣区域中的音频，提示更新针对从中接收到音频的区域的视觉显示)。
[0032]从而，优先级跟踪设备114可利用设备104确定观看者的兴趣图像和/或利用设备104确定观看者的注视方向。在一个示例中，兴趣图像可位于用户面对的方向上。
[0033]感测设备116可以是或者包括任何数目的传感器，或者可具有任何数目的传感器的功能，例如包括加速度计、陀螺仪、音频传感器、视频传感器(例如，相机)、麦克风，等等。感测设备116的输出可指示眼睛运动、头部运动、周围音频的来源/方向/位置等等中的任何一者，并且可用于指示与设备104相关联的兴趣区域。
[0034]系统100的所描述的功能中的一个或多个可被分割到额外的功能或物理组件中，或者被组合到更少的功能或物理组件中。例如，虽然优先级跟踪设备114被图示为设备104的组件，但优先级跟踪设备114可与设备104分离，并从而可与设备104通信。在一些另外的示例中，额外的功能和/或物理组件可被添加到图1所示的示例。
[0035]图2A示出了用于发送和接收数据的系统200的另一示例实施例。在系统200中，主机202经由通信链路206稱合到显示设备204。在此示例中，显示设备204是眼镜(例如，头戴式显示器)，并且眼镜的每个透镜可包括显示器，并且通信链路206是无线通信链路。
[0036]图2B示出了用于发送和接收数据的系统250的另一示例实施例。在系统250中，主机202经由第一通信链路210耦合到网络208，并且网络208可经由第二通信链路212耦合到显示设备204。显示设备204可包含使能无线通信链路的硬件。第一通信链路210可传送数据到网络208 (例如，主机202与显示设备204之间的中间网络)。在一些实施例中，第一通信链路210可由互联网提供。这可以是经由同轴线缆、以太网线缆或电话线缆的有线连接。第一通信链路210也可以是无线的(如图所示)，根据802.1lWiFi协议操作。在一些实施例中，网络208可以是基于蜂窝的连接，例如GSM、CDMA, UMTS、EV-DO、WiMAX或LTE，并且可提供第二通信链路212。此外，例如，网络208可通过一不同的基于射频的网络来提供第二通信链路212，并且可以是具有充分的带宽来传送图像或数据的任何通信链路。
[0037]在图2A或2B所示的任一系统内，显示设备可被配置为解释所接收的数据并且显示与该数据相关联的图像、文本或其他信息。此外，显示设备204可以是包括向主机202提供注视方向信息的优先级跟踪器的抬头显示系统，并且主机202可使用注视方向信息来对数据的编码和向显示设备204的发送进行优先级区分。
[0038]图3A图示了例如通过确定注视方向来确定兴趣图像的示例。在图3A中，用户302可面对如箭头指示的方向，从而，兴趣图像可以是针对箭头方向上的注视方向的图像。注视方向可指示朝着用户正看着的区域的方向。用户302可能正看着或者有兴趣观看兴趣图像304，从而，注视方向可指示朝着兴趣图像304的方向。图3B是用户302的顶视图，并且基于用户302的观看方向(或注视方向)，不同的兴趣图像306、308、310、312和314可由不同的方向指示。
[0039]返回参考图2A和2B中所示的系统，在用户佩戴着诸如显示器204之类的抬头显示器的情况中，显示器204可基于用户的注视方向接收与兴趣图像相关联的信息，并且向发送器提供兴趣图像以接收或请求与关于兴趣图像的信息相对应的数据，或者额外地，请求或接收与关于兴趣图像的信息相对应的高分辨率数据和与关于其他区域(例如，外围观看区域)的信息相对应的较低分辨率数据。兴趣图像信息可控制由显示器204发送或接收的数据的内容。在没有兴趣图像信息的情况下，可发送与关于显示器周围的所有区域的信息相对应的数据；然而，利用兴趣图像，可发送更少的数据并且可发送用户更感兴趣的数据。此外，可按用户感兴趣的顺序来发送和接收数据，而该顺序是例如基于注视方向信息来区分优先级的。在一具体示例中，用户可佩戴包括抬头显示器的眼镜，并且每个头部运动或者可能眼睛运动可引起新的兴趣图像。在主机与眼镜之间带宽有限的情况中，可以首先发送与关于针对兴趣图像的区域的信息相对应的数据，然后是与其他区域相对应的数据。在接收到新的兴趣图像信息后，主机可开始新数据的发送，从而显示可以变化。
[0040]图4是根据本文描述的至少一些实施例的向设备发送数据的方法的示例框图。图4中所示的方法400给出了一种方法的实施例，该方法例如可与系统100、200和250结合使用，并且可由主机、设备或者主机和设备的组合来执行。方法400可包括如块402-422中的一个或多个所示的一个或多个操作、功能或动作。虽然这些块是按先后顺序示出的，但这些块也可并行执行，和/或按与本文描述的顺序不同的顺序执行。另外，基于期望的实现方式，各种块可被组合成更少的块，被分割成额外的块，和/或被去除。
[0041]此外，对于方法400和本文公开的其他过程和方法，流程图示出了当前实施例的一种可能的实现方式的功能和操作。就此，每个块可表示程序代码的模块、片段或部分，程序代码包括可由处理器执行来实现该过程中的特定逻辑功能或步骤的一个或多个指令。程序代码可被存储在任何类型的计算机可读介质上，例如包括盘或硬盘驱动器的存储设备。计算机可读介质可包括非暂态计算机可读介质，例如像寄存存储器、处理器缓存和随机存取存储器(Random Access Memory, RAM)那样短时间存储数据的计算机可读介质。计算机可读介质还可包括非暂态介质，例如次级或永久长期存储装置，比如只读存储器(readonly memory, ROM)、光盘或磁盘、致密盘只读存储器(compact-disc read only memory,CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介质可被认为是例如计算机可读存储介质，或者有形存储设备。
[0042]此外，对于方法400和本文公开的其他过程和方法，图4中的每个块可表示被布线来执行该过程中的特定逻辑功能的电路。
[0043]方法400包括在块402接收指示出与设备相关联的兴趣图像的信息。例如，设备可包括注视跟踪器并且可确定设备的注视方向，该注视方向可作为指示兴趣图像的信息被(有线或无线地)发送到发送器。可替换地，设备可包括额外的传感器，例如罗盘和GPS，并且可提供指示设备正面对的方向的信息以及指示设备的位置或设备的用户的注视方向的信息。此外，设备可以可替换地或额外地提供指示用户的兴趣区域(ROI)的信息，作为指示兴趣图像的信息。ROI例如可以是用户前方的区域，或者可基于其他指示物来确定，例如来自设备的其他传感器的输出。在一些示例中，兴趣图像在设备的视野内，或者在佩戴设备的用户的视野内。兴趣图像信息还可指示设备的位置或坐标，或者例如与设备相关联的特定相机参数，例如焦距和视野。与兴趣图像相关联的信息可用于在给定设备的当前位置、取向、设置等等的情况下发送与图像相关联的数据(例如，像素数据)。
[0044]在块404，方法400包括接收优先级区分指令。在一个示例中，优先级区分指令指示出兴趣图像的内容的优先级。在一个示例中，可基于优先级区分指令来确定兴趣图像的内容的发送顺序。从而，可识别一般兴趣图像，并且优先级区分指令可识别并指示发送该兴趣图像内的内容的顺序。
[0045]在一个示例中，优先级区分指令可包括指示出抬头显示器的用户的注视方向的信息。用户可面对特定方向，或者设备可面对特定方向，并且包括该特定方向上的区域的兴趣图像可被识别。另外，可以确定用户的注视方向(例如，基于眼睛运动)以在更详细的级别上识别兴趣图像内用户感兴趣的内容。例如，如果用户的兴趣图像被识别为大体上是用户前方的区域，并且用户将他/她的眼睛移动到用户前方的该区域的右段，则针对右段的内容可被识别为更高重要性并且可被以比兴趣区域中的其他内容更高的优先级别发送到用户。注视方向信息可用于识别兴趣图像中的以由注视方向指示的兴趣图像中的单点为中心的内容。
[0046]作为另一示例，抬头显示器可包括可识别运动物体的基于视觉的传感器，或者可识别具有局部化声音的区域的音频传感器。基于运动的数据或基于音频的数据可被包括在优先级区分指令内，或者可用于生成优先级区分指令，以将针对该运动或音频的内容指示为具有更高优先级别。例如，在空间上局部化周围环境中的音频时，可识别空间上局部化的音频之处或其周围的兴趣区域内的内容，以识别声音附近的内容。音频的方向或音频的位置可被近似并用于配置优先级区分指令。
[0047]在另一示例中，抬头显示器可包括运动传感器，并且可检测用户的运动。运动传感器可确定用户的头部正在迅速向右移动，并且这样的信息可用作优先级区分指令来提供用于对要发送的数据进行优先级区分的额外信息。可替换地，主机可基于对信息的请求和对该信息内的图像的分析来检测用户的头部的向右运动(例如，主机可分析所发送的图像/序列以确定用户在特定方向上运动)。
[0048]在另一示例中，优先级区分指令可包括加权函数或者可以是基于加权函数来配置的。示例加权函数可考虑许多输入，并且基于这些输入，提供优先级区分指令。输入可包括用户的运动、周围音频的音频采样、用户的注视方向，等等。一个特定的加权函数可被配置成使得如果用户的运动被赋予第一优先级，则用户的注视方向被赋予较低的第二优先级。
[0049]另外，优先级区分指令可指示出兴趣区域内的两个或更多个位置，这两个或更多个位置与兴趣区域中的其他区域相比具有高优先级。这些位置可基于注视方向、头部运动、周围首频等等来识别。
[0050]在示例内，优先级区分指令可被认为是来自设备的反馈，用以提供特定兴趣图像的第二级别的粒度。例如，除了指示出可用于确定要显示的下一帧的兴趣图像以外，还可向主机提供额外的信息来引导主机编码和发送兴趣图像中的信息。在使用抬头显示器的增强现实示例中，头部运动可驱动要显示的信息，然而，在有限带宽情形中，用户的注视方向也可有帮助，使得所发送的信息中的更多信息可与用户视野中央的像素相关。包括用户头部的运动方向、从周围环境检测到的声音的空间位置或者来自抬头显示器上的其他传感器的反馈在内的其他反馈可用于对数据的发送进行优先级区分。
[0051]在块406，与关于兴趣图像的信息相对应的数据可被编码或压缩。主机或发送器可在发送到接收器或显示器之前对数据进行压缩。可以使用任何类型的编码或压缩技术，例如，基于小波的技术(例如，离散小波变换(discrete wavelet transform, DffT)或嵌入式零树小波(embedded zerotree wavelet, EZW))。在一个示例中，可通过对图像的所有像素取平均来减小图像的大小，并且可以以迭代方式执行平均、直到表示图像的数据的大小如所期望为止。在另一示例中，利用DWT或EZW，可以按任何比特率将数据编码和压缩成可单独发送的个体块或子块。可对数据的每个子块执行DWT以将子块分解成不同的时间-频率成分。低频率子块中的系数可以示出子块的背景信息，而更高频率子块中的系数可表示图像的细节和边缘。在计算DWT之后，可根据任何类型的压缩技术对数据进行压缩，其中压缩技术例如是受EZW控制的可变阈值机制，其中大于阈值的系数可被选择来发送。阈值级别例如可决定输出比特流的长度、输入数据的压缩比和/或重构数据的分辨率。关于编码和压缩技术的更多信息，参考Lo等人所著的〃An Adaptive Source-Channel Coding withFeedback for Progressive Transmission of Medical Images' International Journalof Telemedicine and Applications, Vol.2009, Article ID 519417,这里通过引用并入该文献的全部内容。
[0052]在块408，与关于兴趣图像的信息相对应的编码数据可被发送到设备。通过发送与关于兴趣图像的信息相对应的数据，所发送的数据很可能是用户感兴趣的。
[0053]可选地，在块410，更高分辨率的数据可被逐步地发送到设备。例如，在块406和408，第一分辨率级别的数据可被编码并发送到设备，而在块410，高于第一分辨率的第二分辨率的数据可被编码并发送到设备。这两次数据发送都可包括与关于兴趣图像的信息相对应的数据并且可基于优先级区分指令来具体地有所针对。这样，最初，低分辨率数据(例如，或者高度压缩的数据)可被发送到设备以更迅速地发送少量数据，然后额外的数据可被逐步发送到设备以允许构造更高分辨率的图像。随后发送的额外数据可以是利用更低量的压缩来压缩的数据。此外，如果优先级区分指令(例如，指示注视方向的信息)被提供给发送器，则发送器可以将表示关于注视方向的信息的数据以比表示其他区域的数据更好的质量和更小的失真来编码。设备可最初解码并显示低分辨率图像，并且在接收到额外数据之后，可解码并显示更高分辨率图像。图像可被逐步地揭示；然而，例如，在任何一刻，可以显示原始图像的合理再现。
[0054]在块412，作为另一可选步骤，与其他区域相对应的数据可被发送到设备。例如，第一分辨率的与关于兴趣图像的信息相对应的数据可被发送到设备，然后以第二分辨率发送与关于用户附近或周围的其余区域的信息相对应的数据。第一分辨率可以是比第二分辨率更高的分辨率，从而使得与兴趣图像相对应的数据可被显示器更详细地绘制。另外，可替换地，发送器可以按区分优先级的方式来发送数据:首先发送对应于与兴趣图像相关联的信息的数据，随后发送对应于其他区域的数据，并且在此替换示例中所有数据可以按高分辨率或者按多级别分辨率发送。
[0055]从而，利用优先级信息，可以确定与关于兴趣图像的区域的信息相关联的数据的发送顺序，并且可以利用渐进压缩技术来发送与兴趣图像的信息相关联的数据，使得低分辨率数据表示在第一时间帧槽中发送，然后是更高分辨率数据表示在第二时间帧槽中发送。例如，关于高优先级区域的高分辨率数据可以首先被发送，然后是关于更低优先级区域的高分辨率数据。
[0056]在块414，该方法可选地包括接收指示对数据解码的时间的信息。设备可确定对接收到的压缩数据进行解码的时间，并且向发送器发送对该时间的指示。解码时间可包括接收数据的时间和/或解码和显示数据的时间。例如，数据可包括指示数据被发送的时间的时间戳，从而，基于数据是何时被接收的，设备可确定发送数据的时间。发送数据的时间可用于估计可用带宽的量，或者设备与发送器之间的其他信号状况。
[0057]在块416，该方法可选地包括接收指示出成功解码的数据的百分比的信息。设备可确定成功解码的数据的百分比，并且向发送器发送对该百分比的指示。
[0058]在块418，该方法可选地包括修改压缩技术或给定时间帧槽中发送的数据量。例如，基于对解码数据的时间和成功解码的数据的百分比中的一者或多者的指示，发送器可例如通过修改用于对数据编码的压缩技术，来修改有多少数据被发送到设备。
[0059]在块420，该方法包括确定是否接收到对新数据的请求。例如，设备可例如通过发送与新的兴趣图像相关联的信息来发送对新数据的请求。在设备或使用设备的观看者的兴趣图像改变的情况中，新的兴趣图像(或与新兴趣图像相关联的数据)可被发送到发送器以请求与新兴趣图像相对应的新数据。作为另一示例，如果用户头部的位置和/或取向已改变，则新的兴趣图像可被发送到发送器以请求新数据，无论是否维持恒定的优先级指令。
[0060]在块422，该方法包括确定是否已发送了对应于与兴趣图像相关联的信息的所有数据。如果是，则发送器已完成了数据的发送，并且在块420等待接收对新数据的请求。如果否，则在块424，发送器可继续逐步发送对应于与兴趣图像相关联的信息和/或对应于与其他区域相关联的信息的数据。
[0061]在一个示例中，在发送器逐步发送与关于兴趣图像的信息相对应的数据的情况中，发送器可在随后的帧槽中发送额外的数据块，从而如果在发送器处未接收到更新，则最终发送图像(或区域)的完整数据流，如块420和422所示。从而，在一个示例中，对应于与兴趣图像相关联的信息的某些数据可被优先发送，并且如果时间充足的话与兴趣图像的外围的区域相关联的其他数据也可被发送(即，与显示器相关联的数据可被完全发送，然而，该显示器的与兴趣图像有关的数据部分可被优先发送)。从而，例如，可以确定整个显示器的数据的发送顺序，其中针对高优先级部位或区域的数据受到优待。完整的数据流可包括关于最高优先级区域的所有数据和/或关于其他数据的额外数据。
[0062]否则，当在块420在接收到更新(或者对额外或替换数据的请求)时，在当前数据帧被完全编码和发送之前，编码可在新的或下一个数据帧上开始。
[0063]可以执行方法400以在随后的时间帧槽中逐步地发送图像的额外信息，直到与图像相关联的数据发送完成为止或者直到从设备接收到对数据的另一请求为止。另外，通过首先发送针对兴趣图像的高优先级区域的数据，然后发送针对其他区域的数据，可以以区分优先级的方式来发送数据。
[0064]方法400的替换实施例可通过执行额外的步骤、去除步骤或者按其他顺序执行步骤来执行。作为另一个示例，可以执行方法400以在维持恒定或基本上恒定的数据传送速率的同时利用渐进压缩技术按预定的分辨率发送针对兴趣图像的数据。方法400可以独立于发送到设备的信息的类型来执行，并且从设备发送的注视方向或其他优先级指令可用于对信息内容的编码、发送、解码和显示进行优先级区分和排序。
[0065]还可以通过控制为了对每个时间帧槽的数据进行编码和发送所花费的时间，来以维持基本上恒定的数据传送速率的方式执行方法400。发送器可维持恒定或基本上恒定的数据传送速率以控制带宽限制。
[0066]此外，在方法400内，在一些示例中，可以在以所确定的顺序发送与兴趣图像的信息相关联的数据的至少一部分之后接收优先级区分指令。在此示例中，可以确定与兴趣图像相关联的数据的发送的新顺序，并且可以按新顺序来发送与兴趣图像的信息相关联的数据。从而，如果在数据发送期间优先级区分指令变化，例如用户的注视变化，则可以相应地修改发送到设备的数据的顺序。
[0067]图5是根据本文描述的至少一些实施例的向设备发送数据的方法的示例框图。图5中所示的方法500给出了一种方法的实施例，该方法例如可与系统100、200和250结合使用，并且可由主机、设备或者主机和设备的组合来执行。方法500可包括如块502-514中的一个或多个所示的一个或多个操作、功能或动作。虽然这些块是按先后顺序示出的，但这些块也可并行执行，和/或按与本文描述的顺序不同的顺序执行。另外，基于期望的实现方式，各种块可被组合成更少的块，被分割成额外的块，和/或被去除。
[0068]最初，在块502，在发送器处接收与设备或使用设备的观看者的兴趣图像相关联的信息。与兴趣图像相关联的信息可指示出用户或设备所面对的一般方向，和/或也可以指示出与兴趣图像内的特定区域或内容有关的优先级区分指令。此外，在块504，在发送器处可从设备接收指示出可用于编码/发送数据的时间的信息。另外，在块506，在发送器处可接收指示出在设备处从先前发送成功解码的数据的百分比的信息。
[0069]然后，在块508，发送器可确定如何对数据编码以发送到设备。例如，发送器可基于接收器或显示器的兴趣图像，和/或基于有多少时间可用于执行编码、发送、解码和显示图像中的一者或多者，来确定如何压缩图像(即，对于图像的每个区域投入多少比特的信息)。
[0070]在块510，如果从设备接收到新信息，例如指示出可用于编码/发送数据的新时间或在设备处成功解码的信息的新百分比的信息，则在块512，发送器可修改压缩技术或在给定时间帧槽中要发送的数据量。随后，发送器可将编码数据发送到设备。在发送器处接收进一步反馈对于扼制或扩大在每个时间帧期间发送的信息量可能是有用的。目标数据传送速率可通过限制在发送器处为了对每个发送帧的数据进行编码和发送所花费的时间并且也限制在设备上为了对每个发送帧的数据进行解码和显示所花费的时间来实现。
[0071]发送器与设备之间的近似带宽可被即时(实时)更新，并且例如用于估计传送时间，并因此估计在每个帧槽中要发送的编码信息的大小。在一个示例中，为了控制带宽并且维持基本上恒定的传送帧速率，可以使用来自设备的关于兴趣图像和过去的发送的信息。例如，如上所述，兴趣图像中的兴趣区域可用于确定对于图像的每个区域要编码多少比特的数据，使得与兴趣图像相关联的信息可被以更多的比特编码以提供更多细节，并且表示外围的其他区域的数据可被以更少的比特编码以提供较少的细节。另外，例如，基于有多少时间可用于编码和发送数据(例如，有15ms来编码和发送信息)，过去的发送经历可用于确定如何编码数据，例如将图像分割成子区域并且将图像分部分发送。
[0072]方法500提供了在指定量的时间中向设备发送不同细节级别的区域以使能随后时间帧槽内的数据发送来以分辨率为代价维持稳定帧速率的示例。方法500可实时执行，并且基于从设备接收的反馈信息(例如，响应于变化的(无线)带宽)来自适应。
[0073]设备与发送器之间的闭合环路使得能够向其每一者传达反馈。初始数据传送速率和要发送的数据量可例如基于过去发送的成功来确定。从而，目标帧速率可通过限制为了对每个数据帧进行编码和发送所花费的时间来实现。关于控制带宽和维持基本上恒定的数据传送速率的更多信息，读者请参考Reingold等人所著的"Gaze-contingentMultiresolutional Displays-An Integrative Review"，Human Factors:The Journal ofthe Human Factors and Ergonomics Society，2003;45;p.307-328，这里通过引用并入该文献的全部内容。
[0074]图6A图示了可被配置为根据方法400和500中的一个或多个来工作的设备600的一个示例。设备600被示为可由用户佩戴来在眼睛前方投影图像的抬头显示设备，例如眼镜。设备600可具有到电话、计算机等等或其他发送器的无线连接，以接收要显示的数据。设备600与发送器之间的带宽在使用无线传送时可能是有限的(与对于高分辨率视频信号使用可提供更多带宽(例如60fps)的有线连接不同)。此外，带宽可由于变化的无线信号状况而动态地变动。
[0075]设备包括透镜，例如透镜602，该透镜包括显示器。兴趣区域(ROI) 604可定义为包括在透镜602的中央内的区域，从而定义用户在看着或以其为视野中心的区域。ROI可对应于指示出用户的兴趣图像的信息。指示方向或ROI的信息可被提供给发送器(例如，位置、纬度/经度坐标、罗盘方向，等等)以使得发送器能够发送与R0I604相对应的信息。这样，兴趣信息可被提供给用户。
[0076]图6B图示了用户佩戴的设备600的示例。在此示例中，可基于用户眼睛的运动来确定用户的注视方向。用户的注视方向可被确定为朝着R0I604的左侧区域。此外,设备604上的传感器可确定用户的头部运动是向左移动。另外，设备604上的音频传感器可检测到用户左边方向上的音频。这些信息中的任何一个或多个可用于配置优先级区分指令以发送到主机来请求与R0I604的特定区域相关联的数据。在此示例中，与对应于R0I604的图像的最左侧像素相关联的数据可首先被发送到设备600，然后是与对应于R0I604的图像的其他区域的像素相关联的数据。从而，可通过首先提供与用户的注视方向的区域相对应的数据，然后提供与R0I604的其余部分相对应的数据(例如，在图像的从左向右绘制中)，来向用户显示与R0I604相对应的图像。
[0077]图6C图示了兴趣区域(R0I)604的示例，并且R0I604可与兴趣图像相关联或相对应。R0I604可被分割成数个区域，并且与R0I604的区域相关联的内容可基于优先级区分被发送到设备604。在图6A-6C所示的示例中，与区域#1相关联的内容可首先被发送，因为这些内容可针对用户的注视方向、用户头部的运动以及所感测到的音频的方向。与其余区域相关联的内容可如图所示按从#2-#16的顺序发送，然而，其他顺序也是可能的。在一个示例中，R0I604内的内容可基于与到由优先级区分指令识别的内容的距离的关联来发送。利用此示例，被识别为#2-#6的区域内的内容是所识别的区域#1的内容的相邻内容。
[0078]利用图6A-6C中的示例，与针对用户的RO1、更具体而言针对ROI的特定部分的数据相关联的图像的内容可首先被发送，以呈现用户特别感兴趣的子区域的内容。其余子区域的其他内容可随后被发送，并且与针对视野的其余部分的数据相关联的可能其他图像可更随后被发送。
[0079]图7图示了抬头显示器的概念透镜700。透镜700被分割成多个兴趣区域，ROI1,ROI2和ROI3，并且每个ROI可被认为是用户感兴趣的图像，或者被包括在用户的兴趣图像内。指示不同ROI的信息可被发送到发送器以使得发送器能够对到设备的数据发送进行优先级区分。例如，发送器可使用ROI信息来控制数据的压缩和发送，如以下表1中所示。
[0080]
【权利要求】
1.一种方法，包括: 接收指示与可佩戴设备相关联的兴趣图像的信息，其中所述兴趣图像在所述可佩戴设备的视野内； 按所确定的顺序在时间帧槽中发送与所述兴趣图像有关的数据，直到与所述兴趣图像相关联的数据的发送完成为止，或者直到从所述可佩戴设备接收到对数据的另一请求为止；以及 通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率。
2.如权利要求1所述的方法，还包括: 接收指示所述兴趣图像的内容的优先级的优先级区分指令；以及 基于指示所述兴趣图像的所述信息和所述优先级区分指令，确定与所述兴趣图像相关联的数据的发送顺序。
3.如权利要求1所述的方法，还包括按所确定的顺序发送与所述兴趣图像相关联的数据，使得具有第一优先级的与所述兴趣图像有关的数据在第一时间帧槽中被发送，然后具有第二优先级的与所述兴趣图像有关的数据在第二时间帧槽中被发送，其中所述第一优先级高于所述第二优先级。
4.如权利要求1所述的方法，还包括: 接收指示所述可佩戴设备的位置和与所述可佩戴设备相关联的注视方向中的一个或多个的信息；以及 基于所述可佩戴设备的位置和与所述可佩戴设备相关联的注视方向中的一个或多个，确定与所述兴趣图像相关联的数据的发送顺序。
5.如权利要求1所述的方法，还包括: 接收指示与所述可佩戴设备的用户相关联的注视方向的信息；以及 基于与所述可佩戴设备的用户相关联的注视方向，确定与所述兴趣图像相关联的数据的发送顺序。
6.如权利要求1所述的方法，还包括: 接收指示与由所述可佩戴设备捕捉到的音频相关联的位置的信息；以及 基于与由所述可佩戴设备捕捉到的音频相关联的位置，确定与所述兴趣图像相关联的数据的发送顺序。
7.如权利要求1所述的方法，还包括: 接收指示与所述可佩戴设备的运动相关联的方向的信息；以及 基于与所述可佩戴设备的运动相关联的方向，确定与所述兴趣图像相关联的数据的发送顺序。
8.如权利要求1所述的方法，还包括: 在按所确定的顺序发送与所述兴趣图像相关联的数据的至少一部分之后接收指示所述兴趣图像的内容的优先级的优先级区分指令； 基于所述优先级区分指令，确定与所述兴趣图像相关联的数据的发送的新顺序；以及 按所述新顺序发送与所述兴趣图像相关联的数据。
9.如权利要求1所述的方法，还包括:接收指示所述兴趣图像的内容的优先级的优先级区分指令； 基于指示所述兴趣图像的所述信息和所述优先级区分指令，确定与所述兴趣图像相关联的数据的发送顺序；以及 在随后的时间帧槽中按所确定的顺序逐步地发送与所述兴趣图像有关的额外数据，直到与所述兴趣图像相关联的数据的发送完成为止，或者直到从所述可佩戴设备接收到对数据的另一请求为止。
10.一种发送器,包括: 一个或多个计算设备；以及 存储器，被配置为存储指令，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备: 接收指示与可佩戴设备相关联的兴趣图像的信息，其中所述兴趣图像在所述可佩戴设备的视野内； 按所确定的顺序在时间帧槽中发送与所述兴趣图像有关的数据，直到与所述兴趣图像相关联的数据的发送完成为止，或者直到从所述可佩戴设备接收到对数据的另一请求为止；以及 通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率。
11.如权利要求10所述的发送器，其中，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备: 接收指示所述可佩戴设备的位置的信息；以及 基于所述可佩戴设备的位置，确定与所述兴趣图像相关联的数据的发送顺序。
12.如权利要求10所述的发送器，其中，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备: 接收指示与所述可佩戴设备相关联的注视方向的信息；以及 基于与所述可佩戴设备相关联的注视方向，确定与所述兴趣图像相关联的数据的发送顺序。
13.如权利要求10所述的发送器，其中，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备: 接收指示与由所述可佩戴设备捕捉到的音频相关联的位置的信息；以及 基于与由所述可佩戴设备捕捉到的音频相关联的位置，确定与所述兴趣图像相关联的数据的发送顺序。
14.如权利要求10所述的发送器，其中，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备: 接收指示与所述可佩戴设备的运动相关联的方向的信息；以及 基于与所述可佩戴设备的运动相关联的方向，确定与所述兴趣图像相关联的数据的发送顺序。
15.如权利要求10所述的发送器，其中，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备: 在按所确定的顺序发送与所述兴趣图像相关联的数据的至少一部分之后接收指示所述兴趣图像的内容的优先级的优先级区分指令； 基于所述优先级区分指令，确定与所述兴趣图像相关联的数据的发送的新顺序；以及 按所述新顺序发送与所述兴趣图像相关联的数据。
16.一种非暂态计算机可读介质，其中存储有指令，所述指令能够由计算设备执行来使得所述计算设备执行包括以下在内的功能: 接收指示与可佩戴设备相关联的兴趣图像的信息，其中所述兴趣图像在所述可佩戴设备的视野内； 按所确定的顺序在时间帧槽中发送与所述兴趣图像有关的数据，直到与所述兴趣图像相关联的数据的发送完成为止，或者直到从所述可佩戴设备接收到对数据的另一请求为止；以及 通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率。
17.如权利要求16所述的非暂态计算机可读介质,其中，所述指令能够由所述计算设备执行来使得所述计算设备执行包括以下在内的功能: 确定所述可佩戴设备面对着的方向；以及 基于所述方向来确定指示所述兴趣图像的内容的优先级的优先级区分指令。
18.如权利要求16所述的非暂态计算机可读介质,其中，所述指令能够由所述计算设备执行来使得所述计算设备执行包括以下在内的功能: 确定所述可佩戴设备的地理位置；以及 基于所述地理位置来确定指示所述兴趣图像的内容的优先级的优先级区分指令。
19.如权利要求16所述的非暂态计算机可读介质,其中，所述指令能够由所述计算设备执行来使得所述计算设备执行包括以下在内的功能: 确定所述可佩戴设备的用户的注视方向；以及 基于所述注视方向来确定指示所述兴趣图像的内容的优先级的优先级区分指令。
20.如权利要求16所述的非暂态计算机可读介质，其中，所述指令能够由所述计算设备执行来使得所述计算设备执行包括以下在内的功能: 接收来自耦合到所述可佩戴设备的传感器的一个或多个输出，其中所述一个或多个输出指示所述可佩戴设备的周围环境的基于音频的数据； 基于所述基于音频的数据来确定在音频附近的所述兴趣图像内的内容；以及 基于所述音频的方向或位置来确定指示所述兴趣图像的内容的优先级的优先级区分指令。
21.如权利要求16所述的非暂态计算机可读介质，其中，所述指令能够由所述计算设备执行来使得所述计算设备执行包括以下在内的功能: 接收来自耦合到所述可佩戴设备的传感器的一个或多个输出，其中所述一个或多个输出指示所述可佩戴设备的运动；以及 基于所述可佩戴设备的运动来确定指示所述兴趣图像的内容的优先级的优先级区分指令。
【文档编号】G02B27/01GK103930817SQ201280040663
【公开日】2014年7月16日 申请日期:2012年6月4日 优先权日:2011年6月20日
【发明者】C.C.罗兹 申请人:谷歌公司