用于标注的图像驱动的视图管理的制作方法

用于标注的图像驱动的视图管理的制作方法
【专利摘要】一种移动装置使用图像驱动的视图管理方法来实时标注图像。所述移动装置所使用的基于图像的布局过程计算显著性地图，且根据视频流的帧来产生边缘地图。所述显著性地图可通过应用阈值以减少显著性等级的数目来进一步加以处理。所述显著性地图及边缘地图一起用于确定待呈现于所述视频流上的标签的布局位置。所述标签被显示于所述布局位置中，直到检测到所述相机的定向改变超过阈值为止。另外，可(例如)基于多个像素来调整所述标签的表示，所述像素以与所述视频帧中的标签的布局位置一致的区域为边界。
【专利说明】用于标注的图像驱动的视图管理
[0001] 相关申请案的夺叉参考
[0002] 本申请案主张2012年12月19日申请的且名为"用于标注的图像驱动的视图管理 (Image-Driven View Management for Annotations)，'的第 13/720, 735 号美国申请案的优 先权，所述申请案又根据35USC 119来主张2012年5月23日申请的且名为"用于室外扩增 实境中的标注的图像驱动的视图管理（Image-Driven View Management for Annotations in Outdoor Augmented Reality)"的第61/650, 884号美国临时申请案的优先权，所述两案 均受让给其受让人且通过引用的方式并入本文中。

【技术领域】
[0003] 本文所述的标的物的实施例大体上涉及用于显示系统中的标注的视图管理，且更 具体来说涉及使用基于图像的布局过程用于视图管理。

【背景技术】
[0004] 扩增实境（AR)表示注册到真实世界物体及场所的数字信息的显示。AR的一个实 例为真实世界建筑物及场所的图像或视频流的具有文本或图像信息的标注。扩增实境浏览 器（ARB)为一类型的AR应用程序，其中使用标签以允许终端用户在其真实世界环境的背景 中的视觉化、浏览及搜索数字数据。所述数字信息经由真实世界环境的视频馈送而显示在 终端用户蜂窝式电话、智能电话等上。
[0005] 在常规系统中，通常基于纯地理位置来注册数字信息，通常给定为具有（例如）如 通过全球定位系统（GPS)所确定的对应位置的关注点（Ρ0Ι)。通常，没有其它场景知识（例 如，所述环境的3D模型）可用于所述系统。此外，即使提供3D模型，基于传感器的跟踪的 易错注册通常不准许额外场景知识的有效使用。此外，真实世界环境动态地改变，且因此先 前产生的3D模型可能未提供真实世界的最新表示。因此，在当前系统中未使用依赖于所述 环境的精确注册的详细三维表示的可用性的视图管理技术。
[0006] 由于通常没有其它信息可用，所以按照惯例使用标签到显示屏幕的投射来执行用 以标注Ρ0Ι的图标或文本信息（即，标签）的放置，其通过Ρ0Ι的GPS位置及相机的当前跟 踪信息来确定。结果常常是具有遮蔽彼此以及重要的真实世界信息的标签的杂乱场景。因 此，常规系统的视觉质量遭受标签在相机所提供的真实世界的视图上的不良放置或表示。


【发明内容】

[0007] 移动装置使用图像驱动的视图管理方法来用于实时标注图像。移动装置所使用的 基于图像的布局过程计算显著性地图，且根据视频流的帧来产生边缘地图。显著性地图可 通过应用阈值以减少显著性等级的数目来经进一步处理。一起使用显著性地图及边缘地图 以确定待呈现于视频流上的标签的布局位置。所述标签显示于布局位置中，直到检测到相 机的定向改变超过阈值为止。另外，可（例如）基于以与视频帧中的标签的布局位置一致 的区域为边界的多个像素来调整标签的表示（例如，对比度）。
[0008] 在一个实施方案中，一种方法包含：存储待呈现的一或多个标签；用相机捕捉环 境的视频流；计算来自视频流的至少一个帧的显著性地图；产生具有从所述至少一个帧提 取的边缘的边缘地图；使用显著性地图及边缘地图来确定待呈现于视频流上的一或多个标 签的第一布局位置；在显示视频流时在第一布局位置将一或多个标签呈现于视频流上；检 测大于阈值的相对于先前巾贞的定向的相机的定向改变；及将一或多个标签显不于第一布局 位置中，直到检测到相机的定向改变为止。
[0009] 在一个实施方案中，一种设备包含：捕捉环境的视频流的相机；响应于移动而产 生数据的运动传感器；显示器；用于存储待呈现的一或多个标签的存储器；及处理器，其耦 合到显示器，耦合到相机以接收环境的视频流，耦合到运动传感器以接收响应于移动的数 据，及耦合到存储器用于接收待呈现的一或多个标签，所述处理器经配置以计算来自视频 流的至少一个帧的显著性地图，产生具有从所述至少一个帧提取的边缘的边缘地图，使用 显著性地图及边缘地图来确定待呈现于视频流上的一或多个标签的第一布局位置，及在视 频流显示于显示器上在第一布局位置中将一或多个标签呈现于视频流上，使用运动传感器 所产生的数据来检测大于阈值的相对于先前帧的定向的相机的定向改变，及在第一布局位 置中显示一或多个标签直到检测到相机的定向改变为止。
[0010] 在一个实施方案中，一种设备包含：用于存储待呈现的一或多个标签的装置；用 于捕捉环境的视频流的装置；用于计算来自视频流的至少一个帧的显著性地图的装置；用 于产生具有从所述至少一个帧提取的边缘的边缘地图的装置；用于使用显著性地图及边缘 地图来确定待呈现于视频流上的一或多个标签的第一布局位置的装置；用于在显示视频流 时在第一布局位置将一或多个标签呈现于视频流上的装置；用于检测大于阈值的相对于先 前帧的定向的定向改变的装置；及用于将一或多个标签显示于第一布局位置中直到检测到 的定向改变为止的装置。
[0011] 在一个实施方案中，一种存储媒体包含存储在其上的程序代码，其包含：用以计算 来自相机所捕捉的视频流的至少一个帧的显著性地图的程序代码；用以产生具有从所述至 少一个帧提取的边缘的边缘地图的程序代码；用以使用显著性地图及边缘地图来确定待呈 现于视频流上的一或多个标签的第一布局位置的程序代码；用以在显示视频流时在第一布 局位置将一或多个标签呈现于视频流上的程序代码；用以检测大于阈值的相对于先前帧的 定向的相机的定向改变的程序代码；及用以将一或多个标签显示于视频流上的第一布局位 置中直到检测到相机的定向改变为止的程序代码。

【专利附图】

【附图说明】
[0012] 图1说明展示利用图像驱动的视图管理过程来标注视频流的移动装置的框图。
[0013] 图2是说明可由图1的移动装置使用的基于图像的布局过程的框图。
[0014] 图3是说明使用贪婪算法的布局的优化的流程图。
[0015] 图4是具有不同标签组件的自适应表示的实例的建筑物的图像，包含指引线、锚 点及文本周围的背景。
[0016] 图5说明基于距关注点的距离的锚点的自适应表示。
[0017] 图6说明用于管理所显示标签的时间相干性的状态图。
[0018] 图7是说明可由移动装置使用的基于图像的布局过程的流程图。
[0019] 图8说明可用于呈现标签的自适应表示的过程，其中可调整所述标签的表示，包 含标签的锚点、指引线、文本的周围背景。
[0020] 图9是能够使用本文所述的基于图像的布局过程来进行视图管理的移动装置的 框图。

【具体实施方式】
[0021] 图1说明展示利用图像驱动的视图管理过程来标注视频流的移动装置100的框 图。视图管理包含标签的布局（基于点的放置或标记）以及表示，两者均基于所捕捉视频 帧的分析。
[0022] 图1将移动装置100的前侧说明为包含外壳101、显示器102 (其可为触摸屏显示 器）、以及扬声器104及麦克风106。移动装置100进一步包含用以使环境成像的前向相机 110。移动装置100可包含运动传感器112,例如磁力计、回转仪、加速计等。移动装置100 可能够使用常规定位技术来确定其位置，例如使用卫星定位系统（SPS) 122 (例如，众所周 知的全球定位系统（GPS))来获得位置固定，使用例如存取点124或蜂窝式塔126的无线源 进行三边测量、或使用计算机视觉跟踪技术、或此类技术中的任一者的组合，例如具有计算 机视觉跟踪技术的GPS。移动装置100可基于移动装置100的大致位置经由无线网络120 而使用远程服务器130来存取数据库135,从而获得待相对于将展示于显示器102上的图像 而呈现的位置相依标注。举例来说，服务器130及数据库135可通过在移动装置100上执 行的扩增实境浏览器应用程序来存取。如本文所使用，标注及标签描述待覆盖于图像或视 频流上的文本或图像信息，且可互换地使用标注及标签。
[0023] 如本文所使用，"移动装置"指任何便携式电子装置，例如蜂窝式或其它无线通信 装置、个人通信系统（PCS)装置、个人导航装置（PND)、个人信息管理器（PM)、个人数字助 手（PDA)、或其它合适的移动装置。移动装置可能够接收无线通信及/或导航信号，例如导 航定位信号。术语"移动装置"还意图包含例如通过短程无线、红外线、电线连接或其它连 接与个人导航装置（PND)通信的装置，不管卫星信号接收、辅助数据接收及/或位置相关处 理是发生在装置处还是在PND处。而且，"移动装置"意图包含所有电子装置，包含能够捕捉 其环境的图像（或视频）的无线通信装置、计算机、膝上型计算机、平板计算机等。
[0024] 现有扩增实境浏览器或AR标注系统一般呈现不良的视图管理。举例来说，标签常 常显示为与大量视觉杂乱重叠，且缺乏将虚拟内容映射到真实世界关注点的深度线索。另 夕卜，在常规系统中，标签的布局以及标签的表示并不考虑在其上呈现标签的图像。举例来 说，标签常常呈现为覆盖图像中的重要特征，例如建筑物、人或真实世界标志。另外，标签可 用色彩或色调来呈现，其可能大体相对于图像而不良地对比或令人反感。
[0025] 相比来说，移动装置100使用建立在视频图像的显著性及边缘分析上的基于图像 的布局过程。显著性及边缘分析可一起用于基于图像的布局，且用以最小化在图像的重要 区域上的覆盖且作为用于最小化问题的参数。使用目标函数（即最小化其值）来制定最小 化问题，其中惩罚因数包含所要设计空间的一或多个分量。
[0026] 另外，移动装置100所使用的基于图像的布局可提供真实（视频图像）与虚拟（标 签）内容之间的视觉相干性。基于在标签的位置下方的图像中的像素来调整标签的表示， 包含标签的锚点、指引线及文本周围背景。视频图像（HLS或HSV空间）的明度、饱和度或 色度的全局或局部估计可用以调节标签的分量的色彩。
[0027] 因此，移动装置100尤其可用于供其中缺乏场景知识的扩增现实系统使用，例如 在扩增现实浏览器中所发现的。移动装置1〇〇可经由所捕捉视频帧的分析而提供图像的 实时标注以确定所要标注的放置，从而致使场景的明确知识为不必要的。来源于所捕捉视 频帧的信息可用以调整标注的外观，例如使得所述标注经定位而使得对重要真实世界信息 的干扰得以减少，及使得所呈现标注中的每一者在背景上可读且容易地与其对应关注点相 关。另外，为了顾及扩增现实的交互性质，移动装置1〇〇可维持所显示标注的帧相干性。
[0028] 图2是说明可由图1中所示的移动装置使用的基于图像的布局过程200的框图。 基于图像的布局过程200使用来自所捕捉视频流的信息来控制标签的位置（即，布局）及 表示。因此，当前图像202 (例如，移动装置100所捕捉的视频流的帧）经接收及分析以识 别图像中的重要区，使得图像中的重要内容将不被标签的放置遮蔽。如果需要，可（例如） 通过2或4的大小因子来将当前图像202重新调整大小，使得对于640X480像素图像，可 将所述图像重新缩放为320X240像素或160X 120像素。图像202可经分析以产生边缘地 图204以及视觉显著性地图206。可（例如）使用应用到图像202的任何所要边缘检测器 (例如坎尼边缘检测器）来产生边缘地图204。可在必要时使用其它边缘检测器，例如，罗 伯特交叉（Roberts Cross)算子、索贝尔（Sobel)算子、普瑞维特（Prewitt)算子或微分算 子。
[0029] 显著性地图206可通过任何所要显著性计算来产生，但所需要的是所述显著性计 算针对实时性能是快速的。显著性计算应消除图像202中的规则图案。另外，所得显著性 地图206大小与图像202 (或重新调整大小的图像）大小相同可为有利的。虽然可使用任 何所要显著性计算，但已发现在国际图像处理会议（ICIP)(香港，2010年9月，2010年） 中R.阿成达（R. Achanta)及S.萨斯创克（S. Susstrunk)在"使用最大对称外围的显著性 检测（Saliency detection using maximum symmetric surround) " 中描述了一种合适的 显著性计算。所得显著性地图206为强度图像，其中灰度级表示图像中信息的重要性。通 常，显著性计算将产生相对较大数目个显著性等级。因此，如图2中所说明，初始显著性地 图206可经进一步处理以产生具有减少数目个显著性等级的第二显著性地图208。举例来 说，通过将一或多个阈值应用到初始显著性地图206以使所要数目个显著性等级分类而产 生第二显著性地图208。举例来说，可应用两个阈值以产生第二显著性地图208中的三个等 级显著性。阈值可具有均匀分布，例如显著性的不同等级具有相同大小的范围，或可具有非 线性分布，例如较小范围用于高的显著值及较大范围用于低的显著值。可基于相机响应来 根据经验或自动地选择适当阈值。减少第二显著性地图208的显著性等级的数目可为有利 的，这是因为其提供显著性信息的简化表示供进一步处理。
[0030] 如图2中所说明，将边缘地图204及所得显著性地图208与用于图像202的标签 信息210 -起提供给布局解算器220。可（例如）基于移动装置100的所确定位置而（例 如）从移动装置100上的本地存储器或从图1中所示的服务器130及数据库135来获得标 签信息210。边缘地图204有利地补充显著性信息（如显著性地图208所提供），这是因为 边缘常常在显著性地图中并不显著。因此，显著性信息及边缘信息可一起由布局解算器220 使用以对不应放置标签的像素位置进行编码。可将布局解算器220的输出提供给自适应表 示块230,其中可基于在标签的位置下方的图像中的像素来调整标签的表示，包含标签的锚 点、指引线及文本周围背景。
[0031] 布局解算器220可将标签的布局确定为具有经界定及最小化目标函数的的优化 问题。目标函数〇将标准图形及真实世界考虑因素中的一些编码为加权惩罚因数：
[0032] 。(厶，Λ:) =

【权利要求】
1. 一种方法，其包括： 存储待呈现的一或多个标签； 用相机捕捉环境的视频流； 计算来自所述视频流的至少一个帧的显著性地图； 产生具有从所述至少一个帧提取的边缘的边缘地图； 使用所述显著性地图及所述边缘地图确定待呈现于所述视频流上的所述一或多个标 签的第一布局位置； 在显示所述视频流时在所述第一布局位置将所述一或多个标签呈现于所述视频流 上； 检测所述相机相对于先前帧定向的大于阈值的定向改变；以及 将所述一或多个标签显示于所述第一布局位置中，直到检测到所述相机的所述定向改 变为止。
2. 根据权利要求1所述的方法，其中计算所述至少一个帧的所述显著性地图包括计算 所述至少一个帧的初始显著性地图及将一或多个阈值应用到所述初始显著性地图。
3. 根据权利要求1所述的方法，其中使用所述显著性地图及所述边缘地图确定所述第 一布局位置包括基于一或多个因数来优化所述一或多个标签的位置，所述因数包括：所述 显著性地图上标签与关注点的重叠；所述边缘地图上所述标签与所述关注点的重叠；所述 标签的指引线的长度；所述标签的所述指引线的定向；以及所述标签与另一标签的重叠。
4. 根据权利要求3所述的方法，其中优化所述一或多个标签的所述位置包括使用贪婪 算法及基于力的算法之一。
5. 根据权利要求1所述的方法，其中呈现所述一或多个标签包括： 分析以与标签的布局位置一致的区域为边界的多个像素； 基于所述标签的初始表示与以所述区域为边界的所述多个像素之间的对比度来调整 所述标签的表示；以及 以所述调整的表示在所述布局位置上呈现所述标签。
6. 根据权利要求5所述的方法，其中以与所述标签的所述布局位置一致的所述区域为 边界的所述多个像素包括位于所述标签下方的像素及位于所述标签周围的像素中的至少 一者。
7. 根据权利要求5所述的方法，其中调整所述标签的所述表示包括调整所述标签的至 少一个组件，包括指引线、锚点及文本周围背景。
8. 根据权利要求7所述的方法，其中调整所述指引线包括调整所述指引线的饱和度及 亮度中的至少一者以增加相对于以与所述指引线一致的区域为边界的所述多个像素的对 t 匕 。
9. 根据权利要求7所述的方法，其中调整所述锚点包括调整所述锚点的饱和度及亮度 中的至少一者以增加相对于以与锚点一致的区域为边界的所述多个像素的对比度。
10. 根据权利要求1所述的方法，其中所述方法进一步包括确定从所述相机到被标记 的所述环境中的关注点的距离，及基于所述距离来调整锚点的表示。
11. 根据权利要求7所述的方法，其中调整所述文本周围背景包括调整所述文本周围 背景中的至少一者的饱和度及亮度中的至少一者以增加相对于以与所述文本周围背景一 致的区域为边界的所述多个像素的对比度。
12. 根据权利要求5所述的方法，其中以所述区域为边界的所述多个像素包括所述至 少一个帧中的所有像素。
13. 根据权利要求5所述的方法，其中存在多个标签，其中分析以与所述标签的所述布 局位置一致的所述区域为边界的所述多个像素包括分析以与所述多个标签的布局位置一 致的区域为边界的多重多个像素。
14. 根据权利要求1所述的方法，其中在所述第一布局位置中将所述一或多个标签呈 现于所述视频流上，直到所述一或多个标签的后续确定的第二布局位置比距所述第一布局 位置的阈值距离更远为止。
15. -种设备，其包括： 相机，其捕捉环境的视频流； 运动传感器，其响应于移动而产生数据； 显示器； 存储器，其用于存储待呈现的一或多个标签；以及 处理器，其耦合到所述显示器，耦合到所述相机以接收所述环境的所述视频流，耦合到 所述运动传感器以接收响应于所述移动的所述数据，及耦合到所述存储器以用于接收待呈 现的所述一或多个标签，所述处理器经配置以计算来自所述视频流的至少一个帧的显著性 地图，产生具有从所述至少一个帧提取的边缘的边缘地图，使用所述显著性地图及所述边 缘地图来确定待呈现于所述视频流上的所述一或多个标签的第一布局位置，及在所述视频 流显示于所述显示器上时在所述第一布局位置中将所述一或多个标签呈现于所述视频流 上，使用所述运动传感器所产生的所述数据来检测所述相机相对于先前帧的定向的大于阈 值定向改变，及在所述第一布局位置中显示所述一或多个标签，直到检测到所述相机的所 述定向改变为止。
16. 根据权利要求15所述的设备，其中所述处理器经配置以通过经配置以计算所述至 少一个帧的初始显著性地图及将一或多个阈值应用到所述初始显著性地图来计算来自所 述视频流的所述至少一个帧的所述显著性地图。
17. 根据权利要求15所述的设备，其中所述处理器经配置以通过经配置以基于一或多 个因数来优化所述一或多个标签的布局位置来使用所述显著性地图及所述边缘地图来确 定所述第一布局位置，所述因数包括：所述显著性地图上标签与关注点的重叠；所述边缘 地图上所述标签与所述关注点的重叠；所述标签的指引线的长度；所述标签的所述指引线 的定向；以及所述标签与另一标签的重置。
18. 根据权利要求17所述的设备，其中所述处理器经配置以通过经配置以使用贪婪算 法及基于力的算法之一来优化所述一或多个标签位置的所述布局位置。
19. 根据权利要求15所述的设备，其中所述处理器经配置以通过经配置以进行以下各 项来呈现所述一或多个标签： 分析以与标签的布局位置一致的区域为边界的多个像素； 基于所述标签的初始表示与以所述区域为边界的所述多个像素之间的对比度来调整 所述标签的表示；以及 以所述调整的表示在所述布局位置上呈现所述标签。
20. 根据权利要求19所述的设备，其中以与所述标签的所述布局位置一致的所述区域 为边界的所述多个像素包括位于所述标签下方的像素及位于所述标签周围的像素中的至 少一者。
21. 根据权利要求19所述的设备，其中所述处理器经配置以通过经配置以调整所述标 签的至少一个组件来调整所述标签的所述表示，所述至少一个组件包括指引线、锚点及文 本周围背景。
22. 根据权利要求21所述的设备，其中所述处理器经配置以通过经配置以调整所述指 引线的饱和度及亮度中的至少一者以增加相对于以与所述指引线一致的区域为边界的所 述多个像素的对比度来调整所述指引线。
23. 根据权利要求21所述的设备，其中所述处理器经配置以通过经配置以调整所述锚 点的饱和度及亮度中的至少一者以增加相对于以与所述锚点一致的区域为边界的所述多 个像素的对比度来调整所述锚点。
24. 根据权利要求15所述的设备，所述设备进一步包括耦合到所述处理器的卫星定位 系统接收器，其中所述处理器经进一步配置以基于从所述卫星定位系统接收器接收的数据 来确定从所述相机到被标记的所述环境中的关注点的距离，及基于所述距离来调整锚点的 表不。
25. 根据权利要求21所述的设备，其中所述处理器经配置以通过经配置以调整所述文 本周围背景中的至少一者的饱和度及亮度中的至少一者以增加相对于以与所述文本周围 背景一致的区域为边界的所述多个像素的对比度来调整所述文本周围背景。
26. 根据权利要求19所述的设备，其中以所述区域为边界的所述多个像素包括所述至 少一个帧中的所有像素。
27. 根据权利要求19所述的设备，其中存在多个标签，其中所述处理器经配置以通过 经配置以分析以与所述多个标签的布局位置一致的区域为边界的多重多个像素来分析以 与所述标签的所述布局位置一致的所述区域为边界的所述多个像素。
28. 根据权利要求15所述的设备，其中所述处理器经配置以在所述第一布局位置中将 所述一或多个标签呈现于所述视频流上，直到所述一或多个标签的后续确定的第二布局位 置比距所述第一布局位置的阈值距离更远为止。
29. -种设备，其包括： 用于存储待呈现的一或多个标签的装置； 用于捕捉环境的视频流的装置； 用于计算来自所述视频流的至少一个帧的显著性地图的装置； 用于产生具有从所述至少一个帧提取的边缘的边缘地图的装置； 使用用于所述显著性地图及所述边缘地图确定待呈现于所述视频流上的所述一或多 个标签的第一布局位置的装置； 用于在显示所述视频流时在所述第一布局位置中将所述一或多个标签呈现于所述视 频流上的装置； 用于检测相对于先前帧定向的大于阈值的定向改变的装置；以及 用于将所述一或多个标签显示于所述第一布局位置中，直到检测到所述定向改变为止 的装置。
30. 根据权利要求29所述的设备，其中所述用于计算显著性地图的装置计算所述至少 一个帧的初始显著性地图及将一或多个阈值应用到所述初始显著性地图。
31. 根据权利要求29所述的设备，其中所述用于使用所述显著性地图及所述边缘地图 确定所述第一布局位置的装置基于一或多个因数以及使用贪婪算法及基于力的算法之一 来优化所述一或多个标签的布局位置，所述因数包括：所述显著性地图上标签与关注点的 重叠；所述边缘地图上所述标签与所述关注点的重叠；所述标签的指引线的长度；所述标 签的所述指引线的定向；以及所述标签与另一标签的重叠。
32. 根据权利要求29所述的设备，其进一步包括用于基于以与所述标签的布局位置一 致的区域为边界的多个像素来调整标签的表示的装置。
33. 根据权利要求32所述的设备，其中所述用于调整所述标签的所述表示的装置调整 所述标签的至少一个组件相对于以与所述标签的所述布局位置一致的所述区域为边界的 所述多个像素的对比度，所述标签的所述至少一个组件包括指引线、锚点及文本周围背景。
34. 根据权利要求29所述的设备，其进一步包括用于确定到被标记的所述环境中的关 注点的距离的装置，及用于基于所述距离来调整锚点的表示的装置。
35. -种存储媒体，其包含存储在其上的程序代码，所述程序代码包括： 用以计算来自相机所捕捉的视频流的至少一个帧的显著性地图的程序代码； 产生具有从所述至少一个帧提取的边缘的边缘地图的程序代码； 用以使用所述显著性地图及所述边缘地图确定待呈现于所述视频流上的一或多个标 签的第一布局位置的程序代码； 用以在显示所述视频流时在所述第一布局位置将所述一或多个标签呈现于所述视频 流上的程序代码； 用以检测所述相机相对于先前帧定向的大于阈值的定向改变的程序代码；以及 用以在所述第一布局位置中将所述一或多个标签显示于所述视频流上，直到检测到所 述相机的所述定向改变为止的程序代码。
36. 根据权利要求35所述的存储媒体，其中所述用以计算所述至少一个帧的所述显著 性地图的程序代码包含用以计算至少一个帧的初始显著性地图及将一或多个阈值应用到 所述初始显著性地图的程序代码。
37. 根据权利要求35所述的存储媒体，其中所述用以使用所述显著性地图及所述边 缘地图以确定所述第一布局位置的程序代码包括用以基于一或多个因数以及使用贪婪算 法及基于力的算法之一来优化所述一或多个标签的布局位置的程序代码，所述因数包括： 所述显著性地图上标签与关注点的重叠；所述边缘地图上所述标签与所述关注点的重叠； 所述标签的指引线的长度；所述标签的所述指引线的定向；以及所述标签与另一标签的重 叠。
38. 根据权利要求35所述的存储媒体，其进一步包括用以基于以与所述标签的布局位 置一致的区域为边界的多个像素来调整标签的表示的程序代码。
39. 根据权利要求38所述的存储媒体，其中所述用以调整所述标签的所述表示的程序 代码包括用以调整所述标签的至少一个组件相对于以与所述标签的所述布局位置一致的 所述区域为边界的所述多个像素的对比度的程序代码，所述标签的所述至少一个组件包括 指引线、锚点及文本周围背景。
40.根据权利要求35所述的存储媒体，其进一步包括用以确定从所述相机到被标记的 关注点的距离的程序代码，及用以基于所述距离来调整锚点的表示的程序代码。
【文档编号】G06T19/00GK104285244SQ201380025511
【公开日】2015年1月14日 申请日期:2013年4月25日 优先权日:2012年5月23日
【发明者】R·格拉塞特, M·塔茨格恩, T·朗洛茨, D·卡尔科芬, D·施马尔施蒂格 申请人:高通股份有限公司