专利名称：一种对街景图像进行动态增强的方法和装置的制作方法
技术领域：
本发明涉及增强现实技术领域，尤其涉及一种对街景图像进行动态增强的方法和
>J-U ρ α装直。
背景技术：
增强现实(AR)技术是在虚拟现实的基础上发展起来的新技术，也被称之为混合现实技术。该技术是通过计算机系统提供的信息来增加用户对现实世界感知，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实场景的增强。近几年来，增强现实技术随着计算能力的增长开始飞速发展，广泛地应用在街景地图导航、医疗、娱乐、游戏等领域。如何将增强现实技术应用于街景地图导航是当前导航领域研究的热点之一。目前，谷歌街景地图可以在其街景图像中绘制出轨迹，提供了深度信息；某些3D街景图像公司也可以在其街景图像中提供深度信息。但是，以上的现有街景地图技术都存在以下问题:未能将交通信息和街景图像动态地、有效地结合起来。
发明内容
本发明的目的在于通过一种改进的对街景图像进行动态增强的方法和装置，来解决以上背景技术部分提到的问题。为达此目的，本发明采用以下技术方案:一种对街景图像进行动态增强的方法，所述方法包括:获取原始街景图像和交通信息，其中所述原始街景图像用于显示在具有显示屏的终端上；对所述原始街景图像进行图像解析，识别出所述原始街景图像中的一个或多个交通指示图标；根据所述交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染；以及将经渲染的所述一个或多个交通指示图标与所述原始街景图像进行合成，生成合成街景图像。进一步的，所述获取原始街景图像包括:获取所述终端的位置信息和方向信息；根据所述位置信息和所述方向信息，在街景图像数据库中检索得到原始街景图像。进一步的，所述街景图像是实际街景图像或虚拟街景图像。进一步的，所述交通信息包括实时交通信息或历史交通信息。进一步的，所述实时交通信息包括:实时路况信息或实时停车场车位信息。进一步的,所述交通指示图标包括:道路路牌或停车场标志。
进一步的，所述根据所述交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染包括:在所述交通指示图标是道路路牌的情况下，根据所述实时交通信息中包括的所述实时路况信息，对所述道路路牌中的道路文字或道路符号进行着色处理；在所述交通指示图标是停车场标志的情况下，将所述实时交通信息中包括的所述实时停车场车位信息渲染在所述原始街景图像中的所述停车场标志之上或附近。进一步的，所述根据所述交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染包括:在所述交通信息包括历史交通信息的情况下，将所述历史交通信息渲染在所对应的交通指示图标之上或附近。对应地，本发明还提出了一种对街景图像进行动态增强的装置，所述装置包括:获取模块，用于获取原始街景图像和交通信息，其中所述原始街景图像用于显示在具有显示屏的终端上；图像解析模块，用于对获取模块所获取的所述原始街景图像进行图像解析，识别出所述原始街景图像中的一个或多个交通指示图标；渲染模块，用于根据获取模块所获取的所述交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染；以及合成模块，用于将经渲染的所述一个或多个交通指示图标与所述原始街景图像进行合成，生成合成街景图像。本发明提出的对街景图像进行动态增强的方法和装置具有如下特点:借助于增强现实技术，通过根据实时交通信息或者历史交通信息来渲染街景图像中与这些信息相对应的交通指示图标，有效地将经渲染的交通指示图标与原始街景图像合成在一起，从而动态地给街景图像增加了内容信息，最终有助于用户直观、高效地作出与出行有关的决策。
图1是根据本发明第一实施例的对街景图像进行动态增强的方法的实现流程图；图2a是一幅原始街景图像的示意图；图2b是根据本发明优选实施方式对图2a进行渲染处理后的街景图像示意图；图3是根据本发明第二实施例的对街景图像进行动态增强的方法的实现流程图；图4是根据本发明第三实施例的对街景图像进行动态增强的装置的结构示意图。
具体实施例方式下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在图1中示出了本发明的第一实施例。图1为根据本发明第一实施例的对街景图像进行动态增强的方法的实现流程100，该实现流程100详述如下:在步骤101中，获取原始街景图像和实时交通信息。在第一实施例中，在具有显示屏的终端上显示所述原始街景图像。所述终端可以直接从本地读取预先存储(例如预先缓存或者预先内置)的所述原始街景图像，或者可以通过有线网络或者无线网络远程地读取其它位置(例如服务器)处的所述原始街景图像。在本实施例中所述的街景图像可以是利用摄像器材拍摄获取的实际街景图像或者是利用虚拟现实技术生成的虚拟街景图像。在本实施例中，可以借助于交通台广播、有线/无线网络或者其它技术手段来获取实时交通信息。在步骤102中，对原始街景图像进行图像解析。在本实施例中，对所获取的原始街景图像进行图像解析，并且利用现有的图像图标识别方法来识别出所述原始街景图像中的一个或多个交通指示图标。其中，所述图像图标识别方法包括但不限于:分别利用边界方向与Hu不变矩组以及变形模板匹配的图标识别方法；通过统计图标中像素点在距离区域的分布情况来获得形状特征从而进行识别的区域方向直方图方法；或者基于傅里叶描述子、Zern ike矩和伪Zern ike矩等图像特征的图标识别方法。在本实施例中，所述交通指示图标包括但不限于:道路路牌、停车场标志或场所招牌(例如加油站招牌之类的经营场所招牌)。在步骤103中，对一个或多个交通指示图标进行渲染。在本实施例中，根据实时交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染。其中，所述图标渲染规则用于对各种类型的交通指示图标的渲染方式进行描述和界定。作为一种优选的方式，所述图标渲染规则以XML文件的形式保存在终端或者与终端关联的服务器上。在步骤104中，生成合成街景图像。在本实施例中，将经渲染的一个或多个交通指示图标与原始街景图像进行合成，生成合成街景图像。在所述合成街景图像中，所述原始街景图像中的原始交通指示图标可以被相应的、经渲染的交通指示图标直接替换。在本实施例的一个优选实施方式中，所述实时交通信息包括实时路况信息或实时停车场车位信息。由此，在步骤102中所识别的所述交通指示图标之一是道路路牌的情况下，根据所述实时交通信息中包括的所述实时路况信息，对所述道路路牌中的道路文字或道路符号(例如表示道路的直线/曲线段符号)进行着色处理，诸如，将所述道路路牌中的拥堵道路的道路文字或道路符号渲染成红色，将所述道路路牌中的慢速通行道路的道路文字或道路符号渲染成黄色，将所述道路路牌中的畅通道路的道路文字或道路符号渲染成绿色；在步骤102中所识别的所述交通指示图标之一是停车场标志的情况下，将所述实时交通信息中包括的所述实时停车场车位信息渲染在所述原始街景图像中的所述停车场标志之上或附近。作为示例，图2a示出了一幅原始街景图像的示意图；而图2b示出了根据上述优选实施方式对图2a进行渲染处理后的街景图像示意图。在图2b中，根据实时路况信息对图2a左上角的道路路牌中的道路符号(在图2a中示出为线段)进行了渲染着色处理。在本实施例的一个优选实施方式中，获取原始街景图像可以如下进行:首先借助于定位装置(例如卫星定位装置和陀螺仪等)获取终端的位置信息和方向信息；接着，根据所述位置信息和所述方向信息，在街景图像数据库中检索得到原始街景图像。在图3中示出了本发明的第二实施例。图3为根据本发明第二实施例的对街景图像进行动态增强的方法的实现流程300，该实现流程300详述如下:在步骤301中，获取原始街景图像和历史交通信息。
在第二实施例中，在具有显示屏的终端上显示所述原始街景图像。所述终端可以直接从本地读取预先存储(例如预先缓存或者预先内置)的所述原始街景图像，或者可以通过有线网络或者无线网络远程地读取其它位置(例如服务器)处的所述原始街景图像。在本实施例中可以借助于交通台广播、有线/无线网络或者其它技术手段来获取历史交通信息。其中，所述历史交通信息用于展示交通状况的过去统计信息和/或未来趋向信息等等，可以用直方图之类的直观方式来被呈现。在步骤302中，对原始街景图像进行图像解析。 在本实施例中，对所获取的原始街景图像进行图像解析，利用现有的图像图标识别方法来识别出所述原始街景图像中的一个或多个交通指示图标。在步骤303中，对一个或多个交通指示图标进行渲染。在本实施例中，根据历史交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染，例如，将所述历史交通信息(诸如统计得到的拥堵时段信息)渲染在该交通信息所对应的交通指示图标(诸如道路路牌)之上或附近。其中，所述的图标渲染规则用于对各种类型的交通指示图标的渲染方式进行描述和界定。在步骤304中，生成合成街景图像。在本实施例中，将经渲染的一个或多个交通指示图标与原始街景图像进行合成，生成合成街景图像。从图3中可以看出，与第一实施例不同的是，在第二实施例中的步骤301获取的是历史交通信息而非实时交通信息。获取历史交通信息的好处在于，可以在街景图像的相应位置上呈现出过去的交通状况数据或其统计分析数据，从而帮助所述终端的用户进行分析和决策(例如分析和确定出行路线)。图4示出了本发明的第三实施例。图4为根据本发明第三实施例的对街景图像进行动态增强的装置的结构示意图。如图4所示，根据本实施例的对街景图像进行动态增强的装置400包括获取模块401、图像解析模块402、渲染模块403和合成模块404。其中，所述获取模块401用于获取待显示在具有显示屏的终端上的原始街景图像和交通信息；图像解析模块402用于对获取模块401所获取的所述原始街景图像进行图像解析，识别出所述原始街景图像中的一个或多个交通指示图标；渲染模块403用于根据获取模块401所获取的所述交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染；而合成模块404用于将经渲染的所述一个或多个交通指示图标与所述原始街景图像进行合成，生成合成街景图像。在本实施例中，所述获取模块401可以直接从本地读取预先存储(例如预先缓存或者预先内置)的所述原始街景图像，或者可以通过有线网络或者无线网络远程地读取其它位置(例如服务器)处的所述原始街景图像。并且，所述获取模块401可以借助于交通台广播、有线/无线网络或者其它技术手段来获取实时交通信息。在本实施例中，所述图像解析模块402对获取模块401所获取的原始街景图像进行图像解析，利用现有的图像图标识别方法来识别出所述原始街景图像中的一个或多个交通指示图标。其中，所述图像图标识别方法包括但不限于:分别利用边界方向与Hu不变矩组以及变形模板匹配的图标识别方法；通过统计图标中像素点在距离区域的分布情况来获得形状特征从而进行识别的区域方向直方图方法；或者基于傅里叶描述子、Zern ike矩和伪Zern ike矩等图像特征的图标识别方法。在本实施例中，所述渲染模块403可以根据实时交通信息、依照预定的图标渲染规则对所述图像解析模块402识别出的所述一个或多个交通指示图标进行渲染。其中，所述图标渲染规则用于对各种类型的交通指示图标的渲染方式进行描述和界定。在本实施例中，所述合成模块404将经渲染模块403渲染的一个或多个交通指示图标与原始街景图像进行合成，生成合成街景图像。在所述合成街景图像中，所述原始街景图像中的原始交通指示图标可以被相应的、经渲染的交通指示图标直接替换。在本实施例的一个优选实施方式中，所述获取模块401进一步包括用于获取所述终端的位置信息和方向信息的方位信息获取子模块(未示出)；所述获取模块401可以根据所述方位信息获取子模块所获取的所述位置信息和所述方向信息，在街景图像数据库中检索得到原始街景图像。在本发明中所述的终端或装置是指台式计算机、膝上型计算机、掌上电脑、个人数字助理(PDA)、手持式电子处理装置、结合PDA和手机功能的智能手机、导航装置、iPod、iPod/MP3播放器、或能够自动处理信息并显示图像信息的任何其他电子装置。上述终端或装置还可以进一步被配置成通过有线或无线连接到数据库或另一个装置。本发明所述的技术方案能够借助于增强现实技术，通过根据实时交通信息或者历史交通信息来渲染街景图像中与这些信息相对应的交通指示图标，有效地将经渲染的交通指示图标与原始街景图像合成在一起，从而动态地给街景图像增加了内容信息，最终有助于用户直观、高效地作出与出行有关的决策。注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
权利要求
1.一种对街景图像进行动态增强的方法，其特征在于，所述方法包括: 获取原始街景图像和交通信息，其中所述原始街景图像用于显示在具有显示屏的终端上； 对所述原始街景图像进行图像解析，识别出所述原始街景图像中的一个或多个交通指示图标； 根据所述交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染；以及 将经渲染的所述一个或多个交通指示图标与所述原始街景图像进行合成，生成合成街景图像。
2.根据权利要求1所述的对街景图像进行动态增强的方法，其特征在于，所述获取原始街景图像包括:获取所述终端的位置信息和方向信息；根据所述位置信息和所述方向信息，在街景图像数据库中检索得到原始街景图像。
3.根据权利要求1所述的对街景图像进行动态增强的方法，其特征在于，所述街景图像是实际街景图像或虚拟街景图像。
4.根据权利要求1所述的对街景图像进行动态增强的方法，其特征在于，所述交通信息包括实时交通信息或历史交通信息。
5.根据权利要求4所述的对街景图像进行动态增强的方法，其特征在于，所述实时交通信息包括:实时路况信息或实时停车 场车位信息。
6.根据权利要求5所述的对街景图像进行动态增强的方法，其特征在于，所述交通指示图标包括:道路路牌或停车场标志。
7.根据权利要求6所述的对街景图像进行动态增强的方法，其特征在于，所述根据所述交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染包括:在所述交通指示图标是道路路牌的情况下，根据所述实时交通信息中包括的所述实时路况信息，对所述道路路牌中的道路文字或道路符号进行着色处理；在所述交通指示图标是停车场标志的情况下，将所述实时交通信息中包括的所述实时停车场车位信息渲染在所述原始街景图像中的所述停车场标志之上或附近。
8.根据权利要求4所述的对街景图像进行动态增强的方法，其特征在于，所述根据所述交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染包括:在所述交通信息包括历史交通信息的情况下，将所述历史交通信息渲染在所对应的交通指示图标之上或附近。
9.一种对街景图像进行动态增强的装置，其特征在于，所述装置包括: 获取模块，用于获取原始街景图像和交通信息，其中所述原始街景图像用于显示在具有显示屏的终端上； 图像解析模块，用于对获取模块所获取的所述原始街景图像进行图像解析，识别出所述原始街景图像中的一个或多个交通指示图标； 渲染模块，用于根据获取模块所获取的所述交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染；以及 合成模块，用于将经渲染的所述一个或多个交通指示图标与所述原始街景图像进行合成，生成合成街景图像。
10.根据权利要求9所述的对街景图像进行动态增强的装置，其特征在于，所述获取模块进一步包括用于获取所述终端的位置信息和方向信息的方位信息获取子模块；所述获取模块根据所述方位信息获取子模块所获取的所述位置信息和所述方向信息，在街景图像数据库中检索得到原始街景图像。
11.根据权利要求9所述的对街景图像进行动态增强的装置，其特征在于，所述街景图像是实际街景图像或虚拟街景图像。
12.根据权利要求9所述的对街景图像进行动态增强的装置，其特征在于，所述交通信息包括实时交通信息或历史交通信息。
13.根据权利要求12所述的对街景图像进行动态增强的装置，其特征在于，所述实时交通信息包括:实时路况信息或实时停车场车位信息。
14.根据权利要求13所述的对街景图像进行动态增强的装置，其特征在于，所述交通指示图标包括:道路路牌或停车场标志。
15.根据权利要求14所述的对街景图像进行动态增强的装置，其特征在于，所述渲染模块包括:在所述交通指示图标是道路路牌的情况下，根据所述实时交通信息中包括的所述实时路况信息，对所述道路路牌中的道路文字或道路符号进行着色处理；在所述交通指示图标是停车场标志的情况下，将所述实时交通信息中包括的所述实时停车场车位信息渲染在所述原始街景图像中的所述停车场标志之上或附近。
16.根据权利要求12所述的对街景图像进行动态增强的装置，其特征在于，所述渲染模块包括:在所述交通信息包括历史交通信息的情况下，将所述历史交通信息渲染在所对应的交通指示图标 之上或附近。
全文摘要
本发明公开了一种对街景图像进行动态增强的方法和装置。所述方法包括获取原始街景图像和交通信息，其中所述原始街景图像用于显示在具有显示屏的终端上；对所述原始街景图像进行图像解析，识别出所述原始街景图像中的一个或多个交通指示图标；根据所述交通信息，依照预定的图标渲染规则对所述一个或多个交通指示图标进行渲染；以及将经渲染的所述一个或多个交通指示图标与所述原始街景图像进行合成，生成合成街景图像。本发明通过动态地给街景图像增加内容信息，有助于用户直观、高效地作出与出行有关的决策。
文档编号G06T17/05GK103150759SQ20131006954
公开日2013年6月12日 申请日期2013年3月5日 优先权日2013年3月5日
发明者桂天宜 申请人:腾讯科技(深圳)有限公司