专利名称：基于二维码识别跟踪的增强现实设备及方法
技术领域：
本发明特别涉及一种基于二维码识别跟踪的增强现实设备及方法。
背景技术：
增强现实技术(Augmented Reality,AR)是一项当 今国际最前沿的新兴技术,其核心是将真实的环境和虚拟的物体实时叠加到同一个画面或空间。该技术解决了虚拟现实技术无法逾越的信息在真实世界中同步展示的鸿沟，从而极大地提高交互的效率和虚拟世界的“浸入感”。但目前对于增强现实技术的应用仍处于初步阶段，尤其是在移动平台的增强显示应用更为少见，且用户体验感较差。
发明内容
本发明旨在提供一种基于二维码识别跟踪的增强现实设备及方法，其能在移动终端上给予用户良好增强现实应用体验，且内容丰富，操作简单，从而克服了现有技术的不足。为实现上述发明目的，本发明采用了如下技术方案
一种基于二维码识别跟踪的增强现实方法，其特征在于，该方法为以具有图形摄入单元的运算设备识别和/或跟踪二维码，并获取与二维码对应的增强现实应用数据和用于跟踪的标识信息，且以一标识跟踪模块识别和/或跟踪所述标识信息，进而将所述增强现实应用数据与对应的真实图景组合，再输出和展示增强现实应用数据与真实图景叠加的增强现实图景。具体而言，该方法是通过设于所述运算设备内的二维码解析单元识别二维码，继而获得与二维码对应的增强现实应用数据和用于跟踪的标识信息。作为一种优选方案，所述增强现实应用数据和/或用于跟踪的标识信息是被存储于增强现实应用数据库和/或标识信息数据库内的，所述运算设备在识别二维码后，从所述运算设备或/和远程服务器中的增强现实应用数据库和/或标识信息数据库获得与二维码对应的增强现实应用数据和/或用于跟踪的标识信息。作为优选方案之一，所述二维码解析单元包括第一二维码解析模块及第二二维码识别模块，所述运算设备藉由所述第一二维码解析模块识别设定二维码后，继而获得和/或运行第二二维码识别模块，再以第二二维码识别模块识别和/或跟踪二维码，继而获取与所述二维码对应的增强现实应用数据和用于跟踪的标识信息。作为尤为优选的方案之一，所述运算设备藉由所述第一二维码解析模块识别设定二维码后，继而获得和/或运行所述标识跟踪模块。作为优选方案之一，该方法中在以第二二维码识别模块识别真实图景中的二维码的同时，还通过所识别出的二维码的编码信息重新生成并存储与原始真实图景中二维码编码一致的二维码图案。所述用于跟踪的标识信息包括二维码、自然特征跟踪标识、指向所述二维码或自然特征跟踪标识的数据库索引中的任意一种或两种以上的组合，但不限于此。该方法还包括用户经由人机界面对增强现实图景进行调整的操作。所述增强现实应用数据包括地理位置信息、文字、图片、视频、三维模型、动画、声音中的任意一种或两种以上的组合，但不限于此。一种基于二维码识别跟踪的增强现实设备，它包括
用于解析二维码的第一模块；
用于获取与所述二维码对应的增强现实应用数据和用于跟踪的标识信息的第二模
块；
用于摄入与所述二维码匹配的真实图景的第三模块；用于将增强现实应用数据与所述真实图景组合的第四模块；
以及，用于将增强现实应用数据与真实图景叠加的增强现实图景输出并展示的第五模块。进一步的，所述增强现实应用数据和/或用于跟踪的标识信息是被存储于增强现实应用数据库和/或标识信息数据库内的，所述运算设备在识别二维码后，从所述运算设备或/和远程服务器中的增强现实应用数据库和/或标识信息数据库获得与二维码对应的增强现实应用数据和/或用于跟踪的标识信息。作为优选方案之一，所述第一模块包括二维码解析单元，所述二维码解析单元包 括第一二维码解析模块及第二二维码识别模块，所述增强现实设备藉由所述第一二维码解析模块识别设定二维码后，继而获得和/或运行第二二维码识别模块，再以第二二维码识别模块识别和/或跟踪所述设定二维码，继而获取与所述设定二维码对应的增强现实应用数据和用于跟踪的标识信息。作为尤为优选的方案之一，所述增强现实设备藉由所述第一二维码解析模块识别设定二维码后，继而获得和/或运行所述标识跟踪模块。作为优选方案之一，所述增强现实设备还包括用于播放增强现实应用数据的播放模块。作为优选方案之一，所述增强现实设备在以第二二维码识别模块识别真实图景中的二维码的同时，还通过所识别出的二维码的信息以再编码方式重新生成并存储与原始真实图景一致的图案。作为优选方案之一，所述增强现实设备还包括用于存储二维码、用于跟踪的标识信息、真实图景和增强现实应用数据中的任意一种以上的存储模块。作为优选方案之一，所述增强现实设备还包括至少可供用户对二维码和/或用于跟踪的标识信息进行选择和编辑，选取和控制摄入真实图景类型和范围，以及对增强现实图景进行操控的用户控制模块。所述用于跟踪的标识信息包括二维码、自然特征跟踪标识、指向所述二维码或自然特征跟踪标识的数据库索引中的任意一种或两种以上的组合。所述增强现实应用数据包括地理位置信息、文字、图片、视频、三维模型、动画、声音中的任意一种或两种以上的组合，但不限于此。
图I是本发明一典型实施方案的工作原理图。
具体实施例方式本发明所涉及的系在多种具有图形摄入单元的运算设备，如PC及手机、平板电脑、笔记本电脑等平台上提供能给予用户良好的增强现实应用体验，操作简单快捷，内容丰富的增强现实解决方案。本发明的主要技术内容在于以具有图形摄入单元的运算设备(亦称增强现实设备)识别和/或跟踪二维码，并获取与二维码对应的增强现实应用数据和用于跟踪的标识信息，且以一个以上标识跟踪模块识别和/或跟踪所述标识信息，进而将所述增强现实应用数据与对应的真实图景组合，再输出和展示增强现实应用数据与真实图景叠加的增强现实图景。参阅图I系本发明的一种典型实施方案，在该实施方案中，该增强现实设备设备 可包括
用于摄入与所述二维码匹配的真实图景的第三模块；
用于解析二维码的第一模块；
用于获取与所述二维码对应的增强现实应用数据和用于跟踪的标识信息的第二模
块；
用于将增强现实应用数据与所述真实图景组合的第四模块；
以及，用于将增强现实应用数据与真实图景叠加的增强现实图景输出并展示的显示模块。以下仅以一种基于移动平台的增强现实设备(简称移动终端)为例对本发明进行增强现实的过程做简要说明
MXR1.移动终端采用二维码方式操作AR应用；
MXR2.采用二维码进行下载操作；
MXR3.发送信息给服务器请求下载服务；
MXR4.服务器向AR应用数据库获取相关AR应用数据；
MXR5.数据库将AR应用数据返回给服务器；
MXR6.由服务器响应下载请求，将请求的下载AR应用数据返回给移动终端；
MXR7.通过二维码进行跟踪；
MXR8.将摄入的真实图景信息输入，预匹配二维码；
MXR9.摄入真实图景；
MXR10.图像处理包括自定义标识的图景学习绑定和相关跟踪图景的预处理；
MXRlI.将AR应用信息所包含的虚拟物体等融入真实图景中；
MXR12.开始相关AR应用，并将AR应用的结果(即，增强现实图景)展示给移动终端。本发明藉由二维码所具有的具有信息量大，纠错能力强，识读速度快，全方位识读等特点，将之与增强现实技术在移动终端上配合应用，为用户提供了极大便利，省去了诸如输入URL的麻烦等，可一键即快速进入在包括移动终端在内的各类平台上的AR应用，切实满足用户的需求。前述用于跟踪的标识信息包括二维码、自然特征跟踪标识、指向所述二维码或自然特征跟踪标识的数据库索引中的任意一种或两种以上的组合，但不限于此。对于前述的第一、第二、第四等模块，其可分别通过若干硬件元件实现，亦可通过集成设置的一个或多个硬件系统实现，这对于本领域技术人员而言是可以根据本发明的技术方案而很容易做到的。尤其对于智能手机、平板电脑或其它类似移动终端而言，前述的第二、第三、第三、第四模块及显示模块可分别通过移动终端内的数据处理元件(CPU)、无线通信元件(包括6 5、胃正1、蓝牙等多种制式)、摄像头、显示屏等而实现。前述第一模块可包括至少一二维码解析单元，所述二维码解析单元包括第二二维码识别模块，所述运算设备以第二二维码识别模块识别和/或跟踪二维码，并获得与所述二维码对应的增强现实应用数据以及用于跟踪的标识信息，继而以标识跟踪模块识别和/或跟踪所述标识信息，而后将相互对应的真实图景和增强现实应用数据组合，并输出和展示增强现实图景。 而作为优选的方案，前述二维码解析单元还包括第一二维码解析模块，所述运算设备藉由所述第一二维码解析模块识别设定二维码后，继而获得和/或运行第二二维码识别模块，再以第二二维码识别模块识别和/或跟踪二维码，继而获取与所述二维码对应的增强现实应用数据和/或用于跟踪的标识信息。而同样的，所述标识跟踪模块亦可以是在前述运算设备藉由所述第一二维码解析模块识别设定二维码后，继而被获得和/或运行的。若采用该优选设计，则运算设备的工作过程可以为以第一二维码解析模块识别设定二维码，则运算设备自动巡检有无第二二维码解析模块及标识跟踪模块，若无，则在二维码引导下自动下载和运行第二二维码解析模块及标识跟踪模块，若有，则直接自动运行第二二维码解析模块及标识跟踪模块，由第二二维码识别模块识别和/或跟踪所述二维码，并获得与所述二维码对应的增强现实应用数据以及用于跟踪的标识信息。显然的，前述第一二维码解析模块可选择任何第三方的二维码识别软件应用或硬件元件，其可以使用户能在多种平台上快速加载和应用本发明的方案。作为一种优选方案，前述运算设备在以第二二维码解析模块识别二维码后，是从已下载至本地的用于跟踪的标识信息数据库筛选出二维码对应的标识信息，进而由标识跟踪模块快速跟踪和判别实时真实图景等是否与相关AR应用数据对应，而无需对实时真实图景的所有信息进行识别和判断。藉由前述设计，可令运算设备能快速精确的甄别并选择与特定增强现实应用数据匹配的真实图景(自然画质)，减少甚至消除运算设备采用自然标识跟踪(NFT)而选择错误真实图景并进行AR应用的几率，并可减少运算设备在对自然画质进行识别时对系统资源的占用，大幅减少了运算量，使对真实图景的选取过程更为快速，使用户在运算设备上能体验到更为快捷流畅且准确的AR应用。而对于前述的增强现实应用数据、用于跟踪的标识信息而言，其优选存储于远端数据库内，而在应用时是由运算设备识别二维码后，向服务器发送请求信息，再经由服务器从远端数据库将与二维码对应的增强现实应用数据、标识信息下载至本地，如此，可避免出现因大量增强现实应用数据、标识信息存储在本地而对运算设备内部资源的过度占用。前述第二二维码解析模块可采用内嵌于移动终端的一二维码识别软件或元件，其在识别、跟踪二维码后，能自动链接到用于跟踪的标识信息的存储地址，并使移动终端进行相应下载业务。 前述标识跟踪模块可设于所述二维码解析单元内，亦可与之独立设置。前述增强现实应用数据包括地理位置信息、文字、图片、视频、三维模型、动画、声音中的任意一种或两种以上的组合，但不限于此。若考虑到进一步优化用用户体验的问题，则可在应用过程中，在输出和展示增强现实应用数据与真实图景叠加的增强现实图景时，还可于运算设备上同步播放相应多媒体数据，如视频、音频、文字信息等。当然，为达成多媒体数据播放的目的，还应在所述移动终端内设置多媒体播放模块。又及，前述的用于跟踪的标识信息与多媒体数据可存储于同一远端服务器地址，亦可分别存储于不同远端服务器地址，其可由本领域人员根据实际情况而相应调整。再及，所述移动终端还包括用于存储运算设备所摄入的二维码、增强现实应用数 据、用于跟踪的标识信息和多媒体数据中的任意一种以上的存储模块。而且，作为优选的方案之一，在以第二二维码解析模块识别真实图景中二维码的同时，还通过再编码方式重新在移动终端内部生成并存储与原始真实图景相同的图案等，以防止由图像摄入设备摄入的真实图景因光学或电学等因素而扭曲变形失真，并给后续应用带来困扰。此外，所述移动终端还包括人机界面，所述增强现实图景是经由设于移动终端内的显示模块而输出至人机界面上的，尤为优选的，用户还可经由人机界面对增强现实图景进行调整的操作。进一步的讲，所述移动终端还包括至少可供用户对二维码、用于跟踪的标识信息进行选择和编辑，选取和控制摄入真实图景类型和范围，以及，对增强现实图景进行操控的用户控制模块。前述编辑包括增删二维码及用于跟踪的标识信息的操作等，所述对增强现实图景进行操控的内容包括调整增强现实图景的视域、视角、位置、形态及大小中的至少一种或两组以上的组合，但不限于此。前述用户控制模块则可相应的通过移动终端的键盘、手势控制设备等实现。对于触屏类手持终端，用户控制模块还可与显示模块集成设置。另外，事实上，在本发明中，二维码除了作为取得对应增强现实应用数据及多媒体数据的一种工具外，还能作为真实图景的一种，其带有的特征数据可以作为用于跟踪的标识信息，即真正的跟踪二维码，上面所述的都只是识别二维码，移动终端应用根据二维码上的特征数据从一个以上真实图景(包过二维码或其他类的真实图景)中甄别出与所述二维码对应的二维码(真实图景)，进而将所述二维码(即真实图景)与对应的增强现实应用数据组合，再输出和展示增强现实应用数据与二维码(即真实图景)叠加的增强现实图景。作为优选方案之一，前述各服务器可采用WEB服务器等，其工作原理大致为web服务器在接受二维码解析单元的请求后进行分析处理，并与AR应用数据库、用于跟踪的标识信息数据库服务器等通信交互，再通过SOAP协议等将AR应用数据、用于跟踪的标识信息等以加密数据包等形式反馈给移动终端。以AR应用数据的获取过程为例，作为典型的实施例，前述WEB服务器解析出二维码解析单元发送的请求内容时，便会访问AR应用数据库服务器搜索AR应用数据信息，该数据库服务器存储的AR应用数据的基本信息可包括名称，简介，类型，存储路径开发者信息等，且其优选具有对WEB服务器开放的多个保存了执行计划的高效查询接口，WEB服务器与这些查询接口交互而获知计算结果在数据库服务器中是否存在，若存在则将AR解决方案信息以XML表格等格式反馈给WEB服务器，移动终端在得到WEB服务器返回的XML信息后，可将这些内容解析获取AR应用资源地址，并直接进入AR应用数据库服务器下载AR应用数据到本地。进一步的，前述WEB服务器和数据库服务器等可采用多级架构，尤其是基于云端的网络架构等。总之，本发明对二维码的创新使用方式解决了自然标识跟踪(NFT)误认率高、对设备运算量要求大的问题，同时简化了用户的操作，能给予用户良好的AR应用体验。上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人 士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
权利要求
1.一种基于二维码识别跟踪的增强现实方法，其特征在于，该方法为以具有图形摄入单元的运算设备识别和/或跟踪二维码，并获取与二维码对应的增强现实应用数据和用于跟踪的标识信息，且以一标识跟踪模块识别和/或跟踪所述标识信息，进而将所述增强现实应用数据与对应的真实图景组合，再输出和展示增强现实应用数据与真实图景叠加的增强现实图景。
2.根据权利要求I所述的基于二维码识别跟踪的增强现实方法，其特征在于，该方法是通过设于所述运算设备内的二维码解析单元识别二维码，继而获得与二维码对应的增强现实应用数据和用于跟踪的标识信息。
3.根据权利要求1-2中任一项所述的基于二维码识别跟踪的增强现实方法，其特征在于，所述增强现实应用数据和/或用于跟踪的标识信息是被存储于增强现实应用数据库和/或标识信息数据库内的，所述运算设备在识别二维码后，从所述运算设备或/和远程服务器中的增强现实应用数据库和/或标识信息数据库获得与二维码对应的增强现实应用数据和/或用于跟踪的标识信息。
4.根据权利要求2所述的基于二维码识别跟踪的增强现实方法，其特征在于，所述二维码解析单元包括第一二维码解析模块及第二二维码识别模块，所述运算设备藉由所述第一二维码解析模块识别设定二维码后，继而获得和/或运行第二二维码识别模块，再以第二二维码识别模块识别和/或跟踪二维码，继而获取与所述二维码对应的增强现实应用数据和用于跟踪的标识信息。
5.根据权利要求4所述的基于二维码识别跟踪的增强现实方法，其特征在于，所述运算设备藉由所述第一二维码解析模块识别设定二维码后，继而获得和/或运行所述标识跟踪丰旲块。
6.根据权利要求4或5所述的基于二维码识别跟踪的增强现实方法，其特征在于，该方法中在以第二二维码识别模块识别真实图景中的二维码的同时，还通过所识别出的二维码的编码信息重新生成并存储与原始真实图景中二维码编码一致的二维码图案。
7.根据权利要求1、2、4、5中任一项所述的基于二维码识别跟踪的增强现实方法，其特征在于，所述用于跟踪的标识信息包括二维码、自然特征跟踪标识、指向所述二维码或自然特征跟踪标识的数据库索引中的任意一种或两种以上的组合。
8.根据权利要求1、2、4、5中任一项所述的基于二维码识别跟踪的增强现实方法，其特征在于，该方法还包括用户经由人机界面对增强现实图景进行调整的操作。
9.根据权利要求1、2、4、5中任一项所述的基于二维码识别跟踪的增强现实方法，其特征在于，所述增强现实应用数据包括地理位置信息、文字、图片、视频、三维模型、动画、声音中的任意一种或两种以上的组合。
10.一种基于二维码识别跟踪的增强现实设备，其特征在于，它包括 用于解析二维码的第一模块； 用于获取与所述二维码对应的增强现实应用数据和用于跟踪的标识信息的第二模块； 用于摄入与所述二维码匹配的真实图景的第三模块； 用于将增强现实应用数据与所述真实图景组合的第四模块； 以及，用于将增强现实应用数据与真实图景叠加的增强现实图景输出并展示的第五模块。
11.根据权利要求10所述的基于二维码识别跟踪的增强现实设备，其特征在于，所述增强现实应用数据和/或用于跟踪的标识信息被存储于增强现实应用数据库和/或标识信息数据库内，所述增强现实设备在识别二维码后，从所述运算设备或/和远程服务器中的增强现实应用数据库和/或标识信息数据库获得与二维码对应的增强现实应用数据和/或用于跟踪的标识信息。
12.根据权利要求10所述的基于二维码识别跟踪的增强现实设备，其特征在于，所述第一模块包括二维码解析单元，所述二维码解析单元包括第一二维码解析模块及第二二维码识别模块，所述增强现实设备藉由所述第一二维码解析模块识别设定二维码后，继而获得和/或运行第二二维码识别模块，再以第二二维码识别模块识别和/或跟踪所述设定二维码，继而获取与所述设定二维码对应的增强现实应用数据和用于跟踪的标识信息。
13.根据权利要求12所述的基于二维码识别跟踪的增强现实设备，其特征在于，所述增强现实设备藉由所述第一二维码解析模块识别设定二维码后，继而获得和/或运行所述标识跟踪模块。
14.根据权利要求10-13中任一项所述的基于二维码识别跟踪的增强现实设备，其特征在于，所述增强现实设备还包括用于播放增强现实应用数据的播放模块。
15.根据权利要求12-13中任一项所述的基于二维码识别跟踪的增强现实设备，其特征在于，所述增强现实设备在以第二二维码识别模块识别真实图景中的二维码的同时，还通过所识别出的二维码的编码信息重新生成并存储与原始真实图景中二维码编码一致的二维码图案。
16.根据权利要求10-13中任一项所述的基于二维码识别跟踪的增强现实设备，其特征在于，所述增强现实设备还包括用于存储二维码、用于跟踪的标识信息、真实图景和增强现实应用数据中的任意一种以上的存储模块。
17.根据权利要求10-13中任一项所述的基于二维码识别跟踪的增强现实设备，其特征在于，所述增强现实设备还包括至少可供用户对二维码和/或用于跟踪的标识信息进行选择和编辑，选取和控制摄入真实图景类型和范围，以及对增强现实图景进行操控的用户控制|吴块。
18.根据权利要求10-13中任一项所述的基于二维码识别跟踪的增强现实设备，其特征在于，所述用于跟踪的标识信息包括二维码、自然特征跟踪标识、指向所述二维码或自然特征跟踪标识的数据库索引中的任意一种或两种以上的组合。
19.根据权利要求10-13中任一项所述的基于二维码识别跟踪的增强现实设备，其特征在于，所述增强现实应用数据包括地理位置信息、文字、图片、视频、三维模型、动画、声音中的任意一种或两种以上的组合。
全文摘要
一种基于二维码识别跟踪的增强现实(AR)设备及方法。本发明是以配有图像摄入单元的运算设备识别和/或跟踪二维码，并获取与所述二维码对应的AR应用数据和用于AR跟踪的标识信息，而后以标识跟踪模块识别和/或跟踪所述标识信息，继而将真实图景与AR应用数据叠加并输出和展示。尤其是，本发明可由一第一二维码解析模块识别设定二维码，进而引导运算设备加载和/或运行第二二维码识别模块，再以第二二维码识别模块识别二维码，以获得对应AR应用数据以及用于跟踪的标识信息等。本发明解决了同时跟踪大量自然特征跟踪(NFT)标识的情况下误认率高、设备运算量大的问题，同时简化了用户的操作，能给予用户良好的AR应用体验。
文档编号G06T5/00GK102800065SQ201210243628
公开日2012年11月28日 申请日期2012年7月13日 优先权日2012年7月13日
发明者周志颖, 古鉴, 王强, 刘艳, 陈宇彬 申请人:苏州梦想人软件科技有限公司