一种基于即时计算与动态追踪的视觉体验增强方法
【专利摘要】本发明公开了一种基于即时计算与动态追踪的视觉体验增强方法，根据图像边缘提取、轮廓匹配、模式匹配、SIFI特征检测与比较来进行图像的多场景适应性匹配，识别图像，反馈图片对应的动态信息，在移动端播放，同时根据图像主体判断与识别来锁定图像，跟踪主体的位置，通过动态信息播放，动态信息元件移动修正，使动态信息正确的覆盖图像，达到动态信息替换静态信息的目的，实现动态的视觉体验。该方法以动态信息“替换”静态信息，使动态信息“融入现实”从而实现视觉体验增强的效果，搭配各种移动终端载体，可广泛应用于平面媒体，博物馆，教育，旨在大幅度提升静态图片所携带的信息量，丰富图像表现形式，增强动态的视觉体验。
【专利说明】一种基于即时计算与动态追踪的视觉体验增强方法
【技术领域】
[0001]本发明涉及图片处理领域，涉及视觉体验领域，涉及现实增强领域。
【背景技术】
[0002]随着计算机和信息技术的不断发展，计算机的应用形式与应用范围发生着巨大变革。伴随着计算机的功能拓展，移动终端的硬件升级，以及现实增强的概念与技术的普及，我们可以预见在不久的将来，视觉体验增强将是一个热门的研究方向。而近年来便携式移动终端硬件的升级，使其能够承载很大的计算量，非常适合作为视觉体验增强的实现载体。这让平面媒体上的静态图像动起来称为可能。
[0003]当今社会的普遍资料获取方式还是纸质资料，虽然电子资料的普遍化与网络化带来了信息的大量共享，却依旧存在着携带不便、分享不便、查看繁琐等问题。而对于大量的文字、图片类资料，很多时候我们并不能够获取完整的信息。通过图像处理技术实现动态的视觉体验增强，就可以很好的解决这个问题。
[0004]
【发明内容】
[0005]本发明的技术解决问题是:通过多场景适应性匹技术和普适性主体锁定跟踪技术，在移动终端上，使动态信息替换静态信息，达到“融入现实”的目的，从而实现视觉体验增强的效果。
[0006]本发明技术解决方案:一种基于即时计算与动态追踪的视觉体验增强方法，其特征在于使用多场景适应性匹配方法，和普适性图像主体的跟踪方法，通过在移动设备摄像头视野内将静态信息替换为动态信息，实现动态信息融入现实的目的，从而达到视觉体验增强的效果。
[0007](一 )通过多场景适应性匹配和普适性主体锁定跟踪实现移动设备上视觉体验增强效果。
[0008]移动设备上视觉体验增强效果的实现是基于这样一个思路:通过移动设备的摄像头将当前实景展示在设备屏幕上，同时软件后台将当前的摄像头帧数据上传至服务器，月艮务器通过多场景适应性匹配来检索数据库，得到当前帧数据匹配的动态信息(一般为图片匹配的视频)并回传至客户端，客户端收到动态信息后，锁定当前摄像头范围内的静态图片进行跟踪播放动态信息，简单可以描述为它通过对图像的识别，反馈图片对应的动态信息，在移动端播放，同时锁定图像，跟踪主体的位置，使动态信息正确的覆盖图像，达到动态信息替换静态信息的目的，实现动态的视觉体验。
[0009](二)图像的多场景适应性匹配
[0010]在数据库中我们将图片与其对应的动态信息绑定，以图片来索引动态信息进行检索，通过图像识别，搜到图片对应的动态信息。但是由于我们目前能接触到的图像检索技术仍旧非常的粗浅，不论是Google还是百度等公司的常见图像搜索都是用的较为简单的算法，只能实现很相似的图之间的匹配。但我们所需要的算法是能够实现多场景适应性匹配。所以我们基于OpenCV库编写了符合我们需求的，可以实现多场景适应性匹配，效率可以接受的的图像模糊匹配算法。多场景的适应性匹配算法主要步骤为:图像边缘提取一轮廓匹配一模式匹配一SIFT特征检测与比较。具体的实现方法与细节如下(可参考图1):
[0011]I)图像边缘提取
[0012]由于我们的目的是实现模糊匹配，所以有必要过滤掉图片中不相关的细节，因此我们需要提取图像边缘，消除光线对物体颜色的影响，以及大背景对模糊匹配的影响。
[0013]这一步的实现主要使用了 Canny算子，通过对图像去噪声，亮度梯度检测，边缘跟踪，来实现边缘的提取。
[0014]我们先获取无附加响应的最优检测，目的是减少噪声响应。再检测边缘位置和实际边缘之间距离最小的正确定位，目的是确定边缘检测的正确性。最后减少单边缘的多重响应而得到单响应，目的是限制单个边缘点对于亮度变化的定位。通过这个流程来实现边缘的提取。
[0015]2)轮廓匹配
[0016]轮廓匹配是最基础的匹配，由于其效率很高，因此可以用来筛选掉完全不相关的图片，大幅度减小搜索范围，提高整体的算法效率。
[0017]主要实现方法是比较不同轮廓的HU不变矩，我们首先计算每个图像的HU不变矩，之后通过检查不同轮廓的HU不变矩的差异来比较相似性。 [0018]比较公式是I(A，B)=重要的比较公式是I (A，B)
【权利要求】
1.一种基于即时计算与动态追踪的视觉体验增强方法，其特征在于:使用多场景适应性匹配方法，和普适性图像主体的跟踪方法，通过在移动设备摄像头视野内将静态信息替换为动态信息，实现动态信息融入现实的目的，从而达到视觉体验增强的效果。
2.根据权利要求1中所述视觉体验增强方法，其特征在于:所述多场景适应性匹配方法包括如下步骤: 步骤2.1)使用Canny算子，通过对图像去噪声，亮度梯度检测，边缘跟踪，来实现边缘的提取； 步骤2.2)计算每个图像的HU不变矩，然后检查不同轮廓的HU不变矩的差异来比较相似性，实现轮廓匹配，比较公式是:
3.根据权利I中所述视觉体验增强方法，其特征在于:所述的普适性的图像主体跟踪方法包括如下步骤: 步骤3.1)获取摄像头每一帧的数据，对帧数据进行边缘提取，再对提取结果做Laplace变换过滤掉杂碎的轮廓，之后计算每个轮廓围成的面积，面积最大部分的即为所要找的主体；之后利用得到的过滤结果，对边缘进行分析链接得到完整的轮廓，再分别计算轮廓面积，对面积最大的轮廓求外接矩形，这个矩形就是主体位置和大小的描述； 步骤3.2)利用步骤3.1)中获取的每一帧的主体位置和大小，实时更新动态信息播放的位置，以及动态信息的覆盖面积，让动态信息完全的替代原本的静态信息，让动态信息融入现实，达到动态播放的效果； 步骤3.3)检测主体识别结果的变化幅度，进行动态信息元件移动修正，避免手持移动设备小幅抖动所造成的动态信息的不必要移动和识别主体算法产生的异常结果所造成的大幅度偏差。
4.一种基于即时计算与动态追踪的视觉体验增强方法，其特征在于: 步骤I，构建数据库:1)用户使用移动设备拍摄一段视频； 2)用户使用移动设备拍摄一张与I)中视频相关的照片； 3)移动设备上的客户端在后台将视频和照片打包发送到服务器； 4)服务器收到视频和照片包后，将视频和照片建立映射； 5)服务器将映射信息写入数据库中； 步骤2，用户使用“视觉体验增强”: (1)用户打开客户端，将摄像头对准想要进行视觉体验增强的图片； (2)客户端后台将摄像头的帧数据上传至服务器； (3)服务器通过多场景适应性匹配技术检索数据库，得到图片匹配的动态信息； (4)服务器将动态信息返回给客户端； (5)客户端收到动态信息后，通过普适性图像主体跟踪技术识别当前摄像头场景中的图像主体，将动态信息覆盖在主体上，锁定主体，进行跟踪播放； (6)无论移动设备晃动，拉远或拉近，动态信息总可以保持对图像主体的完整、正确的覆盖，在用户看来主体已被替换为动态信息，从而实现视觉体验增强的效果； 步骤3，用户成就系统: (1)用户上传视频和图片； (2)服务器端确认用户上传的视频和图片的有效性； (3)若有效，则给予相应用户一定的奖励成就； 通过用户成就系统激励用户的上传，从而丰富数据库。
【文档编号】G06F17/30GK103955499SQ201410163045
【公开日】2014年7月30日 申请日期:2014年4月22日 优先权日:2014年4月22日
【发明者】王皓悦, 夏天晗, 张恿, 李鲲, 杨明 申请人:北京航空航天大学