一种基于位置的增强现实图像数据搜索方法及系统

1.本发明涉及计算机应用技术领域，特别是指一种基于位置的增强现实图像数据搜索方法及系统。


背景技术：

2.随着如智能手机等移动终端设备的广泛普及，用户每天都会在互联网上上传大量的图像数据，而对这些图像数据的挖掘分析可以进一步提高用户基于位置服务的质量。但由于这些图像数据海量、非结构化的特点，使对图像数据的分析、查询和管理面临着一系列的挑战。


技术实现要素：

3.本发明实施例提供了基于位置的增强现实图像数据搜索方法及系统，能够在实现非结构图像数据的高效管理和搜索的同时提高用户的观感体验。所述技术方案如下：一方面，提供了一种基于位置的增强现实图像数据搜索方法，包括：确定移动终端设备镜头的视域；为城市空间poi集合o中的所有poi构建基于方向和位置感知的索引结构，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的poi o；其中，poi表示兴趣点；获取该城市空间对应的图像集，对图像集中的图像进行fov提取，得到图像集对应的fov集合f，其中，f中的fov元素与图像集中的图像通过编号对应，fov表示视域；构建poi-fov字典列表，该字典列表的键为poi的id，对应值为能覆盖这个poi的所有fov的编号构成的集合；其中，id表示唯一编码；搜索poi-fov字典列表，定位能覆盖到最佳poi o的所有fov的编号，并在图像集中根据编号定位这些fov对应的图像，构成包含o的图像结果集s；在移动终端设备的屏幕上显示拍摄到的最佳poi o的名称、空间位置、文本描述以及s中的所有图像。
4.进一步地，所述确定移动终端设备镜头的视域包括：根据gps定位技术获取移动终端设备所处的位置；根据罗盘信息获取移动终端设备镜头的朝向角度；根据移动终端设备镜头的光学参数获取镜头可视距离及可视角度，得到移动终端设备镜头的视域。
5.进一步地，集合o中的每个poi都具备一个id属性、名称属性name、空间位置属性location和文本描述属性text，其中，文本描述为此poi的简介。
6.进一步地，所述为城市空间poi集合o中的所有poi构建基于方向和位置感知的索引结构包括：a1、计算城市空间poi集合o覆盖的空间范围r = [x1, y1, x2, y2]，(x1, y1)为r的
左下顶点坐标，(x2, y2)为r的右上顶点坐标；a2、判断集合o是否为空，为空则跳转到步骤a5，否则跳转到步骤a3；a3、在空间r-a内随机生成一个数据点point(x, y)，同时沿正x方向和正y方向逐步扩展数据点point为逐步增大的矩形区域area，即每次扩展point的x和y值在前次扩展基础上分别增大和，直至area内poi数最大且不超过正整数k扩展结束，其中， r-a表示未被叶子节点覆盖的空间区域；a4、将area构建为一个叶子节点leaf，将leaf存入集合a中并跳转到步骤a2；其中，集合a中存储的是目前已经确定的所有叶子节点，叶子节点属性包括：空间范围属性spacerange，它是area覆盖的空间范围，为一个矩形；孩子属性children，它为一个集合，包含位置位于spacerange内的所有poi，并将这些poi从集合o中移除；空间方向属性spacedirection，为矩形spacerange相对于r左下顶点的空间角度范围；空间距离属性distance，为矩形spacerange相对于r左下顶点的最小距离；a5、判断集合a中节点数是否大于k，大于k则跳转到步骤a6，否则跳转到步骤a9；a6、在空间r-a’内随机生成数据点point’，聚集point’周围的至多k个节点，并把这些节点从集合a中移除，其中，a’中存储的是目前已经确定的相较于a中节点高一层的节点，r-a’为未被当前最高层节点覆盖的空间区域；a7、将找到的至多k个节点构建为一个较高一层的节点node，将node存入集合a’中；其中，node节点属性包括：空间范围属性spacerange，为node覆盖的空间范围，为一个矩形；孩子属性children，它为一个集合，包含位置位于spacerange内的较node低一层的节点；空间方向属性spacedirection，为矩形spacerange相对于r左下顶点的空间角度范围；空间距离属性distance，为矩形spacerange相对于r左下顶点的最小距离；a8、令a代替a’，并清空a’，然后跳转到步骤a5；a9、构建一个根节点root，其孩子属性children为由a’中所有节点构成的集合，输出root。
[0007]
进一步地，所述根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的poi o包括：b1、创建集合nodeset，将根节点root存入集合nodeset中；b2、从集合nodeset中移除存入的节点；b3、判断从集合nodeset中移除的节点的类型，若为叶子节点跳转到步骤b4，否则跳转到步骤b5；b4、移除的节点为一个叶子节点，用leaf表示此移除节点，遍历此叶子节点leaf的孩子集合leaf.children，将位于视域f内且距离最近的poi存入集合poiset中；其中，表示移动终端设备所处的位置；b5、移除的节点为一个非叶子节点，用node表示此移除节点，遍历此非叶子节点
node的孩子集合node.children，对任意孩子child将空间方向属性child.spacedirection和空间距离属性child.distance分别以为参考进行映射得到child.spacedirection’和child.distance’，若child.spacedirection’与存在交集且child.distance’小于，则将child存入nodeset；其中，、分别表示移动终端设备镜头可视距离及可视角度；b6、判断nodeset是否为空，为空则跳转到步骤b7，否则跳转到步骤b2；b7、将集合poiset中最靠近方向的poi作为最佳显示poi o，输出o；其中，表示移动终端设备镜头的朝向角度。
[0008]
进一步地，所述获取该城市空间对应的图像集，对图像集中的图像进行fov提取，得到图像集对应的fov集合f包括：获取该城市空间对应的图像集，并对图像集中的图像进行增强、复原、编码处理；对处理后的图像进行fov提取，得到图像集对应的fov集合f。
[0009]
一方面，提供了一种基于位置的增强现实图像数据搜索系统，包括：视域确定模块，用于确定移动终端设备镜头的视域；第一定位模块，用于为城市空间poi集合o中的所有poi构建基于方向和位置感知的索引结构，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的poi o； 其中，poi表示兴趣点；提取模块，用于获取该城市空间对应的图像集，对图像集中的图像进行fov提取，得到图像集对应的fov集合f，其中，f中的fov元素与图像集中的图像通过编号对应，fov表示视域；构建模块，用于构建poi-fov字典列表，该字典列表的键为poi的id，对应值为能覆盖这个poi的所有fov的编号构成的集合；其中，id表示唯一编码；第二定位模块，用于搜索poi-fov字典列表，定位能覆盖到最佳poi o的所有fov的编号，并在图像集中根据编号定位这些fov对应的图像，构成包含o的图像结果集s；显示模块，用于在移动终端设备的屏幕上显示拍摄到的最佳poi o的名称、空间位置、文本描述以及s中的所有图像。
[0010]
本发明实施例提供的技术方案带来的有益效果至少包括：1、本发明实施例设计了方向和位置感知的poi索引结构及搜索方法，扩展了从空间数据查询角度搜索非结构化图像数据的思路，在实现非结构图像数据的高效管理和搜索的同时提高用户的观感体验；2、本发明实施例将位置服务与增强现实技术应用于图像数据搜索中，能在移动终端设备屏幕中同时向用户展示最佳poi及其名称、空间位置、文本描述、存在poi o的图像，极大提高用户的观感体验；3、本发明实施例可以广泛应用于如城市旅游、交通等基于位置服务中，具有广泛的实际应用价值。
附图说明
[0011]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]
图1为本发明实施例提供的基于位置的增强现实图像数据搜索方法的流程示意图；图2为本发明实施例提供的视域的可视化示意图；图3为本发明实施例提供的索引结构构建流程示意图；图4（a）为本发明实施例提供的索引结构的可视化平面示意图；图4（b）为本发明实施例提供的树形组织结构示意图；图5为本发明实施例提供的基于索引结构的最佳显示的poi 搜索流程示意图；图6为本发明实施例提供的基于位置的增强现实图像数据搜索系统的结构示意图。
具体实施方式
[0013]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0014]
如图1所示，本发明实施例提供了一种基于位置的增强现实图像数据搜索方法，包括：s1、确定移动终端设备镜头的视域；具体可以包括以下步骤：根据gps定位技术获取移动终端设备所处的位置；根据罗盘信息获取移动终端设备镜头的朝向角度；根据移动终端设备镜头的光学参数获取镜头可视距离及可视角度，得到移动终端设备镜头的视域。
[0015]
本发明实施例中，通过移动终端设备（具体指其中的图像采集设备）的镜头光学参数和用户地理位置信息可以获取图像的地理覆盖区域，该区域在二维平面空间中表现为一个扇形，简称为视域，用fov（field-of-view）表示。如图2所示，以正北为参考，fov用描述，图2中，表示一个fov。
[0016]
s2、为城市空间poi（point-of-interest）集合o中的所有poi构建基于方向和位置感知的索引结构，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的poi o； 其中，poi表示兴趣点；本实施例中，集合o中的每个poi都具备一个id属性、名称属性name、空间位置属性location和文本描述属性text，其中，文本描述为此poi的简介。
[0017]
本实施例中，如图3所示，为城市空间poi集合o中的所有poi构建基于方向和位置感知的索引结构，具体可以包括以下步骤：a1、计算城市空间poi集合o覆盖的空间范围r = [x1, y1, x2, y2]，(x1, y1)为r的左下顶点坐标，(x2, y2)为r的右上顶点坐标；a2、判断集合o是否为空，为空则跳转到步骤a5，否则跳转到步骤a3；a3、在空间r-a内随机生成一个数据点point(x, y)，同时沿正x方向和正y方向逐步扩展数据点point为逐步增大的矩形区域area，即每次扩展point的x和y值在前次扩展基
础上分别增大和，直至area内poi数最大且不超过正整数k扩展结束，其中， r-a表示未被叶子节点覆盖的空间区域；本实施例中，矩形区域area是逐步扩展增大的，比如，当第i次扩展后统计area内poi数是小于k的，那么进行第i+1次扩展，再统计area内poi数，此时存在两种情况：1）如果poi数大于k了，则消除第i+1次的扩展，则第i次扩展完毕就结束；2）如果poi数=k，则第i+1次扩展完毕就不再扩展了；通过上述步骤，保证area内poi数最大且不超过正整数k。
[0018]
a4、将area构建为一个叶子节点leaf，将leaf存入集合a中并跳转到步骤a2；其中，集合a中存储的是目前已经确定的所有叶子节点，叶子节点属性包括：空间范围属性spacerange，它是area覆盖的空间范围，为一个矩形；孩子属性children，它为一个集合，包含位置位于spacerange内的所有poi，并将这些poi从集合o中移除；空间方向属性spacedirection，为矩形spacerange相对于r左下顶点的空间角度范围；空间距离属性distance，为矩形spacerange相对于r左下顶点的最小距离；a5、判断集合a中节点数是否大于k，若大于k则跳转到步骤a6，否则跳转到步骤a9；a6、在空间r-a’内随机生成数据点point’，聚集point’周围的至多k个节点，并把这些节点从集合a中移除，其中，a’中存储的是目前已经确定的相较于a中节点高一层的节点，r-a’为未被当前最高层节点覆盖的空间区域；本实施例中，索引结构是从最底层的叶子节点开始逐层向上构建的，最底层是叶子节点，最高层是根节点，其他的都是非叶子节点或者称为中间节点。由于步骤a5～a8是一个递归建索引的过程，因此，至多k个节点中的
ꢀ“
节点”可以是叶子节点，也可以是非叶子节点；具体的：当进行叶子节点的上一层节点的构建时，这里“节点”指叶子节点；当进行非叶子节点的上一层节点的构建时，这里“节点”指非叶子节点。
[0019]
a7、将找到的至多k个节点构建为一个较高一层的节点node，将node存入集合a’中；其中，node节点属性包括：空间范围属性spacerange，为node覆盖的空间范围，为一个矩形；孩子属性children，它为一个集合，包含位置位于spacerange内的较node低一层的节点；空间方向属性spacedirection，为矩形spacerange相对于r左下顶点的空间角度范围；空间距离属性distance，为矩形spacerange相对于r左下顶点的最小距离；a8、令a代替a’，并清空a’，然后跳转到步骤a5；a9、构建一个根节点root，其孩子属性children为由a中所有节点构成的集合，输出root。
[0020]
本实施例中，root的本质也是一个node节点，具有node节点的所有属性。
[0021]
本实施例中，假设poi集合o = {o1, ..., o
11
}，最大的矩形为o的空间覆盖范围。如图4(a)中所示，叶子节点leaf1是由数据点point逐步扩展得到的，因为{o1, o2, o3}位于
leaf1的覆盖范围内，所以leaf1.children = { o1, o2, o3}，图4(a)中还标记了leaf1的空间方向属性spacedirection和空间距离属性distance，这些属性可以帮助快速定位最佳显示poi。本实施例中，k为3，即节点包含的孩子数最大不会超过3。进一步，非叶子节点node1由point’附近的叶子节点leaf1和leaf2聚集得到。当聚集得到非叶子节点node1和node2后，空间最高层节点数为2，不大于k，所以最终构建得到根节点root，并进一步得到如图4(b)所示的树形组织结构。
[0022]
如图5所示，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的poi o，具体可以包括以下步骤：b1、创建集合nodeset，将根节点root存入集合nodeset中；本实施例中，nodeset相当于一个临时存储节点的容器，由于要找到“最佳显示poi o”，所以设计了一种从根节点到非叶子节点到叶子节点（即从上到下）的搜索索引结构的算法，所以开始的时候是把根节点root放到这个容器中。b2中的node代指索引结构的一切节点，包括根节点、叶子节点、非叶子节点，如果是初始的根节点root存入nodeset则执行b2，nodeset会暂时为空，但执行后续步骤后，会有新的节点存入nodeset中。本实施例的目标是找到“最佳显示poi o”，这个过程中会利用nodeset这个容器存储筛选出的节点。
[0023]
b2、从集合nodeset中移除存入的节点；b3、判断从集合nodeset中移除的节点的类型，若为叶子节点跳转到步骤b4，否则跳转到步骤b5；b4、此时，移除的节点为一个叶子节点，用leaf表示此移除节点，遍历此叶子节点leaf的孩子集合leaf.children，将位于视域f内且距离最近的poi存入集合poiset中；其中，表示移动终端设备所处的位置；b5、此时，移除的节点为一个非叶子节点，用node表示此移除节点，遍历此非叶子节点node的孩子集合node.children，对任意孩子child将空间方向属性child.spacedirection和空间距离属性child.distance分别以为参考进行映射得到child.spacedirection’和child.distance’，若child.spacedirection’与存在交集且child.distance’小于，则将child存入nodeset；其中，、分别表示移动终端设备镜头可视距离及可视角度；b6、判断nodeset是否为空，为空则跳转到步骤b7，否则跳转到步骤b2；b7、将集合poiset中最靠近方向的poi作为最佳显示poi o，输出o；其中，表示移动终端设备镜头的朝向角度。
[0024]
s3、获取该城市空间对应的图像集，对图像集中的图像进行fov提取，得到图像集对应的fov（field-of-view）集合f，具体可以包括以下步骤：获取该城市空间对应的图像集，并对图像集中的图像进行增强、复原、编码处理；对处理后的图像进行fov提取，得到图像集对应的fov集合f。
[0025]
本实施例中，f中的fov元素与图像集中的图像通过编号对应。
[0026]
s4、构建poi-fov字典列表，该字典列表的键为poi的id，对应值为能覆盖这个poi的所有fov的编号构成的集合；其中，id表示唯一编码；s5、搜索poi-fov字典列表，定位能覆盖到最佳poi o的所有fov的编号，并在图像集中根据编号定位这些fov对应的图像，构成包含o的图像结果集s；
s6、在移动终端设备的屏幕上显示拍摄到的最佳poi o的名称、空间位置、文本描述以及s中的所有图像。
[0027]
本发明实施例所述的基于位置的增强现实图像数据搜索方法，至少具有以下有益效果：1、本发明实施例设计了方向和位置感知的poi索引结构及搜索方法，扩展了从空间数据查询角度搜索非结构化图像数据的思路，在实现非结构图像数据的高效管理和搜索的同时提高用户的观感体验；2、本发明实施例将位置服务与增强现实技术应用于图像数据搜索中，能在移动终端设备屏幕中同时向用户展示最佳poi及其名称、空间位置、文本描述、存在poi o的图像，极大提高用户的观感体验；3、本发明实施例可以广泛应用于如城市旅游、交通等基于位置服务中，具有广泛的实际应用价值。
[0028]
本发明还提供一种基于位置的增强现实图像数据搜索系统的具体实施方式，由于本发明提供的基于位置的增强现实图像数据搜索系统与前述基于位置的增强现实图像数据搜索方法的具体实施方式相对应，该基于位置的增强现实图像数据搜索系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于位置的增强现实图像数据搜索方法具体实施方式中的解释说明，也适用于本发明提供的基于位置的增强现实图像数据搜索系统的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
[0029]
如图6所示，本发明实施例还提供一种基于位置的增强现实图像数据搜索系统，包括：视域确定模块11，用于确定移动终端设备镜头的视域；第一定位模块12，用于为城市空间poi集合o中的所有poi构建基于方向和位置感知的索引结构，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的poi o； 其中，poi表示兴趣点；提取模块13，用于获取该城市空间对应的图像集，对图像集中的图像进行fov提取，得到图像集对应的fov集合f，其中，f中的fov元素与图像集中的图像通过编号对应，fov表示视域；构建模块14，用于构建poi-fov字典列表，该字典列表的键为poi的id，对应值为能覆盖这个poi的所有fov的编号构成的集合；其中，id表示唯一编码；第二定位模块15，用于搜索poi-fov字典列表，定位能覆盖到最佳poi o的所有fov的编号，并在图像集中根据编号定位这些fov对应的图像，构成包含o的图像结果集s；显示模块16，用于在移动终端设备的屏幕上显示拍摄到的最佳poi o的名称、空间位置、文本描述以及s中的所有图像。
[0030]
本发明实施例所述的基于位置的增强现实图像数据搜索系统，至少具有以下有益效果：1、本发明实施例设计了方向和位置感知的poi索引结构及搜索方法，扩展了从空间数据查询角度搜索非结构化图像数据的思路，在实现非结构图像数据的高效管理和搜索的同时提高用户的观感体验；2、本发明实施例将位置服务与增强现实技术应用于图像数据搜索中，能在移动终
端设备屏幕中同时向用户展示最佳poi及其名称、空间位置、文本描述、存在poi o的图像，极大提高用户的观感体验；3、本发明实施例可以广泛应用于如城市旅游、交通等基于位置服务中，具有广泛的实际应用价值。
[0031]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0032]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。