一种基于无序空间离散点计算设备位置的方法及系统与流程

本发明属于大数据处理，具体涉及一种基于无序空间离散点计算设备位置的方法及系统。

背景技术：

1、近年来，技术的不断发展，数据信息呈爆炸式增长趋势，海量数据的出现已经成为必然趋势。但在技术快速增长的同时，也出现了传统系统无法解决数据庞大的问题和传统的方法论无法指导人们的迫切需求。目前针对这一现象，数据挖掘技术的出现成为了解决数据量庞大，指导人们需求的有效方法之一。其中聚类分析是数据挖掘领域的一个重要分支，半监督聚类算法更是近几年来的研究热点。半监督聚类方法融合了有监督学习和无监督学习的优点，不仅充分利用了少量已标记的数据信息对聚类过程进行约束指导，而且又不需要对大量的数据进行标记，更贴近实际情况的应用场景，并且技术容易实现，通俗易懂。

2、kmeans算法是最早一批被应用到半监督领域的聚类算法之一，通过引入少量监督信息，能够大大提升聚类准确度和迭代效率。相比较kmeans算法，层次聚类算法、dbscan算法、均值漂移算法和gmm算法等均表现出良好的数据挖掘能力。

3、近些年来，平均算法作为了计算无序空间离散点的设备位置的首选。基于离散点的实际地理位置，平均算法将离散点的经纬度和二维坐标系的xy轴一一对应，针对‘有效点’求取离散点在二维坐标系下的均值，以此来作为无序空间离散点的设备位置。但是此方法存在较大误差，特别的是当空间离散点聚团分散时，平均算法不适用于此场景。

4、有鉴于此，提出一种基于无序空间离散点计算设备位置的方法及系统是非常具有意义的。

技术实现思路

1、为了针对在数据量巨大，数据类型繁多和无序的情况下计算空间离散点的设备位置，避免出现空间离散点数据杂乱而无法计算的问题，本发明提供一种基于无序空间离散点计算设备位置的方法及系统，实现了快速定位设备位置，为后续的使用提供精确有效的信息，以解决上述存在的技术缺陷问题。

2、第一方面，本发明提出了一种基于无序空间离散点计算设备位置的方法，该方法包括如下步骤：

3、响应于采集某个特定时间段的海量数据；

4、将海量数据的各个空间离散点各自的原始坐标系的经纬度值进行保留，并统一转换成同一个坐标系；

5、使用hive将海量数据的坐标进行分组聚合；

6、进一步判断分组聚合后的经纬度集合的个数是否大于预设的个数，根据判断的结果进行下一步处理；

7、将处理的结果信息保存至数据库用于后续使用。

8、优选的，预设的个数设为10个，根据判断的结果进行下一步处理包括：

9、判断各个空间离散点集合个数是否大于10个，如果空间离散点集合个数小于或等于10个，则直接采用立体中心点算法计算；

10、如果空间离散点集合个数大于10个，则先采用k-means聚类算法，通过算法排除无效点位，基于有效点位进行立体中心点算法计算。

11、进一步优选的，如果空间离散点集合个数小于或等于10个，则直接采取立体中心点算法计算具体包括：

12、将空间离散点的经纬度坐标转换为对应的笛卡尔xyz坐标，将经纬度点位转换为笛卡尔坐标系的x、y和z值，再分别计算所有点位x、y、z的平均值；公式如下：

13、x＝cos(lat)*cos(lon)

14、y＝cos(lat)*sin(lon)

15、z＝sin(lat)

16、通过x、y的平均值计算出经度弧长，通过z平均值和基于勾股定理得出的xy平均值的平方根计算出纬度弧长，通过公式计算出的n角度即为经度、纬度的值，得出立体中心点经度值和纬度值，再将其转换对应的地球坐标系wsg-84坐标作为设备位置；公式如下：

17、l＝n*π*r/180

18、其中l为弧长，n为角度，r为圆心角。

19、进一步优选的，如果空间离散点集合个数大于10个，则先采用k-means聚类算法，具体包括：

20、通过多次循环选取k个不同的初始值，遍历所有空间离散点，得到k个初始值对应的k个相似离散点集合。

21、进一步优选的，根据判断的结果进行下一步处理还包括：

22、将已知的设备位置和使用算法得到的设备位置进行比对，得出设备位置处于相似离散点最多的集合的结论；

23、基于kmeans聚合算法得到的k个相似离散点集合，选取子集个数最大作为设备在当前时间段的分布点；

24、按照立体中心点算法计算其子集中相似离散点得到最终无序空间离散点的设备位置。

25、优选的，采集某个特定时间段的海量数据还包括：

26、选取某个时间段内的海量数据，将不符合此时间段内的无效数据舍弃，只保留更加精确的有效海量数据进行无序空间离散点的设备位置计。

27、进一步优选的，使用hive将海量数据的坐标进行分组聚合还包括：

28、采用hql语言，将有效的空间离散点分组聚合，将无序空间离散点按照各自的设备位置进行归类。

29、第二方面，本发明实施例还提供一种基于无序空间离散点计算设备位置的系统，包括：

30、数据采集模块，配置用于采集某个特定时间段的海量数据；

31、转换模块，配置用于将海量数据的各个空间离散点各自的原始坐标系的经纬度值进行保留，并统一转换成同一个坐标系；

32、分组聚合模块，配置用于使用hive将海量数据的坐标进行分组聚合；

33、判断处理模块，配置用于判断分组聚合后的经纬度集合的个数是否大于预设的个数，根据判断的结果进行下一步处理；

34、数据库模块，配置用于将处理的结果信息保存至数据库用于后续使用。

35、第三方面，本发明实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

36、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

37、与现有技术相比，本发明的有益成果在于：

38、(1)本发明主要使用kmeans聚类算法及立体中心点算法，在数据量无序和大数据的场景下，实现了设备位置有效空间离散点的快速定位及中心点的计算，既解决了传统的平均算法误差大，且数据必须特殊分布的问题，又可以在实际的应用中，通过更改不同的k值，实现不同簇下相似离散点范围的精细化划分，更加准确找出设备的真实位置信息。

39、(2)本发明核心包括运用kmeans算法进行有效点位的聚类及运用立体中心点算法实现离散点位的中心点计算，主要针对在数据量巨大，数据类型繁多和无序的情况下计算空间离散点的设备位置，该发明可以做到使用kmeans计算的设备位置和设备实际位置之间误差值偏差不大，实现了快速定位设备位置，为后续的使用提供精确有效的信息。