一种基于物联网平台的数据采集方法及系统与流程

本发明涉及数据采集，尤其涉及一种基于物联网平台的数据采集方法及系统。

背景技术：

1、随着科学技术的发展和人们生活水平的提高，物联设备的使用也越来越广泛，在具体场景使用时，一般通过物联设备进行数据采集，传统的物联数据采集主要是通过物联设备直接将数据上报到物联数据采集平台中，但这会使得数据传输量较大；此外，当物联数据采集平台在接收到物联数据后，会对物联数据进行处理，如果在处理的过程中，发现采集的数据不全面或者是存在瑕疵，需要回溯到对应的物联设备中，再次进行数据采集，这也加大了数据采集的工作量，需要消耗大量的带宽资源，也会降低物联设备的采集效率。

2、因此，如何在物联设备的边缘侧对数据进行预处理，并及时发现数据中的不足是本发明所需要解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种基于物联网平台的数据采集方法及系统，以解决上述背景技术中提出“如何在物联设备的边缘侧对数据进行预处理，并及时发现数据中的不足”的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于物联网平台的数据采集方法，所述方法包括：

4、搜罗目标场景内的数据采集需求，生成监听模板；

5、确定采集节点，遵循所述监听模板，利用所述采集节点进行数据采集，获取目标数据，并插入署名，所述署名用于表征目标数据的来源；

6、确定边缘节点，搭建计算集群，基于所述数据采集需求，确定计算任务，切分所述计算任务到边缘节点中，将所述目标数据多播到所有边缘节点中；

7、基于所述计算任务对所述目标数据进行计算，并根据计算结果，判断目标数据的质量值，如果所述质量值大于预设的阈值，则将所述目标数据上传到云端，如果所述质量值小于预设的阈值，则遍历监听模板，重新进行数据采集。

8、进一步的，所述搜罗目标场景内的数据采集需求，生成监听模板的步骤包括：

9、定义目标场景，获取数据采集的目标，确定数据采集需求；

10、调整数据采集的频率，整合所述频率和数据采集需求，生成监听模板。

11、进一步的，所述确定采集节点，遵循所述监听模板，利用所述采集节点进行数据采集，获取目标数据，并向所述目标数据中叠加采集节点的署名的步骤还包括：

12、将带有署名的所述目标数据填入到监听模板中，检索出监听模板中的空白项；

13、基于预设的调整策略，对所述采集节点进行调整，并补齐所述监听模板中的空白项。

14、进一步的，所述确定边缘节点，搭建计算集群，基于所述数据采集需求，确定计算任务，切分所述计算任务到边缘节点中，将所述目标数据多播到所有边缘节点中的步骤包括：

15、构建边缘计算架构，将所述边缘节点整合到所述边缘计算架构中，搭建计算集群；

16、将所述计算任务切分到边缘节点中，根据切分后的所述计算任务，对目标数据进行计算。

17、进一步的，所述基于所述计算任务对所述目标数据进行预处理，并根据预处理结果，判断目标数据的质量值的步骤包括：

18、基于所述目标数据的计算结果，确定目标数据中的无用项；

19、计算所述无用项在所述目标数据中的比例，定义所述比例为目标数据的质量值。

20、进一步的，所述方法还包括：

21、如果所述质量值大于预设的阈值，则将所述目标数据上传到云端中，并在所述云端中开放访问控制；

22、如果所述质量值小于预设的阈值，则遍历所述监听模板，确定监听模板中的不足项，回溯所述署名，重新进行数据采集。

23、进一步的，所述方法还包括：

24、整合所述计算集群，构建计算平台，将所述目标数据上传到计算平台中，并根据预设的处理策略，对目标数据进行处理，获取处理结果。

25、进一步的，所述系统包括：

26、搜罗模块，能够搜罗目标场景内的数据采集需求，生成监听模板；

27、叠加模块，可以确定采集节点，遵循所述监听模板，利用所述采集节点进行数据采集，获取目标数据，并插入署名，所述署名用于表征目标数据的来源；

28、切分模块，用于确定边缘节点，搭建计算集群，基于所述数据采集需求，确定计算任务，切分所述计算任务到边缘节点中，将所述目标数据多播到所有边缘节点中；

29、判断模块，可以基于所述计算任务对所述目标数据进行预处理，并根据预处理结果，判断目标数据的质量值，如果所述质量值大于预设的阈值，则将所述目标数据上传到云端，如果所述质量值小于预设的阈值，则遍历监听模板，重新进行数据采集。

30、进一步的，所述搜罗模块包括：

31、获取单元，能够定义目标场景，获取数据采集的目标，确定数据采集需求；

32、整合单元，用于调整数据采集的频率，整合所述频率和数据采集需求，生成监听模板。

33、进一步的，所述叠加模块包括：

34、填入单元，用于将带有署名的所述目标数据填入到监听模板中，检索出监听模板中的空白项；

35、补齐单元，可以基于预设的调整策略，对所述采集节点进行调整，并补齐所述监听模板中的空白项。

36、与现有技术相比，本发明的有益效果是：

37、1、通过生成监听模板，可利用物联设备进行数据的精准采集，避免产生无用数据，占用运算资源，提高了目标数据采集的准确性，通过向目标数据中添加署名，便于进行回溯，便于对目标数据进行查漏，通过确定边缘节点，可对采集到的目标数据进行预处理，有效地降低了网络延迟和数据传输的带宽成本，同时也可以避免目标数据采集不全面情况的发生，通过判断质量值，能够将可利用的目标数据传输到云端，在减少了目标数据传输工作量的同时，也避免了目标数据的重复采集，从而使得物联设备的采集效果更好，传输效率更快，使用体验也更好。

38、2、通过构建计算平台，可在边缘侧对目标数据进行处理，使得目标数据得以及时处理，降低了带宽成本，也避免了采集数据不全面和采集数据不及时等情况发生，提高了目标数据采集的准确性。

技术特征：

1.一种基于物联网平台的数据采集方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述搜罗目标场景内的数据采集需求，生成监听模板的步骤包括：

3.根据权利要求2所述的方法，其特征在于，所述确定采集节点，遵循所述监听模板，利用所述采集节点进行数据采集，获取目标数据，并插入署名，所述署名用于表征目标数据的来源步骤还包括：

4.根据权利要求1所述的方法，其特征在于，所述确定边缘节点，搭建计算集群，基于所述数据采集需求，确定计算任务，切分所述计算任务到边缘节点中，将所述目标数据多播到所有边缘节点中的步骤包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述计算任务对所述目标数据进行预处理，并根据预处理结果，判断目标数据的质量值的步骤包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.一种基于物联网平台的数据采集系统，其特征在于，所述系统包括：

9.根据权利要求8所述的系统，其特征在于，所述搜罗模块包括：

10.根据权利要求8所述的系统，其特征在于，所述叠加模块包括：

技术总结
本发明适用于数据采集技术领域，尤其涉及一种基于物联网平台的数据采集方法及系统，所述方法包括：搜罗目标场景内的数据采集需求，生成监听模板；确定采集节点，遵循所述监听模板，利用所述采集节点进行数据采集，获取目标数据，并插入署名，所述署名用于表征目标数据的来源；确定边缘节点，搭建计算集群，基于所述数据采集需求，确定计算任务，切分所述计算任务到边缘节点中，将所述目标数据多播到所有边缘节点中。本发明通过确定边缘节点，可对采集到的数据在边缘侧进行预处理，有效地降低了网络延迟和数据传输的带宽成本，同时也可以避免数据采集不全面情况的发生，提高了数据采集效率。

技术研发人员：易小武
受保护的技术使用者：天津市天益达科技发展有限公司
技术研发日：
技术公布日：2024/5/6