一种基于微服务的物联网基础数据补充方法、系统及设备与流程

1.本发明涉及物联网技术领域，具体涉及一种基于微服务的物联网基础数据补充方法、系统及设备。


背景技术：

2.基于不同的数据应用需求，物联网平台需要向不同数据库保存数据：hbase中的数据用于实时查看和页面数据展示，hdfs中的数据用于数据清洗、数据分析和数据挖掘。当其中某个数据库的数据出现问题时，可以用其他数据进行补充和恢复。本发明是基于java+spring+mysql+hbase混合开发框架，在hdfs数据缺失的场景下，用hbase数据进行恢复。数据源从hbase获取，基础数据从mysql获取写入缓存，提高运行效率，配置信息写入xml文件，使变更配置信息更方便快捷。通过循环遍历，将需要补充的数据，按文件大小均匀分块，落地到hdfs////，方便后续进行数据清洗、分析和挖掘，维护数据的完整性和可靠性。
3.终端会实时采集设备工作状态、位置信息，将加密后的报文上传到物联网平台，物联网平台将报文解析成明文，通过flume将解析后的数据写入hbase和hdfs，实现存储、查询和分析功能。两种存储方式用途不同又互为补充，当其中一种出现问题时，当日没有数据或数据不完整，可从另一个数据库获取数据进行补充。造成hdfs数据丢失的原因有多种：第一，flume写入hdfs时出现故障、堵塞，没有及时处理；第二，hdfs数据文件被误操作，无法进行恢复；第三，数据上报延迟，数据落地的路径不准确；第四，部分设备的数据丢失，需要后期进行补充等等。当出现这些事故时，不仅要及时处理故障，恢复系统正常运行，还要查漏补缺，及时补充缺失的数据，保证数据的完整性和可靠性，为数据分析和挖掘提供准确的数据依据。
4.在现有的解决方案中，是以客户为驱动。当数据报表发出以后，客户查看某台设备的数据，判断有数据问题，会寻求技术人员的帮助，技术人员经过一系列排查操作，确定是解析后的数据有缺失，此时会根据客户的反馈，将缺失数据的设备的加密报文进行重新解析落地，再将解析后的数据移动到对应日期的数据目录下。此种方式繁琐复杂，处理过程时间长，严重影响客户的使用感，造成客户对数据的不信任。
5.由于此方案是在报表数据计算出来后进行统计，有一定的滞后性，无法在数据文件出现问题时及时修复。另外，数据补充需要一定的时间，完成后报表数据需要重新计算。如果当日需要补偿的数据量过大，会造成报表数据展示延迟，给客户造成不便。
6.经检索发现，公开号cn113721922a的中国专利于2021年11月30日公开了一种基于微服务的大数据物联网管理系统，所述大数据物联网管理系统包括：展现层，用于兼容浏览器和展示所述大数据物联网管理系统的各功能界面；网关层，用于为所述大数据物联网管理系统包含的各种服务功能提供统一入口，并在所述大数据物联网管理系统运行过程中，对所述为所述大数据物联网管理系统进行运行监控、授权、系统安全保护和资源调度；业务层，用于为所述大数据物联网管理系统运行提供基础系统功能服务和业务系统功能服务；数据层，用于存储所述大数据物联网管理系统运行过程中产生的业务数据、图片视频及文
件数据和日志数据，其中，展现层和数据层完全分离，通过跨域实现前端数据和后端数据之间的通信。
7.但是该专利并没有考虑到对存储和管理的数据进行排查和修复，也没有考虑到大批量地数据补充会造成报表数据展示延迟的问题。


技术实现要素：

8.为克服上述现有技术的不足，本发明提供一种基于微服务的物联网基础数据补充方法、系统及设备，每日定时调度，自动判断数据缺失情况，在判断设备的数据量异常和判断hdfs数据文件缺失的情况下进行数据补充，保证了客户查阅数据时，设备数据始终保持无误的，而不是在客户发现数据有问题时，才进行统计和修复，提升了客户的使用感。
9.本发明一方面提供一种基于微服务的物联网基础数据补充方法，包括，计算当日报表数据量与上一日报表数据量之间的设备数据量环比减少率，若设备数据量环比减少率大于预设设备数据量环比减少率，则判断设备的数据量异常；如果判断设备的数据量异常，则计算当日hdfs数据文件大小与上一日hdfs数据文件大小之间的文件大小环比减少率，若文件大小环比减少率大于预设文件大小环比减少率，则判断hdfs数据文件缺失；如果判断hdfs数据文件缺失，则根据当日的日期时间，从mysql数据库中获取设备信息；遍历设备信息，分别从hbase数据库中获取每台设备的数据，将获取的数据写入至hdfs数据文件。
10.上述技术方案中，当设备数据量环比减少率大于预设设备数据量环比减少率时，则初步判断设备的数据量异常；当文件大小环比减少率大于预设文件大小环比减少率时，则得到判断hdfs数据文件缺失的结果；此时，根据当日的日期时间，获取设备信息，获取每台设备的数据，将获取的数据写入至hdfs数据文件中，实现了及时补充缺失的数据，保证了数据的完整性和可靠性，为客户提供更准确的数据记录。
11.优选地，若判断hdfs数据文件缺失，则获取flume系统的前一天日志，根据日志的内容判断flume系统是否有故障。
12.具体地，在经过判断确定hdfs数据文件缺失，需要对hdfs数据文件缺失的原因进行排查，主要在flume系统的前一天日志中寻找故障信息。
13.优选地，若flume系统一直报警，则需要进行重启flume系统，初始化配置信息。
14.具体地，对flume系统的前一天日志中的故障进行排查分析之后，若仍然存在hdfs数据文件缺失的现象，则重启flume系统，初始化配置信息。
15.优选地，如果判断hdfs数据文件缺失，分类从mysql数据库中获取需要补充数据的设备信息。
16.具体地，分类获取设备信息的好处在于，根据hdfs数据文件缺失的判断结果，精确获取需要补充数据的设备信息，从数据库进行筛选，获取存在hdfs数据文件缺失的设备信息，避免写死设备编号，获取冗余的设备信息。
17.优选地，如果判断hdfs数据文件缺失，从mysql数据库中获取全部的设备信息。
18.具体地，获取全部的设备信息的好处在于，在特定的情况下，获取全部的设备信息，将设备信息备份存储。其中，特定的情况包括判断得到hdfs数据文件缺失的设备数量过多时、以及flume系统的日志中的同一故障反复出现时。
19.优选地，每台设备的数据包括不同的数据类型，数据类型具体为工况数据、轨迹数
据、工时数据和报警数据。
20.具体地，所述数据类型根据不同的设备信息进行不同的调整。
21.优选地，将获取的数据按照数据类型区分路径，批量写入至hdfs数据文件。
22.具体地，写入hdfs时进行批量写入，降低io(input/output)，提高效率。从hbase获取数据有参数限制行数，需要预估设备一天的最大报文条数，防止补充后的数据有缺失。
23.优选地，将写入数据后的hdfs数据文件名标记为.hbase。
24.具体地，采用不用的文件名标记数据文件，将通过此种方式获取的数据文件需要同正常流程落地的文件区分开，便于后期出现问题时能区分原始数据和获取数据。
25.本发明另一方面提供一种基于微服务的物联网基础数据补充系统，用于实现一种基于微服务的物联网基础数据补充方法的步骤，包括，第一判断模块，用于计算当日报表数据量与上一日报表数据量之间的设备数据量环比减少率，若设备数据量环比减少率大于预设设备数据量环比减少率，则判断设备的数据量异常；第二判断模块，用于在判断设备的数据量异常时，计算当日hdfs数据文件大小与上一日hdfs数据文件大小之间的文件大小环比减少率，若文件大小环比减少率大于预设文件大小环比减少率，则判断hdfs数据文件缺失；数据获取模块，用于在判断hdfs数据文件缺失时，根据当日的日期时间，从mysql数据库中获取设备信息；数据写入模块，用于遍历设备信息，分别从hbase数据库中获取每台设备的数据，将获取的数据写入至hdfs数据文件。
26.具体地，通过第一判断模块，计算并比较设备数据量环比减少率和预设设备数据量环比减少率之间的大小关系，判断设备的数据量异常；通过第二判断模块，计算并比较文件大小环比减少率与预设文件大小环比减少率之间的大小关系，判断hdfs数据文件缺失；通过数据获取模块，根据当日的日期时间，从mysql数据库中获取设备信息；通过数据写入模块，遍历设备信息，分别从hbase数据库中获取每台设备的数据，将获取的数据写入至hdfs数据文件。
27.本发明另一方面提供一种设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如一种基于微服务的物联网基础数据补充方法的步骤。
28.与现有技术相比，本发明的有益效果包括：
29.(1)本发明中当设备数据量环比减少率大于预设设备数据量环比减少率时，则初步判断设备的数据量异常；当文件大小环比减少率大于预设文件大小环比减少率时，则得到判断hdfs数据文件缺失的结果；此时，根据当日的日期时间，获取设备信息，获取每台设备的数据，将获取的数据写入至hdfs数据文件中，实现了及时补充缺失的数据，保证了数据的完整性和可靠性，为客户提供更准确的数据记录；
30.(2)本发明分类获取设备信息，根据hdfs数据文件缺失的判断结果，精确获取需要补充数据的设备信息，从数据库进行筛选，获取存在hdfs数据文件缺失的设备信息，避免写死设备编号，获取冗余的设备信息；
31.(3)本发明写入hdfs时进行批量写入，降低io(input/output)，提高效率，并且需要预估设备一天的最大报文条数，使用参数限制从hbase获取数据行数，防止补充后的数据有缺失；
32.(4)本发明采用不用的文件名标记数据文件，将通过此种方式获取的数据文件需
要同正常流程落地的文件区分开，便于后期出现问题时能区分原始数据和获取数据。
附图说明
33.图1为根据本发明实施例的方法流程图；
34.图2为根据本发明实施例的系统结构图；
35.图3为根据本发明实施例的设备结构图。
具体实施方式
36.以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
37.如图1所示，本发明一方面提供一种基于微服务的物联网基础数据补充方法，该方法具体包括：
38.1.每日定时调度当日报表数据量，计算当日报表数据量与上一日报表数据量之间的设备数据量环比减少率，判断数据量是否正常，将10％设置为预设设备数据量环比减少率，若设备数据量环比减少率超过10％，则当日报表数据量与上一日报表数据量相比，数据量减少了10％以上，判断设备的数据量异常，此时需要判断hdfs数据文件是否出现异常；
39.2.如果判断设备的数据量异常，则获取hdfs数据文件大小，计算当日hdfs数据文件大小与上一日hdfs数据文件大小之间的文件大小环比减少率，将10％设置为预设预设文件大小环比减少率，若文件大小环比减少率超过10％，则hdfs数据文件大小与上一日hdfs数据文件大小相比，文件大小减少了10％以上，判断hdfs数据文件缺失，此时需要对系统故障进行排查；
40.3.获取flume前一天日志，判断是否有故障，如果一直报警需要进行重启；
41.4.初始化配置信息。
42.5.处理需要获取的数据时间，根据当日的日期时间，从mysql自动获取需要补充数据的设备信息，写入缓存；设备信息可以分类获取，也可以全部获取。
43.6.遍历设备信息，分类获取hbase中每台设备的工况数据、轨迹数据、工时数据、报警数据等。
44.7.将每台设备的明文数据处理成相应的格式，按数据类型(工况、轨迹、工时、报警)区分路径，批量写入hdfs数据文件，数据文件按大小1g分割成多个文件，并将hdfs数据文件名标记为.hbase，方便后期复盘。
45.此外，数据补充完需要技术人员重新执行分析调度。
46.其中，环比减少率的计算公式为：环比减少率＝(上一周期数值-当前周期数值)/上一周期数值。
47.如图2所示，本发明另一方面提供一种基于微服务的物联网基础数据补充系统，用于实现一种基于微服务的物联网基础数据补充方法的步骤，包括，第一判断模块，用于计算当日报表数据量与上一日报表数据量之间的设备数据量环比减少率，若设备数据量环比减少率大于预设设备数据量环比减少率，则判断设备的数据量异常；第二判断模块，用于在判
断设备的数据量异常时，计算当日hdfs数据文件大小与上一日hdfs数据文件大小之间的文件大小环比减少率，若文件大小环比减少率大于预设文件大小环比减少率，则判断hdfs数据文件缺失；数据获取模块，用于在判断hdfs数据文件缺失时，根据当日的日期时间，从mysql数据库中获取设备信息；数据写入模块，用于遍历设备信息，分别从hbase数据库中获取每台设备的数据，将获取的数据写入至hdfs数据文件。
48.首先，通过第一判断模块进行每日定时调度当日报表数据量，计算当日报表数据量与上一日报表数据量之间的设备数据量环比减少率，判断数据量是否正常，若设备数据量环比减少率超过10％，则当日报表数据量与上一日报表数据量相比，数据量减少了10％以上，判断设备的数据量异常，此时需要判断hdfs数据文件是否出现异常；
49.其次，通过第二判断模块在如果判断设备的数据量异常时，获取hdfs数据文件大小，计算当日hdfs数据文件大小与上一日hdfs数据文件大小之间的文件大小环比减少率，若文件大小环比减少率超过10％，则hdfs数据文件大小与上一日hdfs数据文件大小相比，文件大小减少了10％以上，判断hdfs数据文件缺失，此时需要对系统故障进行排查；
50.再次，通过数据获取模块处理需要获取的数据时间，根据当日的日期时间，从mysql自动获取需要补充数据的设备信息，写入缓存；设备信息可以分类获取，也可以全部获取。
51.最后，通过数据写入模块遍历设备信息，分类获取hbase中每台设备的工况数据、轨迹数据、工时数据、报警数据等。并将每台设备的明文数据处理成相应的格式，按数据类型(工况、轨迹、工时、报警)区分路径，批量写入hdfs数据文件，数据文件按大小1g分割成多个文件，并将hdfs数据文件名标记为.hbase，方便后期复盘。
52.如图3所示，本发明另一方面提供一种设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如一种基于微服务的物联网基础数据补充方法的步骤。
53.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。