一种工程机械工况数据的传输与存储方法和设备与流程

1.本发明涉及数据管理技术领域，尤其涉及一种工程机械工况数据的传输与存储方法和设备。


背景技术：

2.工程机械在工作过程中，会产生大量的实时工况数据。工程机械的制造厂家希望将这些数据传输到云端并保存下来，通过对工作状态的分析和挖掘，将结果用于故障分析、质量提升或者施工工艺的改进。
3.传统的数据保存技术为：(1)在工程机械的控制器或者显示屏中采集实时数据；(2)自定义通信协议，将数据依据固定的间隔，通过udp或者tcp协议发送到云端的通信前置机；(3)通信前置机将收到的每台设备的数据通过sql语言写入后端的关系型数据库(oracle、mysql等)
4.上述方案的主要问题包括：(1)整体的传输格式需要预设定义，设备必须依据固定的方式发送，针对不同机型的差异需要对系统定义进行修改，过程繁琐、工作量大；(2)数据保存格式同样需要预设定义，为不同机型建立不同的工况数据表，扩展不方便；传统的关系型数据库在保存这种工况数据的时候没有针对数据特点进行优化，存储效率不高，并且查询不便。


技术实现要素：

5.(一)要解决的技术问题
6.鉴于现有技术的上述缺点、不足，本发明提供一种工程机械工况数据的传输与存储方法和设备，其解决了现有的工程机械的数据传输与存储过程繁琐、工作量大、扩展不方便、存储效率不高以及查询不便的技术问题。
7.(二)技术方案
8.为了达到上述目的，本发明采用的主要技术方案包括：
9.第一方面，本发明实施例提供一种工程机械工况数据的传输与存储方法，包括：
10.数据中转端获取每台工程机械以自身设备序列号为主题上传的工况数据；
11.所述数据中转端依据预设的订阅关系将所述工况数据下发给数据转储模块，以使所述数据转储模块将所述工况数据转存到时序数据库；
12.其中，所述数据转储模块通过所述数据中转端与若干台所述工程机械之间形成订阅关系。
13.可选地，数据中转端获取每台工程机械以自身设备序列号为主题上传的工况数据帧之前，还包括：
14.工程机械的设备端获取每台工程机械的运行数据，并依据所述运行数据生成对应的工况数据帧；
15.所述工程机械的设备端将所述工况数据帧打包为json格式，并以每台工程机械的
设备序列号为主题上传至所述数据中转端；
16.其中，所述运行数据为每台工程机械的运行参数，所述工况数据帧为工程机械的运行状态的表征量。
17.可选地，所述数据中转端依据预设的订阅关系将所述工况数据下发给数据转储模块，以使所述数据转储模块将所述工况数据转换格式后写入时序数据库包括：
18.在数据转储模块启动时，所述数据中转端依据预设的订阅关系将对应的工程机械的工况数据帧下发至所述数据转储模块，并使得所述数据转储模块将所述工况数据帧转换为时序数据写入时序数据库；
19.可选地，所述时序数据库包括：influxdb和iotdb。
20.可选地，所述数据中转端为基于mqtt协议构建的mqtt-broker。
21.第二方面，本发明实施例提供一种工程机械工况数据的传输与存储设备，包括：
22.数据中转端，用于获取每台工程机械以自身设备序列号为主题上传的工况数据，并依据预设的订阅关系将所述工况数据下发给数据转储模块；
23.数据转储模块，用于从所述数据中转端订阅对应的工程机械的所述工况数据，将所述工况数据转化成时序数据并写入时序数据库；
24.时序数据库，用于存储处于时序形式的工况数据；
25.其中，所述数据转储模块通过所述数据中转端与若干台所述工程机械之间形成订阅关系。
26.可选地，所述时序数据库包括：influxdb和iotdb。
27.可选地，所述数据中转端为基于mqtt协议构建的mqtt-broker。
28.(三)有益效果
29.本发明的有益效果是：本发明通过mqtt协议进行数据传输，传输内容完全由主机端的控制器或者显示器自行定义，通过json格式的“键值对”包含数据名称，不需要预先规定数据传输格式，便于系统灵活扩展和升级；同时，本发明使用专用的时序数据库(influxdb、iotdb等)取代关系型数据库来保存工况数据；再者，通过数据转储模块将工程机械的工况数据以数据序列的格式自动写入时序数据库，无需事先定义数据表和数据格式，大大增加便利性。
附图说明
30.图1为本发明提供的一种工程机械工况数据的传输与存储方法所依托的具体结构示意图；
31.图2为本发明提供的一种工程机械工况数据的传输与存储方法的流程示意图；
32.图3为本发明提供的一种工程机械工况数据的传输与存储方法的步骤s之前的具体流程示意图。
具体实施方式
33.为了更好地解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
34.如图1和图2所示，本发明实施例提出的一种工程机械工况数据的传输与存储方
法，包括：数据中转端获取每台工程机械以自身设备序列号为主题上传的工况数据；数据中转端依据预设的订阅关系将工况数据下发给数据转储模块，以使数据转储模块将工况数据转存到时序数据库；其中，数据转储模块通过数据中转端与若干台工程机械之间形成订阅关系。
35.本发明通过mqtt协议进行数据传输，传输内容完全由主机端的控制器或者显示器自行定义，通过json格式的“键值对”包含数据名称，不需要预先规定数据传输格式，便于系统灵活扩展和升级；同时，本发明使用专用的时序数据库(influxdb、iotdb等)取代关系型数据库来保存工况数据；再者，通过数据转储模块将工程机械的工况数据以数据序列的格式自动写入时序数据库，无需事先定义数据表和数据格式，大大增加便利性。
36.为了更好地理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
37.具体地，本发明提供一种工程机械工况数据的传输与存储方法，包括：
38.s1、数据中转端获取每台工程机械以自身设备序列号为主题(topic)上传的工况数据。
39.如图3所示，步骤s1之前，还包括：
40.s11、工程机械的设备端获取每台工程机械的运行数据，并依据运行数据生成对应的工况数据帧。
41.s12、工程机械的设备端将工况数据帧打包为json格式，并以每台工程机械的设备序列号为主题上传至数据中转端。
42.其中，运行数据为每台工程机械的运行参数，工况数据帧为工程机械的运行状态的表征量。
43.在上述步骤中，工程机械设备端的控制器或者显示器通过传感器采集压力、温度、转速等直接运行数据，并根据运行情况自行计算产生类似工作效率、累计工作量等工况数据；根据系统需求，选择需要送到云端的数据，并打包为json格式。值得一提的是，工程机械设备端的数据发送装置，一般为内置4g或5g通信模块的控制器或显示器，也可能是没有内置通信模块的控制器或显示器，通过can总线或以太网接口连接一个通信网关设备，从而具备向云端发送数据的能力。
44.s2、数据中转端依据预设的订阅关系将工况数据下发给数据转储模块，以使数据转储模块将工况数据转存到时序数据库。
45.进一步地，步骤s2包括：在数据转储模块启动时，数据中转端依据预设的订阅关系将对应的工程机械的工况数据帧下发至数据转储模块，并使得数据转储模块将工况数据帧转换为时序数据写入时序数据库。
46.较佳地，数据转储模块包括：可实现转存功能的软件和工具，转储模块在云服务器中运行，基于go语言实现(也可选c/c++,java等)，主要工作如下：
47.(1)根据设备的序列号，向mqtt_broker订阅mqtt数据帧。
48.(2)mqtt_broker收到符合要求的数据报文后，会主动向数据转储模块发送。
49.(3)数据转储模块收到数据报文后，根据json自定义的数据标识，构造时序数据库
sql语句，将数据写入时序数据库。
50.进一步地，时序数据库包括：influxdb和iotdb。
51.进一步地，数据中转端为基于mqtt协议构建的mqtt-broker。
52.另外，本发明实施例还提供工程机械工况数据的传输与存储设备，包括：
53.数据中转端，用于获取每台工程机械以自身设备序列号为主题上传的工况数据，并依据预设的订阅关系将工况数据下发给数据转储模块；
54.数据转储模块，用于从数据中转端订阅对应的工程机械的工况数据，将工况数据转化成时序数据并写入时序数据库；
55.时序数据库，用于存储处于时序形式的工况数据；
56.其中，数据转储模块通过数据中转端与若干台工程机械之间形成订阅关系。
57.综上所述，本发明提供一种工程机械工况数据的传输与存储方法和设备，其整体实现流程包括：首先，在工程机械设备端，控制器或者显示器通过传感器采集压力、温度、转速等直接运行数据，并根据运行情况自行计算产生类似工作效率、累计工作量等工况数据；其次，根据系统需求，选择需要送到云端的数据，并打包为json格式；接着，以设备自身的序列号作为topic，将数据发送到mqtt-broker；继而，数据转储软件在启动时，向mqtt-broker订阅所有数据帧；然后，mqtt-broker收到设备端发送上来的数据帧后，会根据订阅情况自动转发数据帧给数据转储软件；最后，数据转储软件将json格式的数据帧转换成时序数据库的格式，通过时序数据库的api接口将数据写入时序数据库。
58.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全模块实施例，或结合模块和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
59.本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
60.应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
61.此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
62.尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
63.显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。