快速存储机械设备大数据的方法及机械设备自动化系统与流程

本技术涉及自动化机械设备，具体涉及快速存储机械设备大数据的方法。

背景技术：

1、随着自动化码头的陆续投入使用，自动化控制系统逐渐成为港口工业的重要技术。自动化控制系统不仅保障了司机在远控室内安全、舒适地操控自动化设备，降低了工作强度，改善了工作环境，而且提高了港口生产作业效率，降低了运营成本。

2、自动化码头的基础是越来越多的智能机械设备应用到码头，大量数据在机械设备的运行中产生，而数据丢失、数据高峰、高并发、存储慢等问题也随之而来。因此，如何为自动化码头提供高可靠的数据存储技术，保障自动化码头的正常运营，同时保护数据资产价值成为一项必须且十分重要的基础技术。

技术实现思路

1、有鉴于此，本技术提供了一种快速存储机械设备大数据的方法，能够为自动化码头提供高可靠的数据存储技术。

2、第一方面，本技术提供的一种快速存储机械设备大数据的方法，包括：获取机械设备的工作数据；建立消息队列并将所述工作数据依次添加到所述消息队列中；根据所述工作数据的数据量，确定存储引擎采用顺序策略或线程策略；若采用所述顺序策略，则根据所述工作数据添加到所述消息队列的添加顺序，单线程地从所述消息队列中依次提取所述工作数据；若采用所述线程策略，则多线程地从所述消息队列中提取所述工作数据；以及对从所述消息队列中提取出来的所述工作数据进行数据清洗，将清洗得到的正常数据存储到数据库中。

3、本方面在使用时，能够根据数据量选择合适的线程数量来从消息队列中提取工作数据，从而实现对算力资源的有效把控。在低数据量时采用单线程，避免算力浪费；在数据量较大的数据高峰时采用多线程，保证数据处理速度。提取出工作数据后，再对工作数据进行数据清洗，以保证存入数据库的是正常数据。

4、结合第一方面，在一种可能的实现方式中，所述对从所述消息队列中提取出来的所述工作数据进行数据清洗包括：筛选所述工作数据得到异常数据；以及将所述异常数据存储到所述数据库中或异常日志中；其中，所述异常数据包括错误数据、未知数据、过期数据、重复数据、乱序数据以及冗余数据。

5、结合第一方面，在一种可能的实现方式中，所述筛选所述工作数据得到异常数据包括：对所述工作数据进行解析报文；若解析失败则判定所述工作数据为所述错误数据；若解析成功则判断所述工作数据是否属于预先设定的采集需求；若不属于所述采集需求则判定所述工作数据为所述未知数据；若属于所述采集需求，则判断从所述机械设备中采集所述工作数据的采集时刻是否处于预设时间范围内；若不处于所述预设时间范围内，则判定所述工作数据为所述过期数据；若处于所述预设时间范围内，且当前策略为所述顺序策略，则判断当前所述工作数据与上个所述工作数据之间是否符合添加顺序；若不符合所述添加顺序则判定为所述工作数据为所述乱序数据；若符合所述添加顺序则判断当前所述工作数据与上个所述工作数据是否相同；若相同则判定为冗余数据；以及若不相同则判定所述工作数据为所述正常数据。

6、结合第一方面，在一种可能的实现方式中，还包括：判断所述工作数据是否违反唯一性约束；若违反唯一性约束则判定所述工作数据为重复数据；若不违反唯一性约束则判断所述工作数据是否存在预设错误；以及若存在预设错误则判定所述工作数据为错误数据。

7、结合第一方面，在一种可能的实现方式中，还包括：根据输入信息，确定所述存储引擎采用highest安全策略、normal安全策略或lowest安全策略。

8、结合第一方面，在一种可能的实现方式中，所述方法还包括：若采用所述线程策略，则统计线程数量；获取从所述消息队列中提取的所述工作数据的报文数；获取所述正常数据的数据量；以及获取所述异常数据的数据量。

9、结合第一方面，在一种可能的实现方式中，在从所述消息队列中依次提取所述工作数据的过程中，所述方法包括：若所述消息队列中的所述工作数据为非组播数据，则设定从所述消息队列中提取所述工作数据的数据量上限；根据所述数据量上限，从所述消息队列中提取所述工作数据；若所述消息队列中的所述工作数据为组播数据，则将所述组播数据拆分为非组播数据，并根据所述数据量上限提取所述工作数据。

10、结合第一方面，在一种可能的实现方式中，在从所述消息队列中依次提取所述工作数据的过程中，所述方法包括：设定从所述消息队列中提取所述工作数据的超时时限；若所述消息队列中没有数据，且提取所述工作数据的时间未超出所述超时时限，则等待所述工作数据添加到所述消息队列中；或者，若所述消息队列中没有数据，且提取所述工作数据的时间超出了所述取数超时时限，则停止从所述消息队列中提取所述工作数据。

11、结合第一方面，在一种可能的实现方式中，在从所述消息队列中依次提取所述工作数据的过程中，所述方法包括：判断所述消息队列和所述数据库是否在线以及是否宕机；所述消息队列和所述数据库首次宕机，则将已提取的所述工作数据进行数据清洗，保存从所述消息队列中提取所述工作数据的断点数据，并切换为所述线程策略；以及若所述消息队列和所述数据库在宕机后首次在线，则根据所述断点数据恢复执行从所述消息队列中提取所述工作数据，并且所述存储引擎切换为所述线程策略。

12、结合第一方面，在一种可能的实现方式中，还包括：控制所述存储引擎分别和所述消息队列及所述数据库，定时地相互进行断线重连；若所述存储引擎和所述消息队列断线，则控制所述存储引擎和所述消息队列立即进行断线重连；若所述存储引擎和所述数据库断线，则控制所述存储引擎和所述数据库立即进行断线重连；以及若断线重连成功，则所述存储引擎切换为所述线程策略。

13、结合第一方面，在一种可能的实现方式中，还包括：根据输入信息，确定所述存储引擎采用立即停止策略或延迟停止策略；若当前为所述立即停止策略，则停止运行工作数据的提取工作时，终止并销毁线程；或者若当前为所述延迟停止策略，则停止运行工作数据的提取工作时，将已提取的所述工作数据进行数据清洗；以及在数据清洗完成后终止并销毁线程。

14、第二方面，本技术提供一种机械设备自动化系统，包括：数据获取模块，配置为：获取机械设备的工作数据；消息队列建立模块，与所述数据获取模块通讯连接，所述消息队列建立模块配置为：建立消息队列并将所述工作数据依次添加到所述消息队列中；策略确定模块，与所述数据获取模块通讯连接，所述策略确定模块配置为：根据所述工作数据的数据量，确定存储引擎采用顺序策略或线程策略；数据存取模块，与所述消息队列建立模块和所述策略确定模块分别通讯连接，所述数据存取模块配置为：若采用所述顺序策略，则根据所述工作数据添加到所述消息队列的添加顺序，单线程地从所述消息队列中依次提取所述工作数据；若采用所述线程策略，则多线程地从所述消息队列中提取所述工作数据；以及数据清洗模块，与所述数据存取模块通讯连接，所述数据清洗模块配置为：对从所述消息队列中提取出来的所述工作数据进行数据清洗，将清洗得到的正常数据存储到数据库中。

15、第二方面是第一方面对应的装置，第二方面的技术效果在此不再赘述。