载人设备数据采集系统及数据格式化存储方法与流程

本发明涉及载人设备数据处理领域，特别涉及一种载人设备数据采集系统及数据格式化存储方法。

背景技术：

对载人设备的运行状态需要进行监测，且对其运行数据需要采集与存储，但现有的各种载人设备会采用不同厂家的各种设备，如传感器、PLC等，这样存在若采用载人设备的运行状态的数据，则要采集来自不同设备、不同传感器的数据，且它们的采集频率及数据记录格式也不尽相同。因此，对目前这种采用不同厂家各种设备构成的载人设备，在采集频率以及数据记录格式都不尽相同的情况下，如何准确采集与存储数据，以便于满足后续数据分析要求是需要解决的问题。

技术实现要素：

为了解决现有技术存在的问题，本发明实施例提供了一种载人设备数据采集系统及数据格式化存储方法，能解决目前采用不同厂家各种设备构成的载人设备，在采集频率以及数据记录格式都不尽相同的情况，不便于数据采集与存储的问题。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种载人设备数据采集系统，包括：

数据采集单元、数据处理单元、数据存储单元和配置单元；其中，

所述数据采集单元，分别与所述配置单元和数据采集设备通信连接，能接收所述配置单元从预先给定的配置文件中读取数据采集的配置数据，并根据所述数据采集的配置数据获取所述数据采集设备采集的载人设备的原始数据；

所述数据处理单元，与所述数据采集单元通信连接，能对所述数据采集单元获取的原始数据进行对应格式化处理；

所述数据存储单元，与所述数据处理单元通信连接，能同步存储所述数据处理单元对应格式化处理后的格式化数据；

所述配置单元，分别与所述数据采集单元、所述数据处理单元和所述数据存储单元通信连接，能从预先给定的配置文件中读取数据采集配置数据，并将相应的配置数据发送给所述数据采集单元、所述数据处理单元和所述数据存储单元。

本发明实施方式还提供一种载人设备数据格式化存储方法，采用本发明所述的数据采集系统，包括以下步骤：

步骤A1、所述数据采集单元根据载人设备数据采集的需求，能接收所述配置单元从预先给定的配置文件中读取所述数据采集系统的数据采集的配置数据；

步骤A2、所述数据采集单元根据所述数据采集的配置数据，获取数据采集设备采集的载人设备的原始数据；

步骤A3、所述数据处理单元对所述数据采集单元获取的原始数据进行对应格式化处理；

步骤A4、所述数据存储单元同步存储所述数据处理单元对应格式化处理后的格式化数据。

由上述本发明提供的技术方案可以看出，本发明实施例提供的载人设备数据采集系统及数据格式化存储方法，其有益效果为：

通过数据采集单元和数据处理单元能实时采集并处理载人设备的运行数据，再通过数据存储单元实现对载人设备运行数据的格式化存储，能够统一载人设备运行数据的存储格式，为载人设备的数据分析、故障检测与诊断提供完整规范的格式化数据。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简要说明。

图1为本发明实施例提供的载人设备数据采集系统的结构示意图；

图2为本发明实施例提供的载人设备数据采集系统的详细构成示意图；

图3为本发明实施例提供的载人设备数据格式化存储方法的步骤流程图；

图4为本发明实施例提供的载人设备数据格式化存储方法的数据处理流程图；

图5为本发明实施例提供的载人设备数据格式化存储方法的数据存储流程图；

图中各标号为：1-载人设备；2-硬件机构；21-行驶设备；22-运动平台；23-操作按钮开关；24-安全设备；3-检测装置；31-传感器；32-检测开关；33-编码器；4-数据采集设备；41-采集接口模块；42-数据传输模块；5-数据采集系统；51-数据采集单元；511-协议适配模块；512-数据回调模块；513-数据缓存模块；514-数据接口模块；52-数据处理单元；521-数据切分模块；522-数据清理模块；523-数据筛选模块；524-数据聚合模块；525-数据变换模块；526-数据归并模块；527-数据格式化处理模块；53-数据存储单元；531-数据分类模块；532-数据存储模块；54-配置单元；541-系统参数配置模块；542-协议参数配置模块；543-数据采集项配置模块；544-存储参数配置模块；6-数据库。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

如图1至图2所示，本发明实施例提供一种载人设备数据采集系统，该系统能实现对载人设备运行数据的采集、处理与格式化存储，包括：

数据采集单元51、数据处理单元52、数据存储单元53和配置单元54；其中，

所述数据采集单元51，分别与所述配置单元54和数据采集设备4通信连接，能接收所述配置单元54从预先给定的配置文件中读取数据采集的配置数据，并根据所述数据采集的配置数据获取所述数据采集设备4采集的载人设备的原始数据；

所述数据处理单元52，与所述数据采集单元51通信连接，能对所述数据采集单元51获取的原始数据进行对应格式化处理；

所述数据存储单元53，与所述数据处理单元52通信连接，能同步存储所述数据处理单元52对应格式化处理后的格式化数据；

所述配置单元54，分别与所述数据采集单元51、所述数据处理单元52和所述数据存储单元53通信连接，能从预先给定的配置文件中读取数据采集配置数据，并将相应的配置数据发送给所述数据采集单元51、所述数据处理单元52和所述数据存储单元53。

上述数据采集系统中，配置文件可存储在该数据采集系统指定的目录下或该采集系统默认可读取到的文件目录下。

参见图2，上述系统中，所述数据采集单元51包括：

协议适配模块511、数据回调模块512、数据缓存模块513和数据接口模块514；其中，

所述协议适配模块511，分别与所述配置单元54和所述数据采集设备4通信连接，该协议适配模块511内设采集数据的多种通信协议，能接收所述配置单元54从预先给定的配置文件中读取数据采集的配置数据，并根据所述数据采集的配置数据通过对应的通信协议从所述数据采集设备4获取载人设备的原始数据，并将所获取的原始数据传输给所述数据回调模块512；具体的，根据所述数据采集的配置数据通过对应的通信协议从所述数据采集设备4的数据传输单元42获取载人设备的原始数据；

所述数据回调模块512，与所述协议适配模块511通信连接，能接收所述协议适配模块511传输的原始数据，并存储至所述数据缓存模块513；

所述数据缓存模块513，与所述数据回调模块512连接，用于临时缓存所述数据回调模块512保存的原始数据；

所述数据接口模块514，分别与所述数据缓存模块513和所述数据处理单元52通信连接，能从所述数据缓存模块513读取原始数据并发送给所述数据处理单元52。

上述系统中，所述协议适配模块511内设采集数据的多种通信协议包括：OPC协议、ADS协议、RS232协议、Fins协议和Modbus协议中的至少两种。具体的,该协议适配模块511能支持OPC、ADS、RS232、Fins、Modbus等多种协议的数据采集，从所述数据采集设备4的数据传输模块42获取数据，并将所获取的数据传输给数据回调模块512；

参见图2，上述系统中，所述数据处理单元52包括：

数据切分模块521、数据清理模块522、数据筛选模块523、数据聚合模块524、数据变换模块525、数据归并模块526和数据格式化处理模块527；其中，

所述数据切分模块521，与所述数据采集单元51通信连接，能获取所述数据采集单元51获取的原始数据，并根据所述原始数据中的设备场次信号的开始和结束时间点对载人设备每场运行的原始数据进行切分；具体的，该数据切分模块521与数据采集单元51的数据接口模块514通信连接，从所述数据接口模块514获取原始数据；

所述数据清理模块522，与所述数据切分模块521通信连接，能剔除或纠正所述数据切分模块521处理后的每段切分数据中的异常值或噪点值；

所述数据筛选模块523，与所述数据清理模块522通信连接，能从所述数据清理模块522清理后的数据中，选取完整的数据记录作为样本，对采样频率不一致的数据记录的数据进行再采样；

所述数据聚合模块524，与所述数据筛选模块523通信连接，能对所述数据筛选模块523筛选后样本中的数据按1倍、10倍、100倍的倍率聚合成三张数据表；

所述数据变换模块525，与所述数据聚合模块524通信连接，对所述数据聚合模块524处理后得到三张数据表进行差分、累加变换以及数据转换；

所述数据归并模块526，与所述数据变换模块525通信连接，将所述数据变换模块525处理后选定的样本数据中的数据按设备的场次和编号进行数据归并，归并到一张数据表中；

所述数据格式化处理模块527，与所述数据归并模块526通信连接，对所述数据归并模块526处理后得到的数据表进行对应的格式化处理，处理后使数据表成为一张带有时间信息及各种运行数据参数的时序表。

参见图2，上述系统中，所述数据存储单元53包括：

数据分类模块531和数据存储模块532；其中，

所述数据分类模块531，与所述数据处理单元52通信连接，能接收所述数据处理单元52处理后的格式化数据，并按载人设备的设备场次、故障报警、设备运行、设备状态、上位机指令对所述格式化数据进行数据分类；具体的，该数据分类模块531与所述数据处理单元52的数据格式化处理模块527通信连接，接收所述数据格式化处理模块527处理后的格式化数据；

所述数据存储模块532，与所述数据分类模块531通信连接，根据所述数据分类模块531已分类的数据在存储用的数据库6中创建对应的数据表，并基于时间轴对齐已完成格式化及分类的数据后向对应的数据表中进行同步存储。

参见图2，上述系统中，所述配置单元54包括：

系统参数配置模块541、协议参数配置模块542、数据采集项配置模块543和存储参数配置模块544；其中，

所述系统参数配置模块541，分别与所述数据采集单元51、数据处理单元52和数据存储单元53通信连接，能从预先给定的配置文件读取载人设备数据采集系统所需要的系统参数配置数据，并发送给所述数据采集单元51、数据处理单元52和数据存储单元53；其中，所述系统参数配置模块541，与所述数据处理单元52通信连接，能从预先给定的配置文件读取载人设备数据采集系统中数据处理所需的模型和算法参数，并发送给所述数据处理单元52；

所述协议参数配置模块542，与所述数据采集单元51通信连接，能从预先给定的配置文件读取载人设备数据采集系统所需要的协议参数配置数据，并发送给所述数据采集单元51；

所述数据采集项配置模块543，与所述数据采集单元51通信连接，能从预先给定的配置文件读取载人设备数据采集系统所需要的数据采集项配置数据，并发送给所述数据采集单元51；

所述存储参数配置模块544，与所述数据存储单元53通信连接，能从预先给定的配置文件读取载人设备数据采集系统所需要的存储参数配置数据，并发送给所述数据存储单元53。

如图3所示,本发明实施例还提供一种载人设备数据格式化存储方法，采用上述的数据采集系统，包括以下步骤：

步骤A1、所述数据采集单元51根据载人设备数据采集的需求，能接收所述配置单元54从预先给定的配置文件中读取所述数据采集系统5的数据采集的配置数据；

步骤A2、所述数据采集单元51根据所述数据采集配置数据，获取数据采集设备4采集的载人设备的原始数据；

步骤A3、所述数据处理单元52对所述数据采集单元51获取的原始数据进行对应格式化处理；

步骤A4、所述数据存储单元53同步存储所述数据处理单元52对应格式化处理后的格式化数据。

上述方法的步骤A2中，获取数据采集设备4采集的载人设备的原始数据包括但不限于下列参数：

日期、时间、运行场次编号、载人设备编号、载人设备类型、故障类型、故障描述、运行数据(位置、速度、加速度、电流、电压、压力)、环境数据(温度、湿度、风速)、载人设备状态数据(开始运行、结束运行、设备复位、设备急停)、上位机指令数据。实际上，这些参数可以根据载人设备的不同，以及监控数据需求的不同，进行选择与调整。

如图4所示,上述方法的步骤A3中，所述数据处理单元52对所述数据采集单元51获取的原始数据进行对应格式化处理包括以下步骤：

步骤B1、根据获取的原始数据中的载人设备的场次信号开始和结束时间点对载人设备的原始数据按场次进行切分；

步骤B2、剔除或纠正所述步骤B1切分后得到的切分数据中的异常值或噪点值；

步骤B3、从所述步骤B2清理后的数据中，选取完整的数据记录作为样本，对采样频率不一致的数据记录的数据进行再采样；

步骤B4、对所述步骤B3筛选后样本中的数据按1倍、10倍、100倍的倍率聚合成三张数据表；

步骤B5、对所述步骤B4合成的不同倍率的三张数据表分别进行差分处理，对差分的值按正值和负值分别累加求和处理；

步骤B6、在三张数据表分别增加加速度字段，并根据数据记录的位移和时间数据求出加速度；

步骤B7、将所述步骤B5选定的样本数据中所有载人设备的场次、不同编号载人设备的数据归并到一张数据表中；

步骤B8、对数据表进行对应的格式化处理，处理后使数据表成为一张带有时间信息及各种运行数据参数的时序表。

如图5所示，上述方法的步骤A4中，所述数据存储单元53同步存储所述数据处理单元52对应格式化处理后的格式化数据包括以下步骤：

步骤C1、根据获取的原始数据，按载人设备的设备场次数据、故障报警数据、设备运行数据、设备状态数据、上位机指令数据进行分类；

步骤C2、对已经按设备场次数据、故障报警数据、设备运行数据、设备状态数据、上位机指令数据进行分类的所有数据，在所述数据库中创建对应的数据表，并基于时间轴对齐已完成格式化及分类的数据后向对应的数据表中进行同步存储；

所述设备场次数据包括的相关优选的数据，但不限于下列数据，为：

运行日期(Date)、运行场次编号(SessionID)、开始时间(StartTime)、结束时间(EndTime)、故障数(FaultCount)、载人设备编号(MannedRidesID)、载人设备类型(MannedRidesType)；

故障报警数据包括的相关优选的数据，但不限于下列数据，为：

运行日期(Date)、故障发生时间(FaultOccurredTime)、运行场次编号(SessionID)、故障设备编号(FaultMannedRidesID)、故障类型(FaultType)、故障描述(FaultDescription)；

设备运行数据包括的相关优选的数据，但不限于下列数据，为：

运行日期(Date)、数据采集时间(CollectTime)、所述数据采集系统的数据采集配置文件中配置的所有运行数据采集项(Item1、Item2、……、ItemN)；

设备状态数据包括的相关优选的数据，但不限于下列数据，为：

运行日期(Date)、开始运行(StartRun)、结束运行(StopRun)、设备复位(ResetDevice)、设备急停(EmergencyStop)；

上位机指令数据包括的相关优选的数据，但不限于下列数据，为：

运行日期(Date)、指令时间(CommandTime)、所述数据采集系统的数据采集配置文件中配置的所有上位机指令数据采集项(CommandItem1、CommandItem2、……、CommandItemN)。

综上所述，本发明实施例提供的载人设备数据采集系统及数据格式化存储方法，能实时采集并处理载人设备的运行数据，并实现对载人设备运行数据的格式化存储，能够统一载人设备运行数据的存储格式，为载人设备的数据分析、故障检测与诊断提供完整规范的格式化数据，很好地解决了不同设备、不同传感器的数据记录格式不统一的问题。

本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。