多源异构数据实时采集、存储与分析方法及系统与流程

本发明涉及数控机床数据采集，尤其涉及一种多源异构数据实时采集、存储与分析方法及系统。

背景技术：

1、随着制造业的发展，数控机床在零件加工领域扮演着至关重要的角色。然而，数控机床的复杂性和高度自动化特性导致其产生了多源异构数据，包括机床状态数据、加工数据、传感器数据等，这些数据对于机床的运行状态监测、生产优化和故障诊断具有重要意义。

2、由于数控机床品牌繁多，操作系统型号较多，有不同时间的生产设备，必然存在不同时期电控系统、数据接口协议、通讯速率等，数据结构复杂等问题。数据源的异构性和数据量的爆发性增长导致了对高速异源数据采集技术的需求。从不同类型的数据源(如传感器、日志、数据库等)采集大量的数据，并在实时或准实时的情况下进行处理和分析，对于实时监控、决策支持等应用至关重要。

3、尽管目前存在多种方案用于数控机床数据采集和存储，但每种方案都有其存在的问题。以下是一些现存的常见方案以及存在的问题：

4、方案1.基于本地数据库的方案：

5、方案描述：在数控机床内部或附近设置本地数据库，实时将数据存储在本地。

6、存在的问题：数据存储有限，无法应对大规模数据量的需求；本地存储不便于数据的共享和分析；需要人工维护和备份数据库。

7、方案2.云端数据存储方案：

8、方案描述：将数控机床数据上传至云端，存储在云服务器上。

9、存在的问题：数据隐私和安全性问题，可能涉及机密数据；上传数据需要考虑带宽和稳定性，特别是在网络状况不佳的地区。

10、方案3.物联网平台方案：

11、方案描述：使用物联网平台进行数据采集、传输和存储，支持对接不同设备和传感器。

12、存在的问题：物联网平台通常需要特定的硬件设备和网络接入，成本较高；不同厂家的物联网平台可能不兼容，导致数据孤岛问题。

13、方案4.边缘计算方案：

14、方案描述：在数控机床附近设置边缘计算设备，实时处理和存储数据。

15、存在的问题：设备的可靠性和稳定性是关键，需要防止设备故障导致数据丢失；边缘计算设备的成本和维护需要考虑。

16、方案5.分布式存储方案：

17、方案描述：使用分布式存储技术，将数据分散存储在多个节点上，提高数据的可靠性和可扩展性。

18、存在的问题：需要处理数据的一致性、备份和容灾问题；系统复杂性和维护成本可能较高。

19、方案6.实时处理方案：

20、方案描述：对数据进行实时处理，提取关键信息并存储分析结果。

21、存在的问题：实时处理需要处理数据流，并保证处理的准确性和效率；可能面临处理速度与数据量的平衡问题。

技术实现思路

1、为了解决上述问题，本发明提出一种多源异构数据实时采集、存储与分析方法及系统，可突破机床类型、数据结构的限制，支持各类控制系统和数字化仪表，实现在高速环境下从多个异构数据源中采集数据，并将数据进行集中处理和高效存储，从而实现实时获取、存储、分析和访问数控机床运行过程中产生的多种类型数据。

2、本发明采用的技术方案如下：

3、一种多源异构数据实时采集、存储与分析方法，包括以下步骤：

4、s1.数据采集节点配置：基于数控机床配置多种数据采集设备和数据采集中间件，实时采集不同类型的数据流；

5、s2.数据缓冲与压缩：将采集的数据流通过缓冲区进行临时存储，并采用算数编码方法进行无损压缩；

6、s3.数据传输与分布式存储：将压缩后的数据流传输至若干数据存储节点，所述数据存储节点以分布式方式部署；

7、s4.数据实时处理：基于数据处理引擎和算数编码方法相应的解压缩方法对数据存储节点的数据进行解压，解压后进行流式处理和分析。

8、进一步地，步骤s1中，所述数据采集中间件配置有需要采集的数据源和地址并进行动态协议适配，同时采用并行异步采集策略进行采集，即数据采集中间件同时连接多个数据源并以多线程异步方式并行采集数据流。

9、进一步地，所述数据采集中间件实现动态协议适配的方法包括以下步骤：

10、s101.协议分析和识别：分析和识别待适配的数控机床通信协议及相关信息，所述相关信息包括协议的数据格式、通信方式和指令集；

11、s102.建立通用数据结构：设置一个能够适应不同协议的数据格式的通用数据结构，用于在内部表示和存储数控机床的数据；

12、s103.协议解析：针对每类通信协议，设置相应的协议解析器将该类通信协议的数据转换成通用数据结构的数据；

13、s104.协议生成：针对每类通信协议，设置相应的协议生成器将通用数据结构的数据转换成该类通信协议的数据；

14、s105.动态选择协议：在与数控机床进行通信之前，根据实际情况动态选择相应的通信协议；

15、s106.数据转换和适配：当需要从不同协议的数控机床中获取数据时，先使用相应的协议解析器将数据转换为通用数据结构，再将通用数据结构的数据用协议生成器转换成目标协议的数据格式；

16、s107.测试和验证：在协议适配完成后，对协议适配后的通信进行测试和验证，使数据正确传输和转换。

17、进一步地，步骤s2中，所述采用算数编码方法进行无损压缩包括以下步骤：

18、s201.概率建模：对输入数据进行统计分析，计算每个字符的概率分布；

19、s202.累积概率计算：基于所述概率分布，计算每个字符的累积概率，所述累积概率指在某个字符之前所有字符出现的概率之和；

20、s203.区间划分：将[0,1)的区间划分为若干子区间，每个子区间对应一个字符，其长度与累积概率对应；

21、s204.编码：从第一个输入字符开始，根据当前字符的累积概率区间，选择一个子区间进行编码；编码后，缩小区间范围以适应下一个字符；

22、s205.压缩：编码完所有输入字符后，将最后一个编码得到的二进制数输出为压缩数据。

23、进一步地，步骤s4中，所述对数据存储节点的数据进行解压包括以下步骤：

24、s401.概率建模：获取与压缩时相同的概率分布，用于还原原始数据；

25、s402.初始化：从压缩得到的二进制数据中提取出一段二进制数作为初始状态，用于确定初始的累积概率区间；

26、s403.解码：从初始化的二进制数开始，使用相同的概率模型逆向操作，逐步解码出原始数据中的字符；

27、s404.循环解码：重复步骤s403，直到解码出所有的原始数据字符；

28、s405.输出原始数据：将解码得到的字符序列作为原始数据并输出。

29、进一步地，步骤s403包括：使用初始累积概率区间，找到对应的字符；将找到的字符添加到解压缩的输出中；根据解码得到的字符，更新累积概率区间，用于解码下一个字符。

30、进一步地，步骤s4之后还包括以下步骤：

31、可视化呈现：将数据处理引擎处理和分析后的数据通过可视化界面以多种形式进行呈现。

32、进一步地，步骤s4之后还包括以下步骤：

33、远程访问支持：提供用户界面，使用户能够实时访问和查询采集的数据，进行监控和分析；并提供数据远程访问接口，使用户能够通过安全连接远程访问数据和分析结果。

34、进一步地，步骤s4之后还包括以下步骤：

35、数据应用与优化：根据数据分析结果，进行相关决策，包括生产优化和维护调度。

36、一种多源异构数据实时采集、存储与分析系统，包括：

37、数据采集节点，被配置为实时采集不同类型数据流，所述数据采集节点包括多种数据采集设备和数据采集中间件，配置于数控机床上；

38、数据缓冲与压缩模块，被配置为将采集的数据流通过缓冲区进行临时存储，并采用算数编码方法进行无损压缩；

39、数据存储节点，被配置为接收压缩后的数据流，所述数据存储节点以分布式方式部署；

40、数据实时处理模块，被配置为基于数据处理引擎和算数编码方法相应的解压缩方法对数据存储节点的数据进行解压，解压后进行流式处理和分析。

41、本发明的有益效果在于：

42、1.多源数据采集：通过多种方式(例如网络连接、传感器等)，可实时采集数控机床运行过程中产生的各种数据(例如运行状态数据、加工数据、能耗数据等)。

43、2.分布式数据存储：采用分布式存储技术，将采集到的数据存储在多个节点上，确保数据的高可靠性和可扩展性。

44、3.实时数据分析：引入实时数据处理引擎，对采集的数据进行实时处理和分析，提取有价值的信息(例如异常检测、性能评估等)。

45、4.数据访问与可视化：构建用户友好的界面，使操作人员可以通过图表、报表等方式实时访问和可视化分析结果，从而更好地了解机床运行状态。

46、5.本发明可突破机床类型、数据结构的限制，支持各类控制系统和数字化仪表，实现在高速环境下从多个异构数据源中采集数据，并将数据进行集中处理和高效存储，从而实现实时获取、存储、分析和访问数控机床运行过程中产生的多种类型数据。

47、6.本发明的多源异构数据实时采集、存储与分析方法及系统在数控机床领域具有重要应用价值，可以实现对数控机床运行过程的全面监测和优化，提升制造业生产水平。同时，该技术也为其他自动化设备领域的数据处理提供了有益的参考。

48、7.本发明的高速异源数据采集中间件关键技术为现代信息系统中高速数据采集提供了创新解决方案。通过并行异步采集、动态适配接口、数据缓冲与压缩等关键技术，实现了高效、可靠的数据采集和处理，为实时监控、决策支持等应用提供了有力支持。通过设计这样一款数据采集中间件，可以有效地满足数控机床的实时监控和数据分析需求，提升生产效率和设备可靠性。