一种应用在自动化码头的高并发实时数据采集系统的制作方法

本发明涉及一种应用在港口工业级高并发实时数据采集器，具体地说是一种应用在自动化码头的高并发实时数据采集系统。

背景技术：

1、在自动化港口生产领域中，数据采集非常关键。港口利用自动化技术来提高装卸货物的效率和安全性，通常包括装卸机、堆取料机、流动机械、输送机械等设备，这些设备需要大量实时准确的数据协同作业，通过收集、监测和记录港口生产过程中的设备运行数据，可以实时监测生产运行情况，并能及时发现问题并调整生产作业过程，避免生产中断。

2、中国专利cn109507922a(公开日：2019年3月22日)公开了一种基于智能物联网的港口数据采集系统，包括多个业务系统、后台管理系统和多个物联网设备，多个所述物联网设备分别与多个所述业务系统网络连接，所述多个物联网设备与所述后台管理系统网络连接；所述物联网设备用于采集港口数据，并将所述港口数据发送到业务系统和后台管理系统；所述业务系统用于接收所述物联网设备发送的港口数据；所述后台管理系统用于向所述物联网设备发送采集规则、接收所述物联网发送的港口数据和将接收的港口数据储存在所述后台管理系统内。

3、中国专利cn116957366a(公开日：2023年10月27日)公开了一种基于物联网的港口数据采集与评价方法及系统，包括以下步骤：对港口的远控岸桥设备进行实时数据采集，并对实时数据进行数据预处理，得到预处理实时采集数据集；通过k近邻算法和孤立森林算法进行数据分类，得到自动化子系统数据，构建远控岸桥设备工作预测模型并基于自动化子系统得到异常工作参数，并基于所述异常工作参数获取调试效率最高的调试方法，最后对调试后的远控岸桥设备进行振动调试、温度调节及智能安防处理。

4、采集的这些数据来自港口生产工艺流程中的各种传感器、监测设备和其他关键系统，数据的实时性、准确性要求高，而且数据采集点多，而目前港口自动化领域现有的数据采集技术存在一些需要解决的问题：

5、(1)数据整合和互操作性问题：港口工业控制系统使用不同的标准和协议来收集数据，导致数据的采集、整合和互操作性大大降低。

6、(2)数据采集方式和数据丢失问题：现有港口数据采集方式一般是通过第三方厂家提供的工业控制软件来进行数据采集或者借助第三方opc服务器来与工业控制设备进行通信和采集数据，不能满足客户定制化数据采集的要求。此外，现有的数据采集方式面临高并发情况下的性能瓶颈、传输网络拥塞等问题。

7、本发明解决的问题，针对港口生产过程中通过物联网协议(iot)和plc(可编程控制器)来进行高并发实时数据采集的一种数据采集器方法，解决了线程等待时间设定、协议转换、高并发实时采集的要求。

技术实现思路

1、本设计发明提供了一种应用在自动化码头的高并发实时数据采集系统。该系统可以单独部署，也可以分布式部署，其创新举措主要包含线程池内线程融合调度算法和线程等待时长设定。

2、为了实现上述目的，本发明采用了如下技术方案：

3、所述一种应用在自动化码头的高并发实时数据采集系统包含：多个分布式服务进程节点、节点中的服务进程和线程融合调度算法；

4、所述多个分布式服务进程节点连接到plc控制设备和iot设备，各服务节点负责plc控制设备和iot设备的通信链路的建立、释放、指令传输和数据的收发；

5、所述节点中的服务进程是通过任务列表中采集点数量和所采用的多个分布式节点的计算资源和内存，来设定采集线程池的数量，并冗余10％至30％的冗余线程资源。

6、根据实际工业场景采集点数量和单服务器节点的计算能力，配载安装服务进程节点的数量(1..n)n>0，该多个分布式服务进程节点为物理服务器、虚拟机或轻量级容器中的一种；

7、所述plc控制设备包括港口装卸作业的卸船机、堆取料机、岸桥、轨道吊、带式输送机，以plc通信控制为主的设备；

8、所述iot设备包括港口环境监测传感器、振动传感器、水文传感器，以iot物联网协议通信控制为主的设备；

9、多个分布式服务进程节点之间构建同步机制，当某一节点失效时，其中响应最快的节点接管某一节点的采集任务。

10、所述节点中的服务进程具体包括：

11、节点中的服务进程的工作机理是程序加载时，加载任务列表到各自节点的缓存中，并根据任务节点的数量和各节点自身的计算资源和内存资源，生成plc采集线程池和iot采集线程池，各个线程池中的线程进入等待状态。

12、所述线程融合调度算法对线程进行调度过程具体包括：

13、对线程池队列进行划分，利用线程融合调度算法对线程进行调度；

14、所述线程池划分为高优先级线程池和低优先级线程池，初始化时plc采集线程进入高优先级线程池，iot采集线程进入低优先级线程；plc采集线程需要长时间且实时采集，iot采集线程是定点按需采集为主，采集完就释放；两大线程池中均有工作线程和空闲线程，工作线程指空闲线程被调用执行、空闲线程指工作线程被释放，可以相互转化，同时涉及到空闲线程的释放时间设定问题。

15、所述节点中的服务进程包括线程采集处理过程，具体包括：

16、当plc采集线程池点位信号产生则线程加载进入工作队列，各采集服务线程通过任务列表中点位对应的采集协议,实时采集点位数据，并以设定的消息格式，推送到消息队列服务器中，通过消息队列服务器并进行数据解析，存储至数据库中；

17、当iot到采集线程池执行时间点位进入工作队列，各采集服务线程通过任务列表中点位对应的采集协议实时采集点位数据，并以设定的消息格式，推送到消息队列服务器中，通过消息队列服务器并进行数据解析，存储至数据库中，线程执行完毕或到线程池时间切片点，释放至iot采集线程池队列，等待新任务。

18、在线程池中的空闲线程，首先根据1到2天线程运行情况，获取线程待定时间的数据记录入线程库中，即：从线程空闲开始到再次被调用之间的时间差；然后对时间差的数据进行时间区间划分，划分4等份，从最小值到最大值之间分别取1/4,1/2,3/4区间点，每一区间的权重为θi(i＝1,2,3,4)，用此区间分布点的数量与整个采样点的数量比值，同时计算每一区间的等待时间的中间值vi(i＝1,2,3,4)，然后计算线程等待时间v＝∑(qi*vi)(i＝1,2,3,4)，这样对于释放后的空闲时间设定为v,改变随机设定线程空闲等待时间。

19、针对长时间任务,为每个线程池设置一个最大执行时间，以防止长时间任务霸占cpu；当线程的执行时间超过最大执行时间时，将线程移到下一个优先级队列，给其他线程机会。

20、针对于短时间任务，通过动态优先级调整，能够快速响应短时间任务的需求，避免长时间的任务等待。

21、在每个线程池设定一个时间片长度，即每个线程池在一个时间片内获得的cpu时间；长时间任务的时间片相对短，短时间任务的时间片相对长，以平衡长短任务的执行。

22、本技术的优点和效果如下：

23、1、实时性优势：通过采集服务程序和针对任务清单的线程程序，以及采用优化后的线程调度算法，能够实现高并发采集不同类型数据的同时，实现线程的快速调用，及时捕获和传输数据，确保实时反馈和决策制定。这对于故障检测、预测性维护和生产优化至关重要。

24、2、线程池优化：通过线程池的分类优化和线程时间设定值优化处理，确保线程的无效释放增加重新开辟新线程所消费的时间，这有助于线程在大规模采集环境下快速运行，防止采集数据丢失和错误，这有助于确保数据采集的及时和准确性。

25、3、灵活性优势：设计灵活的数据采集器能够适应不同港口工业类型的数据源和协议，数据采集器能够能够采集来自plc和各类传感设备数据。

26、4、该工业级高并发实时数据采集器可以提高线程数据的采集效率、质量和可靠性，而且可以通过分布式节点部署，具有高可靠性，当某一节点出现问题时，其他节点可以进行数据采集，各节点间有同步机制，这对于港口工业领域的来说是一项关键的技术创新和突破，必将带来竞争优势。

27、5、该发明通过先进的数据采集技术，解决并改善了港口自动化领域现有技术的数据采集和处理能力，为工业应用带来广泛的具体应用。该发明通过实时、灵活、高效、安全的数据采集和高并发处理，为数据分析和建模提供大量可用数据，支撑科学决策，提供提高运营效率和安全性，进而优化港口运营。

28、6、该发明提供设备等实时数据监控，预测维护需求，帮助和识别潜在风险，减少计划外停机、维护成本和其他生产运营风险，提高港口生产运营安全性；此外，基于海量实时数据分析，可以更好的优化设备和人力资源的分配，提高港口资源利用率。

29、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，从而可依照说明书的内容予以实施，并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂，以下以本技术的较佳实施例并配合附图详细说明如后。

30、根据下文结合附图对本技术具体实施例的详细描述，本领域技术人员将会更加明了本技术的上述及其他目的、优点和特征。