一种基于国产平台的船用异构数据采集系统及方法与流程

1.本发明属于计算机通信技术领域，尤其是一种基于国产平台的船用异构数据采集系统及方法。


背景技术：

2.船用采集系统采集的数据量大、数据重要程度高，关系到舰船整体的网络安全。而传统的船用采集系统一般采用基于intel或amd芯片的硬件平台以及基于windows或vxworks的软件平台，这些给维护舰船网络安全带来了很大的挑战。自主可控是保障网络安全、信息安全的前提，因此亟需研制基于国产软硬件平台的船用采集系统，
3.随着电子技术的高速发展，船舰内部系统构成日益复杂，航行过程产生的数据呈现多源化、异构化的趋势。因此，设计一种嵌入式船用多源异构采集系统，用以采集航行过程中产生的工控设备数据、网络数据、串口数据、声音数据、图像数据及视频数据等结构化和非结构化的数据，为后续数据分析及舰船航行建模提供数据基础。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，满足舰船领域自主可控的需求，提出一种基于国产平台的船用异构数据采集系统及方法，实现了基于100％国产化的软硬件平台，采集船舶航行过程中产生的多源的结构化和非结构化的航行数据，并采用冗余备份的方式将数据进行存储。
5.本发明解决其技术问题是采取以下技术方案实现的：
6.一种基于国产平台的船用异构数据采集系统，包括数据采集层、数据传输层、数据处理层和数据存储层，其中数据采集层、数据传输层、数据处理层和数据存储层依次串行连接，数据采集层用于外部以太网数据、视频数据。图像数据、声音数据和串口数据，数据传输层用于传输数据，数据处理层用于对传输的数据进行处理，数据存储层用于对处理后的数据进行备份存储。
7.而且，所述数据采集层包括网络采集模块、串/can采集模块、声音采集模块、图像采集模块和视频采集模块，其中，网络采集模块采用fmql45t900，用于完成2路相互独立通道的外部以太网向内部以太网的转换；
8.串/can采集模块采用gd32f450，用于完成4路外部串口数据的采集，经过物理隔离，将其转换为相对应的符合内部通讯要求的can数据，并通过内部数据can总线发送到can通信模块，同时通过内部状态can总线将模块状态信息发送到can通信模块；
9.声音采集模块采用jf072sz，用于外部拾音器音频数据及vhf音频数据的采集和压缩；
10.图像采集模块和视频采集模块采用视频编码器hi3531av100和网络控制器yt8511h。
11.而且，所述数据传输层包括网络交换模块和can通信模块，其中网络交换模块采用
国产交换芯片，为系统提供1000m/s的网络交换环境，can通信模块采用国产pci桥芯片将cpci总线扩展为localbus，再通过localbus扩展四路can控制器，用于实现四路can接口。
12.而且，所述数据处理层包括主控模块和报警显示模块，其中主控模块采用3a3000，报警显示模块通过vga与主控模块连接，用于显示系统运行状态；通过串口与主机单元通讯，配合定制键盘完成显示内容切换、亮度调节和蜂鸣器报警功能。
13.而且，所述数据存储层包括内存储器和外存储器。
14.一种基于国产平台的船用异构数据采集系统的采集方法，包括以下步骤：
15.步骤1、开机；
16.步骤2、初始化系统设备和报警单；
17.步骤3、初始化外存储体对象，若初始化成功，则循环检测外存储体的状态，否则报警单元报警；
18.步骤4、初始化内存储体对象，若初始化成功，则循环检测内存储体的状态，否则报警单元报警；
19.步骤5、初始化网络服务，若初始化成功，则循环接收请求信号，并更改配置后重新启动，否则进行步骤6；
20.步骤6、采集数据，报警故障诊断；
21.步骤7、分析数据和状态，判断是否能够分析以及写入内存储器和外存储器，若能够分析以及写入内存储器和外存储器进行内存储器和外存储器的写入，否则报警单元报警；
22.步骤8、关机判断是否满关系条件，若满足则报警单元报警，否则返回步骤6。
23.本发明的优点和积极效果是：
24.本发明通过采用国产芯片的数据采集层、数据传输层、数据处理层和数据存储层构成了采集系统，采用了deltaos系统作为软件的操作系统，将软件应用层分为主机系统软件、报警显示软件、内存储器软件、外存储器软件、以太网采集软件、声音采集软件、图像视频采集软件、串口数据采集软件和电源控制软件，本发明软硬件均实现了100％国产化，主机采用基于龙芯处理器和嵌入式道系统的平台，通过松散耦合式的配置管理和混合数据采集模型，实现了对异构数据的混合调度采集和数据处理，并对处理过的数据进行备份存储。系统还基于龙芯平台的qt图形开发框架开发了运行显示功能，能够对系统运行状态、采集状态和存储情况进行实时监控。
附图说明
25.图1为本发明系统结构图；
26.图2为本发明应用层软件结构图；
27.图3为本发发明工作流程图；
28.图4为本发明软件结构图。
具体实施方式
29.以下结合附图对本发明做进一步详述。
30.一种基于国产平台的船用异构数据采集系统，如图1所示，包括数据采集层、数据
传输层、数据处理层和数据存储层，其中数据采集层、数据传输层、数据处理层和数据存储层依次串行连接，数据采集层用于外部以太网数据、视频数据。图像数据、声音数据和串口数据，数据传输层用于传输数据，数据处理层用于对传输的数据进行处理，数据存储层用于对处理后的数据进行备份存储。
31.数据采集层包括网络采集模块、串/can采集模块、声音采集模块、图像采集模块和视频采集模块，其中，网络采集模块采用上海复旦微电子有限公司自主研发的微处理器fmql45t900，主要完成2路相互独立通道的外部以太网(可通过软件配置成双冗余模式)向内部以太网的转换。
32.串/can采集模块采用北京兆易创新科技股份有限公司自主研发的微处理器gd32f450，主要完成4路外部串口数据的采集，每路通道接收外部串口数据后，经物理隔离，将其转换为相对应的符合内部通讯要求的can数据，并通过内部数据can总线发送到can通信模块，同时通过内部状态can总线将模块状态信息发送到can通信模块。
33.声音采集模块采用珠海全志科技股份有限公司自主研发的国产处理器a40i及天水七四九电子有限公司自主研发的国产运放芯片jf072sz，完成外部拾音器音频数据及vhf音频数据的采集和压缩，将其转换为通道符合内部通讯要求的数据发送到主控模块。
34.图像采集模块和视频采集模块采用深圳市海思半导体有限公司自主研发的视频编码器hi3531av100及苏州裕太车通电子科技有限公司自主研发的网络控制器yt8511h，集成了包含多项复杂图像处理算法的高性能视频/图像处理引擎，提供hdmi/vga高清显示输出能力，集成高速以太网接口，提供了高性能、优异图像视频编解码解决方案，实现一体化软硬件平台，可支持裸机程序和操作系统开发。。
35.数据传输层为系统内数据交换提供统一的网络和can总线环境，包括网络交换模块和can通信模块，其中网络交换模块采用苏州盛科科技有限公司自主研发的国产交换芯片，内部集成嵌入式cpu，为系统提供1000m/s的网络交换环境；can通信模块模块利用国产pci桥芯片将cpci总线扩展为localbus，再通过localbus扩展四路can控制器，实现四路can接口。
36.数据处理层包括主控模块和报警显示模块，用于为系统内部对采集的数据进行数据处理、数据转发及系统运行情况显示。其中，主控模块采用龙芯中科技术股份有限公司自主研发的国产mips架构的微处理器3a3000，替代美国intel公司的酷睿双核u25001.2ghz。龙芯3a3000是一个配置为单节点4核的处理器，采用28nm工艺制造，工作主频为1.2ghz～1.5ghz。采用龙芯公司自主研发的国产桥芯片7a1000。龙芯7a1000型桥片是龙芯3号处理器的第一款芯片组产品，为龙芯处理器提供南北桥功能。内存采用西安紫光国芯半导体有限公司自主研发的存储芯片[3]。通过双通道内存控制器进行扩展，共采用8片256m*16位的ddr3内存，容量提升至共4gb。主控模块对外可引出1路vga、1路dvi、2路ps2、2路usb2.0、1路sata、2路10m/100m/1000mbps网络等接口。报警显示模块通过vga与主控连接，用于显示系统运行状态；通过串口与主机单元通讯，配合定制键盘完成显示内容切换、亮度调节、蜂鸣器报警等功能。
[0037]
数据存储层包括内存储器和外存储器，内存储器和外存储器用于数据的备份存储，每个存储器均搭载1tb容量的电子盘，满足大量数据的存储。采用上海复旦微电子有限公司自主研发的微处理器作为核心，实现一体化软硬件平台。
[0038]
系统软件平台由操作系统和模块驱动组成。操作系统使用的是一个嵌入式实时操作系统deltaos，该系统是北京科银京成技术有限公司推出的自主研发的专业嵌入式软件开发平台。模块驱动主要是国产化can模块驱动，驱动实现pci总线到本地总线读写和访问，初始化can和读写每路sjal000控制器。其中pcie桥片的驱动依据fpga逻辑地址偏移，完成pci本地内存映射，挂接中断服务程序并使能中断。工作方式为阻塞模式。
[0039]
应用层在设计时首先考虑设备稳定性、可靠性，然后进一步提升信息集成化程度量。引入标准化、模块化的设计思想，达到模块可选配，即接即用的目标。因此，异构数据的采集和存储使用采集与处理相分离的设计模式，将数据采集任务集中在各个采集模块上，主控模块只负责数据的处理和转发，大大缓解主控模块的处理压力，保证设备的稳定性。各个采集模块上部署采集引擎，用以采集异构数据。主控模块上部署处理引擎，负责与各个采集引擎建立通信连接，实时监测传输通道的通断性，接收并解析处理各个采集引擎传输的异构数据。一种采集引擎只能采集一种数据，而处理引擎可以解析并处理各种异构数据。如图2所示，系统主要包括主机系统软件、报警显示软件、内存储器软件、外存储器软件、以太网采集软件、声音采集软件、图像视频采集软件、串口数据采集软件、电源控制软件。主机软件通过以太网和can总线与各个采集软件及存储软件进行数据传输。
[0040]
一种基于国产平台的船用异构数据采集系统的采集方法，如图3所示，主机控制软件是整个软件系统的核心部分，也是异构数据融合和处理的中心。通过调用采集模块的相关任务流程与外部设备建立通讯连接，实时的采集多源异构数据，同时调度数据存储模块将采集的过程数据客观、准确归档。此外还负责采集进程内不同线程间的数据交换，是采集系统中的流程控制模块，包括以下步骤：
[0041]
步骤1、开机；
[0042]
步骤2、初始化系统设备和报警单；
[0043]
步骤3、初始化外存储体对象，若初始化成功，则循环检测外存储体的状态，否则报警单元报警；
[0044]
步骤4、初始化内存储体对象，若初始化成功，则循环检测内存储体的状态，否则报警单元报警；
[0045]
步骤5、初始化网络服务，若初始化成功，则循环接收请求信号，并更改配置后重新启动，否则进行步骤6；
[0046]
步骤6、采集数据，报警故障诊断；
[0047]
步骤7、分析数据和状态，判断是否能够分析以及写入内存储器和外存储器，若能够分析以及写入内存储器和外存储器进行内存储器和外存储器的写入，否则报警单元报警；
[0048]
步骤8、关机判断是否满关系条件，若满足则报警单元报警，否则返回步骤6。
[0049]
主机控制软件采用生产者-消费者模型的多线程模式，处理多源采集控制、状态监测和数据存储，每个线程独立处理一项任务，平衡消费者线程之间的处理能力，从而提高各消费者线程的处理速度，同时通过一个容器来解决生产者线程与消费者线程之间的强耦合关系，生产者线程产生的数据不需要直接抛给消费者线程，而是抛给该容器，当消费者线程需要数据时，到该容器中取数据。
[0050]
根据主机控制软件功能及软件工作流程，设计主机采集控制软件功能模块划分，
将同类功能在一个功能模块中实现，方便进程调度机管理，按需分为7个功能模块，如图4所示包括主进程、采集模块、外存储体模块、内存储器模块、网络模块、看门狗模块、故障诊断与报警指示模块和关机模块。
[0051]
主进程。主进程是主机控制软件的入口，主要负责为各个模块分配必要的资源，调用各个功能模块的初始化接口，保证系统正常启动。除初始化各个功能模块外，主程序承担了两个工作。一是为了降低系统的耦合性，提高数据采集的智能程度，使每个底层采集模块的进程都能够动态可配。加载系统配置实现松散耦合式的配置管理，解析配置内各个功能模块的数据通道编码、通道数量、采集参数及状态参数等配置信息，提高了主机控制软件的可移植性、可复用性和可扩展性；二是根据异构数据的数据量初始化一个环形缓冲区，将采集的异构数据先缓存起来，从而解决数据采集和数据存储速率不一致的问题。
[0052]
网络模块。网络模块主要承担两个任务。一是负责配置调用底层采集模块的相关任务流程，下发各个采集模块的ip、端口、通信协议、状态上报时间及异常处理等参数，使各采集模块开启采集进程。二是侦听采集模块上报的状态，通过以太网和can网络接收各个采集模块上报的状态，并按照内部通信协议处理后，转发给报警显示模块。
[0053]
采集模块。采集模块首先建立异构数据采集模型，混合数据采集通过异构数据采集模型映射技术实现采集模型的统一,它包含以下内容:(1)公共的模型信息；(2)公共对象信息和各异构数据源私有对象信息的映射关系。基于抽象容器的公共模型异构数据源模型映射技术通过抽象容器将一般性的组织和事物中“包含”的关系理解为各级容器的从属结构,可以建立各种不同应用的模型,从而具有灵活性和扩展性。在公共模型中,每种容器包含各自的“对象类型”及“容器描述属性”。当模型需要扩展时,只需在“对象类型定义”增加新的“对象类型”,在“容器描述定义”增加新的“容器描述属性”即可。公共对象信息和异构数据源私有对象信息的映射关系公共对象信息是抽取了各异构数据源的对象信息部分,通过公共命名方式对各系统的私有对象信息进行归纳,提取出公共对象信息,并将公共对象信息、私有对象信息以及它们的映射关系装载到已经建立好的具体的容器模型结构中，生成混合数据采集统一的数据结构。实体采集通道是通过数据通道编码与异构数据采集模型进行映射，根据配置文件的各个采集模块的路数，生成异构数据模型链表，系统维护这个模型链表来查询采集的数据。
[0054]
采集模块还要创建与底层采集板卡中服务的通讯连接，并将连接的句柄存储到对应模型的属性及公共句柄集中。采集模块通过侦听公共句柄集来判断是否有数据输入，如果有则对异构数据采集模型链表进行循环，判断数据中的通道编码与模型中的是否匹配，然后对采集到的数据进行协议处理。
[0055]
数据存储模块。系统采集的数据为异构数据，无法采用传统关系型数据库的存储方式，而是采用自定义的文件存储方式，将采集的数据以分钟为单位形成文件存储在内外存储器中。由于采集模块对应的数据源较多，每个源产生数据的频率也不一致，因此采集模块将采集处理后的数据先放入缓冲区中，然后数据存储模块将缓冲区中的数据发送给内外存储器，解决了由于采集数据速率大于存储数据造成数据丢失的问题。该部分使用数据访问中间件，即底层数据和上层传输之间建立一个中间层。上层应用和底层数据之间的操作,都要通过中间层进行。这一中间层屏蔽了数据源的异构性和分布性,对传输层提供统一标准接口,这样,使系统对每个不同数据源的操作变为对单一的中间件的操作,而后再由中间
件进行操作的分解和结果的合成。
[0056]
故障诊断与报警显示模块。报警显示模块用于状态指示和部分控制功能的操作，由图形显示模块和数据解析模块组成，接收并解析网络模块转发的各个模块的状态报文，诊断故障并进行显示。采用嵌入式qt4.8图形界面程序框架作为开发工具，采用信号与槽机制灵活、高效地实现对象间的通信。
[0057]
报警指示软件主要显示can信号采集的完整性、串口数据采集的完整性、内存储器和外存储体工作状态、声音采集的完整性、vga图像数据采集的完整性、视频数据采集的完整性及电源的工作状态等内容。显示方案采取根据配置灵活切换的方式，1个主屏幕和5个分屏幕的显示方式。主屏幕主要显示时间、故障总数信息，分屏幕主要分为设备组成、配置管理、设备实时运行状态、设备自检及设备故障列表页。
[0058]
主页为平时工作时的主界面，主要显示系统运行的时间和故障总数，设备组成页面根据配置文件显示设备的组成图和设备内部模块间的通信方式；配置页面主要显示系统中所配置的可采集外部数据数量，如can总线数据、串口数据、声音数据、图像数据、视频数据，还包括声音屏蔽、亮度调节、背景切换和自动锁屏等功能；运行界面采取图文方式显示目前信息流动的方向和实时的运行情况；自检页面用于设备内部模块自我检测功能的触发；故障界面显示故障的产生时间、内容及数据通道等详细信息。
[0059]
看门狗模块。在主程序中进行喂狗操作，启用单独的线程监测喂狗情况，使得系统在出现故障后自动重启，从而提高系统长时间运行的稳定性和恢复能力。为了减少cpu运行负荷，将喂狗的时间间隔设置为5秒，如果5秒内没有喂狗，则监测线程会执行系统重启操作。
[0060]
关机模块。异构数据采集和存储系统采用统一的电源进行供电，当没有外部交流电源或直流电源输入时，电源会自动切换到蓄电池供电。各个数据源设备基本都有蓄电池供电，为保证无外部供电1小时内系统能继续采集存储多源数据，关机模块实时监测电池上报的工作状态报文，如果解析出电源当前工作状态为蓄电池供电，则启动计时，计时满一小时向电源发送关机指令，系统自动关机；计时一小时内，如果外部恢复供电，则取消计时，蓄电池自动充电。
[0061]
根据上述一种基于国产平台的船用异构数据采集系统，对采集系统进行测试，本发明已与19个数据源设备完成联调，其中包括6个网络数据、3个opc协议数据、3个串口数据、4个声音数据、2个图像数据和1个视频数据，系统具备7*24小时连续使用能力，实际测试运行超过一个月，未出现因系统故障造成的数据采集中断。系统可以灵活地配置每一种数据的采集路数，具有一定的扩展性和移植性，完全满足船舶数据采集和存储的功能和性能要求。
[0062]
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。