一种面向水面无人集群的群体智能仿真试验系统及其方法与流程

本发明属于仿真系统，尤其是涉及一种面向水面无人集群的群体智能仿真试验系统及其方法。

背景技术：

1、无人艇的出现，不仅能在一些高危区域替代或者协助有人舰船执行任务，最大程度降低风险、缩减成本、保障安全，更重要的是从作战概念和战争设计上，极大地影响甚至是彻底地颠覆了未来海战的作战样式。根据搭载的任务模块不同，无人艇可以与有人舰船协同或者独立完成反水雷战(mcm)、反潜作战(asw)、海上安全(ms)、水面作战(suw)、支持特种部队作战(sof)、电子战(ew)，以及支持海上拦截作战(mio)等多种军事任务。无人艇正在逐渐成为海上装备的中坚力量，该领域所涉及的无人系统及其关键技术也正成为海上智能制造中的明珠，将对整个无人艇领域的发展产生决定性影响。

2、众所周知，自主航行是无人艇的必备特征能力和核心价值所在，而其先决条件就是要实现对周围环境的自主适应和自主的行为决策。若要无人艇能真正发挥出无人协同的最大效能，就必须对无人艇的态势感知能力，群体通信能力，群体控制能力，群体博弈能力等进行能力测试。

3、但是，目前对于无人艇的研究，由于测试条件较高，所以对研究通常仅停留于理论层面，要么需要投入大量的成本进行一次次的测试，大大提高研发难度。目前，也有提出用于无人机或无人车的仿真系统，但是此类仿真系统都仅针对单一的智能体进行仿真，无法实现群体智能仿真试验，且无法实现海上复杂环境仿真试验，故目前对无人艇的研究存普遍存在缺乏实验验证，无法保证研究技术的效果，更无法保证集成各项研究的系统性无人集群的博弈效果。

4、此外，目前无人艇实现自主航行的关键在于深度学习技术，深度学习有一个很重要的特点就是需要进行训练，传统对无人艇深度学习模型的训练都是基于训练数据对单智能体进行训练。但是此类无人艇在真实环境的海上任务表现往往都不尽人意，主要原因是，真实环境下，一方面海上环境多是复杂而恶劣的，常常表现出变化无常，加上巨量环境信息的相互涌入、各种环境目标的相互影响导致无人艇的自主控制能力大大降低。另一方面，真实环境的海上任务通常是需要多智能体协同及博弈对抗的，而训练却是单智能体的，所以训练效果无法满足真实需求。基于深度强化学习的无人艇技术结合深度学习和强化学习构建无人艇模型，利用深度强化学习能够进行自我迭代学习探索的能力使无人艇能够在不停的循环计算和反复尝试中实现对复杂海洋环境下多智能体博弈场景的自主控制能力，如，态势感知能力，群体通信能力，群体控制能力，群体博弈能力等。但是，前述也提到，深度强化学习若要有较好的能力，就需要进行大量的尝试，但是真实情况是现实中并没有如此多的机会能够使无人艇进行大量的尝试。对此，本方案提出针对水面无人集群的群体智能仿真试验系统，基于该仿真试验系统对由深度强化学习模型构建的无人艇模型进行各种能力的仿真试验，同时在仿真试验的过程中实现仿真经验的积累，可为深度强化学习提供学习需要。

技术实现思路

1、本发明的目的是针对上述问题，提供一种面向水面无人集群的群体智能仿真试验系统及其方法。

2、为达到上述目的，本发明采用了下列技术方案：

3、一种面向水面无人集群的群体智能仿真试验系统，包括仿真应用模块、仿真引擎和数据库，所述的仿真应用模块包括场景定制模块、场景运行管理模块、场景状态展示模块和数据收集分析模块；所述的仿真引擎包括感知数据仿真引擎、三维视景仿真引擎、分布式交互实时仿真引擎和仿真互联交互组件；

4、所述的数据库包括仿真数据库、想定数据库、环境数据库、模型数据库和规则数据库；

5、场景定制模块，用于基于仿真数据库和想定数据库进行想定制作以及仿真场景设置，将多智能体的实体模型实例化为想定空间中的群体智能仿真实体，编辑仿真实体属性和仿真实体间的指挥联通关系，生成仿真想定；

6、场景运行管理模块，用于管理仿真系统的软硬件资源，控制仿真运行过程，监视仿真系统运行状态，管理仿真运行数据。

7、场景状态展示模块，用于对想定态势进行形象直观的展示；

8、数据收集分析模块，用于仿真数据收集整理与分析；

9、感知数据仿真引擎，用于仿真实体载具上的感知器数据仿真；

10、三维视景仿真引擎，用于模拟产生群智实体的运行场景，利用环境数据库相应数据构建适合群体智能平台的高分辨率虚拟环境，如虚拟战场环境，包括地形、水面、材质、光影、重力效应；

11、分布式交互实时仿真引擎，用于通过运行支撑服务为仿真场景下的所有内容提供基础管理服务，包括时间管理、对象管理、标识管理、事件管理、交互管理和模型管理、声明管理、战场管理等；

12、仿真互联交互组件，用于提供通信物理链路仿真、离散事件仿真、数据交互与集成仿真以及异构互联交互方法；

13、所述的模型数据库至少包括无人艇模型，所述的规则数据库包括用于测试智能群体待测试能力的规则数据，无人艇模型包括物理模型和算法模型，利用经验数据优化的主要是算法模型。

14、在上述的面向水面无人集群的群体智能仿真试验系统中，所述的智能群体待测试能力包括态势感知能力、集群通信能力、群体控制能力和群体博弈能力中的任意一种或多种的组合；

15、所述的规则数据包括协同行为规则、目标搜索规则、裁决规则、目标威胁规则、交战规则中的任意一种或多种的组合。

16、在上述的面向水面无人集群的群体智能仿真试验系统中，所述的模型数据库还包括非无人艇的智能体模型；

17、且所述非无人艇的智能体模型包括无人机模型、无人车模型。

18、在上述的面向水面无人集群的群体智能仿真试验系统中，所述的数据收集分析模块用于实时采集仿真数据，一方面通过三维场景运行状态展示和仿真数据展现的形式呈现仿真场景，另一方面对仿真数据进行预处理，辅助操作人员验证方案进行实时和事后数据分析；

19、所述的数据收集分析模块连接于经验池，且还用于对采集到的仿真数据进行筛选，筛选其中的经验数据，放入所述的经验池以用于无人艇模型的训练。

20、在上述的面向水面无人集群的群体智能仿真试验系统中，所述的仿真数据库包括仿真方案、数据分类和数据结果；

21、所述的想定数据库包括编组数据、部署数据、推演管理和导调控制；

22、所述的环境数据库包括装备性能、地理环境、气象水文、空间坐标。

23、在上述的面向水面无人集群的群体智能仿真试验系统中，所述的场景状态展示模块,根据用户定制的显示要素和显示方法进行虚拟环境展示、二维态势显示、三维态势显示和想定姿态回放；

24、且二维态势显示包括：数字地图操作、态势回放控制、显示内容控制、仿真实体信息查询、地形信息查询与计算；

25、三维态势显示包括：三维模型管理、特效管理、大地形管理、显示内容控制、三维回放控制。

26、在上述的面向水面无人集群的群体智能仿真试验系统中，所述的场景定制模块用于生成包括想定管理、编组编配、想定编辑和任务筹划的仿真想定；

27、所述的场景运行管理模块包括仿真资源管理、仿真运行设置、仿真运行控制和仿真状态监视。

28、一种面向水面无人集群的群体智能仿真试验方法，该仿真试验方法包括：

29、s1.场景定制模块根据演示需求，基于仿真数据库和想定数据库进行想定制作以及仿真场景设置；

30、s2.场景定制模块根据演示任务确定智能体数量为n，确定n个智能体为对抗模式或配合模式，复制n个智能体模型，将每个智能体模型实例化为想定空间中的群体智能仿真实体；

31、n个智能体模型中包括至少两个无人艇模型；

32、s3.场景定制模块编辑仿真实体属性和仿真实体间的指挥联通关系，生成以多无人艇智能群体为主体的仿真想定；

33、s4.由仿真引擎为智能群体中每个智能体模拟相应视角的虚拟环境和环境感知，并实现智能体之间的仿真交互；

34、s5.启动仿真推演，场景运行管理模块根据仿真过程中的群体智能规则进行仿真运行控制，同时由状态展示模块对想定态势进行展示；

35、s6.运行过程中，由数据收集分析模块实时采集仿真数据进行数据可视化呈现，同时根据用户选择确定是否筛选所采集仿真数据中的经验数据，并将其存放入用于训练无人艇的经验池。

36、在上述的面向水面无人集群的群体智能仿真试验方法中，步骤s3中，场景定制模块根据演示任务为n个智能体进行编组编配和任务筹划，以构建多智能体博弈对抗场景或多智能体配合协同任务场景。

37、在上述的面向水面无人集群的群体智能仿真试验方法中，步骤s1中，根据演示需求进行仿真演示验证场景设计，对包括地形、地貌、地物、以及天候气象的应用场景进行实景化建模；根据仿真场景设计，依托三维视景仿真引擎进行群体智能演示的基础态势部署，在态势部署的同时根据规则数据库定义群体智能规则；

38、s6之后，使用经验池中的经验数据对无人艇模型进行训练，并将本次训练后的无人艇模型存入数据库以更新无人艇模型，用于下一次仿真试验。

39、本发明的优点在于：

40、针对无人艇集群提供仿真试验系统，由场景定制模块将多智能体的实体模型实例化为想定空间中的群体智能仿真实体，对无人艇集群进行仿真测试，验证无人艇在集群场景下的功能情况，实现典型海况等复杂环境下的无人艇集群试验；

41、在仿真时，根据无人艇智能体数量复制无人艇模型数量，每个无人艇智能体对应一个无人艇模型，各个无人艇智能体在仿真环境中是独立的个体，通过场景定制模块为每个无人艇智能体编配位置、角色和任务，每个无人艇智能体根据自己所处位置、角色和任务进行自己的计算和判断，从而构成一个多智能体的集群环境，实现多智能体场景下的仿真试验；

42、针对海洋环境信息要素多、海战场环境复杂导致的自主控制难和环境适应能力弱等问题，提出基于群体智能仿真平台，并从收集到的仿真数据中筛选经验数据，利用仿真生成的经验数据对基于深度强化学习的无人艇进行训练，使无人艇能够适应于高复杂性的海洋环境，同时虽然训练针对的是单智能体，但是经验数据是从包含多智能体的场景中采集的，所以训练过程能够兼顾智能体之间的协同和对抗，提高学习算法对多智能体场景的适应性。