一种智能化作战的多模态人机智能交互框架、方法和装置与流程

本发明属于机载智能计算领域，提出了一种智能化作战的多模态人机智能交互框架、方法和装置。

背景技术：

多模态人机交互技术是指利用先进的传感器技术捕捉和感知人类丰富的多通道交互数据，再通过计算技术理解人的交互、控制意图并提供符合认知的反馈呈现。多模态信息之间存在互补冗余关系，可以互相补充确认，使表达效率和表达的信息都优于单一模式，更易实现自然和谐的人机交互与控制。根据多模态人机交互的任务特点，主要包括获取、感知、认知三个层面：(1)多模态信息采集，完成多模态信息的数字化；(2)多模态信息融合感知，完成多模态信息的一致性建模与表示；(3)交互控制意图认知与理解，完成多模态信息对应交互、控制原语指令的识别与分类。多模态人机交互技术在人与机器之间构建了一种自然交互通道。

面向战场数据的智能辅助决策技术利用计算机去模拟军事专家的智能属性，诸如思维、分析、推理、选择等，从而帮助飞行员进行情况判断，确定作战计划，使得飞行员免于直接接触海量的战场环境观测数据。随着人工智能算法的发展，在目标识别、态势评估、任务规划、武器目标分配等问题上都有不错的智能算法解决方案，使得智能辅助决策系统具备了实际应用价值。

未来战场形势复杂多变，飞行员接收到的信息量将指数级增长。此外，随着无人机作战能力的增强，有人驾驶飞机与无人机编队的协同作战将成为一种主流作战形式。飞行员在处理常规作战信息的同时，还要对无人机编队的观测信息、作战情况等进行判断和决策，进一步增加了飞行员作战时的任务量。传统的人机交互方式操控指令形成过程复杂，操控界面繁琐，飞行员需要在不同的操控界面之间来回切换，才能完成某一操控任务，增加了操作响应延时。本发明结合多模态人机交互技术和智能辅助决策技术提出一种全新的人机智能交互框架，能够建立自然高效的人机交互通道，有助于缓解飞行员认知超负荷问题。

技术实现要素：

本发明的目的：

提出了一种智能化作战的多模态人机智能交互框架、方法和装置。面向机载海量作战数据处理和复杂动态任务处理，结合多模态人机交互技术和智能辅助决策技术，构建自然、高效的人机智能交互框架，有效解决飞行员执行作战任务时由于海量信息涌入带来的认知超负荷问题。

本发明的技术方案：

第一方面，提供一种智能化作战的多模态人机智能交互框架，包括：

智能辅助决策子系统、人机智能交互任务管理子系统、综合显示子系统、多模态人机交互子系统；

其中，多模态人机交互子系统用于：接收飞行员输入的操作，确定所述操作对应的执行任务指令、修正指令或确认指令，向所述人机智能交互任务管理子系统发送所述任务指令、修正指令或确认指令；所述人机智能交互任务管理子系统用于：接收所述指令，分解所述任务指令，得到任务序列，向所述综合显示子系统和所述智能辅助决策子系统发送所述任务序列，或者向所述智能辅助决策子系统发送所述修正指令或确认指令；所述综合显示子系统用于：接收并显示所述任务序列、修正指令内容或确认指令内容；所述智能辅助决策子系统用于：接收所述任务序列或所述修正指令或确认指令，根据所述任务序列，确定所述任务的执行方案，所述执行方案包括攻击目标及所述攻击目标的攻击顺序、攻击所述攻击目标所使用的武器和按照所述攻击目标的攻击顺序规划的攻击航路，根据所述修改指令，更新所述攻击目标的攻击顺序，或规划不同的攻击航路。

第二方面，提供一种智能化作战的多模态人机智能交互方法，包括：

接收飞行员输入的任务指令、修正指令或确认指令；

根据所述任务指令所需执行的任务，确定执行所述任务的执行方案；所述执行方案包括攻击目标及所述攻击目标的攻击顺序、攻击所述攻击目标所使用的武器和按照所述攻击目标的攻击顺序规划的攻击航路。

根据所述修正指令或确认指令，更新所述攻击目标的攻击顺序，或规划不同的攻击航路。

可选的，根据所述任务指令所需执行的任务，确定执行所述任务的执行方案，包括：

分解所述任务，得到任务序列，所述任务序列包括感知子任务、武器分配子任务和航路子任务；

根据所述感知子任务，确定带攻击的至少一个攻击目标及所述攻击目标的威胁程度；

根据所述至少一个攻击目标的威胁程度为所述攻击目标排序，得到目标威胁顺序；

根据所述武器分配子任务，为所述至少一个攻击目标分配相应的武器；

根据所述航路子任务，按照所述目标威胁顺序，结合所述至少一个攻击目标的距离、飞行姿态、武器位置、雷达作用范围等特征，规划达到各个攻击目标的攻击航路。

可选的，根据所述任务指令所需执行的任务，确定执行所述任务的执行方案之后，所述方法还包括：

显示所述任务序列中各个子任务的名称；显示所述至少一个攻击目标及其目标威胁顺序；

显示所述至少一个攻击目标分配的武器；

显示达到各个攻击目标的攻击航路。

第三方面，提供一种智能化作战的多模态人机智能交互装置，包括：

接收模块，用于接收飞行员输入的任务指令；

决策模块，用于根据所述任务指令所需执行的任务，确定执行所述任务的执行方案；所述执行方案包括攻击目标及所述攻击目标的威胁顺序、攻击所述攻击目标所使用的武器和按照所述攻击目标的威胁顺序、距离、飞行姿态、武器位置、雷达作用范围等特征规划的攻击航路。

显示模块，用于显示所述任务序列、攻击目标、为所述攻击目标分配的武器和按照所述攻击目标的威胁顺序、距离、飞行姿态、武器位置、雷达作用范围等特征规划的攻击航路。

第四方面，提供一种智能化作战的多模态人机智能交互装置，应用于终端，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

用于显示多模态交互指令及指令执行结果的显示器。

其中，所述存储器被配置为：

接收飞行员输入的任务指令、修正指令或确认指令；

根据所述任务指令所需执行的任务，确定执行所述任务的执行方案；所述执行方案包括攻击目标及所述攻击目标的攻击顺序、攻击所述攻击目标所使用的武器和按照所述攻击目标的威胁顺序、距离、飞行姿态、武器位置、雷达作用范围等特征规划的攻击航路。

第五方面，提供一种计算机可读的存储介质，所述存储介质上存储有指令，所述指令被处理器执行时实现所述第二方面任一项所述方法的步骤。

本发明具有的优点效果：

本发明提出的面向空战的多模态人机智能交互框架结合了多模态人机交互技术和智能辅助决策技术，提高了飞行员的操作效率，有效解决飞行员信息超负荷、工作压力大等问题。基于多模态人机交互技术提供的自然人机接口和高效交互能力，使飞行员可以借助语音识别、手势识别、眼动追踪等技术，在未来多维立体化的作战条件下实现多平台多任务的随意切换和精确控制，进而适应高度信息化的作战方式；另一方面，基于智能辅助决策技术，机载系统自主处理多个传感器的观测信息，给出当前态势的高级、完整描述，并提供任务规划建议，飞行员只需要对任务规划建议给出确认或修改意见，工作量大幅度降低。

附图说明

图1为多模态人机智能交互框架

图2为面向侦察打击任务的人机智能交互系统工作流程

具体实施方式

以侦查打击任务为例，对本发明做进一步详细说明。

本发明实施例提供一种面向智能化作战的多模态人机智能交互框架，如图1所示，该框架包括：

多模态人机交互子系统、智能辅助决策子系统、人机智能交互任务管理子系统、综合显示子系统；

具体过程为：

基于多模态人机交互技术，将脑电识别、语音识别、手势识别、眼动追踪等多种交互方式产生的结果转换为统一的交互指令，确定飞行员下达的作战目标和约束条件，并传递给人机智能交互任务管理子系统；人机智能交互任务管理子系统分解所述作战目标和约束条件，得到任务序列和对应的次一级约束条件，向综合显示子系统和智能辅助决策子系统发送所述任务序列及对应约束条件；智能辅助决策子系统按照任务序列及对应约束条件执行感知子任务、武器分配子任务、航路规划子任务，并将执行结果发送给综合显示子系统和人机智能交互任务管理子系统；综合显示子系统向飞行员显示所述任务序列、子任务规划及执行结果；如果飞行员对子任务规划结果满意，则下达确认指令，执行子任务规划结果或下一阶段任务；如果飞行员对子任务规划结果不满意，则下达修改指令，向人机智能交互任务管理子系统下达新的约束条件，甚至指定相关内容。

本发明实例提供一种面向智能化作战的多模态人机智能交互方法，如图2所示，该方法包括：

飞行器起飞后，首先由飞行员给出侦查打击目标为某敌方基地，人机智能交互任务管理子系统分解任务目标为环境感知、武器目标分配、攻击航路规划三个阶段，智能辅助决策子系统首先执行环境感知任务(图2：①)，寻找打击目标。在侦查过程中，飞行员随时可以增加约束条件(图2：a)，比如优先打击雷达，缩小感知结果的目标范围。发现侦查打击目标后，智能辅助决策子系统执行武器目标分配任务(图2：②)，通过综合显示子系统给出武器目标分配建议。若飞行员认可系统给出的武器目标分配建议，则确认该结果；若飞行员不认可系统给出的武器目标分配建议，则通过多模态人机交互通道直接修改武器目标分配方案(图2：b),之后智能辅助决策子系统开始执行航路规划任务(图2：③)。若飞行员认可系统的航路规划结果，则进入任务执行阶段(图2：④)；否则，飞行员增加航路规划的约束条件(图2：c)，比如优先打击2号目标，智能辅助决策子系统重新进行航路规划。

本发明提出的多模态人机智能交互框架结合了多模态人机交互技术和智能辅助决策技术，能够基于多模态人机交互技术提供的自然人机接口和高效交互能力，使飞行员可以借助脑电识别、语音识别、手势识别、眼动追踪等技术，在未来多维立体化的作战条件下实现多平台多任务的随意切换和精确控制；基于智能辅助决策技术提供的态势感知和任务规划能力，使飞行员免于直接接触海量的原始信息，只需要对智能辅助决策子系统给出的高级描述进行确认或者提出修改意见。本发明充分利用了多模态人机交互技术的优势，在飞行员与智能系统之间构建了一套自然、高效的交互框架，提高了飞行员与智能系统的交互效率，能够有效地解决飞行员执行作战任务时由于海量信息涌入带来的认知超负荷问题。