基于机载三维图像引擎的组合视景系统及视景显示方法与流程

本技术涉及计算机，具体而言，涉及一种基于机载三维图像引擎的组合视景系统及视景显示方法。

背景技术：

1、在航空飞行领域中，载人飞行器日益得到发展。在飞行器飞行过程中，需要实时监控环境情况，提高飞行安全。目前，可以采集飞行器周围或者前方的数据，包括合作目标图像数据、环境数据、地形数据、建筑物数据等。但是，不同数据分散在飞行器的不同位置进行显示，由于显示位置比较分散，不利于飞行观察。

2、为了飞行员提供清晰且易于理解的图像信息与可靠的飞行信息，出现了视景增强系统(enhanced vision system，evs)、合成视景系统(synthetic vision system，svs)。其中，增强视景系统(evs)是一种机载电子系统，该系统利用前视红外、毫米波雷达等图像传感器技术，向飞行员提供机场跑道、周围地形和障碍物特征的实时图像，从而显著提高飞行员的情景意识和飞行品质。合成视景系统(svs)是以飞机的位置和姿态为基准，并以存储的地形、跑道、障碍物数据库为基础，经计算处理，生成虚拟外部环境视景，能增强飞行员夜间和低能见度条件下的情景意识。但evs受天气影响，svs受数据库精度影响，因此都无法为飞行员提供更精准的飞行信息。

技术实现思路

1、本技术的主要目的在于提供一种基于机载三维图像引擎的组合视景系统及视景显示方法，解决evs受天气影响，svs受数据库精度影响，都无法为飞行员提供更精准的飞行信息的问题。

2、为了实现上述目的，根据本技术的第一方面，提供了一种基于机载三维图像引擎的组合视景系统。

3、根据本技术的基于机载三维图像引擎的组合视景系统包括：三维地景生成模块、增强合成视景融合模块、三维地形显示模块、障碍物显示模块、逻辑解算及判断模块、地形提示及警告模块，其中，三维地景生成模块，用于基于机载三维图像引擎生成虚拟的场景，并根据载机数据和控制数据对所述场景的显示进行更新，所述载机数据包括飞行器的实时视点位置，所述控制数据包括亮度数据、显示模式数据，所述显示模式包括地形模式和地景模式；增强合成视景融合模块，用于将基于所述场景的场景数据与实时的传感器图像数据进行融合后显示；三维地形显示模块，用于在没有接收到所述地形切换通知时，使用地景材质进行地形显示；在接收到所述地形切换通知后，使用纯地形材质根据所述飞行器与地形的高度差用对应的颜色进行地形的显示，不同的颜色的地形对应不同范围的高度差；障碍物显示模块，用于对预设视点范围内的障碍物用轮廓线进行突出显示，并在接收到所述地形提示及警告模块发出的障碍物的提示信号或告警信号后，改变障碍物的轮廓线的颜色，所述提示信号与所述告警信号对应不同颜色的轮廓线；逻辑解算及判断模块，用于对所述组合视景系统进行故障判断和数据源精度状态判断，并将判断结果反馈给机载显示设备进行显示，所述故障判断包括工作状态的判断和所述组合视景系统是否需要退出的判断；地形提示及警告模块，用于根据飞行器的飞行阶段和飞行状态设置对应的警戒包线，并在地形或障碍物进入警戒包线的范围后产生对应的提示信号或告警信号，所述提示信号或告警信号的表现形式包括听觉信号、视觉信号。

4、可选的，所述三维地景生成模块还包括：第一发送单元，用于若所述显示模式切换为地形模式，则向所述三维地形显示模块发送地形切换通知；第二发送单元，用于将所述实时视点位置和所述飞行器的飞行数据发送给所述地形提示及警告模块；计算单元，用于根据所述实时视点位置计算所述飞行器的离地高度，并将所述离地高度返回给机载显示设备进行显示。

5、可选的，所述增强合成视景融合模块包括：配准单元，用于基于感兴趣区域的特征子匹配法对所述场景数据和实时的传感器图像数据进行配准；融合单元，用于基于颜色空间融合法对所述场景数据和实时的传感器图像数据相同位置的像素进行融合。

6、可选的，所述障碍物显示模块包括：第一显示单元，用于在预设视点范围内将高度大于预设高度的障碍物用黄色轮廓线进行突出显示；第二显示单元，用于在接收到所述地形提示及警告模块发出的障碍物的提示信号后，将高度大于预设高度的障碍物用琥珀色轮廓线进行突出显示；第三显示单元，用于在接收到所述地形提示及警告模块发出的障碍物的告警信号后，将高度大于预设高度的障碍物用红色轮廓线进行突出显示。

7、可选的，所述逻辑解算及判断模块包括：故障判断单元，用于根据所述组合视景系统的断路器状态、数据连接状态、板卡状态以及数据源状态判断所述组合视景系统的工作状态及所述组合视景系统是否需要退出；数据源精度状态判断单元，用于根据惯导数据精度、气压精度、无线电精度分别判断在第一高度范围和第二高度范围内的数据源选择、系统显示状态、显示页面显示的数据源精确度的精度星级以及显示页面的周边键控制的有效性。

8、可选的，所述地形提示及警告模块包括：下降率判断单元，用于判断所述飞行器的下降率是否大于所述预设下降率阈值；第一警包线判断单元，用于在所述下降率判断单元的判断结果为否时，根据第一时长的航时警包线判断是否存在高度大于或等于所述飞行器的地形或障碍物，若存在，则产生告警信号；第二警包线判断单元，用于在所述下降率判断单元的判断结果为否且所述第一时长的航时警包线内不存在高度大于或等于所述飞行器的地形或障碍物时，根据第二时长的航时警包线判断是否存在高度大于或等于所述飞行器的地形或障碍物，若存在，则产生提示信号。

9、可选的，所述所述地形提示及警告模块还包括：最低告警高度判断单元，用于在所述下降率判断单元的判断结果为是时，确定所述飞行器的最低告警高度，并判断所述飞行器与检测范围内的地形或障碍物的高度差是否大于所述最低告警高度，若不大于，则产生告警信号。

10、为了实现上述目的，根据本技术的第二方面，提供了一种基于机载三维图像引擎的视景显示方法，所述方法应用于第一方面中任一项所述的组合视景系统中，所述方法包括：组合视景系统初始化时三维地景生成模块通过所述机载三维图像引擎生成虚拟的场景，三维地形显示模块使用地景材质进行地形显示，障碍物显示模块对预设视点范围内的障碍物用轮廓线进行突出显示；初始化后根据飞行器的实时视点位置、亮度数据、显示模式数据对所述场景的显示进行调整，所述显示模式包括地形模式和地景模式；通过增强合成视景融合模块将基于所述场景的场景数据与实时的传感器图像数据进行融合后显示；在显示模式切换为地形模式后，三维地形显示模块使用纯地形材质根据所述飞行器与地形的高度差用对应的颜色进行地形的显示，不同的颜色的地形对应不同范围的高度差；地形提示及警告模块根据飞行器的飞行阶段和飞行状态设置对应的警戒包线，并在地形或障碍物进入警戒包线的范围后产生对应的提示信号或告警信号，所述提示信号或告警信号的表现形式包括听觉信号、视觉信号；障碍物显示模块在接收到所述地形提示及警告模块发出的障碍物的提示信号或告警信号后，改变障碍物的轮廓线的颜色，所述提示信号与所述告警信号对应不同颜色的轮廓线。

11、可选的，所述方法还包括：通过逻辑解算及判断模块对所述组合视景系统进行故障判断和数据源精度状态判断，并将判断结果反馈给机载显示设备进行显示，所述故障判断包括工作状态的判断和所述组合视景系统是否需要退出的判断。

12、可选的，所述方法还包括：三维地景生成模块在所述显示模式切换为地形模式后向所述三维地形显示模块发送地形切换通知；三维地景生成模块将所述实时视点位置和所述飞行器的飞行数据发送给所述地形提示及警告模块，并根据所述实时视点位置计算所述飞行器的离地高度，并将所述离地高度返回给机载显示设备进行显示。

13、可选的，所述基于所述场景的场景数据与实时的传感器图像数据进行融合后显示包括：基于感兴趣区域的特征子匹配法对所述场景数据和实时的传感器图像数据进行配准；基于颜色空间融合法对所述场景数据和实时的传感器图像数据相同位置的像素进行融合。

14、可选的，所述在接收到所述地形提示及警告模块发出的障碍物的提示信号或告警信号后，改变障碍物的轮廓线的颜色包括：在接收到所述地形提示及警告模块发出的障碍物的提示信号后，将高度大于预设高度的障碍物用琥珀色轮廓线进行突出显示；于在接收到所述地形提示及警告模块发出的障碍物的告警信号后，将高度大于预设高度的障碍物用红色轮廓线进行突出显示。

15、可选的，所述对所述组合视景系统进行故障判断和数据源精度状态判断包括：根据所述组合视景系统的断路器状态、数据连接状态、板卡状态以及数据源状态判断所述组合视景系统的工作状态及所述组合视景系统是否需要退出；根据惯导数据精度、气压精度、无线电精度分别判断在第一高度范围和第二高度范围内的数据源选择、系统显示状态、显示页面显示的数据源精确度的精度星级以及显示页面的周边键控制的有效性。

16、可选的，所述根据飞行器的飞行阶段和飞行状态设置对应的警戒包线，并在地形或障碍物进入警戒包线的范围后产生对应的提示信号或告警信号包括：判断所述飞行器的下降率是否大于所述预设下降率阈值；在所述下降率判断单元的判断结果为否时，根据第一时长的航时警包线判断是否存在高度大于或等于所述飞行器的地形或障碍物，若存在，则产生告警信号；在所述下降率判断单元的判断结果为否且所述第一时长的航时警包线内不存在高度大于或等于所述飞行器的地形或障碍物时，根据第二时长的航时警包线判断是否存在高度大于或等于所述飞行器的地形或障碍物，若存在，则产生提示信号。

17、可选的，所述方法还包括：在所述下降率判断单元的判断结果为是时，确定所述飞行器的最低告警高度，并判断所述飞行器与检测范围内的地形或障碍物的高度差是否大于所述最低告警高度，若不大于，则产生告警信号。

18、为了实现上述目的，根据本技术的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述第二方面中任意一项所述的基于机载三维图像引擎的视景显示方法。

19、为了实现上述目的，根据本技术的第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述第二方面中任意一项所述的基于机载三维图像引擎的视景显示方法。

20、在本技术实施例的基于机载三维图像引擎的组合视景系统及视景显示方法中，通过三维地景生成模块根据机载三维图像引擎生成虚拟的场景，并通过增强合成视景融合模块将基于场景的场景数据与实时的传感器图像数据进行融合，两者的融合提高了图像信息的质量，实时的传感器图像数据可以提高场景数据的精度，即使在天气情况不太好的情况下也可以由已存储的场景数据来为飞行员提供飞行信息。另外，在飞行器飞行的过程中还可以根据飞行器的飞行阶段和飞行状态设置对应的警戒包线，并在地形或障碍物进入警戒包线的范围后产生对应的提示信号或告警信号；并由障碍物显示模块根据提示信号或告警信号后，改变障碍物的轮廓线的颜色，及时为飞行员提供明显又准确的障碍物告警信息。此外，本技术实施例中的三维地形显示模块可以使用纯地形材质根据飞行器与地形的高度差用对应的颜色进行地形的显示；逻辑解算及判断模块还对组合视景系统进行故障判断和数据源精度状态的判断，并将判断结果反馈显示，这些都可以进一步的为飞行员的飞行提供实时准确的飞行信息。综上，本技术实施例中的组合视景系统及视景显示方法能够为飞行员提供更精准的飞行信息。