一种视觉融合信息三维重建的导航地图构建方法与流程

1.本申请涉及三维重建导航地图技术领域，具体而言，涉及一种视觉融合信息三维重建的导航地图构建方法。


背景技术：

2.无人装置能够在运行维护任务和应急处理任务提供现场的实况地图，在核电环境、搜救环境等应用场景下具有重大意义。现有的相关导航地图构建方法在非可见光场信息和未知环境下的地图构建方面存在缺陷，目前较为成熟的即时定位和地图构建(simultaneous localization and mapping,slam)方法主要依靠激光雷达对可见实体障碍物进行测距，实现构建导航地图的几何边界环境信息。然而，核电与搜救环境中普遍存在异常高温区域与高放射剂量区域，对于进入环境中执行任务的无人装置和人员都存在巨大的安全威胁，仅靠几何边界环境信息构建的导航地图无法获取温度、剂量等非可见光场信息，无法完整、准确感知环境中的多源信息特征。


技术实现要素：

3.本申请实施例提供了一种视觉融合信息三维重建的导航地图构建方法。采用多源视觉信息作为构建导航地图的信息源，通过视觉三维重建的方法构建环境信息的数据化几何边缘，将多源视觉信息分别在二维图像和三维场景两个层级进行融合，并对融合信息进行语义标注，完成基于融合信息的语义级三维导航地图的构建。
4.第一方面，本申请实施例提供了一种视觉融合信息三维重建的导航地图构建方法，所述方法包括：
5.获取待构建环境的环境数据信息，所述环境数据信息包括可见光视频图像、红外视频图像、伽马视频图像；
6.将所述可见光视频图像分别与所述红外视频图像和所述伽马视频图像进行图像融合，得到红外融合图像以及伽马融合图像；
7.获取所述红外融合图像和所述伽马融合图像的二维特征信息，构建所述待构建环境的三维导航地图。
8.优选的，所述获取所述红外融合图像和所述伽马融合图像的二维特征信息，包括：
9.对所述红外融合图像和所述伽马融合图像进行目标识别，识别所述红外融合图像和所述伽马融合图像的环境特征；
10.基于所述环境特征对所述红外融合图像和所述伽马融合图像进行语义分割，得到二维特征信息。
11.优选的，所述环境特征包括可行进路径、几何边界、异常高温区域、高剂量区域。
12.优选的，所述构建所述待构建环境的三维导航地图，包括：
13.基于所述可见光视频图像构建稠密点云模型，所述稠密点云模型用以描绘导航地图环境的物理轮廓；
14.将所述二维特征信息向所述稠密点云模型进行特征映射，构建多场信息融合的语义级三维导航地图。
15.第二方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。
16.第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法。
17.本发明的有益效果为：1.对传统几何边界导航地图进行了信息补充与增强，为地图增加了红外场、伽马剂量场等可见光无法探测的目标与区域，丰富了地图的环境信息。
18.2.对图像与三维场景中的红外场、伽马剂量场等信息进行了语义分割与目标识别，为地图增加了语义级特征信息，为移动装备快速识别地图中的目标特征提供信息支撑。
19.3.建立了融合场信息的三维地图，相比仅反映几何边界的传统二维地图，增强了地图中的高度信息与环境目标的三维特征信息，为移动装备在实际环境中的攀爬、越障提供了更为精准的环境相关信息。
附图说明
20.为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本申请实施例提供的一种视觉融合信息三维重建的导航地图构建方法的流程示意图；
22.图2为本申请实施例提供的一种视觉融合信息三维重建的导航地图构建方法的详细流程举例示意图；
23.图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
24.下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
25.在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本发明的多个实施例，不同实施例之间可以替换或者合并组合，因此本发明也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征a、b、c，另一个实施例包含特征b、d，那么本发明也应视为包括含有a、b、c、d的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
26.下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本发明内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描
述的特征组合到其他示例中。
27.参见图1，图1是本申请实施例提供的一种视觉融合信息三维重建的导航地图构建方法。在本申请实施例中，所述方法包括：
28.s101、获取待构建环境的环境数据信息，所述环境数据信息包括可见光视频图像、红外视频图像、伽马视频图像。
29.所述待构建环境在本申请实施例中可以理解为将要构建导航地图的环境。
30.所述环境数据信息在本申请实施例中可以理解为摄像机在待构建环境中拍摄到的各环境的数据信息。
31.在本申请实施例中，如图2所示，将在无人移动装置上部署可见光摄像机、红外摄像机、伽马摄像机作为环境信息的采集设备，随着无人移动装置在环境中行进，以此来获取待构建环境中的环境数据信息。同时还可以逐步完善局部环境信息，构建完整的环境信息数据集。
32.s102、将所述可见光视频图像分别与所述红外视频图像和所述伽马视频图像进行图像融合，得到红外融合图像以及伽马融合图像。
33.在本申请实施例中，在无人移动装置所拍摄到的二维图像中，由于可见光摄像机所拍摄的可见光视频图像无法获取异常高温、伽马剂量等信息，故将可见光视频图像分别与红外视频图像以及伽马视频图像进行图像融合，以此实现能够在融合后的红外融合图像和伽马融合图像中确定几何边界区域内的温度分布以及伽马剂量分布。
34.s103、获取所述红外融合图像和所述伽马融合图像的二维特征信息，构建所述待构建环境的三维导航地图。
35.所述二维特征信息在本申请实施例中可以理解为融合图像在二维上的特征类型、特征分布等特征相关信息。
36.在一种可实施方式中，所述获取所述红外融合图像和所述伽马融合图像的二维特征信息，包括：
37.对所述红外融合图像和所述伽马融合图像进行目标识别，识别所述红外融合图像和所述伽马融合图像的环境特征；
38.基于所述环境特征对所述红外融合图像和所述伽马融合图像进行语义分割，得到二维特征信息。
39.在一种可实施方式中，所述环境特征包括可行进路径、几何边界、异常高温区域、高剂量区域。
40.在本申请实施例中，将对得到的融合图像进行目标识别，融合图像中主要的识别对象为图像中的可行进路径(即地面)、几何边界(即边界与障碍物)、异常高温区域(即温度场)、高剂量区域(即伽马剂量场)，通过对融合图像中识别对象的识别，确定融合图像中的各个环境特征。然后并依据识别结果对图像中的环境特征进行语义分割，即对图像中的各环境特征信息进行像素级别的分类，得到二维特征信息。
41.在一种可实施方式中，所述构建所述待构建环境的三维导航地图，包括：
42.基于所述可见光视频图像构建稠密点云模型，所述稠密点云模型用以描绘导航地图环境的物理轮廓；
43.将所述二维特征信息向所述稠密点云模型进行特征映射，构建多场信息融合的语
义级三维导航地图。
44.在本申请实施例中，稠密点云模型可以采用基于sfm的三维重建方法生成，sfm(structure
‑
from
‑
motion)算法是一种基于各种收集到的无序图片进行三维重建的离线算法，其可以从运动中(不同时间拍摄的图片集)恢复物体的三维结构。构建出的反映环境几何边界信息的稠密点云模型，可以用来描绘出导航地图环境的物理轮廓。构建出稠密点云模型后，将所有融合图像中的二维特征信息向构建的三维稠密点云模型进行特征映射，实现多源信息在三维层级的融合，建立多场信息融合的语义级三维导航地图。最终得到的地图包含有红外、伽马等非可见光场的语义级特征信息，为提高移动装备在环境中运行时的自身安全提供了目标规避参考。同时，将几何边界、红外场、剂量场等信息从二维地图拓展到三维场景，为移动装备的自主导航提供更为丰富和精准的环境信息。
45.参见图3，其示出了本发明实施例所涉及的一种电子设备的结构示意图，该电子设备可以用于实施图1所示实施例中的方法。如图3所示，电子设备300可以包括：至少一个中央处理器301，至少一个网络接口304，用户接口303，存储器305，至少一个通信总线302。
46.其中，通信总线302用于实现这些组件之间的连接通信。
47.其中，用户接口303可以包括显示屏(display)、摄像头(camera)，可选用户接口303还可以包括标准的有线接口、无线接口。
48.其中，网络接口304可选的可以包括标准的有线接口、无线接口(如wi
‑
fi接口)。
49.其中，中央处理器301可以包括一个或者多个处理核心。中央处理器301利用各种接口和线路连接整个终端300内的各个部分，通过运行或执行存储在存储器305内的指令、程序、代码集或指令集，以及调用存储在存储器305内的数据，执行终端300的各种功能和处理数据。可选的，中央处理器301可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field
‑
programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。中央处理器301可集成中央中央处理器(central processing unit，cpu)、图像中央处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到中央处理器301中，单独通过一块芯片进行实现。
50.其中，存储器305可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read
‑
only memory)。可选的，该存储器305包括非瞬时性计算机可读介质(non
‑
transitory computer
‑
readable storage medium)。存储器305可用于存储指令、程序、代码、代码集或指令集。存储器305可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器305可选的还可以是至少一个位于远离前述中央处理器301的存储装置。如图3所示，作为一种计算机存储介质的存储器305中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
51.在图3所示的电子设备300中，用户接口303主要用于为用户提供输入的接口，获取用户输入的数据；而处理器301可以用于调用存储器305中存储的视觉融合信息三维重建的
导航地图构建应用程序，并具体执行以下操作：
52.获取待构建环境的环境数据信息，所述环境数据信息包括可见光视频图像、红外视频图像、伽马视频图像；
53.将所述可见光视频图像分别与所述红外视频图像和所述伽马视频图像进行图像融合，得到红外融合图像以及伽马融合图像；
54.获取所述红外融合图像和所述伽马融合图像的二维特征信息，构建所述待构建环境的三维导航地图。
55.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、dvd、cd
‑
rom、微型驱动器以及磁光盘、rom、ram、eprom、eeprom、dram、vram、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器ic)，或适合于存储指令和/或数据的任何类型的媒介或设备。
56.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
57.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
58.在本发明所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
59.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
60.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
61.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
62.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(read
‑
only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
63.以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。