一种基于多传感器多层次的室内场景数字孪生方法与流程

本发明涉及大型动态室内场景的数字孪生应用技术领域，具体为一种基于多传感器多层次的室内场景数字孪生方法。

背景技术：

在“数字孪生”应用中，其中一个重要的技术手段就是应用三维重建技术来达到数字化特定场景或者特定物体的目的，从而为后续基于数字化后的场景或者物件（点云或者模型数据）开发的各种vr、ar内容提供基础的核心数据支撑。

但是，在当前使用的三维重建技术来进行“数字孪生”应用中，往往都是使用单一传感器，在单一层次上，使用单一重建流程进行扫描数字化的工作。这使得“数字孪生”，只能适用于比较有限的应用场景，或者需要在特定的环境中进行。

如在工程制造领域，往往需要对工件进行逆向工程，由于工件一般可以静态放置，而且形状相对固定，所以在一般的解决方案中会在干净背景的环境下，使用手持式三维扫描仪进行高精度的扫描重建。如在无人驾驶领域，为了在汽车行驶的过程中对周遭环境进行感知来决策进行车辆控制，往往使用16线或者32线激光扫描仪进行实时扫描来重建场景，从而区识别道路、障碍、行人等。而在此种应用下，要求的更多是速度，距离，而不是刻画形状的精度。又如城市道理等地理测绘领域，为了对尽可能广的区域内进行快速扫描重建，则往往使用无人机搭载视觉传感器配合基于图片的三维重建技术进行“数字孪生”的应用。在此种应用下，要求的是大尺度的距离精度，和反映大尺度物件，如建筑物的形状特征，但在对于小尺度物件，如围栏，店铺等的形状特征却有所欠缺。

基于单一传感器和单层次三维重建技术在面对复杂场景，尤其是既要求大尺度距离精度，又要求小尺度物件形状精度；场景中既包含静态物件（地面、柱子、围栏等固定设施），又包含各种动态物件（行人、车辆）的时候，往往力不从心，无法在多尺度下同时达到精度的要求，也无法解决复杂场景的时-空三维重建问题。而这在面对诸如城市小区域（如马路、公园等），大型室内场景（如商场、运动场等）的“数字孪生”应用中，问题变得尤为突出。

如架站式激光三维扫描仪，典型测量范围在50到200米以内，典型测量视角为水平360度，垂直约270度，典型测量精度在厘米级。它能解决大尺度的精度问题，但无法进行实时扫描。如固态激光三维扫描仪，典型测量范围在5米到100米以内，典型测量视角为水平约90度，垂直约60度,典型测量精度在厘米级，能一定程度上解决大尺度的精度问题，也能实时扫描，但受限于有限视角，使得需要通过连续测量的方式，来获取整体场景的信息，但这又会带来因为数据融合工作而带来的整体精度的下降。如rgb-d相机，典型测量范围在40厘米到3米，典型视角为水平约120度，垂直约60度，典型测量精度在亚厘米级，能实时扫描，能解决小尺度的精度问题，却又无法解决大尺度的精度问题。

另外由于选用设备的不同，获取数据形式质量的不同，在三维重建算法的实现上，不同的算法实现也伴随着自身的优缺点，同样会有取舍的问题。而这使得如果只是使用单纯一套三维重建的流程均没法彻底解决上述复杂场景的“数字孪生”问题。

如一般常用的基于三角剖分的重建方法对三维扫描获取的点云数据的噪声要求较高，这对于激光类型的设备可能比较适用，因为它们的单点测量精度较高。但是，对于激光扫描仪失效的情形（在单一场景中总会出现所要求的设备测量条件以外的局部区域，如植物，如动态物件边缘区域），对于多次扫描数据重叠区域（这个在多次测量的配准阶段是必需的）又不可避免带有有色噪声，因此这种方法使得重建的模型往往带有严重缺陷。又如经常使用的poisson或者mls等基于mc的重建方法，能够有效避免点云数据噪声的影响，但大多速度较慢达不到实时的要求，又或者能够实时，但对于一些特殊形状物体的重建却并不好，也无法解决不同尺度下的重建精度问题。

技术实现要素：

本发明目的在于提供对特殊形状物体重建精度高的一种基于多传感器多层次的室内场景数字孪生方法。

本发明所述的一种基于多传感器多层次的室内场景数字孪生方法，包括以下步骤：

通过多个不同传感器分别获取大尺度、中等尺度以及小尺度的点云和模型数据，并将大尺度的点云和模型数据进行立体区域划分，以及计算当前中等尺度、小尺度的点云和模型数据的位置信息，并存储到树状数据结构中；

对树状数据结构中所有结点的信息进行访问，获取需要更新的位置信息以及需要重新重建的点云和模型数据；

寻找相关联的上一级立方包围盒，并获取其点云和模型数据；

对当前点云和模型数据以及相关联的点云和模型进行比较；

如只是位置发生移动，更新节点位置信息；

如发生形状变化，对当前点云和模型数据以及相关联的点云和模型重新进行重建和融合。

本发明所述一种基于多传感器多层次的室内场景数字孪生方法，通过多个不同传感器在不同层次上对同一复杂场景进行了三维扫描测量和重建，能够取长补短，博众家所长，兼顾了反映场景大尺度的距离尺寸精度和反映场景小尺度局部如物体的三维形状精度，也兼顾了场景中出现的静态物件的三维时-空结构和动态物件的三维时-空结构的三维重建问题。而且通过对场景建立r树的数据结构来对整个场景的点云和模型数据进行管理。通过树状数据结构的数据结构，不同尺度下获取的静态或者动态三维模型会被具有嵌套结构的立方包围盒进行包裹。通过对树状数据结构中所有结点的信息进行访问的数据结构，可以快速获取近邻包围盒和上一级更大范围尺度下点云和模型数据，因此能够快速进行融合操作，解决了不同尺度下的重建精度问题。能够解决对室内包含动态物体如行人、车辆等和静态物体如商铺等固定设施，大尺度如百米级和小尺度如厘米级等复杂场景数字孪生的整体应用的问题。

附图说明

图1为本发明一种基于多传感器多层次的室内场景数字孪生方法的流程示意图;

图2为本发明一实施融合阶段的流程示意图；

图3为本发明一实施不同尺度测数据和重建模型阶段的流程示意图。

具体实施方式

如图1所示，本发明所述的一种基于多传感器多层次的室内场景数字孪生方法，包括以下步骤：

通过多个不同传感器分别获取大尺度、中等尺度以及小尺度的点云和模型数据，并将大尺度的点云和模型数据进行立体区域划分，以及计算当前中等尺度、小尺度的点云和模型数据的位置信息，并存储到树状数据结构中；

对树状数据结构中所有结点的信息进行访问，获取需要更新的位置信息以及需要重新重建的点云和模型数据；

寻找相关联的上一级立方包围盒，并获取其点云和模型数据；

对当前点云和模型数据以及相关联的点云和模型进行比较；

如只是位置发生移动，更新节点位置信息；

如发生形状变化，对当前点云和模型数据以及相关联的点云和模型重新进行重建和融合。

通过多个不同传感器在不同层次上对同一复杂场景进行了三维扫描测量和重建，能够取长补短，博众家所长，兼顾了反映场景大尺度的距离尺寸精度和反映场景小尺度局部如物体的三维形状精度，也兼顾了场景中出现的静态物件的三维时-空结构和动态物件的三维时-空结构的三维重建问题。而且通过对场景建立r树的数据结构来对整个场景的点云和模型数据进行管理。通过树状数据结构的数据结构，不同尺度下获取的静态或者动态三维模型会被具有嵌套结构的立方包围盒进行包裹。通过对树状数据结构中所有结点的信息进行访问的数据结构，可以快速获取近邻包围盒和上一级更大范围尺度下点云和模型数据，因此能够快速进行融合操作，解决了不同尺度下的重建精度问题。能够解决对室内包含动态物体如行人、车辆等和静态物体如商铺等固定设施，大尺度如百米级和小尺度如厘米级等复杂场景数字孪生的整体应用的问题。

如图2所示，通过点云配准和八叉树比较，获取当前点云数据在上一级关联点云出现的空间区域和重叠部分；

删除上一级关联点云在该空间区域和重叠部分的数据；

把当前点云数据和上一级关联点云数据进行合并；

对合并后的数据根据上一级关联点云数据的来源特点进行滤波，统一两部分的点云数据质量；

进行重建，获取上一级关联点云的精确模型；

更新上一级关联节点的点云数据和模型数据。

从而获取整体质量更高的模型，解决了由于当前点云和模型数据以及上一级相关联的点云和模型可能来源于不同尺度下的计算过程，所以在点云质量和模型质量如点密度，三角网格的规整度上将存在差别导致质量不高的问题。

如图3所示，通过不同的传感器分别获取大尺度、中等尺度以及小尺度的点云和模型数据，并将大尺度的点云和模型数据进行立体区域划分，以及计算当前中等尺度、小尺度的点云和模型数据的位置信息，并存储到树状数据结构中，包括以下步骤：

使用架站式高精度全景激光扫描设备进行多点扫描，获取大尺度区域内的动态3d彩色点云测量数据，并对其进行离线三维重建；

使用固定于场景中的经标定的多个固态激光扫描设备进行实时扫描，获取中等尺度区域内的动态3d彩色点云测量数据，并对其进行实时三维重建；

使用带双目或者深度相机的移动终端或者其他手持式扫描设备进行实时扫描，获取小尺度区域内的动态3d彩色点云测量数据，并对其进行实时三维重建。

使用架站式高精度全景激光扫描设备进行多点扫描，获取大尺度区域内的动态3d彩色点云测量数据，并对其进行离线三维重建，包括以下步骤：

在场景中相距至少10米距离的多个位置进行布点，使用架站式高精度全景激光扫描设备对场景进行扫描测量，获取多份3d彩色点云测量数据；

对每份3d彩色点云测量数据进行必要的滤波处理操作，去除异常点，尤其是动态物件的产生的噪声；

对3d彩色点云数据进行由粗到精的配准；

对配准后的3d彩色点云数据进行整体滤波处理，去除叠加模糊引起的噪声，以及降低点云复杂度；

对点云进行重建，并获取大尺度的精确三维模型。

使用固定于场景中的经标定的多个固态激光扫描设备进行实时扫描，获取中等尺度区域内的动态3d彩色点云测量数据，并对其进行实时三维重建，包括以下步骤：

在场景中相距至少20米的多个位置布置多台固定的固态激光扫描设备，并对场景进行实时扫描；

对获取的每一帧3d彩色点云测量数据，使用hog算法在图像空间中分割出静态场景和动态物件；

通过分割后的图像空间，分割出静态场景和动态物件的点云数据；

将分割出来的静态场景的点云数据与大尺度得到的点云数据进行融合，并使用poisson算法进行点云重建，获取中等尺度的精确三维模型；

将每一设备获取的分割出来的动态物件的点云数据，进行icp配准，获取动态物件的整体点云数据；

使用三角剖分算法对动态物件进行点云重建，获取中等尺度的精确三维模型；

通过标定数据，计算动态物件在大尺度空间中的位置。

使用带双目或者深度相机的移动终端或者其他手持式扫描设备进行实时扫描，获取小尺度区域内的动态3d彩色点云测量数据，并对其进行实时三维重建，包括以下步骤：

使用包括不限于带双目或深度相机的移动终端以及手持式扫描设备，对小尺度场景进行实时扫描；

使用hog算法对视频中分割出动态物件；

通过服务器的定位服务获取当前移动终端或手持式扫描设备的定位信息，并计算动态物件在大尺度空间的位置；

使用基于图片的实时稠密重建算法，对小尺度场景中的动态物件进行三维重建，获取小尺度场景中动态物件的精确三维模型。

对3d彩色点云数据进行由粗到精的配准，具体地；使用4fpcs+icp的方式进行由粗到精的配准。

对点云进行重建，并获取大尺度的精确三维模型，具体地：使用ballpivoting算法进行点云重建，获取大尺度的精确三维模型。

对树状数据结构中所有结点的信息进行访问，获取需要更新的位置信息以及需要重新重建的点云和模型数据，具体地：遍历树状数据结构，获取需要更新的位置信息以及需要重新重建的点云和模型数据。通过遍历树状数据结构的数据结构，可以快速获取近邻包围盒和上一级更大范围尺度下点云和模型数据，因此能够快速进行融合操作。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。