一种基于建筑数字孪生语义图的视觉定位方法及装置与流程

1.本技术涉及视觉定位技术领域，尤其涉及一种基于建筑数字孪生语义图的视觉定位方法及装置。


背景技术：

2.视觉定位是一种相对低成本、广泛可得的室内定位方法，视觉定位的主要原理是利用视觉传感器（如智能手机的相机、监控摄像头等）拍摄的图像，估计拍摄点在某个坐标系下的位置和朝向，当前视觉定位方法包括基于三维模型的视觉定位。
3.现有技术中，基于三维模型的视觉定位首先采用sfm、slam等算法建立三维室内模型，而后建立待定位图像二维特征点和三维室内模型特征点的匹配，最后采用ransac+pnp等算法计算位置，此类方法计算复杂度高，定位稳定性较差。


技术实现要素：

4.有鉴于此，本技术的目的在于至少提供一种基于建筑数字孪生语义图的视觉定位方法及装置，通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程。
5.本技术主要包括以下几个方面：第一方面，本技术实施例提供一种基于建筑数字孪生语义图的视觉定位方法，视觉定位方法包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；从所述目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
6.在一种可能的实施方式中，根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图的步骤包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的初始全局建筑语义图，初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边；对初始全局建筑语义图进行近似频繁子图挖掘，排除初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
7.在一种可能的实施方式中，从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图的步骤包括：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局
部建筑语义图之间的目标映射关系矩阵，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
8.在一种可能的实施方式中，不同实体对应的节点类型不同，不同类型的节点表示不同类型的实体，不同类型的边表示不同类型的实体关系，其中，通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：在该公式中，表示映射关系差异函数，表示目标全局建筑语义图，=（）表示局部建筑语义图，其中，表示局部建筑语义图中的待匹配节点集合，表示局部建筑语义图中的待匹配边集合，表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，表示局部建筑语义图中的第个待匹配节点对应的实体类型，表示局部建筑语义图中的第个待匹配节点对应的实体类型的影响权重，表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，表示实体关系类型的影响权重，表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。
9.在一种可能的实施方式中，约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对局部建筑语义图中待匹配节点和待匹配边之间的总约束。
10.在一种可能的实施方式中，根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵的步骤包括：遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0；遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
11.在一种可能的实施方式中，根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位的步骤包括：确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个带匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入ransac+pnp模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
12.第二方面，本技术实施例还提供一种基于建筑数字孪生语义图的视觉定位装置，视觉定位装置包括：创建模块，用于根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；第一确定模块，用于确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；第二确定模块，用于从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；第三确定模块，用于根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
13.在一种可能的实施方式中，第二确定模块还用于：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
14.在一种可能的实施方式中，第三确定模块还用于：确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个待匹配节点对应的第一坐标和每个目标匹配语义子图对应的第二坐标输入ransac+pnp模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
15.本技术实施例提供的基于建筑数字孪生语义图的视觉定位方法及装置，包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程。
16.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
17.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附
图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
18.图1示出了本技术实施例所提供的一种视觉定位方法的流程图；图2示出了本技术实施例所提供的建筑语义图的结构示意图；图3示出了本技术实施例所提供的一种确定目标匹配语义子图的步骤的流程图；图4示出了本技术实施例提供的一种视觉定位装置的结构示意图；图5示出了本技术实施例所提供的一种电子设备的结构示意图。
具体实施方式
19.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中的附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
20.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本技术保护的范围。
21.现有的视觉定位技术，根据视觉传感器不同，视觉定位方法可分为rgb-d视觉定位、面向自主机器人等的连续视觉感知定位和单张或少量图像的单目视觉定位等，从室内场景表达进行区分，现有技术中的视觉定位方法可分为基于三维模型的视觉定位和基于图像检索的视觉定位两类。
22.基于三维模型的视觉定位采用sfm（structure from motion，运动结构）、slam（simultaneous location and mapping，同时定位与地图构建）等算法建立三维室内模型，或通过cnn（convolutional neural network，卷积神经网络）、随机森林等隐式表达三维室内模型，而后建立待定位图像的二维特征点和三维室内模型特征点的匹配，最后采用ransac（random sample consensus）+pnp（perspective n points，多点透视成像）等算法计算最后定位位置，此类方法在特征点正确匹配下具备较高定位精度，然而，其计算复杂度高，且在新场景内的泛化能力弱，同时，在弱视觉室内场景中较难获取正确的二维特征点和三维室内模型特征点的匹配结果，造成感知混叠，且定位稳定性较差。
23.基于图像检索的视觉定位通过sfm、slam、bim（building information modelling，建筑信息模型）等方式建立“图像（特征）
−
位置”匹配数据库，而后建立图像检索方法查找与待定位图像最相似的匹配数据库图像（特征），实现室内定位，此类算法的性能取决于匹配数据库和图像检索算法，然而匹配数据库的建立需要大量的前期室内环境建模工作，耗时且成本高，另一方面，该方法中面向视觉定位的图像检索，大多采用图像的视觉
特征，然而纯粹的图像视觉特征很难适用于弱视觉特征下的视觉定位。
24.基于此，本技术实施例提供了一种视觉定位方法，通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程，具体如下：请参阅图1，图1示出了本技术实施例所提供的一种基于建筑数字孪生语义图的视觉定位方法的流程图。如图1所示，本技术实施例提供的视觉定位方法，包括以下步骤：s100、根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图。
25.具体的，在目标建筑的各楼层的多个位置处，设置有对应的视觉传感器，视觉传感器可以为监控摄像头，根据设置在目标建筑内部各处的监控摄像头，实时捕捉目标建筑内部的图像以及记录目标建筑内部物体移动等的变化，目标建筑的建筑数字孪生模型，是根据设置在目标建筑内部各位置处的监控摄像头获取的监控视频以及目标建筑的bim异质数据创建的，由此可见，建筑数字孪生模型能够描述建筑的室内动态场景。
26.其中，目标建筑的建筑数字孪生模型由目标建筑的实体以及实体关系组成，具体的，对目标建筑的建筑数字孪生模型进行形式化描述，目标建筑的建筑数字孪生模型，其中，表示目标建筑的建筑数字孪生模型中的实体集合，表示目标建筑的建筑数字孪生模型中的实体关系集合，t表示目标建筑的建筑数字孪生模型中的实体类型集合，表示目标建筑的建筑数字孪生模型中的实体关系类型集合，且对于建筑数字孪生模型中的任一实体，其包括该实体可用于视觉定位的属性特征，对于建筑数字孪生模型中的任意两个实体和，其可能存在多种不同类型的实体关系，优选地，可以通过表示建筑数字孪生模型中的任意两个实体和之间所有实体关系的集合，对于任一实体关系∈，其可描述为，其含义为实体以关系∈依赖于实体，因此，可通过表示实体以关系依赖的所有实体。
27.对目标建筑的建筑数字孪生模型进行形式化描述后，建筑数字孪生模型转化为目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系，其中，不同类型的节点表示不同类型的实体，不同类型的边表示不同的类型的实体关系，具体的，实体的类型包括但不限于桌子、椅子、窗户和墙，实体关系包括但不限于从属、遮挡和相交，实体关系类型包括但不限于位置、语义、组合等。
28.请参阅图2，图2示出了本技术实施例所提供的建筑语义图的结构示意图，如图2所示，b1、b2、b3、b4、b5、b6表示目标全局建筑语义图的建筑语义子图a中的节点，其中，不同形状的节点表示不同的实体类型，
①
、
②
、
③
表示不同类型的边，表示不同类型的实体关系。
29.在一优选实施例中，根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图的步骤包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的初始全局建筑语义图，初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边，对初始全局建筑语义图进行近似频繁子图挖掘，排除初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
30.在一优选实施例中，在视觉定位方法中，在根据目标建筑的建筑数字孪生模型创建初始全局建筑语义图后，在初始全局建筑语义图中，并非所有的实体、实体关系以及语义子图都对视觉定位的产生一定的作用，为了降低运算的复杂程度，需要确定初始全局建筑
语义图中对视觉定位产生一定作用的可依赖要素，显然，语义子图频繁度越高，则该语义子图在视觉定位中的作用越小；反之，则该语义子图在视觉定位中作用越大。因此，这里通过近似频繁子图挖掘，找出初始语义图中许多频繁出现的节点、边和语义子图，最终确定具有最大室内定位效用的目标全局建筑语义图。
31.返回图1，s200、确定待定位图像的局部建筑语义图。
32.待定位图像为所拍摄的目标建筑内的局部区域的图像，具体的，可通过设置在目标建筑的各楼层的多个位置处的监控摄像头获取待定位图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系。
33.s300、从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图。
34.请参阅图3，图3示出了本技术实施例所提供的一种确定目标匹配语义子图的步骤的流程图，如图3所示，从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图的步骤包括：s301、根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数。
35.在一优选实施例中，通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：在该公式中，表示映射关系差异函数，表示目标全局建筑语义图，=（）表示局部建筑语义图，其中，表示局部建筑语义图中的待匹配节点集合，表示局部建筑语义图中的待匹配边集合，表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，表示局部建筑语义图中的第个待匹配节点对应的实体类型，表示局部建筑语义图中的第个待匹配节点对应的实体类型的影响权重，表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，表示实体关系类型的影响权重，表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。
36.在具体实施中，通过映射关系差异函数的公式可知，映射关系差异函数 的值越小，目标映射关系矩阵越准确，也就是说，通过目标映射关系矩阵从目标全局建筑语义图中找到的与局部建筑语义图相匹配的目标匹配语义子图越准确。
37.s302、根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
38.在一种可能的实施方式中，可以通过确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，即求取使得映射关系差异函数最小或
者满足预设阈值的目标映射关系矩阵，其中，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系。
39.在一优选实施例中，约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对局部建筑语义图中待匹配节点和待匹配边之间的总约束，其中，例如节点约束可以对各待匹配节点对应的实体类型进行约束，边约束可以对各待匹配节点涉及到的实体关系以及实体关系类型进行约束。
40.在一优选实施例中，根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵的步骤包括：遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0；遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
41.一示例中，初始映射关系矩阵p∈，其中，表示局部建筑语义图中的待匹配节点数，表示目标全局建筑语义图中的节点数，若目标全局建筑语义图中的第j个节点是局部建筑语义图中第i个待匹配节点满足约束集合h中节点约束下的潜在匹配节点，则，若目标全局建筑语义图中的第j个节点不是局部建筑语义图中第i个待匹配节点满足约束集合h中节点约束下的潜在匹配节点，则，按照此方法，依次迭代遍历节点约束集合、边约束集合以及总约束集合，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵p。
42.s303、根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
43.返回图1，s400、根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
44.在一优选实施例中，根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位的步骤包括：确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个带匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入ransac+pnp模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
45.基于同一申请构思，本技术实施例中还提供了与上述实施例提供的视觉定位方法对应的视觉定位装置，由于本技术实施例中的装置解决问题的原理与本技术上述实施例的视觉定位方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
46.请参阅图4，图4示出了本技术实施例提供的一种基于建筑数字孪生语义图的视觉定位装置的结构示意图，如图4所示，视觉定位装置包括：创建模块510，用于根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局
建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；第一确定模块520，用于确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；第二确定模块530，用于从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；第三确定模块540，用于根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
47.优选地，第二确定模块530还用于：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
48.优选地，第三确定模块540还用于： 确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个待匹配节点对应的第一坐标和每个目标匹配语义子图对应的第二坐标输入ransac+pnp模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
49.优选地，创建模块510还用于：根据目标建筑的建筑数字孪生模型，创建目标建筑的初始全局建筑语义图，初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边；对初始全局建筑语义图进行近似频繁子图挖掘，排除初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
50.优选地，不同类型的节点表示不同类型的实体，不同类型的边表示不同类型的实体关系，其中，第二确定模块530还用于通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：在该公式中，表示映射关系差异函数，表示目标全局建筑语义图，=（）表示局部建筑语义图，其中，表示局部建筑语义图中的待匹配节点集合，表示局部建筑语义图中的待匹配边集合，表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，表示局部建筑语义图中的第个待匹配节点对应的实体类型，表示局部建筑语义图中的第个待匹配节点对应的实体类型的影响权重，表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，表示实体关系类型
的影响权重，表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。
51.优选地，约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对局部建筑语义图中待匹配节点和待匹配边之间的总约束。
52.优选地，第二确定模块530还用于：遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0； 遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
53.基于同一申请构思，请参阅图5，图5示出了本技术实施例提供的一种电子设备的结构示意图，电子设备600包括：处理器610、存储器620和总线630，所述存储器620存储有所述处理器610可执行的机器可读指令，当电子设备600运行时，所述处理器610与所述存储器620之间通过所述总线630进行通信，所述机器可读指令被所述处理器610运行时执行如上述实施例中任一所述的视觉定位方法的步骤。
54.基于同一申请构思，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的视觉定位方法的步骤。
55.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本技术所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
56.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
57.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
58.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以
使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
59.以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。