一种面向建筑数字孪生的相机外参自动标定方法及系统与流程

1.本技术涉及建筑数字孪生技术领域，具体而言，涉及一种面向建筑数字孪生的相机外参自动标定方法及系统。


背景技术：

2.数字孪生是指充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。其中，建筑数字孪生是指在工程建设的应用场景中，为了更加直观清晰的展示实体建筑的空间布局结构，工程建设人员通常会在实体建筑建成之后，构建一个能够反映实体建筑的物理与功能特性的建筑信息模型，将构建的建筑信息模型作为实体建筑的数字孪生模型，以通过数字孪生模型来便捷性的管理实体建筑的过程。
3.基于此，在构建数字孪生模型/更新数字孪生模型时，常需要通过图像目标检测的方法，从建筑场景内拍摄到的图片中，获取每一个实体对象的类别和边界位置信息，通过相机内外参完成像素坐标系与虚拟空间世界坐标系（数字孪生模型内的位置坐标符合虚拟空间世界坐标系）之间的转换，从确定实体对象在数字孪生模型中映射的虚拟对象的真实位置。
4.在目前的图像目标检测方法中，相机外参标定结果用于完成位置坐标在相机坐标系与虚拟空间世界坐标系之间的坐标转换功能。相机外参包括目标旋转矩阵和平移向量，对于动态相机而言，相机位置确定，但目标旋转矩阵会随着相机转动而变化，若相机外参不能随着相机转动而及时变化，则在相机坐标系与虚拟空间世界坐标系之间进行坐标转换时，转换精度会降低，导致实体对象在数字孪生模型中映射的虚拟对象的真实位置计算结果准确度下降，构建/更新的数字孪生模型中的模型信息失真。


技术实现要素：

5.有鉴于此，本技术的目的在于提供一种面向建筑数字孪生的相机外参自动标定方法及系统，能够跟随动态相机的转动，自适应的确定相机外参标定结果，以使位置坐标在相机坐标系与虚拟空间世界坐标系之间的坐标转换计算结果更加准确。
6.本技术实施例提供的一种面向建筑数字孪生的相机外参自动标定方法，所述相机外参自动标定方法用于在虚拟空间世界坐标系下，对相机在目标图像帧中表现出的目标旋转矩阵进行标定；所述目标图像帧用于表征设置于固定位置的相机以转动后的视角拍摄到的实体建筑场景内的场景图像，所述实体建筑场景在一虚拟空间中映射有建筑信息模型场景；所述目标旋转矩阵用于表征所述虚拟空间世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向；包括以下步骤：当相机视角转动角度满足预设条件时，根据目标图像帧内边缘中的直线检测结果，从所述目标图像帧中确定出与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点，并根据所述三个消失点和相机坐标系的原点建立消失点世界坐标系；其中，所
述消失点世界坐标系和所述虚拟空间世界坐标系中的三个坐标轴分别平行；根据所述三个消失点在所述消失点世界坐标系下的消失点坐标、以及从所述直线检测结果中确定的三个消失点在像素坐标系下的像素坐标，确定第一旋转矩阵；所述第一旋转矩阵用于表征所述消失点世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向；根据所述消失点世界坐标系和所述虚拟空间世界坐标系之间的目标轴变换调整关系，对所述第一旋转矩阵进行坐标变换处理以得到所述目标旋转矩阵，其中所述目标轴变换调整关系是根据所述目标图像帧与虚拟空间中的建筑信息模型场景的场景图像的相似度确定的。
7.在一些实施例中，所述的面向建筑数字孪生的相机外参自动标定方法中，根据所述目标图像帧与虚拟空间中的建筑信息模型内的场景图像的相似度确定所述目标轴变换调整关系，包括：根据预设规则确定在所述消失点世界坐标系和虚拟空间世界坐标系中的多种候选轴变换调整关系，确定多种候选旋转矩阵，每一种候选旋转矩阵对应所述虚拟空间中建筑信息模型场景在一种视角下所截取的一种场景图像；分别计算每种场景图像和所述目标图像帧的相似度，选取相似度最高的场景图像所对应的候选旋转矩阵作为目标旋转矩阵。
8.在一些实施例中，所述的面向建筑数字孪生的相机外参自动标定方法中，所述计算每种场景图像和所述目标图像帧的相似度，包括：根据预设的多种像素类别，分别确定所述目标图像帧中每个像素的像素类别、每种场景图像中每个像素的像素类别，得到每种像素类别下的目标图像帧的像素集合、每种场景图像的像素集合；根据所述多种像素类别下，所述目标图像帧的像素集合和每种场景图像的像素集合之间的相似度，确定每种场景图像和所述目标图像帧的相似度。
9.在一些实施例中，所述的面向建筑数字孪生的相机外参自动标定方法中，所述目标图像帧内边缘中的直线检测结果，是通过以下直线检测方法得到的：根据预设的边缘检测算法，提取所述目标图像帧中的边缘；对所述目标图像帧中的边缘进行直线检测，确定出所述边缘中的直线检测结果。
10.在一些实施例中，所述的面向建筑数字孪生的相机外参自动标定方法中，在根据目标图像帧内边缘中的直线检测结果，从所述目标图像帧中确定出与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点之前，所述方法还包括：根据所述相机的相机内参，对所述目标图像帧进行矫正，得到矫正后的目标图像帧；对所述矫正后的矫正后的目标图像帧进行图像增强处理，以增强图像内边缘两侧的图像差异，得到增强后的目标图像帧。
11.在一些实施例中，所述的面向建筑数字孪生的相机外参自动标定方法中，根据目标图像帧内边缘中的直线检测结果，从所述目标图像帧中确定出与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点，包括：根据所述目标图像帧内边缘中的直线检测结果，对所述直线检测结果中的直线段
进行聚类分析，确定平行的直线段数目最多的三组平行直线段组所在方向为虚拟空间世界坐标系三个坐标轴方向；根据三个坐标轴方向的平行直线段组，确定与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点。
12.在一些实施例中，所述的面向建筑数字孪生的相机外参自动标定方法中，对所述直线检测结果中的直线段进行聚类分析，确定平行的直线段数目最多的三组平行直线段组所在方向为虚拟空间世界坐标系三个坐标轴方向，包括：对所述直线检测结果中的直线段进行第一次迭代聚类，确定平行的直线段数目最多的第一组平行直线段组所在方向为虚拟空间世界坐标系下第一个坐标轴的方向；在所述直线检测结果中剔除第一组平行直线段组，对直线检测结果中剩余的直线段进行第二次迭代聚类，确定平行的直线段数目最多的第二组平行直线段组所在方向为虚拟空间世界坐标系下第二个坐标轴的方向；在所述直线检测结果中剔除第一组平行直线段组和第二组平行直线段组，对直线检测结果中剩余的直线段进行第三次迭代聚类，确定平行的直线段数目最多的第三组平行直线段组所在方向为虚拟空间世界坐标系下第三个坐标轴的方向。
13.在一些实施例中，还提供一种面向建筑数字孪生的相机外参自动标定系统，所述相机外参自动标定系统至少包括终端设备以及一个拍摄装置，所述终端设备用于在虚拟空间世界坐标系下，对相机在目标图像帧中表现出的目标旋转矩阵进行标定；所述目标图像帧用于表征设置于固定位置的拍摄装置中的相机以转动后的视角拍摄到的实体建筑场景内的场景图像，所述实体建筑场景在一虚拟空间中映射有建筑信息模型场景；所述目标旋转矩阵用于表征所述虚拟空间世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向；所述终端设备用于：当相机视角转动角度满足预设条件时，根据目标图像帧内边缘中的直线检测结果，从所述目标图像帧中确定出与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点，并根据所述三个消失点和相机坐标系的原点建立消失点世界坐标系；其中，所述消失点世界坐标系和所述虚拟空间世界坐标系中的三个坐标轴分别平行；根据所述三个消失点在所述消失点世界坐标系下的消失点坐标、以及从所述直线检测结果中确定的三个消失点在像素坐标系下的像素坐标，确定第一旋转矩阵；所述第一旋转矩阵用于表征所述消失点世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向；根据所述消失点世界坐标系和所述虚拟空间世界坐标系之间的目标轴变换调整关系，对所述第一旋转矩阵进行坐标变换处理以得到所述目标旋转矩阵，其中所述目标轴变换调整关系是根据所述目标图像帧与虚拟空间中的建筑信息模型场景的场景图像的相似度确定的。
14.在一些实施例中，还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行所述的面向建筑数字孪生的相机外参自动标定方法的步骤。
15.在一些实施例中，还提供一种计算机可读存储介质，该计算机可读存储介质上存
储有计算机程序，该计算机程序被处理器运行时执行所述的面向建筑数字孪生的相机外参自动标定方法的步骤。
16.本技术提出一种面向建筑数字孪生的相机外参自动标定方法，当相机转动后，获取相机以转动后的视角拍摄到的实体建筑场景内的单张场景图像，并利用所述单张场景图像中的平行直线段自适应计算所述相机的目标旋转矩阵，由于自适应计算得到的目标旋转矩阵及时、准确的反映相机转动后的相机坐标系和虚拟空间世界坐标系的坐标轴之间的相对方向，则位置坐标在相机坐标系与虚拟空间世界坐标系之间的坐标转换计算结果准确度高，实体对象在数字孪生模型中映射的虚拟对象的真实位置的准确度高，有利于提高实体建筑场景在建筑信息模型中的真实还原度，从而提高用户对于实体建筑场景的维护与管理效率。
附图说明
17.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
18.图1示出了本技术实施例所提供的一种面向建筑数字孪生的相机外参自动标定方法的流程示意图；图2示出了本技术实施例所提供的一种面向建筑数字孪生相机外参自动标定系统的结构示意图；图3示出了本技术实施例所述一种直线检测方法的流程示意图；图4示出了本技术实施例所述目标图像帧内的边缘提取结果；图5示出了图4所示目标图像帧内的边缘中的直线检测结果；图6示出了图5所示直线检测结果中一个方向上的直线段聚类分析结果；图7示出了图5所示直线检测结果中另一个方向上的直线段聚类分析结果；图8示出了图5所示直线检测结果中另一个方向上的直线段聚类分析结果；图9示出了本技术实施例中消失点世界坐标系和虚拟空间世界坐标系的示意图；图10示出了本技术实施例中实施例中图5所示的目标图像帧的语义分割结果示意图；图11示出了本技术实施例中在一种轴变换调整关系下，所述建筑信息模型场景的渲染结果示意图；图12示出了本技术实施例中在另一种轴变换调整关系下，所述建筑信息模型场景的渲染结果示意图；图13示出了本技术实施例中在另一种轴变换调整关系下，所述建筑信息模型场景的渲染结果示意图；图14示出了本技术实施例中在另一种轴变换调整关系下，所述建筑信息模型场景的渲染结果示意图；图15示出了本技术实施例中所述计算机设备的结构示意图。
具体实施方式
19.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
20.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
22.在目前的图像目标检测方法中，相机外参标定结果用于完成位置坐标在相机坐标系与虚拟空间世界坐标系之间的坐标转换功能。相机外参包括目标旋转矩阵和平移向量，旋转矩阵表示虚拟空间世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向，平移向量表示虚拟空间世界坐标系的空间原点在相机坐标系的位置。
23.现有技术中，当相机位置确定的，手动选取多组标定点对，即像素坐标和世界坐标点对，其中，所述标定点对中包括“图像中像素坐标系中的标定点a1和虚拟空间世界坐标系中的标定点b1”等，一组标定点对表征了同一个位置在像素坐标系中的坐标和虚拟空间世界坐标系中的坐标，例如桌角在像素坐标系中的坐标为标定点a1的坐标，在虚拟空间世界坐标系中的坐标为标定点b1的坐标；根据所述多组标定点对，通过pnp（n点透视位姿求解）算法求解相机外参。通常情况下，需要选取图片中的特定角点（墙角、桌腿等）作为标定点，去bim（building information modeling，建筑信息模型，即表征本技术中的虚拟空间）中找到相应点的世界坐标，例如标定点a1为相机所拍摄的图像中的桌腿，虚拟空间中的标定点b1为虚拟空间中的桌腿，标定点a1与标定点b1位置相同，标定点b1在虚拟空间中的世界坐标和标定点a1在图像中的像素坐标具有坐标转换关系。根据多组标定点对之间的坐标转换关系，确定相机外参。
24.对于动态相机而言，相机位置确定，但目标旋转矩阵会随着相机转动而变化，而手动选取标定点的方式存在一定的局限性，确定的目标旋转矩阵不能及时、准确的反映转动后的相机坐标系和虚拟空间世界坐标系的坐标轴之间的相对方向，则位置坐标在相机坐标系与虚拟空间世界坐标系之间的坐标转换计算结果准确度降低，导致实体对象在数字孪生模型中映射的虚拟对象的真实位置的准确度低，构建/更新的数字孪生模型中的模型信息失真；其次，对于动态相机而言，手动选取的标定点在相机转动过程可能会被遮挡，导致无法准确的计算出所述目标旋转矩阵。综上所述，手动选取标定点对确定目标旋转矩阵，对于建筑数字孪生领域而言，具有局限性。
25.基于此，本技术在相机位置已知的情况下，提出一种面向建筑数字孪生的相机外
参自动标定方法，当相机转动后，获取相机以转动后的视角拍摄到的实体建筑场景内的单张场景图像，并利用所述单张场景图像中的平行直线段自适应计算所述相机的目标旋转矩阵，由于自适应计算得到的目标旋转矩阵及时、准确的反映相机转动后的相机坐标系和虚拟空间世界坐标系的坐标轴之间的相对方向，则位置坐标在相机坐标系与虚拟空间世界坐标系之间的坐标转换计算结果准确度高，实体对象在数字孪生模型中映射的虚拟对象的真实位置的准确度高，有利于提高实体建筑场景在建筑信息模型中的真实还原度，从而提高用户对于实体建筑场景的维护与管理效率。
26.下面对本技术实施例提供的面向建筑数字孪生的相机外参自动标定方法及系统进行详细介绍。
27.参照图1所示，图1示出了本技术实施例所提供的一种面向建筑数字孪生的相机外参自动标定方法的流程示意图，其中，所述面向建筑数字孪生的相机外参自动标定方法包括步骤s101-s103；具体的：包括以下步骤：s101，当相机视角转动角度满足预设条件时，根据目标图像帧内边缘中的直线检测结果，从所述目标图像帧中确定出与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点，并根据所述三个消失点和相机坐标系的原点建立消失点世界坐标系；其中，所述消失点世界坐标系和所述虚拟空间世界坐标系中的三个坐标轴分别平行；s102，根据所述三个消失点在所述消失点世界坐标系下的消失点坐标、以及从所述直线检测结果中确定的三个消失点在像素坐标系下的像素坐标，确定第一旋转矩阵；所述第一旋转矩阵用于表征所述消失点世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向；s103，根据所述消失点世界坐标系和所述虚拟空间世界坐标系之间的目标轴变换调整关系，对所述第一旋转矩阵进行坐标变换处理以得到所述目标旋转矩阵，其中所述目标轴变换调整关系是根据所述目标图像帧与虚拟空间中的建筑信息模型内的场景图像的相似度确定的。
28.在本技术实施例中，所述面向建筑数字孪生的相机外参自动标定方法可以运行于终端设备或者是服务器；其中，终端设备可以为本地终端设备，当相机外参自动标定方法运行于服务器时，该相机外参自动标定方法则可以基于云交互系统来实现与执行，其中，云交互系统至少包括服务器和客户端设备（也即终端设备）。
29.具体的，以应用于终端设备为例，当相机外参自动标定方法运行于终端设备上时，所述相机外参自动标定方法用于在虚拟空间世界坐标系下，对相机在目标图像帧中表现出的目标旋转矩阵进行标定；所述目标图像帧用于表征设置于固定位置的拍摄装置中的相机以转动后的视角拍摄到的实体建筑场景内的场景图像，所述实体建筑场景在一虚拟空间中映射有建筑信息模型；所述目标旋转矩阵用于表征所述虚拟空间世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向。
30.现有的相机外参标定时，所述相机外参通常包括：目标旋转矩阵和平移向量；平移向量用于表征空间原点在所述相机坐标系中的位置。由于本技术中，相机的位置保持不变，因此，相机外参中的平移向量在相机转动过程中保持不变，仅需标定相机外参中的目标旋转矩阵。
31.基于此，在本技术实施例中，作为一可选实施例，终端设备200可以位于如图2所示
的相机外参自动标定系统中，参照图2所示，所述相机外参自动标定系统至少包括终端设备200以及一个拍摄装置201，其中，拍摄装置201散布于实体建筑中，也即，拍摄装置201安装于实体建筑内的不同实体建筑场景中，相机拍摄到的实体建筑场景内的场景图像，拍摄装置201的数量不限。
32.具体的，每一个拍摄装置201与终端设备200之间可以通过有线网络/无线网络的方式，按照预先设定的通信协议（如rtsp（real time streaming protocol，实时流传输协议）协议等）进行数据传输与交互；在数据交互过程中，终端设备200可以控制每个拍摄装置201对安装位置处的实体建筑场景进行监控拍摄，并接收不同拍摄装置201反馈的监控视频数据（即多个待处理图像帧组成的监控视频流），根据监控数据中每一帧图像，终端设备200可以对不同实体建筑场景内的场景变化（如室内装潢设计改变、房间内陈设布局变更、人员流动等）进行实时的监控。
33.这里，在步骤s101中，拍摄装置201用于表征安装于实体建筑场景内的拍摄装置201（如相机、监控摄像头等），其中，考虑到实体建筑场景的区域大小与拍摄装置201的最大拍摄范围之间关系不定，因此，本技术实施例对于实体建筑场景内安装的拍摄装置201的具体数量不进行具体限定。
34.基于此，在步骤s101中，实体建筑场景可以用于表征所述目标实体建筑内的一个实体建筑空间，例如，实体建筑场景可以是目标实体建筑中的一个房间a，也可以是一个拍摄装置201在房间a中能够拍摄到的部分区域；对于实体建筑场景的区域大小，本技术实施例同样不作任何限定。
35.具体的，每一个拍摄装置201与终端设备200之间可以通过有线网络/无线网络的方式，按照预先设定的通信协议（如rtsp（real time streaming protocol，实时流传输协议）协议等）进行数据传输与交互；在数据交互过程中，终端设备200可以控制每个拍摄装置201对安装位置处的实体建筑场景进行监控拍摄，并接收不同拍摄装置201反馈的监控视频数据（即多个待处理图像帧组成的监控视频流），从监控数据中，获取每一帧图像作为待处理图像帧，以便终端设备200可以对不同实体建筑场景内的场景变化（如室内装潢设计改变、房间内陈设布局变更、人员流动等）进行实时的监控。
36.基于此，所述实体建筑场景可以用于表征所述实体建筑内的一个实体建筑空间，例如，实体建筑场景可以是实体建筑中的一个房间a，也可以是一个拍摄装置在房间a中能够拍摄到的部分区域；对于实体建筑场景的区域大小，本技术实施例同样不作任何限定。
37.所述实体建筑场景在一虚拟空间中映射的建筑信息模型场景，为所述实体建筑在虚拟空间（bim）中的建筑信息模型中的一个虚拟建筑空间，例如，建筑信息模型场景可以是建筑信息模型中的一个房间b，也可以是一个拍摄装置在房间b中能够拍摄到的部分区域；对于实体建筑场景的区域大小，本技术实施例同样不作任何限定。
38.在步骤s101中，所述相机视角转动角度满足预设条件，可以为相机转动角度大于等于预设转动角度阈值；例如，当相机转动角度大于5度时，则需要重新标定所述相机的目标旋转矩阵。
39.空间中平行的直线经透视变换会相交成一点，即消失点，相交于消失点的直线即为消失线。根据消失点和相机坐标系的原点（即相机光心）所构建的消失点世界坐标系和相机坐标系的原点重合；而所述消失点世界坐标系和虚拟空间世界坐标系的坐标轴平行，只
是各个坐标轴的正方向不一定对应，原点也不一致。由于本技术中不需要确定相机外参中的平移向量，仅需标定相机外参中的目标旋转矩阵，因此，可以先从目标图像帧中确定出三个消失点，并建立消失点世界坐标系，将所述消失点世界坐标系作为中转，利用像素坐标系和相机坐标系之间的关系、相机坐标系和消失点世界坐标系之间的关系、消失点世界坐标系和虚拟空间世界坐标系之间的关系，确定出所述虚拟空间世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向，即目标旋转矩阵。
40.此处所述的虚拟空间世界坐标系，即数字孪生模型内的位置坐标符合的世界坐标系。
41.具体的，本技术实施例中，所述目标图像帧内边缘中的直线检测结果，如图3所示，是通过以下直线检测方法得到的：s301，根据预设的边缘检测算法，提取所述目标图像帧中的边缘；s302，对所述目标图像帧中的边缘进行直线检测，确定出所述边缘中的直线检测结果。
42.所述步骤s301中的图像检测算法为canny边缘检测算法。所述提取所述目标图像帧中的边缘包括以下四个步骤：步骤3011，对所述目标图像帧进行降噪处理，获取降噪后的目标图像帧；所述步骤3011中，所述降噪处理采用高斯滤波的方式，用一个高斯矩阵乘以每一个像素点及其邻域，获取每个像素的灰度值为其自身及邻域的加权平均值；通过高斯滤波处理，所述目标图像帧变得光滑，但是有可能增加了目标图像帧中的边缘的宽度。
43.步骤3012，计算所述降噪后的目标图像帧的梯度，确定所述目标图像帧中的边缘；图像中用梯度来表示灰度值的变化程度和方向，边缘就是灰度值变化较大的像素点的集合。
44.步骤3013，剔除边缘局部范围内梯度变化较小的点，将多个像素宽的边缘调整为一个单像素宽的边缘。
45.本技术实施例中，通过非极大值抑制过滤掉步骤3012确定所述目标图像帧中的边缘中，不属于该边缘的点，使得边缘的宽度尽可能为一个像素点。
46.非极大值抑制的原理如下：如果一个像素点属于边缘，那么这个像素点在梯度方向上的梯度值是最大的，否则不是边缘。
47.步骤3014，针对步骤3013中调整后的边缘，通过双阈值筛选出尽可能闭合的边缘。
48.所述双阈值筛选，即设置两个阈值，分别为上阈值和下阈值。其中大于上阈值的像素点都被检测为边缘，而低于下阈值的都被检测为非边缘。对于上阈值和下阈值之间的像素点，如果与确定为边缘的像素点邻接，则判定为边缘；否则为非边缘。
49.所述s302中，基于霍夫直线检测算法对所述目标图像帧中的边缘进行直线检测。
50.基于霍夫直线检测算法进行直线检测的基本原理在于利用点与线的对偶性；在图像空间中的直线与参数空间中的点是一一对应的，参数空间中的直线与图像空间中的点也是一一对应的。
51.因此：（1）图像空间中的每条直线在参数空间中都对应着单独一个点来表示；（2）图像空间中的直线上任何一部分线段在参数空间对应的是同一个点。
52.因此霍夫直线检测算法就是把在图像空间中的直线检测问题转换到参数空间中
对点的检测问题，通过在参数空间里寻找峰值来完成直线检测任务。
53.针对本技术实施例所述的目标图像帧，所述目标图像帧中的边缘提取结果如图4所示，目标图像帧内边缘中的直线检测结果如图5所示。
54.所述步骤s101中，根据目标图像帧内边缘线条中的直线检测结果，从所述目标图像帧中确定出与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点，包括：根据所述目标图像帧内边缘线条中的直线检测结果，对所述直线检测结果中的直线段进行聚类分析，确定平行的直线段数目最多的三组平行直线段组所在方向为虚拟空间世界坐标系三个坐标轴方向；根据三个坐标轴方向的平行直线段组，确定与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点。
55.空间中平行的直线经透视变换会相交成一点，即消失点，相交于消失点的直线即为消失线。
56.所述对所述直线检测结果中的直线段进行聚类分析，为通过随机抽样一致性算法对直线检测结果进行迭代聚类，同一方向的平行消失线相交于同一消失点，从而得到消失点世界坐标系x、y、z三个方向的消失线集合和消失点像素坐标。
57.随机抽样一致性算法的基本步骤如下：1）选取一组随机子集估计模型参数；2）用模型去测试其它数据，认定适用的点为局内点；3）局内点足够多则模型足够合理，使用所有局内点重新估计模型；4）反复迭代获取更好的模型。
58.基于所述随机一致性算法，对直线检测结果进行迭代聚类的过程如下：1）从目标图像帧直线检测结果的所有直线段中，随机初始化选取两直线，并计算两直线交点；设定两直线分别为line_a、line_b；具体的：line_a=[[，]，[，]]；line_b=[[，]，[，]]；其中，[，]，[，]为直线line_a在像素坐标系下两个端点的坐标；[，]，[，] 为直线line_b在像素坐标系下两个端点的坐标。
[0059]
这里，作为一可选实施例，可以根据以下公式计算两直线line_a、line_b的交点point，具体的：l1 = [，，1]
×
[，，1]；l2 = [，，1]
ꢀ×
[，，1]；point1 = l1
ꢀ×ꢀ
l2；point = point1 / point1[-1]= [，，1]；其中，所述交点point在像素坐标系中的坐标为[，，1]。
[0060]
2）选取其他直线段line_c，直线段line_c端点连线所述交点point，得到一连线，计算所述连线和直线line_ c的夹角，具体的：
line_c=[[，]，[，]]；其中，[，]，[，] 为直线line_ c在像素坐标系下两个端点的坐标。
[0061]
这里，根据以下公式计算直线段line_c端点与所述交点point之间的连线和当前直线的夹角：=[，] ；=[，]；；其中，是直线段line_c端点与所述交点point之间的连线的向量表达形式；是当前直线（即直线line_ c）的向量表达形式；是所述连线和直线line_ c的夹角；这里，若大于预设阈值，则将直线line_ c筛除；若不大于预设阈值，则表示该直线line_ c可能与初始化选取的直线line_a、line_b在空间上平行。
[0062]
重复以上步骤，确定所有与初始化选取的直线line_a、line_b在空间上平行的一组平行直线段组，并统计平行直线段组中平行线数量vote_count。
[0063]
3）重复以上步骤1）和步骤2）,每次重复时选取的初始化两直线均不同，迭代预设数目次，从而确定每次迭代对应的平行直线段组，以及平行直线段组中的平行线数量vote_count；4）选取迭代中，平行线数量vote_count最大的一组平行直线段组，该平行直线段组所在的方向即为虚拟空间世界坐标系统中一个坐标轴的方向。
[0064]
可见，若要确定虚拟空间世界坐标系中三个坐标轴的方向，需要对所述直线检测结果中的直线段进行三次上述的迭代聚类过程。基于此，本技术实施例中，在每次迭代时，均筛除与已确定的坐标轴方向平行的直线段，从而降低迭代过程中的运算量。
[0065]
具体的，本技术实施例中，对所述直线检测结果中的直线段进行聚类分析，确定平行的直线段数目最多的三组平行直线段组所在方向为虚拟空间世界坐标系三个坐标轴方向，包括：对所述直线检测结果中的直线段进行第一次迭代聚类，确定平行的直线段数目最多的第一组平行直线段组所在方向为虚拟空间世界坐标系下第一个坐标轴的方向；在所述直线检测结果中剔除第一组平行直线段组，对直线检测结果中剩余的直线段进行第二次迭代聚类，确定平行的直线段数目最多的第二组平行直线段组所在方向为虚拟空间世界坐标系下第二个坐标轴的方向；在所述直线检测结果中剔除第一组平行直线段组和第二组平行直线段组，对直线检测结果中剩余的直线段进行第三次迭代聚类，确定平行的直线段数目最多的第三组平行直线段组所在方向为虚拟空间世界坐标系下第三个坐标轴的方向。
[0066]
同一方向的平行消失线相交于同一消失点，根据所述三组平行线段组，即可确定
消失点像素坐标。
[0067]
对所述直线检测结果中的直线段进行聚类分析的结果如图6、图7、图8所示。图6、图7、图8分别示出了三个方向上的直线段聚类分析结果。
[0068]
虚拟空间世界坐标系x、y、z三个方向的消失点与相机光心连线，即可构建消失点世界坐标系。左侧消失点与光心的连线为x轴，对应的世界系坐标为[1,0,0]，右侧消失点与光心的连线为y轴，竖直方向消失点与光心的连线为z轴，对应的世界系坐标为[0,0,1]。
[0069]
在所述步骤s102中，根据所述三个消失点在所述消失点世界坐标系下的消失点坐标、以及从所述直线检测结果中确定的三个消失点在像素坐标系下的像素坐标，确定第一旋转矩阵，具体原理如下：上述步骤s102中左侧消失点在像素坐标系下的第一位置坐标（u，v）为例，利用拍摄装置的相机内参矩阵k，以及拍摄装置的相机外参（如拍摄装置的旋转矩阵r和平移向量t），则可以按照以下公式，以相机坐标系作为坐标转换的中转站（像素坐标系与消失点世界坐标系之间的转换依赖于相机坐标系的中转），完成像素坐标（u，v，1）（即第一位置坐标）在像素坐标系与消失点世界坐标系之间的转换，得到第一消失点在消失点世界坐标系下的第一空间位置坐标（x，y，z），具体的：；；；其中，（，）是拍摄装置的相机主点；是拍摄装置在像素坐标系的横坐标轴上的归一化焦距；是拍摄装置在像素坐标系的纵坐标轴上的归一化焦距；是拍摄装置的相机内参矩阵k的逆矩阵；（x，y，z）是像素坐标（u，v，1）在相机坐标系下的位置坐标；r是拍摄装置的第一旋转矩阵，t是拍摄装置的平移向量，本技术实施例中，t=0；是拍摄装置的第一旋转矩阵r的逆矩阵。
[0070]
基于此，设相机的第一旋转矩阵r=[r1,r2,r3]；联立以下方程即可求解相机在消失点世界坐标系的第一旋转矩阵r：vp_left = k
×
[r1,r2,r3]
ꢀ×
；
vp_right =k
×
[r1,r2,r3]
ꢀ×
；vp_bottom =k
×
[r1,r2,r3]
ꢀ×
；其中，所述vp_left为左侧消失点在相机坐标系下的位置坐标，所述vp_right为右侧消失点在相机坐标系下的位置坐标，所述vp_bottom为竖直方向消失点在相机坐标系下的位置坐标。
[0071]
在所述步骤s103中，所述消失点世界坐标系和虚拟空间世界坐标系如图9所示，图9中，左侧坐标系为虚拟空间世界坐标系901，右侧坐标系为消失点世界坐标系902，由于所述虚拟空间世界坐标系901和消失点世界坐标系902的坐标轴平行，但是坐标轴方向可能不同，因此，所述虚拟空间世界坐标系901和消失点世界坐标系902之间存在不确定的轴变换调整关系。因此，需要根据所述目标图像帧与虚拟空间中的建筑信息模型场景的场景图像的相似度确定，确定目标轴变换调整关系，并据此对所述第一旋转矩阵进行坐标变换处理，得到所述目标旋转矩阵。
[0072]
具体的，根据所述目标图像帧与虚拟空间中的建筑信息模型内的场景图像的相似度确定所述目标轴变换调整关系，包括：根据预设规则确定在所述消失点世界坐标系和虚拟空间世界坐标系中的多种候选轴变换调整关系，确定多种候选旋转矩阵，每一种候选旋转矩阵对应所述虚拟空间中建筑信息模型场景在一种视角下所截取的一种场景图像；分别计算每种场景图像和所述目标图像帧的相似度，选取相似度最高的场景图像所对应的候选旋转矩阵作为目标旋转矩阵。
[0073]
其中，所述确定多种候选旋转矩阵时，消失点世界系和bim世界系z轴关系确定，根据三维坐标系右手定则可以确定四种候选轴变换调整关系。
[0074]
所述四种候选轴变换调整关系，通过以下轴变换矩阵trans1、trans2、trans3、和trans4表示。
[0075]
trans1 = [[0, 1, 0],[1, 0, 0],[0, 0,
ꢀ‑
1]]trans2 = [[-1, 0, 0],[0, 1, 0],[0, 0,
ꢀ‑
1]]trans3 = [[1, 0, 0],[0,
ꢀ‑
1, 0],[0, 0,
ꢀ‑
1]]trans4 = [[0,
ꢀ‑
1, 0],[-1, 0, 0],[0, 0,
ꢀ‑
1]]相机在虚拟空间世界坐标系下的目标旋转矩阵r=r
0 ×ꢀ
trans。trans为候选轴变换调整关系中的目标轴对称关系对应的轴变换矩阵，r0为第一旋转矩阵。
[0076]
基于四种候选轴对称关系，确定所述虚拟空间中建筑信息模型场景在终端设备上
的四种显示视角，分别截取四种显示视角下的建筑信息模型场景的场景图像，并基于下述相似度计算方法，所述计算每种场景图像和所述目标图像帧的相似度，包括：根据预设的多种像素类别，分别确定所述目标图像帧中每个像素的像素类别、每种场景图像中每个像素的像素类别，得到每种像素类别下的目标图像帧的像素集合、每种场景图像的像素集合；根据所述多种像素类别下，所述目标图像帧的像素集合和每种场景图像的像素集合之间的相似度，确定每种场景图像和所述目标图像帧的相似度。
[0077]
其中，所述预设的多种像素类别，是根据实体建筑场景中实体的类别确定的。例如，实体建筑场景中实体的类别包括墙面、地面、家具，则预设的多种像素类别也为墙面、地面、家具三大类别。
[0078]
具体的，所述确定所述目标图像帧中每个像素的像素类别，是通过以下图像物理语义分割方法实现的：利用训练好的建筑场景语义分割模型，将所述目标图像帧中的各个类别的语义分割实体分割出来，并在像素粒度上将不同的类别的语义分割实体渲染成不同颜色。
[0079]
其中，所述建筑场景语义分割模型，可以根据不同的建筑场景分别进行训练，例如室内场景、室外场景等等。
[0080]
所述建筑场景语义分割模型，采用deeplabv3+神经网络，并在sun rgb-d数据集上训练所述deeplabv3+神经网络，得到所述训练好的建筑场景语义分割模型。
[0081]
如图10，示出了本技术实施例中图5所示的目标图像帧的语义分割结果。
[0082]
所述场景图像的像素类别，是通过对不同type类型的构件进行渲染确定的，语义分割实体和建筑信息模型场景中的实体中，同类别实体的色彩一致，即像素类别一致。
[0083]
如图10 所示，本技术中，例如，本技术中进行渲染的色彩包括主要包括红色1001、绿色1002、蓝色1003；其中，红色1001表征墙面，绿色1002表征地面，蓝色1003表征家具。
[0084]
其中，具体的，在bos平台通过接口对不同type类型的构件进行渲染。
[0085]
如图11、图12、图13、图14，分别示出了在四种轴变换调整关系下，所述建筑信息模型场景的四种场景图像的渲染结果，以及每种场景图像和目标图像帧的相似度。
[0086]
其中，所述图11、图12、图13、图14中的标号1001表示被渲染为红色的墙面，标号1002表示被渲染为绿色的地面，标号1003表示被渲染为蓝色的家具。
[0087]
采用语义分割评价指标miou作为相似度评价标准，计算各类别像素集合的平均交并比，本技术实施例中，图11所示的场景图像与目标图像帧之间的语义分割评价指标miou为0.075，图12所示的场景图像与目标图像帧之间的语义分割评价指标miou为0.121，本技术实施例中，图13所示的场景图像与目标图像帧之间的语义分割评价指标miou为0.131，本技术实施例中，图14所示的场景图像与目标图像帧之间的语义分割评价指标miou为0.519。
[0088]
可以确定图11、图12、图13、图14中，图14所示的场景图像与目标图像帧相似度最高，因此，确定图14所示的场景图像对应的轴变换调整关系正确，从而实现相机视角和bim视角的对齐，确定目标旋转矩阵。
[0089]
本技术实施例中，语义分割评价指标miou计算公式如下：；
其中，i表示真实值，j表示预测值，pij表示真实值为i，被预测为j的数量；pii表示真实值为i，被预测为i的数量，pji表示真实值为j，被预测为i的数量；k为类别数。
[0090]
本技术实施例中，计算每种场景图像和所述目标图像帧的相似度，即计算墙面、地面、桌面等类别下，所述目标图像帧的像素集合和场景图像的像素集合的交集和并集之比的平均值；这里，可以将目标图像帧的像素集合和场景图像的像素集合分别作为真实值和预测值，所述k为预设的像素类别数。
[0091]
本技术实施例中，为了提升所述直线检测结果的准确度，在根据目标图像帧内边缘中的直线检测结果，从所述目标图像帧中确定出与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点之前，所述方法还包括：根据所述相机的相机内参，对所述目标图像帧进行矫正，得到矫正后的目标图像帧；对所述矫正后的矫正后的目标图像帧进行图像增强处理，以增强图像内边缘两侧的图像差异，得到增强后的目标图像帧。
[0092]
所述增强后的目标图像帧，用于进行边缘提取和直线检测，得到检测检测结果。
[0093]
其中，所述相机的相机内参，包括内参基础矩阵和畸变向量；所述内参基础矩阵和畸变向量是通过棋盘格标定法确定的。
[0094]
通过棋盘格标定法获得相机内参基础矩阵和畸变向量的过程如下：拍摄多组不同角度的棋盘格图片，然后采用harris算子进行棋盘格角点检测，最后通过棋盘格平面和图像平面的单应性关系求解相机内参基础矩阵k和畸变向量。
[0095]
图像畸变是由摄像机镜头的光学畸变导致，空间的直线投影到图像不能保持为一条直线，会影响外参的标定以及后续相关计算的精度。通过相机内参对的原始图像进行畸变矫正，以使所述目标图像帧能够更加准确提取出消失线和消失点。
[0096]
所述图像增强处理主要包括提高图像对比度和进行图像锐化。图像对比度是图像最高和最低灰度级之间的灰度差，反映了图像上亮区域和暗区域的层次感。图像锐化是为了增强图像的边缘及灰度跳变的部分，以突出图像的边缘、轮廓。对矫正后的目标图像帧进行对比度增强和图像锐化操作，得到增强后的目标图像帧，以便更好地进行边缘轮廓提取。
[0097]
本技术实施例所述相机外参自动标定可以有效地获取相机在虚拟空间世界坐标系中的目标旋转矩阵，实现视角的对齐，是图像物体视觉定位的前提。
[0098]
在图5所示的实体建筑场景中选取四组标定点，分别获得其像素坐标和在bim里的世界坐标作为真实标签，通过标定的相机内外参将这四组标定点重新映射到虚拟空间世界坐标系，计算预测值和真实值的误差。如表1所示，手动标定相机外参的平均误差约为22mm，自动标定相机外参的精度受直线检测和随机抽样一致性算法的影响，场景中遮挡越少直线段越多时效果越好，三组自动标定实验中，最好的情况误差为75.8mm。
[0099]
表1 相机外参标定误差分析
基于同一发明构思，本技术实施例中还提供了与上述实施例中相机外参自动标定方法对应的相机外参自动标定方法系统，由于本技术实施例中的相机外参自动标定系统解决问题的原理与本技术上述实施例中的相机外参自动标定方法相似，因此，相机外参自动标定系统的实施可以参见前述相机外参自动标定方法的实施，重复之处不再赘述。
[0100]
具体的，图2示出了本技术实施例所提供的一种面向建筑数字孪生的相机外参自动标定系统，参照图2所示的相机外参自动标定系统；所述相机外参自动标定系统至少包括终端设备200以及一个拍摄装置201，所述终端设备200用于在虚拟空间世界坐标系下，对相机在目标图像帧中表现出的目标旋转矩阵进行标定；所述目标图像帧用于表征设置于固定位置的拍摄装置中的相机以转动后的视角拍摄到的实体建筑场景内的场景图像，所述实体建筑场景在一虚拟空间中映射有建筑信息模型场景；所述目标旋转矩阵用于表征所述虚拟空间世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向；所述终端设备200用于：当相机视角转动角度满足预设条件时，根据目标图像帧内边缘中的直线检测结果，从所述目标图像帧中确定出与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点，并根据所述三个消失点和相机坐标系的原点建立消失点世界坐标系；其中，所述消失点世界坐标系和所述虚拟空间世界坐标系中的三个坐标轴分别平行；根据所述三个消失点在所述消失点世界坐标系下的消失点坐标、以及从所述直线检测结果中确定的三个消失点在像素坐标系下的像素坐标，确定第一旋转矩阵；所述第一旋转矩阵用于表征所述消失点世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向；根据所述消失点世界坐标系和所述虚拟空间世界坐标系之间的目标轴对称调整关系，对所述第一旋转矩阵进行坐标变换处理以得到所述目标旋转矩阵，其中所述目标轴对称调整关系是根据所述目标图像帧与虚拟空间中的建筑信息模型场景的场景图像的相似度确定的。
[0101]
在一种可选的实施例中，所述终端设备200还用于：在根据所述目标图像帧与虚拟空间中的建筑信息模型内的场景图像的相似度确定所述目标轴变换调整关系时，根据预设规则确定在所述消失点世界坐标系和虚拟空间世界坐标系中的多种候选轴变换调整关系，确定多种候选旋转矩阵，每一种候选旋转矩阵对应所述虚拟空间中建筑信息模型场景在一种视角下所截取的一种场景图像；分别计算每种场景图像和所述目标图像帧的相似度，选取相似度最高的场景图像所对应的候选旋转矩阵作为目标旋转矩阵。
[0102]
在一种可选的实施例中，所述终端设备200还用于：在所述计算每种场景图像和所述目标图像帧的相似度时，具体根据预设的多种像素类别，分别确定所述目标图像帧中每
个像素的像素类别、每种场景图像中每个像素的像素类别，得到每种像素类别下的目标图像帧的像素集合、每种场景图像的像素集合；根据所述多种像素类别下，所述目标图像帧的像素集合和每种场景图像的像素集合之间的相似度，确定每种场景图像和所述目标图像帧的相似度。
[0103]
在一种可选的实施例中，所述终端设备200具体用于：根据预设的边缘检测算法，提取所述目标图像帧中的边缘；对所述目标图像帧中的边缘进行直线检测，确定出所述边缘中的直线检测结果。
[0104]
在一种可选的实施例中，所述终端设备200还用于：在根据目标图像帧内边缘中的直线检测结果，从所述目标图像帧中确定出与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点之前，根据所述相机的相机内参，对所述目标图像帧进行矫正，得到矫正后的目标图像帧；对所述矫正后的矫正后的目标图像帧进行图像增强处理，以增强图像内边缘两侧的图像差异，得到增强后的目标图像帧。
[0105]
在一种可选的实施例中，所述终端设备200在根据目标图像帧内边缘中的直线检测结果，从所述目标图像帧中确定出与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点，具体用于：根据所述目标图像帧内边缘中的直线检测结果，对所述直线检测结果中的直线段进行聚类分析，确定平行的直线段数目最多的三组平行直线段组所在方向为虚拟空间世界坐标系三个坐标轴方向；根据三个坐标轴方向的平行直线段组，确定与所述虚拟空间世界坐标系中三个坐标轴方向分别对应的三个消失点。
[0106]
在一种可选的实施例中，所述终端设备200在对所述直线检测结果中的直线段进行聚类分析，确定平行的直线段数目最多的三组平行直线段组所在方向为虚拟空间世界坐标系三个坐标轴方向，具体用于：对所述直线检测结果中的直线段进行第一次迭代聚类，确定平行的直线段数目最多的第一组平行直线段组所在方向为虚拟空间世界坐标系下第一个坐标轴的方向；在所述直线检测结果中剔除第一组平行直线段组，对直线检测结果中剩余的直线段进行第二次迭代聚类，确定平行的直线段数目最多的第二组平行直线段组所在方向为虚拟空间世界坐标系下第二个坐标轴的方向；在所述直线检测结果中剔除第一组平行直线段组和第二组平行直线段组，对直线检测结果中剩余的直线段进行第三次迭代聚类，确定平行的直线段数目最多的第三组平行直线段组所在方向为虚拟空间世界坐标系下第三个坐标轴的方向。
[0107]
如图15所示，本技术实施例提供了一种计算机设备1500，用于执行本技术中的相机外参自动标定方法，该设备包括存储器1501、处理器1502及存储在该存储器1501上并可在该处理器1502上运行的计算机程序，其中，存储器1501与处理器1502之间通过总线进行通信连接，上述处理器1502执行上述计算机程序时实现上述的相机外参自动标定方法的步骤。
[0108]
具体地，上述存储器1501和处理器1502可以为通用的存储器和处理器，这里不做具体限定，当处理器1502运行存储器1501存储的计算机程序时，能够执行上述的相机外参
自动标定方法。
[0109]
对应于本技术中的相机外参自动标定方法，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的相机外参自动标定方法的步骤。
[0110]
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的相机外参自动标定方法。
[0111]
在本技术所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0112]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0113]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0114]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory， rom）、随机存取存储器（random access memory ，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
[0115]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0116]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。