定位方法及装置、终端、存储介质与流程

文档序号:23471712发布日期:2020-12-29 13:17阅读:98来源:国知局
定位方法及装置、终端、存储介质与流程

本申请涉及室内定位技术,涉及但不限于定位方法及装置、终端、存储介质。



背景技术:

在相关技术中,在室内场景中,通过识别摄像头采集到的图像中的人物和背景,以确定操作摄像头的用户的位置。将将背景与预先测定的建筑物室内地图匹配,确定背景在室内的对应位置,然后根据背景的位置确认用户在室内的位置,以实现对用户的室内定位。这样,基于图像中的人物、画面背景或固定物体,对操作摄像头的用户的进行定位,定位鲁棒性较差。



技术实现要素:

有鉴于此,本申请实施例为解决相关技术中存在的至少一个问题而提供一种定位方法及装置、终端、存储介质。

本申请实施例的技术方案是这样实现的:

本申请实施例提供了一种定位方法,所述方法包括:

提取待处理图像的第一图像特征;

根据所述第一图像特征,从预设地图中存储的关键帧图像的图像特征中,匹配出第二图像特征;

根据所述第一图像特征和所述第二图像特征,确定用于采集所述待处理图像的图像采集设备的位置信息。

在上述方法中,所述待处理图像的第一图像特征包括:所述待处理图像的特征点的标识信息和二维(2-dimensional,2d)位置信息;

所述第二图像特征包括:所述关键帧图像的特征点的二维位置信息、三维维(3-dimensional,3d)位置信息和标识信息。

在上述方法中,所述关键帧图像的特征点的三维位置信息是将所述关键帧图像的特征点的二维位置信息映射在所述预设地图所处的三维坐标系中得到的。

在上述方法中,所述提取待处理图像的第一图像特征,包括:

提取所述待处理图像的特征点集合;

确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述待处理图像中的二维位置信息。

在上述方法中,所述根据所述第一图像特征,从预设地图中存储的关键帧图像的图像特征中,匹配出第二图像特征,包括:

分别确定不同的样本特征点在所述特征点集合中所占的比值,得到第一比值向量;

获取第二比值向量,所述第二比值向量为所述多个样本特征点在所述关键帧图像中包含的特征点中所占的比值;

根据所述第一图像特征、所述第一比值向量和所述第二比值向量,从所述关键帧图像的图像特征中,匹配出第二图像特征。

在上述方法中,所述根据所述第一图像特征、所述第一比值向量和所述第二比值向量,从所述关键帧图像的图像特征中,匹配出第二图像特征,包括:

根据所述第一比值向量和所述第二比值向量,从所述关键帧图像的图像特征中,确定与所述第一图像特征的相似度大于第二阈值的相似图像特征;

确定所述相似图像特征所属的相似关键帧图像,得到相似关键帧图像集合;

从所述相似关键帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述方法中,所述从所述相似关键帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征,包括:

确定至少两个所述相似关键帧图像的采集时间之间的时间差,和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差;

将所述时间差小于第三阈值,且所述相似度差小于第四阈值的相似关键帧图像进行联合,得到联合帧图像;

从所述联合帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述方法中,所述从所述联合帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征,包括:

分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和;

将相似度之和最大的联合帧图像,确定为与所述待处理图像的相似度最高的目标联合帧图像;

根据目标联合帧图像的特征点的标识信息和所述待处理图像的特征点的标识信息,从所述目标联合帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述方法中,在所述根据所述第一图像特征和所述第二图像特征,确定用于采集所述待处理图像的图像采集设备的位置信息之前,所述方法还包括:

将包含所述第二图像特征的图像,确定为所述待处理图像的匹配帧图像;

确定所述匹配帧图像中包含的任意两个特征点之间,小于第一阈值的目标欧式距离,得到目标欧式距离集合。

在上述方法中,根据所述第二图像特征和所述第二图像特征,确定用于采集所述待处理图像的图像采集设备的位置信息,包括:

如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值,基于所述第二图像特征对应的关键帧图像的特征点的三维位置信息和所述第一图像特征对应的待处理图像的特征点的二维位置信息,确定所述图像采集设备的位置信息。

在上述方法中,在所述采集当前场景下的图像之前,所述方法还包括:

从样本图像库中,选择满足预设条件的关键帧图像,得到关键帧图像集合;

提取每一关键帧图像的图像特征,得到关键图像特征集合;

提取样本图像的特征点,得到包含不同的特征点的样本特征点集合;

确定每一样本特征点,在关键帧图像的中所占的比值,得到比值向量集合;

存储所述比值向量集合和所述关键图像特征集合,得到所述预设地图。

在上述方法中,在所述从样本图像库中,选择满足预设条件的关键帧图像,得到关键帧图像集合之前,所述方法还包括:

从所述样本图像中选择预设数量的角点;其中,所述角点为所述样本图像中与预设区域内预设数量的像素点具有差别的像素点;

如果采集时间相邻的两个样本图像中包含的相同的角点数量大于等于第六阈值,确定所述样本图像对应的场景为连续场景;

如果采集时间相邻的两个样本图像中包含的相同的角点数量小于第六阈值,确定所述样本图像对应的场景为离散场景。

在上述方法中,从样本图像库中,选择满足预设条件的关键帧图像,得到关键帧图像集合,包括:

如果所述样本图像对应的场景为离散场景,根据输入的选择指令,从样本图像库中选择关键帧图像;

如果所述样本图像对应的场景为连续场景,根据预设的帧率或视差,从样本图像库中选择关键帧图像。

在上述方法中,所述确定每一样本特征点,在关键帧图像的中所占的比值,得到比值向量集合,包括:

根据样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数,确定第一平均次数;其中,所述第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数;

根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量,确定第二平均次数;其中,所述第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例;

根据所述第一平均次数和所述第二平均次数,得到样本特征点在关键帧图像的中所占的比值,得到所述比值向量集合。

本申请实施例提供一种定位装置,所述装置包括:第一提取模块、第一匹配模块和第一确定模块,其中:

所述第一提取模块,用于提取待处理图像的第一图像特征;

所述第一匹配模块,用于根据所述第一图像特征,从预设地图中存储的关键帧图像的图像特征中,匹配出第二图像特征;

所述第一确定模块,用于根据所述第一图像特征和所述第二图像特征,确定用于采集所述待处理图像的图像采集设备的位置信息。

在上述装置中,所述待处理图像的第一图像特征包括:所述待处理图像的特征点的标识信息和二维位置信息;

所述第二图像特征包括:所述关键帧图像的特征点的二维位置信息、三维位置信息和标识信息。

在上述装置中,所述关键帧图像的特征点的三维位置信息是将所述关键帧图像的特征点的二维位置信息映射在所述预设地图所处的三维坐标系中得到的。

在上述装置中,所述第一提取模块,包括:

第一提取子模块,用于提取所述待处理图像的特征点集合;

第一确定子模块,用于确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述待处理图像中的二维位置信息。

在上述装置中,所述第一匹配模块,包括:

第二确定子模块,用于分别确定不同的样本特征点在所述特征点集合中所占的比值,得到第一比值向量;

第一获取子模块,用于获取第二比值向量,所述第二比值向量为所述多个样本特征点在所述关键帧图像中包含的特征点中所占的比值;

第一匹配子模块,用于根据所述第一图像特征、所述第一比值向量和所述第二比值向量,从所述关键帧图像的图像特征中,匹配出第二图像特征。

在上述装置中,所述第一匹配子模块,包括:

第一确定单元,用于根据所述第一比值向量和所述第二比值向量,从所述关键帧图像的图像特征中,确定与所述第一图像特征的相似度大于第二阈值的相似图像特征;

第二确定单元,用于确定所述相似图像特征所属的相似关键帧图像,得到相似关键帧图像集合;

第一选择单元,用于从所述相似关键帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述装置中,所述第一选择单元,包括:

第一确定子单元,用于确定至少两个所述相似关键帧图像的采集时间之间的时间差,和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差;

第一联合子单元,用于将所述时间差小于第三阈值,且所述相似度差小于第四阈值的相似关键帧图像进行联合,得到联合帧图像;

第一选择子单元,用于从所述联合帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述装置中,所述第一选择子单元,还用于分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和;将相似度之和最大的联合帧图像,确定为与所述待处理图像的相似度最高的目标联合帧图像;根据目标联合帧图像的特征点的标识信息和所述待处理图像的特征点的标识信息,从所述目标联合帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述装置中,所述装置还包括:

第二确定模块,用于将包含所述第二图像特征的图像,确定为所述待处理图像的匹配帧图像;

第三确定模块,用于确定所述匹配帧图像中包含的任意两个特征点之间,小于第一阈值的目标欧式距离,得到目标欧式距离集合。

在上述装置中,所述第一确定模块,包括:

第三确定子模块,用于如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值,基于所述第二图像特征对应的关键帧图像的特征点的三维位置信息和所述第一图像特征对应的待处理图像的特征点的二维位置信息,确定所述图像采集设备的位置信息。

在上述装置,所述装置还包括:

第一选择模块,用于从样本图像库中,选择满足预设条件的关键帧图像,得到关键帧图像集合;

第二提取模块,用于提取每一关键帧图像的图像特征,得到关键图像特征集合;

第三提取模块,用于提取样本图像的特征点,得到包含不同的特征点的样本特征点集合;

第四确定模块,用于确定每一样本特征点,在关键帧图像的中所占的比值,得到比值向量集合;

第一存储模块,用于存储所述比值向量集合和所述关键图像特征集合,得到所述预设地图。

在上述装置中,所述装置还包括:

第二选择模块,用于从所述样本图像中选择预设数量的角点;其中,所述角点为所述样本图像中与预设区域内预设数量的像素点具有差别的像素点;

第五确定模块,用于如果采集时间相邻的两个样本图像中包含的相同的角点数量大于等于第六阈值,确定所述样本图像对应的场景为连续场景;

第六确定模块,用于如果采集时间相邻的两个样本图像中包含的相同的角点数量小于第六阈值,确定所述样本图像对应的场景为离散场景。

在上述装置中,第一选择模块,包括:

第一选择子模块,用于如果所述样本图像对应的场景为离散场景,根据输入的选择指令,从样本图像库中选择关键帧图像;

第二选择子模块,用于如果所述样本图像对应的场景为连续场景,根据预设的帧率或视差,从样本图像库中选择关键帧图像。

在上述装置中,所述第四确定模块,包括:

第四确定子模块,用于根据样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数,确定第一平均次数;其中,所述第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数;

第五确定子模块,用于根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量,确定第二平均次数;其中,所述第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例;

第六确定子模块,用于根据所述第一平均次数和所述第二平均次数,得到样本特征点在关键帧图像的中所占的比值,得到所述比值向量集合。

本申请实施例提供一种终端,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述定位方法中的步骤。

本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述定位方法中的步骤。

本申请实施例提供一种定位方法及装置、终端、存储介质,其中,首先,提取待处理图像的第一图像特征;然后,根据所述第一图像特征,从预设地图中存储的关键帧图像的图像特征中,匹配出第二图像特征;最后,根据所述第一图像特征和所述第二图像特征,确定用于采集所述待处理图像的图像采集设备的位置信息;如此,对于任意的待处理图像,通过将图像特征,与预设地图中的关键帧图像的图像特征进行匹配,即可得到预设地图中的匹配帧图像,从而实现对图像采集设备的定位,不需要依赖于图像中的固定物体。

附图说明

图1为本申请实施例定位方法实现流程示意图;

图2a为本申请实施例定位方法的实现流程示意图;

图2b为本申请实施例创建预设地图的实现流程示意图;

图2c为本申请实施例定位方法另一实现流程示意图;

图3为本申请实施例定位方法的又一实现流程示意图;

图4为本申请实施例比值向量的结构示意图;

图5a为本申请实施例确定匹配帧图像的应用场景图;

图5b为本申请实施例确定采集设备的位置信息的结构示意图;

图6为本申请实施例定位装置的组成结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供一种定位方法,图1为本申请实施例定位方法实现流程示意图,如图1所示,所述方法包括以下步骤:

步骤s101,提取待处理图像的第一图像特征。

这里,第一图像特征包括:所述待处理图像的特征点的标识信息和2d位置信息。在步骤s101中,首先,提取所述待处理图像的特征点;然后,确定所述特征点的标识信息和所述特征点的在所述待处理图像中的2d位置信息;其中,特征点的标识信息可以理解为是能够唯一标识该特征点的描述子信息。

步骤s102,根据所述第一图像特征,从预设地图中存储的关键帧图像的图像特征中,匹配出第二图像特征。

这里,所述第二图像特征包括:所述关键帧图像的特征点的2d位置信息、3d位置信息和标识信息。所述预设地图中关键帧图像的关键图像特征集合,和每一样本特征点,在关键帧图像的中所占的比值对应的比值向量集合。所述步骤s102可以理解为,从预设地图中存储的关键帧图像的图像特征中,选择与第一图像特征匹配度较高的第二图像特征。

步骤s103,根据所述第一图像特征和所述第二图像特征,确定用于采集所述待处理图像的图像采集设备的位置信息。

这里,基于所述第二图像特征对应的关键帧图像的特征点的3d位置信息和所述第一图像特征对应的待处理图像的特征点的2d位置信息,确定所述图像采集设备的位置信息。比如,首先,在图像采集设备所处的三维坐标空间,将待处理图像的特征点的2d位置信息转换为3d位置信息,然后,将该3d位置信息与预设地图的三维坐标系中的关键帧图像的特征点的3d位置信息,进行比对,以确定图像采集设备的位置信息。这样,同时考虑了特征点的2d位置信息和3d位置信息,那么当对图像采集设备进行定位时,既可以得到图像采集设备的2d位置信息,还可以得到图像采集设备的3d位置信息,也可以理解为,既可以得到图像采集设备的平面空间位置,还可以得到图像采集设备的立体空间位置。

在本申请实施例中,对于采集到的待处理图像,首先,提取图像特征,然后,从预设地图中的关键帧图像的图像特征中选择与该图像特征匹配的第二图像特征,最后,将两个图像特征的特征点的位置信息,即可实现对图像采集设备的定位,即不需要依赖于图像中的固定物体,也不需要依赖于网络,从而提高了定位准确度和定位的鲁棒性。

本申请实施例提供一种定位方法,图2a为本申请实施例定位方法的实现流程示意图,如图2a所示,所述方法包括以下步骤:

步骤s201,提取所述待处理图像的特征点集合。

这里,对待处理图像的特征点进行提取,得到特征点集合。

步骤s202,确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述待处理图像中的2d位置信息。

这里,对于特征点集合中的每一特征点,确定该特征点的描述子信息即(标识信息),2d位置信息可以认为是该特征点的2d坐标。

上述步骤s201和步骤s202给出了一种实现“提取待处理图像的第一图像特征”的方式,在该方式中,得到待处理图像的每一特征点的2d坐标和该特征点的描述子信息。

步骤s203,分别确定不同的样本特征点在所述特征点集合中所占的比值,得到第一比值向量。

这里,所述多个样本特征点互不相同。所述预设的词袋模型中包含多个不同的样本特征点和多个样本特征点在所述关键帧图像中包含的特征点中所占的比值。所述第一比值向量可以是根据样本图像数量、样本特征点在样本图像中出现的次数、样本特征点在待处理图像里出现的次数和待处理图像中出现的样本特征点的总数来确定。

步骤s204,获取第二比值向量。

这里,所述第二比值向量为所述多个样本特征点在所述关键帧图像中包含的特征点中所占的比值;第二比值向量是预先存储在预设的词袋模型中的,所以当需要对待处理图像的图像特征进行匹配时,从预设的词袋模型中获取该第二比值向量。第二比值向量的确定过程与第一比值向量的确定过程类似,均可采用公式(1)进行确定;而且所述第一比值向量和所述第二比值向量的维数相同。

步骤s205,根据所述第一图像特征、所述第一比值向量和所述第二比值向量,从所述关键帧图像的图像特征中,匹配出第二图像特征。

这里,所述步骤s205可以通过以下过程实现:

第一步,根据所述第一比值向量和所述第二比值向量,从所述关键帧图像的图像特征中,确定与所述第一图像特征的相似度大于第二阈值的相似图像特征。

这里,逐一的比较待处理图像的第一比值向量v1与每一关键帧图像的第二比值向量v2,采用这两个比值向量进行如公式(2)所示的计算,即可确定每一关键帧图像与待处理图像的相似度,从而筛选出相似度大于等于第二阈值的相似关键帧图像,得到相似关键帧图像集合。

第二步,确定所述相似图像特征所属的相似关键帧图像,得到相似关键帧图像集合。

第三步,从所述相似关键帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

这里,从相似关键帧图像包含的图像特征中,选择与第一图像特征相似度最高的第二图像特征;比如,首先,确定至少两个所述相似关键帧图像的采集时间之间的时间差,和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差;然后,将所述时间差小于第三阈值,且所述相似度差小于第四阈值的相似关键帧图像进行联合,得到联合帧图像;也就是说,选择的是采集时间靠近,且与待处理图像的相似度靠近的多个相似关键帧图像,说明这些关键帧图像可能是连续的的画面,所以将这样的多个相似关键帧图像联合在一起,组成联合帧图像(也可以成为岛),这样得到多个联合帧图像;最后,从所述联合帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。比如,先是分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和;这样,逐一的确定多个联合帧图像中包含的多个关键帧图像的图像特征与第一图像特征的相似度之和,如公式(3)所示。再,将相似度之和最大的联合帧图像,确定为与所述待处理图像的相似度最高的目标联合帧图像;最后,根据目标联合帧图像的特征点的标识信息和所述待处理图像的特征点的标识信息,从所述目标联合帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。这样,由于目标联合帧图像的特征点的标识信息和所述待处理图像的特征点的标识信息,分别能够唯一的标识目标联合帧图像的特征点和待处理图像的特征点,所以基于这两个标识信息,可以非常准确的从所述目标联合帧图像的图像特征中,选择与第一图像特征相似度最高的第二图像特征。从而保证了,为待处理图像的第一图像特征匹配第二图像特征的准确度,保证了选择到的第二图像特征与第一图像特征的相似度极高。

上述步骤s203至步骤s205给出了一种实现“根据所述第一图像特征,从预设地图中存储的关键帧图像的图像特征中,匹配出第二图像特征”的方式,在该方式中,通过采用预设的词袋模型从关键帧图像的图像特征中检索出与第一图像特征的相匹配的第二图像特征,保证了第二图像特征与第一图像特征的相似度。

步骤s206,将包含所述第二图像特征的图像,确定为所述待处理图像的匹配帧图像。

这里,包含该第二图像特征的关键帧图像,说明该关键帧图像与待处理图像非常相似,所以将该关键帧图像作为该待处理图像的匹配帧图像。

步骤s207,确定所述匹配帧图像中包含的任意两个特征点之间,小于第一阈值的目标欧式距离,得到目标欧式距离集合。

这里,首先,确定匹配帧图像中包含的任意两个特征点之间的欧式距离,然后,从中选择小于第一阈值的欧式距离,作为目标欧式距离,以得到目标欧式距离集合;这是对于待处理图像中的一个特征点进行处理,可得到一个目标欧式距离集合,那么对于待处理图像中的多个特征点进行处理,则可得到多个欧式距离集合。所述小于第一阈值的目标欧式距离,还可以认为是首先从多个欧式距离中确定最小的欧式距离,然后判断该最小的欧式距离是否小于第一阈值,若小于,则确定该最小的欧式距离为目标欧式距离,那么目标欧式距离集合也就是多个欧式距离集合中,欧式距离最小的一个集合。

步骤s208,如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值,基于所述第二图像特征对应的关键帧图像的特征点的3d位置信息和所述第一图像特征对应的待处理图像的特征点的2d位置信息,确定所述图像采集设备的位置信息。

这里,如果目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值,说明目标欧式距离的数量是足够大,也说明与第一图像特征相匹配的特征点足够多,说明这个关键帧图像与待处理图像的相似度足够高。然后,将关键帧图像的特征点的3d位置信息和所述第一图像特征对应的待处理图像的特征点的2d位置信息,作为前端位姿跟踪算法(perspectives-n-point,pnp)算法的输入,先求出待处理图像的当前帧中特征点的2d位置信息(比如,2d坐标)在当前坐标系下该特征点的3d位置信息(比如,3d坐标),然后根据地图坐标系下的关键帧图像的特征点的3d位置信息和当前坐标系下的待处理图像的当前帧中特征点的3d位置信息,即可求解图像采集设备的位置信息。

上述步骤s206至步骤s208给出了一种实现“根据所述第二图像特征和所述第二图像特征,确定用于采集所述待处理图像的图像采集设备的位置信息”的方式,在该方式中,同时考虑关键帧图像的2d和3d位置信息,在定位结果上可以同时提供位置和姿态,所以提高了图像采集设备的定位准确度。

在本申请实施例中,是通过图像采集设备,得到待处理图像,加载构建好的预设地图,并利用预设的词袋模型检索匹配到待处理图像相对应的匹配帧图像,最后,再将待处理图像的特征点的2d位置信息和关键帧图像的特征点的3d位置信息,作为pnp算法的输入,以得到当前相机在地图中的精确位姿,以达到定位目的;这样,通过关键帧图像即可达到定位目的,得到图像采集设备在地图坐标系下的位置和姿态,提高了定位结果精度,而且不需要依赖外部基站设备,成本低,鲁棒性强。

本申请实施例提供一种定位方法,图2b为本申请实施例创建预设地图的实现流程示意图,如图2b所示,所述方法包括以下步骤:

步骤s221,从样本图像库中,选择满足预设条件的关键帧图像,得到关键帧图像集合。

这里,首先,确定该样本图像对应的场景为连续场景还是离散场景,如果是离散场景,过程如下:

第一步,从所述样本图像中选择预设数量的角点;所述角点为所述样本图像中与周围预设数量的像素点具有较大差别的像素点;比如,选择150个角点。

第二步,如果采集时间相邻的两个样本图像中包含的相同的角点数量大于等于第六阈值,确定所述样本图像对应的场景为连续场景;两个样本图像的采集时间相邻,还可以理解为是连续的两个样本图像,判断这两个样本图像中包含的相同的角点的数量,数量越大,说明这两个样本图像的相关度越高,也说明这两个样本图像是来自于连续场景的图像。连续场景,比如,单一的室内环境,比如,卧室、客厅或单个会议室等。

第三步,如果采集时间相邻的两个样本图像中包含的相同的角点数量小于第六阈值,确定所述样本图像对应的场景为离散场景。这两个样本图像中包含的相同的角点的数量越小,说明这两个样本图像的相关度越低,也说明这两个样本图像是来自于离散场景的图像。离散场景,比如,在多个室内环境下,比如,一栋楼里的多个房间或者一层里的多个会议室等。

然后,如果样本图像对应的场景为离散场景,根据输入的选择指令,从样本图像库中选择关键帧图像;即,如果样本图像属于离散场景,说明多个样本图像对应的不是一个场景,那么用户手动选择关键帧图像,这样,保证了不同的环境下,所选的关键图像的有效性。

如果样本图像对应的场景为连续场景,根据预设的帧率或视差,从样本图像库中选择关键帧图像;即,如果样本图像属于连续场景,说明多个样本图像对应的是同一个场景,那么通过事先设置预设的帧率或者预设的视差,自动选择满足该预设的帧率或者预设的视差的样本图像作为关键帧图像,这样,既所选的关键图像的有效性,还提高了选择关键帧图像的效率。

步骤s222,提取每一关键帧图像的图像特征,得到关键图像特征集合。

这里,关键帧的图像特征包括:关键帧图像的特征点的2d位置信息、3d位置信息和能够唯一标识该特征点的标识信息。得到关键图像特征集合,以便于从关键图像特征集合中匹配出与第一图像特征高度相似的第二图像特征,从而得到相应的匹配帧图像。

步骤s223,确定每一样本特征点,在关键帧图像的中所占的比值,得到比值向量集合。

这里,得到比值向量集合之后,将不同的样本特征点和该比值向量集合存储于预设的词袋模型中,以便于采用预设的词袋模型从关键帧图像中检索出待处理图像的匹配帧图像。所述步骤s223可以通过以下过程实现:

首先,根据样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数,确定第一平均次数。第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数;比如,样本图像的第一数量为n,第i个样本特征点在样本图像库中出现的第一次数为ni,通过公式(1)即可得到第一平均次数idf(i)。

其次,根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量,确定第二平均次数;第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例;比如,第二次数为第二数量为通过公式(1)即可得到第二平均次数tf(i,it)。

最后,根据所述第一平均次数和所述第二平均次数,得到样本特征点在关键帧图像的中所占的比值,得到所述比值向量集合。比如,根据公式(1),将第一平均次数与第二平均次数相乘,即可得到比值向量

步骤s224,存储所述比值向量集合和所述关键图像特征集合,得到所述预设地图。

这里,将关键帧图像对应的比值向量集合和关键图像特征集合存储在预设地图中,以便于对图像采集设备进行定位时,采用该比值向量集合与利用预设的词袋模型确定的待处理图像对应的比值向量集合进行比对,以从关键图像特征集合中确定与待处理图像高度相似的匹配帧图像。

在本申请实施例中,对于样本图像的离散或连续场景,采用不同的关键帧图像选取方式,保证了所选择的关键帧图像的有效性,然后,从关键帧图像中提取图像特征,构建预设地图,保证了预设地图的准确性。

本申请实施例提供一种定位方法,图2c为本申请实施例定位方法另一实现流程示意图,如图2c所示,所述方法包括以下步骤:

步骤s231,从样本图像库中,选择满足预设条件的关键帧图像,得到关键帧图像集合。

步骤s232,提取每一关键帧图像的图像特征,得到关键图像特征集合。

步骤s233,提取样本图像的特征点,得到包含不同的特征点的样本特征点集合。

步骤s234,确定每一样本特征点,在关键帧图像的中所占的比值,得到比值向量集合。

步骤s235,存储所述比值向量集合和所述关键图像特征集合,得到所述预设地图。

上述步骤s231至步骤s235,完成了预设地图的创建过程,将关键帧图像的图像特征和比值向量集合存储在预设地图中,以便于能够根据比值向量集合从关键帧图像的图像特征中搜索出与待处理图像的图像特征相匹配的第二图像特征。

步骤s236,加载预设地图,并提取待处理图像的第一图像特征。

这里,当对图像采集设备进行定位时,需要先加载预设地图。

步骤s237,根据所述第一图像特征,从预设地图中存储的关键帧图像的图像特征中,匹配出第二图像特征。

步骤s238,根据所述第一图像特征和所述第二图像特征,确定用于采集所述待处理图像的图像采集设备的位置信息。

上述步骤s236至步骤s238,给出了实现对图像采集设备进行定位的过程,在该过程中,通过采用从预设地图中存储的关键帧图像中匹配出与第一图像特征高度相似的第二图像特征,然后,利用利用这两个图像特征中的2d位置信息和3d位置信息,即可最终确定采集设备的位置信息。

在本申请实施例中,同时采用关键帧图像的2d和3d位置信息,保证了对采集设备的定位结果的准确度,定位成功率高,鲁棒性强,而且定位过程中不需要引入其他外部基站设备,降低了成本低廉。

本申请实施例提供一种定位方法,图3为本申请实施例定位方法的又一实现流程示意图,如图3所示,所述方法包括以下步骤:

步骤s301,针对样本图像所属的场景,选择不同的关键帧图像选取方式。

这里,样本图像所属的场景包括:离散场景或连续场景;关键帧图像的选取方法包括手动选择和自动选择两类,手动选择要求建图者手动选择需要纳入地图的关键帧图像,而自动选择是根据帧率或视差自动选择图像作为关键帧图像的方法。在针对关键帧图像的图像特征提取过程中,每个关键帧图像中都会提取出150个fast特征角点,连续两个关键帧图像中拥有相同角点的比例定义为角点追踪率。本申请实施例将有序的关键帧图像序列并且平均角点追踪率大于30%的场景定义为连续场景,否则即为离散场景。连续场景的关键帧图像选取方法使用自动选择法;而离散场景的关键帧图像选取方法使用手动选择法。连续场景适用于单一的室内环境下,比如卧室、客厅、单个会议室等;离散场景更适合在多个室内环境下使用,比如一栋楼里的多个房间,或者一层里的多个会议室等。在地图构建的过程中,连续场景和离散场景的关键帧图像选取策略不同,适用场景不同。这样针对室内的离散或连续场景,通过不同的关键帧图像的选取方式,提取图像特征进行地图构建,这样定位过程不依赖于外部基站设备,成本低,定位精度高,鲁棒性强。

步骤s302,利用摄像头进行关键帧图像采集。

这里,该摄像头可以是单目摄像头还可以是双目摄像头。

步骤s303,采集过程中实时提取关键帧图像中的图像特征。

这里,图像特征提取是对关键帧图像的一种解释和标注的过程。在步骤s303中,需要提取关键帧图像的特征点的2d位置信息、3d位置信息和标识信息(即该特征点的描述子信息);其中,关键帧图像的特征点的3d位置信息是将关键帧图像的特征点的2d位置信息映射在预设地图所处的三维坐标系中得到的。比如,对关键帧图像提取多个2d的特征点,提取数量为150个(150为经验值,特征点数量过少,跟踪失败率高,特征点数量过多,影响算法效率),用于图像跟踪;并对该特征点进行描述子的提取,用于特征点匹配;其次,通过三角化方法计算得到特征点的3d位置信息(即深度信息),用于确定采集相机的位置。

步骤s304,采集过程中实时确定每一样本特征点,在关键帧图像的中所占的比值,得到比值向量。

这里,步骤s304可以理解为,在关键帧图像的采集过程中,针对当前帧图像,实时提取该关键帧图像的的比值向量,如图4所示,用词汇树的形式来描述词袋模型,词袋模型中包括样本图像库41,即词汇树的根结点;样本图像42、43和44,即叶子结点42、43;样本特征点1至3为样本图像42中不同的样本特征点,本特征点4至6为样本图像43中不同的样本特征点,本特征点7至9为样本图像44中不同的样本特征点。在词袋模型中假设有w种样本特征点,即w为词袋模型的样本图像里提取出来的特征点种类数量。所以词袋模型里一共有w个样本特征点。每个样本特征点会对该关键帧图像进行评分,评分值为0~1的浮点数,这样每个关键帧图像都可以用w维的浮点数来表示,这个w维向量就是词袋模型输出的比值向量评分的过程,如公式(1)所示:

其中,n为样本图像数量(即第一数量),ni为样本特征点wi在样本图像中出现的次数(即第一次数),it为t时刻采集的图像i,为样本特征点wi在时刻采集到的关键帧图像it里出现的次数(即第二次数),为关键帧图像it里出现的样本特征点总数(即第二数量)。通过样本特征点评分,得到每个关键帧图像的w维的浮点数向量,即比值向量,还可以将该比值向量作为预设的词袋模型的特征信息。

上述步骤s301至步骤s304,构建出一张依赖于关键帧图像的离线的预设地图,该预设地图以二进制格式存储关键帧图像的图像特征(包括:2d位置信息、2d位置信息和标识信息,比如,2d坐标、3d坐标、和描述子信息)到本地设备,当需要对图像采集设备进行时,该预设地图将被加载使用。

步骤s305,加载构建好的预设地图。

步骤s306,利用摄像头进行图像采集,得到待处理图像。

步骤s307,待处理图像采集过程中,实时提取待处理图像的当前帧中的第一图像特征。

这里,实时提取待处理图像的当前帧中的第一图像特征与步骤s303的过程类似,但不需要确定待处理图像的3d位置信息,因为在后续的pnp算法中不需要提供待处理图像的3d位置信息。

步骤s308,通过词袋模型检索待处理图像的当前帧在预设地图中的匹配帧图像。

这里,所述通过词袋模型检索待处理图像的当前帧在预设地图中的匹配帧图像,可以理解为利用词袋模型的特征信息即比值向量集合,进行检索待处理图像的当前帧在预设地图中的匹配帧图像。

所述步骤s308可以通过以下过程实现:

第一步,查找待处理图像的当前帧和每个关键帧图像的相似度,相似度s(v1,v2)的计算方式如公式(2)所示。

其中,v1和v2分别表示词袋模型中包含的每一样本特征点在所述待处理图像的当前帧中所占的第一比值向量,和每一样本特征点在关键帧图像中所占的第二比值向量。如果词袋模型中包含w种样本特征点,那么第一比值向量和第二比值向量均为w维的向量。通过采用筛选出关键帧图像中相似度达到第二阈值的相似关键帧图像,成为相似关键帧图像集合。

第二步,在相似关键帧图像集合选取时间戳之差小于第三阈值,且相似度差小于第四阈值的相似关键帧图像联合在一起,得到联合帧图像(或被称为岛)。

这里,第二步可以理解为在相似关键帧图像集合选取时间戳靠近,且相似度的匹配分数靠近的相似关键帧图像联合在一起,被成为岛;这样将相似关键帧图像集合就被划分成了多联合帧图像(即多个岛)。联合帧图像中的第一个关键帧图像与最后一个关键帧图像之间的相似度之比非常小,该相似度之比如公式(3)所示:

其中,和s(vt,vt-△t)分别表示一前一后两个关键帧图像的与当前帧的待处理图像的相似度。

第三步,分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和,如公式(4)所示,

第四步,将相似度之和最大的联合帧图像,确定为与所述待处理图像的相似度最高的目标联合帧图像,从所述目标联合帧图像中找出与待处理图像的当前帧相似度最高的匹配帧图像。

步骤s309,采用pnp算法,确定当前相机在地图坐标系中的位置信息。

这里,所述步骤s309可以通过以下步骤实现:

第一步,对待处理图像的当前帧xc的第n个特征点fcn,遍历匹配帧图像x3的所有特征点,并确定匹配帧图像中任意两个特征点之间的欧式距离。如图5a所示,待处理图像的当前帧xc51,与该当前帧图像匹配的匹配帧图像x352。计算特征点x053和x154之间的欧式距离,得到欧式距离f0501;计算特征点x154和x255之间的欧式距离,得到欧式距离f1502;计算特征点x255和x352之间的欧式距离,得到欧式距离f2503;计算特征点xc51和x456之间的欧式距离,得到欧式距离f3504。

第二步,选择欧式距离最小的一组(即目标欧式距离集合)进行阈值判断,若小于第一阈值,确定为目标欧式距离,则形成目标欧式距离集合,否则不形成目标欧式距离集合,跳转至第一步,直至遍历xc的所有特征点,进入第三步。比如,如图5a所示,通过比较多个欧式距离,得到一组最小的欧式距离组合{f1,f2,f3}。

第三步,形成目标欧式距离集合,可表示为{f1,f2,f3},若目标欧式距离集合的元素数量大于第五阈值,则进行第四步,否则算法结束,输出匹配帧x3的位置信息。

第四步,基于目标欧式距离集合,调用pnp中的函数求解出xc在地图坐标系下的位置信息。其中,pnp算法的过程如下:

pnp算法的输入是关键帧图像中的特征点的3d坐标和待处理图像的当前帧中特征点的2d坐标,该算法的输出是待处理图像的当前帧在地图坐标系中的位置。

pnp算法不是直接根据匹配对序列求出相机位姿矩阵的,而是先求出待处理图像的当前帧中特征点的2d坐标在当前坐标系下待处理图像的当前帧中特征点的3d坐标,然后根据地图坐标系下的3d坐标系和当前坐标系下的待处理图像的当前帧中特征点的3d坐标求解相机位姿的。pnp算法的求解是从余弦定理开始的,设当前坐标系中心为点o,a、b和c为待处理图像的当前帧中三个特征点,如图5b所示:

根据余弦定理,a、b和c之间的关系如公式(5)所示:

对上式进行消元,同时除以oc2,并另则可得公式(6):

接着进行替换,另则可得公式(7):

将公式(4)分别代入公式(6)和(7),则分别得到公式(8)和(9):

(1-w)x2-w·y2-2·x·cos<a,c>+2·w·x·y·cos<a,b>+1=0(8);

(1-v)y2-v·x2-2·y·cos<b,c>+2·v·x·y·cos<a,b>+1=0(9);

其中,由于a、b和c的2d坐标是已知的,所以w,v,cos<a,c>,cos<b,c>,cos<a,b>都是已知量,因此,未知量只有x,y两个,通过公式(8)和(9)可以求得x,y的值,从而,可以求解oa、ob和oc的值,如公式(10)所示:

最后,即可得到a、b和c三个特征点在当前三维坐标系下的3d坐标,分别可通过公式(11)得到:

得到a、b和c三个特征点在当前三维坐标系下的3d坐标后,然后通过地图坐标系到当前坐标系的变换,确定采集设备的位置。

上述步骤s305至步骤s309,对于图像采集设备采集到的待处理图像加载构建好的离线地图,通过词袋模型在预设地图中的关键帧图像中检索待处理图像的匹配帧图像,最后采用pnp算法求解当前相机在地图中的精确位姿,以确定该设备在地图坐标系下的位置和姿态,从而使得定位结果精度较高,不需要依赖外部基站设备,成本低,鲁棒性强。

在申请实施例中,同时考虑关键帧图像的2d坐标和3d坐标,在定位结果可以提供采集设备的3d坐标,提高了定位准确度;在建图和定位过程中,不需要引入其他外部基站设备,因此成本低廉;而且不需要引入物体识别等错误率较高的算法,定位成功率高,鲁棒性强。

本申请实施例提供一种定位装置,该装置包括所包括的各模块、以及各模块所包括的各单元,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)或现场可编程门阵列(fpga)等。

图6为本申请实施例定位装置的组成结构示意图,如图6所示,所述装置600包括:第一提取模块601、第一匹配模块602和第一确定模块603,其中:

所述第一提取模块601,用于提取待处理图像的第一图像特征;

所述第一匹配模块602,用于根据所述第一图像特征,从预设地图中存储的关键帧图像的图像特征中,匹配出第二图像特征;

所述第一确定模块603,用于根据所述第一图像特征和所述第二图像特征,确定用于采集所述待处理图像的图像采集设备的位置信息。

在上述装置中,所述待处理图像的第一图像特征包括:所述待处理图像的特征点的标识信息和二维位置信息;

所述第二图像特征包括:所述关键帧图像的特征点的二维位置信息、三维位置信息和标识信息。

在上述装置中,所述关键帧图像的特征点的三维位置信息是将所述关键帧图像的特征点的二维位置信息映射在所述预设地图所处的三维坐标系中得到的。

在上述装置中,所述第一提取模块601,包括:

第一提取子模块,用于提取所述待处理图像的特征点集合;

第一确定子模块,用于确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述待处理图像中的二维位置信息。

在上述装置中,所述第一匹配模块602,包括:

第二确定子模块,用于分别确定不同的样本特征点在所述特征点集合中所占的比值,得到第一比值向量;

第一获取子模块,用于获取第二比值向量,所述第二比值向量为所述多个样本特征点在所述关键帧图像中包含的特征点中所占的比值;

第一匹配子模块,用于根据所述第一图像特征、所述第一比值向量和所述第二比值向量,从所述关键帧图像的图像特征中,匹配出第二图像特征。

在上述装置中,所述第一匹配子模块,包括:

第一确定单元,用于根据所述第一比值向量和所述第二比值向量,从所述关键帧图像的图像特征中,确定与所述第一图像特征的相似度大于第二阈值的相似图像特征;

第二确定单元,用于确定所述相似图像特征所属的相似关键帧图像,得到相似关键帧图像集合;

第一选择单元,用于从所述相似关键帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述装置中,所述第一选择单元,包括:

第一确定子单元,用于确定至少两个所述相似关键帧图像的采集时间之间的时间差,和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差;

第一联合子单元,用于将所述时间差小于第三阈值,且所述相似度差小于第四阈值的相似关键帧图像进行联合,得到联合帧图像;

第一选择子单元,用于从所述联合帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述装置中,所述第一选择子单元,还用于分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和;将相似度之和最大的联合帧图像,确定为与所述待处理图像的相似度最高的目标联合帧图像;根据目标联合帧图像的特征点的标识信息和所述待处理图像的特征点的标识信息,从所述目标联合帧图像的图像特征中,选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述装置中,所述装置还包括:

第二确定模块,用于将包含所述第二图像特征的图像,确定为所述待处理图像的匹配帧图像;

第三确定模块,用于确定所述匹配帧图像中包含的任意两个特征点之间,小于第一阈值的目标欧式距离,得到目标欧式距离集合。

在上述装置中,所述第一确定模块603,包括:

第三确定子模块,用于如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值,基于所述第二图像特征对应的关键帧图像的特征点的三维位置信息和所述第一图像特征对应的待处理图像的特征点的二维位置信息,确定所述图像采集设备的位置信息。

在上述装置,所述装置还包括:

第一选择模块,用于从样本图像库中,选择满足预设条件的关键帧图像,得到关键帧图像集合;

第二提取模块,用于提取每一关键帧图像的图像特征,得到关键图像特征集合;

第三提取模块,用于提取样本图像的特征点,得到包含不同的特征点的样本特征点集合;

第四确定模块,用于确定每一样本特征点,在关键帧图像的中所占的比值,得到比值向量集合;

第一存储模块,用于存储所述比值向量集合和所述关键图像特征集合,得到所述预设地图。

在上述装置中,所述装置还包括:

第二选择模块,用于从所述样本图像中选择预设数量的角点;其中,所述角点为所述样本图像中与预设区域内预设数量的像素点具有差别的像素点;

第五确定模块,用于如果采集时间相邻的两个样本图像中包含的相同的角点数量大于等于第六阈值,确定所述样本图像对应的场景为连续场景;

第六确定模块,用于如果采集时间相邻的两个样本图像中包含的相同的角点数量小于第六阈值,确定所述样本图像对应的场景为离散场景。

在上述装置中,第一选择模块,包括:

第一选择子模块,用于如果所述样本图像对应的场景为离散场景,根据输入的选择指令,从样本图像库中选择关键帧图像;

第二选择子模块,用于如果所述样本图像对应的场景为连续场景,根据预设的帧率或视差,从样本图像库中选择关键帧图像。

在上述装置中,所述第四确定模块,包括:

第四确定子模块,用于根据样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数,确定第一平均次数;其中,所述第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数;

第五确定子模块,用于根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量,确定第二平均次数;其中,所述第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例;

第六确定子模块,用于根据所述第一平均次数和所述第二平均次数,得到样本特征点在关键帧图像的中所占的比值,得到所述比值向量集合。

以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。

需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的定位方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得包含该存储介质的设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:u盘、移动硬盘、只读存储器(readonlymemory,rom)、磁碟或者光盘等各种可以存储程序代码的介质。

对应地,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的定位方法中的步骤。

这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。

应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。

另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(readonlymemory,rom)、磁碟或者光盘等各种可以存储程序代码的介质。

或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1