定位方法及装置、设备、存储介质与流程

1.本技术涉及定位领域，特别是涉及一种定位方法及装置、设备、存储介质。


背景技术：

2.目前，常见的定位方式主要有视觉定位。视觉定位方式主要通过设备拍摄到的图像之间的图像信息，确定设备的位置。其中，视觉定位比较依赖外部环境，在动态、光照剧烈变化、弱纹理、远景和遮挡等情况下，视觉定位无法很好正常工作。具体地，在这种情况下，设备拍摄得到的图像中提取得到的信息较少，则无法很好地进行定位。


技术实现要素：

3.本技术至少提供一种定位方法及装置、设备、存储介质。
4.本技术提供了一种定位方法，包括：获取待定位对象在目标时间段内的惯性测量数据；利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息，其中，参考运动状态信息为待定位对象在参考时间段内的最终运动状态信息；基于目标时间段内的最终运动状态信息，得到待定位对象在目标时间段内的位姿变化信息。
5.因此，通过使用目标时间段内的惯性测量数据即可获取得到目标时间段内的位姿变化，因此，即便在外部环境恶劣无法获得较高质量的图像的情况下，也可进行定位，减少了因为外部环境等因素造成定位精度不高的情况出现。另外，通过结合参考时间段内的最终状态信息与目标时间段内的惯性测量数据获取最终运动状态信息，使得获取得到的位姿变化信息更准确。
6.其中，利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息，包括：基于惯性测量数据，得到待定位对象在目标时间段内的初始运动状态信息；将参考运动状态信息与初始运动状态信息进行融合，得到待定位对象在目标时间段内的最终运动状态信息。
7.因此，通过将目标时间段的初始运动状态信息与参考运动状态进行融合，使得获取得到的最终运动状态信息更准确。
8.其中，位姿变化信息包括待定位对象在目标时间段内的至少一种位姿变化量，至少一种位姿变化量包括位置变化量和/或姿态变化量。
9.因此，通过确定位置变化量以及姿态变化量，使得确定的位姿更准确。
10.其中，在基于目标时间段内的最终运动状态信息，得到待定位对象在目标时间段内的位姿变化信息之后，方法还包括：利用目标时间段内的位姿变化量，得到待定位对象在目标时间段内的至少一目标位姿，其中，目标位姿包括待定位对象在图像帧的拍摄时刻的位姿，图像帧为拍摄装置在目标时间段拍摄得到的，拍摄装置与待定位对象之间的位置相对固定。
11.因此，通过位姿变化量实现得到待定位对象在目标时间段的目标位姿。另外，通过
由与待定位对象相对固定的拍摄装置拍摄得到目标图像帧以及与待定位对象相对固定的惯性测量装置得到惯性测量数据，可以实现对任意的对象进行定位。
12.其中，在得到待定位对象在目标时间段内的至少一目标位姿之后，方法还包括：确定至少一种能量关系，其中，至少一种能量关系包括以下至少一种：基于拍摄装置在目标时间段内拍摄得到的图像帧确定的视觉测量能量关系、基于目标时间段对应的位姿变化量确定的运动先验能量关系、基于目标时间段内的惯性测量数据确定的惯性测量能量关系、以及基于上一次定位对应的总能量关系确定的优化先验能量关系；利用至少一种能量关系，构建本次定位对应的总能量关系；基于本次定位对应的总能量关系，对目标位姿进行优化。
13.因此，通过视觉测量能量关系、运动先验能量关系、惯性测量能量关系以及优化先验能量关系中的至少一种构建总能量关系，以便通过总能量关系对目标位姿进行优化，使得优化后的目标位姿更准确。
14.其中，位姿变化信息还包括每种位姿变化量对应的确定度表征信息；确定至少一种能量关系，包括：基于确定度表征信息以及目标时间段内的位姿变化量，构建运动先验能量关系。
15.因此，通过结合确定度表征信息与位姿变化量，使得构建的运动先验能量关系更准确。
16.其中，利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息，以及所基于目标时间段对应的最终运动状态信息，得到待定位对象在目标时间段内的位姿变化信息的步骤由定位模型执行。
17.因此，通过定位模型实现直接得到最终运动状态以及对应的位姿变化信息。
18.其中，方法还包括：从样本惯性测量数据集合中获取第一样本惯性测量数据；利用第一样本惯性测量数据，对定位模型进行第一训练。
19.因此，通过使用第一样本惯性测量数据对定位模型进行训练，能够提高定位模型后续在应用过程中输出结果的准确度。
20.其中，利用第一样本惯性测量数据，对定位模型进行第一训练，包括：利用定位模型对第一样本惯性测量数据进行定位处理，得到第一样本位姿变化信息，其中，第一样本位姿变化信息包括第一样本位姿变化量；利用本次定位处理对应的第一样本位姿变化量和第一参考位姿变化量，得到第一损失；以及利用本次定位处理对应的第一样本位姿变化量和第一参考位姿变化量、以及前若干次定位处理对应的第一样本位姿变化量和第一参考位姿变化量，得到第二损失；基于第一损失和第二损失，调整定位模型的网络参数。
21.因此，通过结合第一损失和第二损失，对定位模型的网络参数进行调整，相比于仅使用其中一种损失对网络参数进行调整的方式而言，前者调整后的网络参数更准确。
22.其中，在利用第一样本惯性测量数据，对定位模型进行第一训练之后，方法还包括：响应于定位模型达到预设收敛状态，从样本惯性测量数据集合中获取第二样本惯性测量数据；利用第二样本惯性测量数据，对定位模型进行第二训练，其中，第一训练和第二训练过程中的损失确定方式不同。
23.因此，通过使用多种损失对定位模型进行调整，使得最终调整得到的定位模型的输出结果准确度更高。
24.其中，第一训练中的损失是为利用均方误差损失函数确定的，第二训练中的损失
是利用负对数似然损失函数确定的；和/或，利用第二样本惯性测量数据，对定位模型进行第二训练，包括：利用定位模型对第二样本惯性测量数据进行定位处理，得到第二样本位姿变化信息，其中，第二样本位姿变化信息包括第二样本位姿变化量和第二样本位姿变化量的样本确定度表征信息；利用第二样本位姿变化量以及对应的第二参考样本位姿变化量和样本确定度表征信息，得到第三损失；基于第三损失，调整定位模型的网络参数。
25.因此，通过对样本确定度表征信息构建损失函数，使得后续定位模型在应用过程中输出的确定度表征信息更准确。
26.其中，样本惯性测量数据集合包括多个对象的样本惯性测量数据，和/或，多个运动行为类别下的对象的样本惯性测量数据。
27.因此，通过使用多个对象的样本惯性测量数据，和/或多个运动行为类别下的对象的样本惯性测量数据，使得定位模型的泛化能力更强。
28.其中，在利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息之后，方法还包括：基于目标时间段对应的最终运动状态信息，确定待定位对象在目标时间段内的运动行为类别。
29.因此，通过最终运动状态信息，还可确定待定位对象相对应的运动行为类别，使得定位模型能够适用于多种场景。
30.其中，惯性测量数据包括加速度和角速度中的至少一者；和/或，在利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息之前，方法还包括：对惯性测量数据进行预处理，其中，经预处理的惯性测量数据用于确定最终运动状态信息，预处理包括将惯性测量数据转换到重力坐标系下、去除偏置、去除重力和归一化中的一种或多种。
31.因此，通过对惯性测量数据进行预处理，使得得到的位姿变化信息更为准确。
32.本技术提供了一种定位装置，包括：数据获取模块，用于获取待定位对象在目标时间段内的惯性测量数据；运动状态信息获取模块，用于利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息，其中，参考运动状态信息为待定位对象在参考时间段内的最终运动状态信息；确定模块，用于基于目标时间段对应的最终运动状态信息，得到待定位对象在目标时间段内的位姿变化信息。
33.本技术提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述定位方法。
34.本技术提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述定位方法。
35.上述方案，通过使用目标时间段内的惯性测量数据即可获取得到目标时间段内的位姿变化，因此，即便在外部环境恶劣无法获得较高质量的图像的情况下，也可进行定位，减少了因为外部环境等因素造成定位精度不高的情况出现。另外，通过结合参考时间段内的最终状态信息与目标时间段内的惯性测量数据获取最终运动状态信息，使得获取得到的位姿变化信息更准确。
36.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。
附图说明
37.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
38.图1是本技术定位方法一实施例的流程示意图；
39.图2是本技术定位方法一实施例示出训练定位模型的流程示意图；
40.图3是本技术定位方法一实施例示出步骤s12的流程示意图；
41.图4是本技术定位方法一实施例示出定位模型的结构示意图；
42.图5是本技术定位装置一实施例的结构示意图；
43.图6是本技术电子设备一实施例的结构示意图；
44.图7是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
45.下面结合说明书附图，对本技术实施例的方案进行详细说明。
46.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
47.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
48.请参阅图1，图1是本技术定位方法一实施例的流程示意图。具体而言，可以包括如下步骤：
49.步骤s11：获取待定位对象在目标时间段内的惯性测量数据。
50.待定位对象可以是设备，也可以是任意具有生命的动物体。例如，待定位对象可以是车辆、机器人、人、小猫、小狗等。
51.惯性测量数据指的是惯性传感器测量得到的数据。其中，惯性传感器的数量可以是多个，例如，惯性传感器可以是加速度计，也可以是陀螺仪等。
52.待定位对象与惯性传感器之间的位置相对固定，即惯性传感器的位姿情况可以表示所述待定位对象的位姿情况，可以理解的是，当待定位对象为设备时，该惯性传感器可以为该设备中的组件，或者为该设备以外的组件。惯性传感器在目标时间段内测量得到的惯性测量数据可以代表待定位对象在目标时间段内的惯性测量数据。或，惯性传感器为待定位对象的一部分。
53.步骤s12：利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息，其中，参考运动状态信息为待定位对象在参考时间段内的最终运动状态信息。
54.其中，参考运动状态信息的数量可以是一个及以上。参考时间段的数量也可以是一个及以上。参考时间段可以是目标时间段以前的任意时间段，例如，参考时间段可以是与目标时间段相邻的一个或多个历史时间段。可选地，每一参考时间段的的长度与目标时间
段的长度相同，当然，在其它实施例中，参考时间段的时间长度与目标时间段的长度也可不同，例如，参考时间段的时间长度等于预设数量倍的目标时间段长度，预设数量倍大于0。
55.其中，上述时间段内的相应运动状态信息用于表示待定位对象在该时间段内的运动，例如目标时间段内的最终运动状态信息能够用于推导待定位对象在目标时间段内的运动，参考时间段内的最终运动状态信息能够用于推导待定位对象在参考时间段内的运动。上述时间段内的相应运动状态信息具体可以包括待定位对象在对应时间段内一个或多个时刻的运动参数。例如，相应时刻的运动参数可以包括待定位对象在相应时刻的加速度、角速度、运动速度和运动方向等中的一个或多个。一些应用场景中，相应时间段内的运动状态信息可以认为是局部窗口中的基于惯性测量数据得到的加速度和角速度，可以认为是待定位对象运动的加速度和角速度，但因为各种因素的作用，其可能带有一定的噪声。在一些公开实施例中，运动状态信息可以为运动编码信息，其具体表达形式可以是用于描述待定位对象运动的运动隐层状态矩阵。
56.步骤s13：基于目标时间段内的最终运动状态信息，得到待定位对象在目标时间段内的位姿变化信息。
57.本公开实施例中，通过编码的方式获取目标时间段内的最终运动状态信息，并通过解码的方式基于目标时间段内的最终运动状态，得到待定位对象在目标时间段内的位姿变化信息。其中，待定位对象在目标时间段内的位姿变化信息可以是待定位对象在目标时间段内的起始时间点至目标时间段内的截止时间点之间的位置变化和/或姿态变化。两个时间点之间的位置变化具体可以是二者之间的相对位移。姿态变化具体可以是待定位对象朝向的变化。
58.上述方案，通过使用目标时间段内的惯性测量数据即可获取得到目标时间段内的位姿变化，因此，即便在外部环境恶劣无法获得较高质量的图像的情况下，也可进行定位，减少了因为外部环境等因素造成定位精度不高的情况出现。另外，通过结合参考时间段内的最终状态信息与目标时间段内的惯性测量数据获取最终运动状态信息，使得获取得到的位姿变化信息更准确。
59.一些公开实施例中，上述步骤s12和步骤s13是由定位模型执行。请同时参见图2，图2是本技术定位方法一实施例示出训练定位模型的流程示意图。如图2所示，本公开实施例中，定位方法还包括以下步骤：
60.步骤s21：从样本惯性测量数据集合中获取第一样本惯性测量数据。
61.样本惯性测量数据集合中可以包括一个对象在不同运动状态下的惯性测量数据，也可以包括不同对象在相同或不同运动状态下的惯性测量数据。例如，若待定位对象为人，可以采集多个人体步行、跑步、站立、上下楼梯和随机晃动等过程中的惯性测量数据，作为样本惯性测量数据集合。其中，第一样本惯性测量数据所属的对象与待定位对象的属性相同。具体地，待定位对象为人体的情况下，第一样本惯性测量数据所属的对象也为人体。同理，待定位对象为猫的情况下，第一样本惯性测量数据所属的对象也为猫。
62.本公开实施例中，样本惯性测量数据集合包括多个对象的样本惯性测量数据。该多个对象可以在形体上存在不同，例如，高矮、胖瘦等方面不同。另一些公开实施例中，样本惯性测量数据集合包括多个运动行为类别下的对象的样本惯性测量数据。多个运动行为类别可参照上述，当然，在其他实施例中，还可包括其它任意的运动行为类别，例如，翻跟头、
跳跃、翻越围栏等等，关于运动行为类别此处不做具体规定。另一些公开实施例中，样本惯性测量数据集合包括多个对象的样本数据以及多个运动行为类别下的对象的样本惯性测量数据。
63.第一样本惯性测量数据同样可以是多个对象的样本惯性测量数据和/或不同运动行为类别下的对象的样本惯性测量数据。即，本公开实施例中，可以同时使用多个对象对应的样本惯性测量数据或同一对象在不同运动状态下的样本惯性测量数据对定位模型进行训练。
64.其中，从样本惯性测量数据集合中获取第一样本惯性测量数据的方式可以是按照一定的规律从样本惯性测量数据集合中获取一定时间段内的样本惯性测量数据作为第一样本惯性测量数据。
65.步骤s22：利用第一样本惯性测量数据，对定位模型进行第一训练。
66.具体地，利用定位模型对第一样本惯性测量数据进行定位处理，得到第一样本位姿变化信息。其中，第一样本位姿变化信息包括第一样本位姿变化量。其中，第一样本位姿变化量可以包括第一样本位置变化量和/或第一样本姿态变化量。
67.接着，利用本次定位处理对应的第一样本位姿变化量和第一参考位姿变化量，得到第一损失。其中，第一参考位姿变化量可以认为是标记信息。以及，利用本次定位处理对应的第一样本位姿变化量和第一参考位姿变化量、以及前若干次定位处理对应的第一样本位姿变化量和第一参考位姿变化量，得到第二损失。
68.前若干次可以是上一次，也可以是前两次及以上。本公开实施例中，前若干次包括本次以前的所有次。当然，本次以前的定位处理与本次执行的定位处理所使用的第一样本惯性测量数据为同一对象的样本惯性测量数据，并在时序上存在先后关系。本次以前其它对象的第一样本惯性测量数据对应的第一样本位姿变化量不是本次定位处理以前的第一样本位姿变化量，当然，在其他公开实施例中，只要是处于本次定位处理以前的所有定位处理，均有机会参考第二损失的计算。也就是，第一损失可以认为是相对损失，而第二损失可以认为是绝对损失。当然，若本次定位处理为首次，则第一损失和第二损失的计算方式相同，可以只计算其中一个损失。
69.本公开实施例中，第一训练过程中使用的损失是利用均方误差损失函数确定的。具体地，获取第一损失之后，结合各个第一损失获取第一样本惯性测量数据对应的最终第一损失的公式可以是：
[0070][0071]
其中，是网络的定位模型输出的第j个第一样本位姿变化量，dj→
j+1
是对应的第一参考位姿变化量。n是训练时的批大小，若一时刻只使用一个样本惯性测量数据，则批大小为1，若一时刻使用2个样本惯性测量数据，则批大小为2。m表示第一样本惯性测量数据第m个采样位置，而m表示定位模型训练时使用第一样本惯性测量数据的组数。例如，第一样本惯性测量数据中包括1分钟的惯性测量数据，而每次输入定位模型的是从1分钟惯性测量数据中采样的0.5s的惯性测量数据，一共获取了3组，例如0-0.5s为第一组，第二个0.5s为
第2组，第三个0.5s为第三组。此时，m可以表示0，m表示3。可以认为为第j个样本位姿变化量对应的第一损失，通过累加各个第一损失，得到第一样本惯性测量数据对应的最终第一损失。
[0072]
本公开实施例中，获取第二损失之后，结合各个第二损失，获取第一样本惯性测量数据对应的最终第二损失的公式可以是：
[0073][0074]
其中，是网络的定位模型输出的第m至第j个之间的第一样本位姿变化量，dm→
j+1
是对应的第一参考位姿变化量。n是训练时的批大小，若一时刻只使用一个对象在一种运动状态下的样本惯性测量数据，则批大小为1，若一时刻使用2个对象在同一运动状态下的样本惯性测量数据，则批大小为2。m表示第一样本惯性测量数据第m个采样位置，而l表示定位模型训练时使用第一样本惯性测量数据的组数。例如，第一样本惯性测量数据中包括1分钟的惯性测量数据，而每次输入定位模型的是从1分钟惯性测量数据中采样的0.5s的惯性测量数据，一共获取了3组，例如0-0.5s为第一组，第二个0.5s为第2组，第三个0.5s为第三组。此时，m可以表示0，l表示3。此时，若m为0，此次定位为l次，则需要使用l次定位及以前次定位对应的第一样本变化量以及第一参考位姿变化量，获取第二损失。可以认为为第j个样本位姿变化量对应的第二损失，通过累加各个第二损失，得到第一样本惯性测量数据对应的最终第二损失。
[0075]
基于第一损失和第二损失，调整定位模型的网络参数。可选地，可以为第一损失和第二损失确定对应的权重，进行加权求和得到最终的损失，然后利用最终的损失对定位模型的网络参数进行调整。通过结合第一损失和第二损失，对定位模型的网络参数进行调整，相比于仅使用其中一种损失对网络参数进行调整的方式而言，前者调整后的网络参数更准确。
[0076]
步骤s23：响应于定位模型达到预设收敛状态，从样本惯性测量数据集合中获取第二样本惯性测量数据。
[0077]
预设收敛状态可以是第一损失和/或第二损失小于或等于对应的预设损失值。
[0078]
其中，第一样本惯性测量数据与第二样本惯性测量数据可以相同，也可以不同。例如，可以是不同对象对应的样本惯性测量数据，也可以是同一对象对应的不同运动行为类别下的样本惯性测量数据。从样本惯性测量数据集合中获取第二样本惯性测量数据的方式可参见从样本惯性测量数据集合中获取第一样本惯性测量数据的方式，此处不再赘述。本公开实施例中，第一样本惯性测量数据与第二样本惯性测量数据相同。
[0079]
步骤s24：利用第二样本惯性测量数据，对定位模型进行第二训练，其中，第一训练和第二训练过程中的损失确定方式不同。
[0080]
具体地，利用定位模型对第二样本惯性测量数据进行定位处理，得到第二样本位姿变化信息。其中，第二样本位姿变化信息包括第二样本位姿变化量和第二样本位姿变化量的样本确定度表征信息。样本确定度表征信息可以是用于表示第二样本位姿变化量的不确定度，也可以用于表示第二样本位姿变化量的确定度。
[0081]
然后，利用第二样本位姿变化量以及对应的第二参考样本位姿变化量和样本确定度表征信息，得到第三损失。具体地，基于第二样本位姿变化量与第二参考位姿变化量，获取真实样本确定度表征信息，基于该真实样本确定度表征信息与定位模型输出的样本确定度表征信息，得到第三损失。第二参考位姿变化量可以认为是标记信息。
[0082]
其中，第三损失具体可以基于第四损失和第五损失获取得到。其中，第四损失可以是基于本次第二样本位姿变化量以及对应的第二参考样本位姿变化量和对应的样本确定度表征信息与真实样本确定度表征信息获取得到。第五损失可以是基于本次及本次以前若干次的第二样本位姿变化量以及对应的第二参考样本位姿变化量和对应的样本确定度表征信息与真实样本确定度表征信息获取得到。其中，第四损失可以认为是相对损失，第五损失可以认为是绝对损失。可选地，对第四损失和第五损失进行加权求和，得到第三损失。
[0083]
基于第三损失，调整定位模型的网络参数。
[0084]
本公开实施例中，第一训练和第二训练过程中的损失确定方式不同，可以是使用的损失函数不同。本公开实施例中，第二训练中的损失是利用负对数似然损失函数确定的。通过使用多种损失对定位模型进行调整，使得最终调整得到的定位模型的输出结果准确度更高。
[0085]
具体地，本公开实施例中，通过负对数似然损失函数确定第三损失的方式可以是：
[0086][0087]
其中，d表示第二位姿参考变化量，而表示此次定位处理输出的第二样本位姿变化量，t表示转置，表示协方差矩阵，其中，样本确定度表征信息为三维向量，且这三个元素为协方差矩阵的对角元素的对数。
[0088]
一些公开实施例中，定位模型还可包括运动行为分类网络。
[0089]
在基于第一样本惯性测量数据得到最终运动状态信息之后，还可将最终运动状态信息输入运动行为分类网络。运动行为分类网络利用该最终运动状态信息进行运动行为分类，得到预测运动行为类别。基于预测运动行为类别与标记行为类别，获取分类损失。然后基于该分为损失对定位模型的参数进行调整。以便训练得到的定位模型在应用过程中还可输出待定位对象在目标时间段内的运动行为类别。
[0090]
其中，可以使用dropout技术对定位模型进行训练。具体地，在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强
[0091]
其中，第一样本惯性测量数据和第二样本惯性测量数据包括加速度和角速度中的至少一者。
[0092]
本公开实施例中，在执行步骤s22和步骤s24之前，可以分别对第一样本惯性测量数据和第二样本惯性测量数据进行预处理。其中，经预处理的样本惯性测量数据用于得到对应的第一样本位姿变化量或第二样本位姿变化量。
[0093]
其中，预处理包括将第一样本惯性测量数据或第二样本惯性测量数据转换到重力坐标系下、去除偏置、去除重力和归一化中的一种或多种。其中，重力坐标系、加速度和/或角速度的偏置可以预先设置。通过对惯性测量数据进行预处理，使得得到的位姿变化信息更为准确。当然，预处理还可包括对惯性测量数据进行固定帧率插值。然后，将插值后的数
据进行缓存。
[0094]
请同时参见图3，图3是本技术定位方法一实施例示出步骤s12的流程示意图。一些公开实施例中，上述步骤s12还可包括以下步骤：
[0095]
步骤s121：基于惯性测量数据，得到待定位对象在目标时间段内的初始运动状态信息。
[0096]
具体地，定位模型包括第一网络，该第一网络可以是resnet18网络。利用第一网络对惯性测量数据进行处理，得到待定位对象在目标时间段内的初始运动状态信息。初始运动状态信息具体可以包括待定位对象在目标时间段内一个或多个时刻的运动参数。例如，相应时刻的初始运动状态信息可以包括待定位对象在相应时刻的的加速度、角速度、运动速度和运动方向中的一个或多个。具体地，初始运动状态信息的表达形式可以是用于描述待定位对象在目标时间段内的运动的运动隐层状态矩阵。其中，初始运动状态信息可以用于推导待定位对象在目标时间段内的运动。但因为传感器的偏置等因素的影响，导致获取得到的初始运动状态含有噪声，所以若仅使用初始运动状态信息推导待定位对象在目标时间段内的运动，或许会存在一定的误差。
[0097]
在一些公开实施例中，第一网络中包括池化层。
[0098]
步骤s122：将参考运动状态信息与初始运动状态信息进行融合，得到待定位对象在目标时间段内的最终运动状态信息。
[0099]
具体地，定位模型包括第二网络，该第二网络可以是lstm(long short-term memory，长短期记忆网络)。利用第二网络将初始运动状态信息与参考运动状态进行融合，得到最终运动状态信息。具体地，最终运动状态信息和参考运动状态信息的形式也可以是用于描述待定位对象在目标时间段内的运动的运动隐层状态矩阵。本公开实施例认为待定位对象的运动是连续且有规律的，因此，通过用于表示待定位对象在目标时间段内的运动的初始运动状态信息与用于表示待定位对象在参考时间段内的运动的参考运动状态信息进行融合，以估计待定位对象在目标时间段内更准确的最终运动状态信息，从而可以根据该最终运动状态信息估计待定位对象在目标时间段内的运动。由此，可以基于历史信息获取待定位对象在目标时间段内的最终运动状态信息，使得获取得到的待定位对象在目标时间段内的最终运动状态信息比待定位对象在目标时间段内的初始运动状态信息更准确。
[0100]
其中，定位模型还包括全连接网络。其中，全连接网络的输入连接第二网络的输出，全连接网络用于基于目标时间段内的最终运动状态信息，得到待定位对象在目标时间段内的位姿变化信息。其中，位姿变化信息包括待定位对象在目标时间段内的至少一种位姿变化量。至少一种位姿变化量包括位置变化量和/或姿态变化量。姿态变化量具体可以是待定位对象在目标时间段内朝向的变化量。
[0101]
通过将目标时间段的初始运动状态信息与参考运动状态进行融合，使得获取得到的最终运动状态信息更准确。
[0102]
为更好地理解上述方案，提出以下示例。一些应用场景中，待定位对象可以是人员a。将人员a在当前时刻以前一段时间作为目标时间段，第一网络通过编码的方式获取该时间段内的惯性测量数据对应的初始运动状态信息，该初始运动状态可以用于推导人员a在目标时间段内的位姿变化信息，或进一步识别待定位对象的运动模式，运动模式可以是通过运动参数划分的模式。然后，将初始运动状态信息以及若干个参考运动状态信息输入第
二网络，第二网络对初始运动状态信息以及若干个参考运动状态信息进行融合，确定得到更加准确的关于人员a在目标时间段内的最终运动状态信息，最后，将第二网络输出的最终运动状态信息输入全连接网络，全连接网络通过解码的方式得到人员a在目标时间段内的位姿变化信息。
[0103]
一些公开实施例中，待定位对象在目标时间段内的位姿变化信息还可包括确定度表征信息。确定度表征信息用于表示待定位对象在目标时间段内的位姿变化量的确定度或不确定度。例如，在确定度表征信息用于表示位姿变化量的确定度的情况下，若确定度表征信息为0.9，则认为获取得到的待定位对象在目标时间段内的位姿变化量的准确度为0.9，用百分比表示则为准确度90％。
[0104]
为更好地理解本公开实施例提供的定位方法中所使用到的定位模型结构及其处理方法，请参考下例。请同时参见图4，图4是本技术定位方法一实施例示出定位模型的结构示意图。
[0105]
如图4所示，定位模型的输入是n个惯性测量数据(加速度至和角速度至)，定位模型包括第一网络(resnet18)，第二网络(lstm网络)以及全连接网络(fc)。其中，全连接网络又可包括第一全连接网络和第二全连接网络，其中，第一全连接网络用于输出位姿变化量第二全连接网络用于输出位姿变化量对应的确定度表征信息
[0106]
其中，定位模型的数学形式为：
[0107][0108]
wan
＝
wrn
(a-ba)-w
g；
[0109]wwn＝
wrn
(w-bg)；
[0110]
其中，f(
·
)是神经网络定义的函数。a是惯性传感器读取得到的原始加速度，w是惯性传感器读取得到的原始角速度。ba和bg是对应的偏置。wg是重力矢量。
wan-n
和ww
n-n
分别代表重力坐标系下第n时刻获取到的加速度和角速度。h
n-n
是上次定位处理过程中的参考运动状态信息。
[0111]
其中，在得到待定位对象在目标时间段内的位姿变化信息之后，定位方法还包括以下步骤：
[0112]
利用目标时间段对应的位姿变化量，得到待定位对象在目标时间段内的至少一目标位姿。其中，目标位姿包括待定位对象在图像帧的拍摄时刻的位姿。也就是一张图像帧对应一个目标位姿，若图像帧为多张，则目标位姿也对应有多个。图像帧为拍摄装置在目标时间段拍摄得到的，其中，该拍摄装置与待定位对象之间的位置相对固定。即拍摄装置的位姿情况可以表示待定位对象的位姿情况。例如，待定位对象为人体，与人体相对固定的拍摄装置可以是人体手持的相机。通过确定位置变化量以及姿态变化量，使得确定的位姿更准确。另，通过由与待定位对象相对固定的拍摄装置拍摄得到目标图像帧以及与待定位对象相对固定的惯性测量装置得到惯性测量数据，因此，可以实现对任意的对象进行定位。
[0113]
本公开实施例中，待定位对象对应的拍摄装置在目标时间段内的起始时间点和截止时间点均拍摄有对应的图像帧。其中，待定位对象在目标时间段内的起始时间点的位姿由上一次，或更久之前的定位处理得到。通过目标时间段内的位姿变化量以及待定位对象
在目标时间段内起始时间点的位姿，能够获取得到待定位对象在目标时间段内终止时间点的位姿。由此，可以根据起始时间点和终止时间点的位姿，确定拍摄中间各帧图像帧时的位姿。一些应用场景中，目标时间段较短，可以认为待定位对象在目标时间段内做匀速运动，因此，可以很轻易获取得到待定位对象在中间各时刻的位置。
[0114]
一些公开实施例中，在得到待定位对象在目标时间段的目标位姿之后，定位方法还包括以下步骤：
[0115]
确定至少一种能量关系。其中，至少一种能量关系包括以下至少一种：基于拍摄装置在目标时间段内拍摄得到的图像帧确定的视觉测量能量关系(该拍摄装置与待定位对象的位置相对固定)、基于目标时间段对应的位姿变化量确定的运动先验能量关系、基于目标时间段内的惯性测量数据确定的惯性测量能量关系、以及基于目标时间段的前一历史时间对应的总能量关系确定的优化先验能量关系。其中，位姿变化信息还包括每种位姿变化量对应的确定度表征信息。如上述，确定度表征信息可以用于表示确定度，也可用于表示不确定度。
[0116]
其中，可以基于确定度表征信息，以及目标时间段内的位姿变化量，构建运动先验能量关系。通过结合确定度表征信息与位姿变化量，使得构建的运动先验能量关系更准确。
[0117]
然后利用至少一种能量关系，构建本次定位对应的总能量关系。
[0118]
最后，基于本次定位对应的总能量关系，对目标位姿进行优化。通过视觉测量能量关系、运动先验能量关系、惯性测量能量关系以及优化先验能量关系中的至少一种构建总能量关系，以便通过总能量关系对目标位姿进行优化，使得优化后的目标位姿更准确。
[0119]
其中，获取视觉测量能量关系cz的方式可以是：
[0120][0121]
其中，f为目标时间段内各图像帧能跟踪上的二维特征点集合，其中，若一个二维特征点被两帧及以上的图像帧观测到，该二维特征点即可加入二维特征点集合。c为能跟踪到二维特征点集合f的相机状态集合。为第k个二维特征点在第j帧图像上的2d位置。k是拍摄组件的投影矩阵，ri表示第i帧图像帧对应的摄像组件的旋转矩阵。t表示转置。∑z为对应的协方差矩阵。本公开实施例中所提出的i帧为目标时间段内拍摄的首帧，j帧为目标时间段内拍摄的尾帧，以下同理。
[0122]
获取运动先验能量关系cn的方式可以是：
[0123][0124]
其中，pi和pj分别表示第i帧和第j帧图像帧对应的目标对象的位置、d
ij
表示定位模型输出的第i帧和第j帧之间的位姿变化量，∑
ij
∑
ij
表示定位模型对应的协方差矩阵，该协方差矩阵由确定度表征信息获取得到。具体地，确定度表征信息为三维向量，三维向量中的三个元素为该协方差矩阵的对角元素的对数。表示第i帧图像帧对应的目标对象的偏航角矩阵。t表示转置。
[0125]
其中，获取惯性测量能量关系的方式可参见一般视觉惯性定位方法中的相关计算方式。
[0126]
此处简单列举获取惯性测量能量关系cu的方式：
[0127][0128]
其中，hk是上一次定位处理过程对应的雅可比矩阵，是本次定位处理关于位姿的雅可比矩阵，是本次定位处理关于惯性传感器偏置的雅可比矩阵，是上一次定位处理对应的位姿偏差，是本次定位处理对应的位姿偏差，为本次定位处理对应的惯性传感器偏置对应的偏差。∑u是惯性测量能量关系对应的协方差矩阵，r
uk+1
是惯性传感器测量残差。其中，获取上述各参数的方式可参见一般的技术，此处不再赘述。
[0129]
优化先验能量关系是基于上一次定位对应的总能量关系确定的。即，可以将上一次定位对应的总能量关系直接作为优化先验能量关系，当然，还可以是对该总能量关系对应的状态信息进行边缘化，保持恒定的计算复杂度，本方案选择将上一次定位对应的总能力关系中最老的状态以及最新的一个状态边缘化。其中，表示k-m+1次定位目标对象对应的位姿。表示惯性传感器的偏置以及第k次定位时目标对象的速度。
[0130]
其中，获取优化先验能量关系的方式为：
[0131][0132]
其中，h
k+1
为k+1次定位处理对应的雅可比矩阵。为对应为位姿偏差，r
k+1
为对应的测量残差。
[0133]
从而，最小化总能量关系从而更新各个图像帧对应的状态以及惯性传感器的偏置。
[0134]
具体地，最小化总能量关系的方式为：
[0135][0136]
其中，这里的为k+1次定位处理确定的位姿偏差。h
k+1
为优化先验能量关系中的雅可比矩阵，r
k+1
为优化先验能量关系中的测量残差。hz为视觉测量能量关系中的雅可比矩阵，rz为视觉测量能量关系中的测量残差，hn为运动先验能量关系中的雅可比矩阵，rn为运动先验能量关系中的测量残差。∑n为运动先验能量关系对应的协方差矩阵，∑z为视觉测量能量关系对应的协方差矩阵。总能量为这里的为本次次定位处理对应的位姿偏差。
[0137]
确定使得总能量最小的位姿偏差，作为本次定位处理对应的位姿偏差。将求解得到最终的与目标位姿进行求和，得到优化后的位姿。其中，求取得到的惯性传感器的偏置可以取代定位系统中原始的偏置，以便后续的位姿计算更准确。当然，若需要优化的还包
括惯性传感器的偏置、重力方向等参数时，上述则还可表示包括所有待优化的参数对应的偏差，也就是在这种情况下，包括位姿偏差以及各偏置量等参数对应的偏差。然后将获取到的偏差与对应的参数进行相加，得到优化后的参数。
[0138]
一些公开实施例中，在获取到待定位对象在目标时间段内的最终运动状态信息之后，还可执行以下步骤：
[0139]
基于目标时间段内的最终运动状态信息，确定待定位对象在目标时间段内的运动行为类别。具体地，通过定位模型中的运动行为分类网络，确定待定位对象在目标时间段内的运动行为类别。
[0140]
其中，可以根据待定位对象在目标时间段内的运动行为类别和/或待定位对象的目标位姿，执行对应的预设操作。其中，预设操作可以是增强现实处理、广播播报对应的内容、执行报警等等。例如，待定位对象在公园时，可根据待定位对象的位姿进行增强现实处理或广播景点的历史等信息，又或者当待定位对象做出预设危险动作时，可进行报警。
[0141]
具体地，本公开实施例提供的定位方法可应用于增强现实、虚拟现实、机器人、自动驾驶、游戏、影视、教育、电子商务、旅游、智慧医疗、室内装修设备、智慧家居、智能制造以及维修装配等场景中。
[0142]
其中，定位方法的执行主体可以是定位装置，例如，定位方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该定位方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
[0143]
请参阅图5，图5是本技术定位装置一实施例的结构示意图。定位装置40包括数据获取模块41、运动状态信息获取模块42以及确定模块43。数据获取模块41，用于获取待定位对象在目标时间段内的惯性测量数据；运动状态信息获取模块42，用于利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息，其中，参考运动状态信息为待定位对象在参考时间段内的最终运动状态信息；确定模块43，用于基于目标时间段内的最终运动状态信息，得到待定位对象在目标时间段内的位姿变化信息。
[0144]
上述方案，通过使用目标时间段内的惯性测量数据即可获取得到目标时间段内的位姿变化，因此，即便在外部环境恶劣无法获得较高质量的图像的情况下，也可进行定位，减少了因为外部环境等因素造成定位精度不高的情况出现。另外，通过结合参考时间段内的最终状态信息与目标时间段内的惯性测量数据获取最终运动状态信息，使得获取得到的位姿变化信息更准确。
[0145]
一些公开实施例中，运动状态信息获取模块42利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息，包括：基于惯性测量数据，得到待定位对象在目标时间段内的初始运动状态信息；将参考运动状态信息与初始运动状态信息进行融合，得到待定位对象在目标时间段内的最终运动状态信息。
[0146]
上述方案，通过将目标时间段的初始运动状态信息与参考运动状态进行融合，使得获取得到的最终运动状态信息更准确。
[0147]
一些公开实施例中，位姿变化信息包括待定位对象在目标时间段内的至少一种位
姿变化量，至少一种位姿变化量包括位置变化量和/或姿态变化量。
[0148]
上述方案，通过确定位置变化量以及姿态变化量，使得确定的位姿更准确。
[0149]
一些公开实施例中，在基于目标时间段内的最终运动状态信息，得到待定位对象在目标时间段内的位姿变化信息之后，确定模块43还用于：利用目标时间段内的位姿变化量，得到待定位对象在目标时间段内的至少一目标位姿，其中，目标位姿包括待定位对象在图像帧的拍摄时刻的位姿，图像帧为拍摄装置在目标时间段拍摄得到的，拍摄装置与待定位对象之间的位置相对固定。
[0150]
上述方案，通过位姿变化量获取待定位对象在目标时间段的目标位姿的方式简单快捷。另，通过由与待定位对象相对固定的拍摄装置拍摄得到目标图像帧以及与待定位对象相对固定的惯性测量装置得到惯性测量数据，因此，可以实现对任意的对象进行定位。
[0151]
一些公开实施例中，在得到待定位对象在目标时间段内的至少一目标位姿之后，确定模块43还用于：确定至少一种能量关系，其中，至少一种能量关系包括以下至少一种：基于拍摄装置在目标时间段内拍摄得到的图像帧确定的视觉测量能量关系、基于目标时间段对应的位姿变化量确定的运动先验能量关系、基于目标时间段内的惯性测量数据确定的惯性测量能量关系、以及基于上一次定位对应的总能量关系确定的优化先验能量关系；利用至少一种能量关系，构建本次定位对应的总能量关系；基于本次定位对应的总能量关系，对目标位姿进行优化。
[0152]
上述方案，通过视觉测量能量关系、运动先验能量关系、惯性测量能量关系以及优化先验能量关系中的至少一种构建总能量关系，以便通过总能量关系对目标位姿进行优化，使得优化后的目标位姿更准确。
[0153]
一些公开实施例中，位姿变化信息还包括每种位姿变化量对应的确定度表征信息；确定模块43确定至少一种能量关系，包括：基于确定度表征信息以及目标时间段内的位姿变化量，构建运动先验能量关系。
[0154]
上述方案，通过结合确定度表征信息与位姿变化量，使得构建的运动先验能量关系更准确。
[0155]
一些公开实施例中，利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息，以及所基于目标时间段对应的最终运动状态信息，得到待定位对象在目标时间段内的位姿变化信息的步骤由定位模型执行。
[0156]
上述方案，通过定位模型实现直接得到最终运动状态以及对应的位姿变化信息。
[0157]
一些公开实施例中，定位装置40还包括训练模块(图未示)，训练模块用于：从样本惯性测量数据集合中获取第一样本惯性测量数据；利用第一样本惯性测量数据，对定位模型进行第一训练。
[0158]
上述方案，通过使用第一样本惯性测量数据对定位模型进行训练，能够提高定位模型后续在应用过程中输出结果的准确度。
[0159]
一些公开实施例中，训练模块利用第一样本惯性测量数据，对定位模型进行第一训练，包括：利用定位模型对第一样本惯性测量数据进行定位处理，得到第一样本位姿变化信息，其中，第一样本位姿变化信息包括第一样本位姿变化量；利用本次定位处理对应的第一样本位姿变化量和第一参考位姿变化量，得到第一损失；以及利用本次定位处理对应的第一样本位姿变化量和第一参考位姿变化量、以及前若干次定位处理对应的第一样本位姿
变化量和第一参考位姿变化量，得到第二损失；基于第一损失和第二损失，调整定位模型的网络参数。
[0160]
上述方案，通过结合第一损失和第二损失，对定位模型的网络参数进行调整，相比于仅使用其中一种损失对网络参数进行调整的方式而言，前者调整后的网络参数更准确。
[0161]
一些公开实施例中，在利用第一样本惯性测量数据，对定位模型进行第一训练之后，训练模块还用于：响应于定位模型达到预设收敛状态，从样本惯性测量数据集合中获取第二样本惯性测量数据；利用第二样本惯性测量数据，对定位模型进行第二训练，其中，第一训练和第二训练过程中的损失确定方式不同。
[0162]
上述方案，通过使用多种损失对定位模型进行调整，使得最终调整得到的定位模型的输出结果准确度更高。
[0163]
一些公开实施例中，第一训练中的损失是为利用均方误差损失函数确定的，第二训练中的损失是利用负对数似然损失函数确定的；和/或，训练模块利用第二样本惯性测量数据，对定位模型进行第二训练，包括：利用定位模型对第二样本惯性测量数据进行定位处理，得到第二样本位姿变化信息，其中，第二样本位姿变化信息包括第二样本位姿变化量和第二样本位姿变化量的样本确定度表征信息；利用第二样本位姿变化量以及对应的第二参考样本位姿变化量和样本确定度表征信息，得到第三损失；基于第三损失，调整定位模型的网络参数。
[0164]
上述方案，通过对样本确定度表征信息构建损失函数，使得后续定位模型在应用过程中输出的确定度表征信息更准确。
[0165]
一些公开实施例中，样本惯性测量数据集合包括多个对象的样本惯性测量数据，和/或，多个运动行为类别下的对象的样本惯性测量数据。
[0166]
上述方案，通过使用多个对象的样本惯性测量数据，和/或多个运动行为类别下的对象的样本惯性测量数据，使得定位模型的泛化能力更强。
[0167]
一些公开实施例中，在利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息之后，确定模块43还用于：基于目标时间段对应的最终运动状态信息，确定待定位对象在目标时间段内的运动行为类别。
[0168]
上述方案，通过最终运动状态信息，还可确定待定位对象相对应的运动行为类别，使得定位模型能够适用于多种场景。
[0169]
一些公开实施例中，惯性测量数据包括加速度和角速度中的至少一者；和/或，在利用惯性测量数据以及参考运动状态信息，确定待定位对象在目标时间段内的最终运动状态信息之前，数据获取模块41还用于：对惯性测量数据进行预处理，其中，经预处理的惯性测量数据用于确定最终运动状态信息，预处理包括将惯性测量数据转换到重力坐标系下、去除偏置、去除重力和归一化中的一种或多种。
[0170]
上述方案，通过对惯性测量数据进行预处理，使得得到的位姿变化信息更为准确。
[0171]
请参阅图6，图6是本技术电子设备一实施例的结构示意图。电子设备50包括存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一定位方法实施例中的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：医疗设备、微型计算机、台式电脑、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
[0172]
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一定位方法实施例中的步骤。处理器52还可以称为cpu(central processing unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
[0173]
上述方案，通过使用目标时间段内的惯性测量数据即可获取得到目标时间段内的位姿变化，因此，即便在外部环境恶劣无法获得较高质量的图像的情况下，也可进行定位，减少了因为外部环境等因素造成定位精度不高的情况出现。另外，通过结合参考时间段内的最终状态信息与目标时间段内的惯性测量数据获取最终运动状态信息，使得获取得到的位姿变化信息更准确。
[0174]
请参阅图7，图7是本技术计算机可读存储介质一实施例的结构示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令61，程序指令61用于实现上述任一定位方法实施例中的步骤。
[0175]
上述方案，通过使用目标时间段内的惯性测量数据即可获取得到目标时间段内的位姿变化，因此，即便在外部环境恶劣无法获得较高质量的图像的情况下，也可进行定位，减少了因为外部环境等因素造成定位精度不高的情况出现。另外，通过结合参考时间段内的最终状态信息与目标时间段内的惯性测量数据获取最终运动状态信息，使得获取得到的位姿变化信息更准确。
[0176]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0177]
本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的ar效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、slam、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。
[0178]
可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
[0179]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
[0180]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结
合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0181]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。