视觉定位方法、计算机存储介质及计算机程序产品与流程

1.本技术实施例涉及定位技术领域，尤其涉及一种视觉定位方法、计算机存储介质及计算机程序产品。


背景技术：

2.视觉定位是一种基于视觉传感器(如相机)获得图像，并对图像进行相应的计算和处理后，获得搭载视觉传感器的设备的位姿等信息的定位技术。视觉惯性里程计(visual inertial odometry，vio)是实现视觉定位的技术方案之一，该方案通过相机、imu获取到的数据估计各帧图像/imu的位姿,同时能够恢复出周围环境的三维数据。
3.现有的一种视觉里程计方案，使用了全局快门相机,但全局快门相机造价较高，一般消费级设备例如手机,小型无人机等因成本考虑不会搭载全局快门相机，因此，这些设备无法采用现有的视觉里程计技术，导致视觉里程计的应用可扩展性受限。
4.另一种视觉里程计方案使用了卷帘快门相机，卷帘快门相机的价格相比全局快门相机低，但与全局快门相机在同一时刻曝光所有像素不同,卷帘快门相机是逐图像行(像素行)曝光,图像的曝光时长称为读出时间(readout time)。但当卷帘快门相机处于运动状态时,同一图像曝光不同图像行时设备的位姿是不同。因此，虽然采用卷帘快门相机的vio方案成本较低，但由于曝光原理的差异，使得如何保证采用卷帘快门相机的vio方案能够实现准确的状态估计，是本领域技术人员需要解决一个问题。


技术实现要素：

5.有鉴于此，本技术实施例提供一种视觉定位方案，以至少部分解决上述问题。
6.根据本技术实施例的第一方面，提供了一种视觉定位方法，包括：获取卷帘快门相机采集的图像帧；获取图像帧用于视觉定位的特征点；获取imu相对位姿数据，所述imu相对位姿数据是基于从所述图像帧的曝光开始至曝光结束之间imu输出的imu帧数据确定的；基于所述imu相对位姿数据，按照特征点所属的图像行，确定图像行imu相对位姿数据；根据所述图像行imu相对位姿数据、特征点在图像帧中的位置、根据对imu帧数据进行预积分确定的图像间测量项、和待估计状态量，进行视觉定位解算。
7.根据本技术实施例的第二方面，提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的视觉定位方法。
8.根据本技术实施例的第三方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如第一方面所述的视觉定位方法对应的操作。
9.根据本技术实施例提供的方案，针对基于卷帘快门相机采集的图像进行视觉定位的场景，为避免卷帘快门相机在移动时,在不同时刻按图像行曝光使得每一图像行的像素在不同位姿下获取，按照现有全局相机定位方式造成状态估计不准确的问题，首先对卷帘快门相机采集的图像帧进行特征点提取，然后，基于imu的相对位姿数据和各特征点所属的图像行确定各图像行对应的图像行imu相对位姿数据，进而基于各图像行imu相对位姿数
据、特征点在图像帧中的位置、图像间测量项以及待估计状态量进行视觉定位解算。因imu的高频特性，则基于高频采集到的imu帧数据和卷帘快门相机采用的图像帧进行位姿解算，可将及时获得的不同imu帧数据对应的imu相对位姿，作为确定图像帧中各图像行位姿的依据，更有效地反映卷帘快门相机在按图像行曝光时的位姿。因此，本技术实施例的方案可以进行有效且准确的视觉定位。
附图说明
10.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
11.图1为根据本技术实施例一的一种视觉定位方法的步骤流程图；
12.图2为根据本技术实施例二的一种视觉定位方法的步骤流程图；
13.图3a为根据本技术实施例三的一种视觉定位方法的步骤流程图；
14.图3b为图3a所示实施例中的一种imu帧相对位姿计算过程中涉及的各算法的示意图；
15.图3c为图3a所示实施例中的一种重投影误差计算过程中涉及的各算法的示意图；
16.图4为根据本技术实施例四的一种视觉定位装置的结构框图；
17.图5a为根据本技术实施例五的一种视觉定位系统的整体处理过程示意图；
18.图5b为图5a所示实施例中的部分数据创建及更新示意图；
19.图6为根据本技术实施例六的一种电子设备的结构示意图。
具体实施方式
20.为了使本领域的人员更好地理解本技术实施例中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本技术实施例保护的范围。
21.下面结合本技术实施例附图进一步说明本技术实施例具体实现。
22.实施例一
23.参照图1，示出了根据本技术实施例一的一种视觉定位方法的步骤流程图。
24.本实施例的视觉定位方法包括以下步骤：
25.步骤s100：获取卷帘快门相机采集的图像帧。
26.在使用视觉定位系统的设备中，需要有图像采集设备，本技术实施例中的图像采集设备为卷帘快门相机。而在使用卷帘快门相机的情况下，如前所述，其逐图像行对像素进行曝光,相机运动过程中，每一图像行的像素在设备的不同位姿下获取，并最终形成为一幅完整的图像帧。
27.步骤s200：获取所述图像帧用于视觉定位的特征点。
28.在视觉定位中，特征点是图像帧里一些特别的地方，其在相机运动之后仍保持稳定，如图像帧中具有这样特性的角点、边缘、区块等。在实际应用中，本领域技术人员可以根
据实际需求采用任意适当的方式对图像帧进行特征点提取，本技术实施例对此不作限制。
29.因卷帘快门相机是逐图像行进行曝光，针对某个图像行，其可能具有一个或多个特征点，也可能不具有特征点。需要说明的是，本技术实施例中，若无特殊说明，“多个”、“多种”等与“多”有关的数量均意指两个及两个以上。
30.步骤s300：获取imu相对位姿数据。
31.其中，所述imu相对位姿数据是基于从所述图像帧的曝光开始至曝光结束之间imu输出的imu帧数据确定的。
32.对于卷帘快门相机来说，其在采集某帧图像时，是从图像的第一行开始曝光，至最后一行曝光结束，采集的所有图像行形成图像帧。该曝光持续时间也可认为是卷帘快门相机的读出时间。一般来说，对于承载卷帘快门相机和imu的同一设备，其时钟同源。基于此，可根据图像帧的曝光开始的时间至曝光结束的时间，来获取该时间段内相对应的imu帧数据。
33.相对于图像帧采集来说，imu帧数据的采集较为高频，也即，在采集一个图像帧的上述持续时间内通常会采集多帧imu数据。进而，可以基于各imu帧数据解算出对应的各imu帧数据对应的相对位姿，即imu相对位姿数据。例如，在图像帧1和图像帧2的采集持续时间中同时采集了4帧imu数据，形成4个imu帧数据，则可解算出该4个imu帧数据的相对位姿。
34.步骤s400：基于所述imu相对位姿数据，按照特征点所属的图像行，确定图像行imu相对位姿数据。
35.如前所述，某个图像行可能具有特征点，也可能不具有特征点。而对于具有特征点的那些图像行，其可能具有一个特征点，也可能具有多个特征点。因一个图像行的所有特征点均是在一个相机位姿下采集，因此，同一图像行的所有特征点的imu相对位姿数据相同。基于此，可以按照特征点所属的图像行来确定具有特征点的那些图像行的图像行imu相对位姿数据。
36.又因，imu帧数据的采集相对于图像帧采集来说较为高频，因此，在确定图像行imu相对位姿数据时，可基于imu帧数据与图像行的对应关系，来进行解算。例如，图像行1和2的采集时间在第1个imu帧数据采集之前，图像行3在第1个imu帧数据和第2个imu帧数据之间，则图像行1和2对应的图像行imu相对位姿数据可根据第1个imu帧数据的相对位姿数据进行处理后(如插值处理等)确定，而图像行3对应的图像行imu相对位姿数据则可根据第2个imu帧数据的相对位姿数据进行处理后确定。
37.步骤s500：根据所述图像行imu相对位姿数据、特征点在图像帧中的位置、根据对imu帧数据进行预积分确定的图像间测量项、和待估计状态量，进行视觉定位解算。
38.视觉定位的解算通常可通过用于进行状态估计的优化方程或约束方程等实现，在该优化方程或约束方程中，除需要待估计状态量外，通常还需要相应的观测量和误差项。具体到本技术实施例，该观测量和误差项可通过图像行imu相对位姿数据、特征点在图像帧中的位置、和所述图像间测量项体现。因此，本步骤中，通过上述多项体现的观测量和误差项、待估计状态量，以及预设的优化方程或约束方程，即可进行视觉定位解算。
39.通过本实施例，针对基于卷帘快门相机采集的图像进行视觉定位的场景，为避免卷帘快门相机在移动时,在不同时刻按图像行曝光使得每一图像行的像素在不同位姿下获取，按照现有全局相机定位方式造成状态估计不准确的问题，首先对卷帘快门相机采集的
图像帧进行特征点提取，然后，基于imu的相对位姿数据和各特征点所属的图像行确定各图像行对应的图像行imu相对位姿数据，进而基于各图像行imu相对位姿数据、特征点在图像帧中的位置、图像间测量项以及待估计状态量进行视觉定位解算。因imu的高频特性，则基于高频采集到的imu帧数据和卷帘快门相机采用的图像帧进行位姿解算，可将及时获得的不同imu帧数据对应的imu相对位姿，作为确定图像帧中各图像行位姿的依据，更有效地反映卷帘快门相机在按图像行曝光时的位姿。因此，本实施例的方案可以进行有效且准确的视觉定位。
40.实施例二
41.参照图2，示出了根据本技术实施例二的一种视觉定位方法的步骤流程图。
42.本实施例的视觉定位方法包括以下步骤：
43.步骤s102：获取卷帘快门相机采集的图像帧。
44.使用卷帘快门相机采集图像帧时，其逐图像行对像素进行曝光,每一图像行的像素在设备的不同位姿下获取，并最终形成为一幅完整的图像帧。
45.步骤s104：获取所述图像帧中用于视觉定位的特征点。
46.在视觉定位中，特征点是图像帧里一些特别的地方，其在相机运动之后仍保持稳定，如图像帧中具有这样特性的角点、边缘、区块等。在实际应用中，本领域技术人员可以根据实际需求采用任意适当的方式对图像帧进行特征点提取。
47.步骤s106：确定各特征点所属的图像行，并对各特征点所属的图像行进行行号去重。
48.逐图像行曝光的图像帧中，针对某个图像行，其可能具有一个或多个特征点，也可能不具有特征点，本技术实施例中，获取具有特征点的那些图像行，并提取出的每个特征点所属的图像行的行号。
49.针对不同的特征点，其可能位于同一图像行，也可能位于不同的图像行。例如，某个图像行仅具有一个特征点，而另一图像行却具有五个特征点，则该五个特征点对应同样的图像行的行号。通过确定特征点对应的图像行的行号，可为后续对相同图像行的特征点进行统一处理提供依据。
50.因对于一个图像行来说，其中的像素点具有相同的曝光时间和对应的位姿，因此，若该图像行中具有特征点，即可对该图像行中的特征点进行统一处理，以提高数据处理速度，提升数据处理效率。为此，本技术实施例中，会对特征点对应的行号进行去重处理，以使行号唯一。例如，特征点a对应的行号为3，特征点b对应的行号为5，特征点c对应的行号为3，特征点d对应的行号为6，则经过行号去重处理，将得到行号3、5和6，其中，行号3同时对应有特征点a和c。
51.步骤s108：获取imu相对位姿数据。
52.其中，所述imu相对位姿数据是基于从所述图像帧的曝光开始至曝光结束之间imu输出的imu帧数据确定的。
53.相对于图像帧采集来说，imu帧数据的采集较为高频，也即，在一个图像帧采集的持续时间间隔内通常会采集多帧imu数据。进而，可以基于各imu帧数据解算出各imu帧数据对应的相对位姿，即imu相对位姿数据。例如，在采集的图像帧1和图像帧2的时间间隔中同时采集了4帧imu数据，形成4个imu帧数据，则可解算出该4个imu帧数据的相对位姿。
54.此外，本实施例的一种可行方式中，在所述获取imu相对位姿数据之前，还可以包括：采集imu帧数据，并将所述imu帧数据分别缓存至第一缓存和第二缓存中(其中，第一缓存和第二缓存可被称为双缓存)；基于第一缓存中的imu帧数据，确定每一帧imu帧数据对应的imu初始位姿；基于第二缓存中的imu帧数据进行预积分，得到每一帧imu帧数据的预积分结果。在此情况下，所述获取imu相对位姿数据可以包括：根据每一帧imu帧数据对应的imu初始位姿和预积分结果，确定该帧imu帧数据相对于其所对应的图像帧的采集时刻的imu相对位姿数据。
55.上述方式中，因为了确定imu初始位姿而获取imu帧数据的操作和imu预积分运算会使用同一缓存,可能会造成imu数据冲突。为了不影响imu预积分运算,该种方式中，当imu数据到达时缓存了两份,这样在进行imu预积分运算对齐时就不会造成冲突。
56.在一种可行方式中，基于第二缓存中的imu帧数据进行预积分，得到每一帧imu帧数据的预积分结果可以通过以下方式实现：确定imu初始位姿相对于imu偏置的雅可比矩阵；根据所述imu初始位姿和雅可比矩阵，对第二缓存中的imu帧数据进行预积分处理，获得每一帧imu帧数据的预积分结果。通过对imu帧数据进行预积分处理，可以获得两个图像帧之间的图像间测量项，以对imu初始位姿进行优化，获得更为准确的位姿。同时,为了节约当imu偏置变化时imu预积分所需的算力消耗,在对imu帧数据进行预积分时，可计算相对位姿对imu偏置的雅可比矩阵，基于该雅可比矩阵和初始位姿，即可在使用较小算力的情况下获得准确的相对位姿。
57.步骤s110：基于所述imu相对位姿数据，按照进行了行号去重后的特征点所属的图像行，确定图像行imu相对位姿数据。
58.本实施例中，因进行了行号去重处理，因此，在基于所述imu相对位姿数据，按照特征点所属的图像行，确定图像行imu相对位姿数据时，可以针对去重后的图像行确定其对应的图像行imu相对位姿数据。如前所述，每个图像行中的所有特征点对应有相同的图像行imu相对位姿数据。
59.此外，在一种可行方式中，在确定了图像行imu相对位姿数据之后，还可以根据各特征点所属图像行的行号和各特征点所属图像行对应的图像行imu相对位姿数据，生成用于记录行号与图像行imu相对位姿数据对应关系的数据结构。通过数据结构的形式，一方面方便对各个特征点及其相对位姿进行管理，另一方面，也为后续使用特征点及其对应的相对位姿的数据提供了极大的便利性。
60.例如，可以构建一种key-value形式的数据结构map,其中，key为行号(具体可示例表示为image row),value为图像行imu相对位姿(具体可示例表示为pose)，形成的数据结构示例如map《image row,pose》。
61.步骤s112：根据所述图像行imu相对位姿数据、特征点在图像帧中的位置、根据对imu帧数据进行预积分确定的图像间测量项、和待估计状态量，进行视觉定位解算。
62.在确定了所述图像行imu相对位姿数据、特征点在图像帧中的位置、根据对imu帧数据进行预积分确定的图像间测量项、和待估计状态量后，即可确定用于视觉定位解算的优化方程或约束方程中的各项，并基于此进行视觉定位解算。
63.以下，以一个具体场景示例的形式，对上述过程进行示例性说明。
64.本示例中，设定卷帘快门相机设置于自动驾驶车辆上，其每隔33ms采集一帧完整
的图像帧，而假设其每个图像行的曝光时长简单示例为3ms(上述33ms和3ms仅为简单示例，本领域技术人员不应当将其理解为实际采集周期和行曝光时间)，以33ms*3(3个图像帧采集周期)期间会同时采集5帧imu帧数据。首先对采集的图像帧a进行特征点提取并获得对应的行号，为便于说明，本示例中将提取的特征点简化为10个，分别为特征点1-10。进而，对这10个特征点对应的行号进行去重，得到去重后的图像行，假设为图像行1、3、7、11、23、27。在上述对图像帧a进行处理的同时，还可分别针对5个imu帧数据解算其对应的相对位姿，获得5个imu相对位姿数据。假设，5个imu相对位姿数据分别为o、p、l、m和n(本示例中仅为简单示意说明，本领域技术人员应当明了，位姿包括位置、速度和姿态等数据)，且图像行1在图像帧a的起始曝光时间和第1个imu帧数据所在时间间隔内获取，图像行3和7在第1个imu帧数据和第2个imu帧数据所在时间间隔内获取，图像行11在第2个imu帧数据和第3个imu帧数据所在时间间隔内获取，图像行23在第3个imu帧数据和第4个imu帧数据所在时间间隔内获取，图像行27在第4个imu帧数据和第5个imu帧数据所在时间间隔内获取。基于此，分别确定图像行1、3、7、11、23、27对应的相对位姿即图像行imu相对位姿数据，假设为o’、p1’、p2’、l’、m’和n’。然后，可基于进行状态估计的方程，如基于最小二乘法进行最大后验估计的方程，o’、p1’、p2’、l’、m’和n’，特征点1-10在图像帧帧中的位置(如x、y坐标)，以及在获取imu相对位姿数据时使用的imu帧数据的预积分结果，来进行自动驾驶车辆的状态估计，获得状态估计结果，该状态估计结果即为视觉定位结果，其可表征自动驾驶车辆的定位信息。
65.可见，通过本实施例，针对基于卷帘快门相机采集的图像进行视觉定位的场景，为避免卷帘快门相机在移动时,在不同时刻按行曝光使得每一行的像素在不同位姿下获取，按照现有全局相机定位方式造成状态估计不准确的问题，首先对卷帘快门相机采集的图像帧进行特征点提取，并基于特征点的行号进行去重处理后，获得那些包含有特征点且行号唯一的图像行；然后，基于imu帧数据的相对位姿确定行号去重后的各图像行对应的相对位姿，进而基于行号去重后的各图像行对应的相对位姿进行视觉定位。因imu的高频特性，则对高频采集到的imu帧数据进行位姿解算，可及时地获得不同imu帧数据对应的相对位姿，以作为确定各图像行位姿的依据，更有效地反映卷帘快门相机在按图像行曝光时的位姿。又因在进行了行号去重后，图像行的数量可以大大少于整个图像帧的图像行的数量，因此，本实施例的方案不仅可以进行有效且准确地进行视觉定位，且可大大减少定位使用的数据量，提高视觉定位效率。
66.实施例三
67.参照图3，示出了根据本技术实施例三的一种视觉定位方法的步骤流程图。
68.本实施例的视觉定位方法包括以下步骤：
69.步骤s202：获取卷帘快门相机采集的图像帧。
70.如前所述，卷帘快门相机逐图像行曝光，并最终形成图像帧。
71.步骤s204：获取图像帧用于视觉定位的特征点，并获得特征点对应的行号。
72.对图像帧进行特征点提取的具体实现可由本领域技术人员根据实际需求采用适当方式实现，本技术实施例对此不作限制。在特征点确定后，特征点所在的图像行的行号即可确定，由此，可获得各个特征点对应的行号。
73.步骤s206：对获得的行号进行去重，得到去重后的图像行。
74.不同的特征点可能对应有不同的行号，也可能对应相同的行号，基于此，可根据各
个特征点对应的行号进行行号去重，以使得最终具有特征点的图像行的行号唯一。
75.在视觉里程计处理过程中,为了保证优化的计算效率,所提取的特征点是比较稀疏的,且提取或者追踪的特征点所对应的行号可能会发生重复,导致后续会进行大量的重复运算。为此，本实施例中，对重复的行号进行剔除,即根据所提取的特征点的行号进行排序,并剔除重复的行号,以在后续的处理中避免重复的运算,节约算力。
76.步骤s208：获取imu相对位姿数据。
77.其中，所述imu相对位姿数据是基于从所述图像帧的曝光开始至曝光结束之间imu输出的imu帧数据确定的。
78.在一种可行方式中，可以根据整个图像帧的曝光开始时间和曝光结束时间(也可认为是相机的读出时间)，获取缓存中的该曝光开始时间和该曝光结束时间的imu帧数据(imu帧数据具有与图像帧同源的时间信息)，以实现对所述imu帧数据的数据对齐处理，并由此获得多个imu帧数据；对每个imu帧数据进行位姿估计，获得每个imu帧数据对应的imu相对位姿数据。通过数据对齐，可以获得图像帧采集时间戳ti到ti+r之间的imu帧数据,其中,tr代表卷帘快门相机的读出时间。
79.此外，本实施例中，在所述获取imu相对位姿数据之前，还可以包括：采集imu帧数据，并将所述imu帧数据分别缓存至包括第一缓存和第二缓存的双缓存中；基于第一缓存中的imu帧数据，确定每一帧imu帧数据对应的imu初始位姿；基于第二缓存中的imu帧数据进行预积分，得到每一帧imu帧数据的预积分结果；则所述获取imu相对位姿数据包括：根据每一帧imu帧数据对应的imu初始位姿和预积分结果，确定该帧imu帧数据相对于其所对应的图像帧的采集时刻的imu相对位姿数据。因为在此阶段，imu帧数据获取和imu预积分运算会使用同一缓存,可能会造成imu帧数据冲突。为了不影响imu预积分运算,该种方式中，当imu帧数据到达时缓存了两份,这样在进行imu预积分运算对齐时就不会造成冲突。
80.在一种可行方式中，基于第二缓存中的imu帧数据进行预积分，得到每一帧imu帧数据的预积分结果可以通过以下方式实现：确定imu初始位姿相对于imu偏置的雅可比矩阵；根据imu初始位姿和雅可比矩阵，对第二缓存中的imu帧数据进行预积分处理，获得每一帧imu帧数据的预积分结果。通过对imu帧数据进行预积分处理，可以获得预积分所涉及的两个图像帧之间的测量项(即图像间测量项)，以对imu初始位姿进行优化，获得更为准确的位姿。同时,为了节约当imu偏置变化时imu预积分所需的算力消耗,在对imu帧数据进行预积分时，可计算相对位姿对imu偏置的雅可比矩阵，基于该雅可比矩阵和imu初始位姿，即可在使用较小算力的情况下获得准确的相对位姿。
81.一种imu帧相对位姿计算过程中涉及的各算法如图3b所示，图3b中既涉及到每帧imu帧数据的imu初始位姿的计算，也涉及到对imu帧数据进行预积分使用到的雅可比矩阵。该雅可比矩阵既用于结合imu初始位姿来获得imu相对位姿数据，也用于后续的imu相对位姿数据的更新。
82.具体地：
83.对于新的图像帧,首先需要计算从缓存中获取并经过数据对齐后的每一帧imu帧数据相对于图像帧时刻(图像采集时间)的相对位姿即imu初始位姿.且，对于imu的相对位姿计算来说，还需要考虑图像帧时刻的imu涉及的偏置状态，包括图像帧时刻的加速度计偏置和图像帧时刻的陀螺仪偏置基于此，imu帧数据的初始位姿的计算公式如图3b
中所示的：
[0084][0085][0086][0087]
其中,为当前imu帧数据相对于图像帧时刻的位置,为当前imu帧数据相对于图像帧时刻的速度,为当前imu帧数据相对于图像帧时刻的四元数旋转；为上一帧imu帧数据相对于图像帧时刻的位置,为上一帧imu帧数据相对于图像帧时刻的速度,为上一帧imu帧数据相对于图像帧时刻的四元数旋转,a
ci
为当前imu帧数据时刻的加速度计观测,为图像帧时刻的加速度计偏置,为图像帧时刻的陀螺仪偏置,ω
ci
为当前imu帧数据时刻的陀螺仪观测,δt为两帧imu之间的时间间隔,r(*)为四元数转为旋转矩阵操作，表示四元数乘法。由此，计算出每帧imu数据的位置,速度,姿态，即：对于新采集的一帧imu帧数据来说，该位置、速度、姿态即为imu初始位姿。
[0088]
又因imu相对位姿数据还需要依赖预积分结果，可使用雅可比矩阵对其进行优化和减轻数据计算量。图3b中,还示出了在对imu进行预积分时需要计算相对位姿对偏置的雅可比矩阵,计算公式如图3b中所示的:
[0089][0090][0091][0092][0093][0094]
其中,表示旋转对的偏导数,为图像帧时刻的陀螺仪偏置,表示so(3)的右雅可比矩阵,r(*)为四元数转为旋转矩阵操作，表示第j个imu帧数据相对于k+1时
刻的位姿；表示速度对的偏导数，表示第k个imu帧数据相对于i时刻的位姿；表示速度对的偏导数,表示位置对的偏导数,表示位置对的偏导数,δt为两帧imu之间的时间间隔,j表示imu帧的数量，ak表示第k个imu数据帧的加速度计观测,为图像帧时刻的加速度计偏置。
[0095]
基于该雅可比矩阵即可对imu帧数据进行预积分，基于预积分结果和之前的imu初始位姿，可获取优化后的imu相对位姿。此外，雅可比矩阵雅还可节约当偏置变化时imu预积分所需的算力消耗。
[0096]
步骤s210：基于imu相对位姿数据，按照进行了行号去重后的特征点所属的图像行，确定图像行imu相对位姿数据。
[0097]
在解算出各个imu帧数据对应的imu相对位姿数据后，每个图像行可以基于相对应的imu帧数据的imu相对位姿数据，来确定行号去重后的各个图像行的相对位姿，即图像行imu相对位姿数据。
[0098]
在一种可行方式中，因每个图像行的行时间(曝光时间)不同。基于此，可确定特征点所属的图像行的行时间，所述行时间用于指示该图像行的曝光时间(也可认为是图像行开始曝光的时间)；根据各图像行的行时间对imu相对位姿数据进行插值处理，获得图像行imu相对位姿数据。
[0099]
在进行了行号去重的情况下，则相应地，行号去重后的不同图像行的行时间也不可能相同。基于此，可确定行号去重后的各图像行的行时间，所述行时间用于指示图像行的曝光时间(也可认为是图像行开始曝光的时间)；根据各图像行的行时间对imu相对位姿数据进行插值处理，获得行号去重后的各图像行对应的图像行imu相对位姿数据。
[0100]
因imu帧数据的采集时间间隔可能对应有多个图像行，而对于一个图像行来说，其行时间通常会落入某个imu帧数据的采集时间间隔，基于该imu帧数据的相对位姿(即imu相对位姿数据)进行插值处理，可获得更为准确的图像行对应的相对位姿(即图像行imu相对位姿数据)。同理，若一个imu采集时间间隔中存在多个图像行，则每个图像行基于自身的行时间和imu帧数据的相对位姿来确定图像行的相对位姿，也更为准确。
[0101]
例如，首先根据图像帧采集时间ti,当前图像行(行号去重后的)的行号n,图像帧的总行数n,以及图像帧的读出时间tr，计算出当前图像行的时间然后，根据对应的imu帧数据的imu相对位姿数据进行插值处理,计算出当前图像行的相对位姿(图像行imu相对位姿数据)其中，表示相对姿态，表示相对位置。其中，所述插值处理可以由本领域技术人员根据实际需求采用任意适当算法(包括线性插值和非线性插值)实现，本技术实施例对此不作限制。
[0102]
此外，在一种可行方式中，在确定了各图像行对应的图像行imu相对位姿数据之后，还可以根据各图像行的行号和各图像行对应的图像行imu相对位姿数据，生成用于记录行号与相对位姿对应关系的数据结构。通过数据结构的形式，一方面方便对各个特征点及其相对位姿进行管理，另一方面，也为后续使用特征点及其对应的相对位姿的数据提供了极大的便利性。
[0103]
例如，可以构建一种key-value形式的数据结构map,其中，key为行号(具体可示例表示为image row),value为图像行imu相对位姿(具体可示例表示为pose)，形成的数据结构示例如map《image row,pose》。
[0104]
步骤s212：根据所述图像行imu相对位姿数据、特征点在图像帧中的位置、根据对imu帧数据进行预积分确定的图像间测量项、和待估计状态量，进行视觉定位解算。
[0105]
在确定了上述各参数后，即可基于预设的优化方程或约束方程，确定与整个图像帧对应的相对位姿，从而实现视觉定位。
[0106]
一般来说，优化方程或约束方程通常需要重投影误差的信息(可根据图像行imu相对位姿数据和特征点在图像中的位置获得)、imu预积分误差的信息(根据对imu帧数据进行预积分确定的图像间测量项)、以及边缘化的先验信息和待估计状态量。本实施例中，可选地，可以对其中的重投影误差进行更能表征卷帘快门相机的重投影误差的改进，以获得更为精准的视觉定位结果。
[0107]
具体地，可以根据各特征点在图像帧中的位置、及各特征点所属的图像行的图像行imu相对位姿数据，确定各特征点的投影位置；根据各特征点的观测位置和投影位置，确定各特征点的重投影误差；根据重投影误差、图像间测量项和边缘化的先验信息，进行视觉定位解算。与常规基于整个图像对应的相对位姿确定重投影误差不同，本实施例中，基于各个特征点所属图像行的相对位姿(图像行imu相对位姿数据)确定重投影误差，可有效避免因卷帘快门相机逐图像行曝光带来的误差，获得更为准确的重投影误差。
[0108]
在一种可行方式中，本实施例的重投影误差可通过下述公式计算：
[0109][0110]
其中：
[0111][0112][0113]
其中表示特征点的观测位置，表示特征点的投影位置；表示第j帧图像观测到第l个特征点(路标点)在图像帧的坐标,表示第i帧图像观测到第l个特征点(路标点)在图像帧的坐标,分别表示i,j两帧图像的特征点所在图像行相对与图像帧时间(采集时间)的位姿，其中的q元素表示姿态，p元素表示位置,分别为i,j两帧图像待估计的位姿，其中的r元素表示姿态，p元素表示位
置,为预先标定好的相机与imu之间的外参,表示的逆，λ
l
表示第l个特征点逆深度状态，表示反向投影函数,用于将图像帧中的像素位置根据相机内参参数反投影到相机的归一化平面，r(*)表示四元数和旋转矩阵之间的变换公式。表示全部待估计的状态,为k时刻滑动时间窗口中图像帧待估计的位姿及运动状态，为时间窗口内至少被观测两帧以上的特征点的集合。
[0114]
为了对上述重投影误差进行进一步说明，一种重投影误差计算过程中涉及的各算法的示意如图3c所示。在计算重投影误差时，需要基于两帧图像帧对同一特征点的观测、该两帧图像帧的待估计位姿、相机与imu之间的外参、及两帧图像帧中的各特征点所属图像行的图像行imu相对位姿(图中简单示意为rsc计算出的相对位姿)，使用预设的重投影误差计算公式(图3c中圆角方框内所示)进行计算，由此获得各特征点的重投影误差，进行获得所有特征点的重投影误差
[0115]
在确定了重投影误差、imu预积分误差确定的图像间测量项和边缘化的先验信息后，即可基于预设的用于进行状态估计的约束方程或优化方程进行视觉定位。本实施例中，采用的约束方程的形式如下所示：
[0116][0117]
其中，表示全部待估计的状态,为k时刻滑动时间窗口中图像帧待估计的位姿及运动状态，为位置状态,为速度状态,为姿态状态,ba,bg为偏置状态,λ
l
,l∈[0,m]为第l个特征点逆深度状态，m为特征点总数。{rm,hm}为边缘化的先验信息，为imu观测模型的残差即预积分误差,表示所有imu观测数据的数据集。为视觉重投影模型残差即重投影误差,为时间窗口内至少被观测两帧以上的特征点的集合。
[0118]
基于以上方程可进行有效的状态估计，以获得基于卷帘快门相机的准确的视觉定位。
[0119]
此外，在一种可行方式中，为了消除偏置变化对imu帧数据相对位姿的估算的影响，还可以在进行所述视觉定位解算的过程中，根据当前imu帧数据的imu偏置变化程度确定是否需要更新当前imu帧数据之前的历史imu帧数据的相对位姿；若需要更新，则对历史imu帧数据对应的相对位姿进行更新。具体地，可以使用imu初始位姿相对于imu偏置的雅可比矩阵，对所述历史imu帧数据对应的相对位姿进行一阶线性近似更新。
[0120]
例如，对于某个imu帧数据,可以首先根据优化后的偏置变化程度判断是否需要更新该imu帧数据之前的imu帧数据(即历史imu帧数据)对应的相对位姿,如计算优化前后加速度偏置与陀螺仪差的二范数值当或者变化较大时,如，加速
度偏置变化大于1*10-3
或者陀螺仪偏置变化大于1*10-5
，则可利用该imu帧数据之前的每帧imu帧数据预积分时计算出的雅可比矩阵对该imu帧数据之前的每帧imu帧数据预积分出的相对位姿进行一阶线性近似更新。
[0121]
需要说明的是，上述对历史imu帧数据进行相对位姿更新的过程，可与新的imu帧数据的相对位姿的解算过程并行进行。如，可以在基于当前imu帧数据对应的imu初始位姿和预积分结果获得其imu相对位姿数据的同时，对该当前imu帧数据之前的历史imu帧数据进行相对位姿的一阶线性更新。
[0122]
可见，通过本实施例，针对基于卷帘快门相机采集的图像进行视觉定位的场景，为避免卷帘快门相机在移动时,在不同时刻按图像行曝光使得每一图像行的像素在不同位姿下获取，按照现有全局相机定位方式造成状态估计不准确的问题，首先对卷帘快门相机采集的图像帧进行特征点提取，并基于特征点的行号进行去重处理后，获得那些包含有特征点且行号唯一的图像行；然后，基于imu帧数据的相对位姿确定各图像行对应的相对位姿，进而基于各图像行对应的相对位姿进行视觉定位。因imu的高频特性，则对高频采集到的imu帧数据进行位姿解算，可及时地获得不同imu帧数据对应的相对位姿，以作为确定各去重后的图像行位姿的依据，更有效地反映卷帘快门相机在按图像行曝光时的位姿。又因在进行了行号去重后，图像行的数量可以大大少于整个图像的图像行的数量，因此，本实施例的方案不仅可以进行有效且准确地进行视觉定位，且可大大减少定位使用的数据量，提高视觉定位效率。
[0123]
实施例四
[0124]
参照图4，示出了根据本技术实施例四的一种视觉定位装置的结构框图。
[0125]
本实施例的视觉定位装置包括：行号模块302，用于获取卷帘快门相机采集的图像帧；特征点模块304，用于获取所述图像帧用于视觉定位的特征点；imu位姿模块306，用于获取imu相对位姿数据，其中，所述imu相对位姿数据是基于从所述图像帧的曝光开始至曝光结束之间imu输出的imu帧数据确定的；图像行位姿模块308，用于基于所述imu相对位姿数据，按照特征点所属的图像行，确定图像行imu相对位姿数据；定位模块310，用于根据所述图像行imu相对位姿数据、特征点在图像帧中的位置、根据对imu帧数据进行预积分确定的图像间测量项、和待估计状态量，进行视觉定位解算。
[0126]
可选地，图像行位姿模块308，用于确定特征点所属的图像行的行时间，所述行时间用于指示该图像行的曝光时间；根据各图像行的行时间对imu相对位姿数据进行插值处理，获得图像行imu相对位姿数据
[0127]
可选地，imu位姿模块306，还用于在所述获取imu相对位姿数据之前，采集imu帧数据，并将imu帧数据分别缓存在第一缓存和第二缓存中；基于第一缓存中的imu帧数据，确定每一帧imu帧数据对应的imu初始位姿；基于第二缓存中的imu帧数据进行预积分，得到每一帧imu帧数据的预积分结果；进而，根据每一帧imu帧数据对应的imu初始位姿和预积分结果，确定该帧imu帧数据相对于其所对应的图像帧的采集时刻的imu相对位姿数据。
[0128]
可选地，imu位姿模块306在基于第二缓存中的imu帧数据进行预积分，得到每一帧imu帧数据的预积分结果时：确定所述imu初始位姿相对于imu偏置的雅可比矩阵；根据所述imu初始位姿和所述雅可比矩阵，对所述第二缓存中的imu帧数据进行预积分处理，获得每一帧imu帧数据的预积分结果。
[0129]
可选地，本实施例的视觉定位装置还包括：更新模块312，用于在进行所述视觉定位解算的过程中，根据当前imu帧数据的imu偏置变化程度确定是否需要更新所述当前imu帧数据之前的历史imu帧数据的相对位姿；若需要更新，则对所述历史imu帧数据对应的相对位姿进行更新。
[0130]
可选地，更新模块312使用imu初始位姿相对于imu偏置的雅可比矩阵，对所述历史imu帧数据对应的相对位姿进行一阶线性近似更新。
[0131]
可选地，定位模块310，用于根据各特征点在图像帧中的位置、及各特征点所属的图像行的图像行imu相对位姿数据，确定各特征点的投影位置；根据各特征点的观测位置和投影位置，确定各特征点的重投影误差；根据所述重投影误差、所述图像间测量项、边缘化的先验信息和待估计状态量，进行视觉定位解算。
[0132]
可选地，图像行位姿模块308，用于对各特征点所属的图像行进行行号去重；基于所述imu相对位姿数据，按照进行了行号去重后的特征点所属的图像行，确定图像行imu相对位姿数据。
[0133]
可选地，图像行位姿模块308，还用于在确定图像行imu相对位姿数据之后，根据各特征点所属图像行的行号和各特征点所属图像行对应的所述图像行imu相对位姿数据，生成用于记录行号与图像行imu相对位姿数据对应关系的数据结构。
[0134]
本实施例的视觉定位装置用于实现前述多个方法实施例中相应的视觉定位方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的视觉定位装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
[0135]
实施例五
[0136]
本实施例将前述视觉定位方法应用于一个视觉定位系统中，该视觉定位系统的整体处理过程示意如图5a所示。
[0137]
图5a所示的整体处理过程中，一方面，卷帘快门相机采集图像帧，系统基于采集的图像帧进行特征提取与跟踪，获得相应的特征点及其变化信息；与此同时，imu进行imu帧数据采集，形成imu帧数据，imu帧数据的数据进行双缓存，一份存入第一缓存即图5a中的rsc(rolling shutter compensation,卷帘快门相机补偿)imu缓存，另一份存入第二缓存即图5a中的预积分imu缓存。
[0138]
然后，进行数据对齐及重复图像行剔除操作。
[0139]
具体地，数据对齐可获取图像时间戳ti到ti+r之间的imu帧数据,其中ti表示卷帘快门相机的采集开始时间，tr代表卷帘快门相机的读出时间。在此阶段,如果和imu预积分运算使用同一缓存,可能会造成imu数据冲突。为了不影响imu预积分运算,当imu数据到达时缓存了两份,这样在进行imu预积分运算对齐时就不会造成冲突。
[0140]
重复图像行剔除是为了降低算力。在视觉定位系统的处理过程中,为了保证优化的计算效率,所提取的特征点是比较稀疏的,且提取或者跟踪的特征点所对应的行号可能会发生重复,如果在后续的处理中按照特征点的id建立与相对位姿的映射关系map《feature id,pose》,或者建立图像行号与相对位姿的映射关系map《image row,pose》,那么会进行大量的重复运算。所以，本实施例中对重复的图像行进行剔除,即根据所提取的特征点的行号进行排序,并剔除重复的行号,这样在后续的处理中就可以避免重复的运算,节约算力。
[0141]
接着，在进行数据对齐及重复图像行剔除操作之后，进行rsc创建及更新。
[0142]
该过程如图5b所示,对于新的图像帧,首先需要计算经过数据对齐后每一帧imu帧数据相对于图像帧时刻(图像采集时间)的相对位姿(imu初始位姿)，计算公式如下：
[0143][0144][0145][0146]
其中,为当前imu帧数据相对于图像帧时刻的位置,为当前imu帧数据相对于图像帧时刻的速度,为当前imu帧数据相对于图像帧时刻的四元数旋转；为上一帧imu帧数据相对于图像帧时刻的位置,为上一帧imu帧数据相对于图像帧时刻的速度,为上一帧imu帧数据相对于图像帧时刻的四元数旋转,a
ci
为当前imu帧数据时刻的加速度计观测,为图像帧时刻的加速度计偏置,为图像帧时刻的陀螺仪偏置,ω
ci
为当前imu数据帧时刻的陀螺仪观测,δt为两帧imu之间的时间间隔,r(*)为四元数转为旋转矩阵操作，表示四元数乘法。
[0147]
同时,为了节约当偏置变化时imu预积分所需的算力消耗,在对imu进行预积分时需要计算相对位姿对偏置的雅可比矩阵,计算公式如下:
[0148][0149][0150][0151][0152][0153]
其中,表示旋转对的偏导数,为图像帧时刻的陀螺仪偏置,表示so(3)的右雅可比矩阵,r(*)为四元数转为旋转矩阵操作，表示第j个imu帧数据相对于k+1时
刻的位姿；表示速度对的偏导数，表示第k个imu数据帧相对于i时刻的位姿；表示速度对的偏导数,表示位置对的偏导数,表示位置对的偏导数,δt为两帧imu之间的时间间隔,j表示imu帧的数量，ak表示第k个imu帧数据的加速度计观测,为图像帧时刻的加速度计偏置。
[0154]
进而，可以基于雅可比矩阵对imu进行预积分，基于预积分结果对imu初始位姿进行优化，获取优化后的imu相对位姿(即imu相对位姿数据)。
[0155]
在完成上述imu相对位姿计算后,对经过重复图像行剔除后的行集合进行遍历。首先根据图像采集时间ti,当前图像行的行数n,总行数n,以及读出时间tr计算出当前图像行的时间然后，根据imu计算出的相对位姿进行插值处理,计算出当前图像行的相对位姿对于行集合,可构建map数据结构,其中key为行号,value为相对位姿，该map数据结构可以表示为map《image row,pose》。该map数据结构可在后续为获取特征点的信息提供极大的便利，提高数据获取和处理效率。
[0156]
此外，对于老的(已采集的)图像帧对应的imu帧数据所解算出的相对位姿,首先根据优化后的imu的偏置变化程度判断是否需要更新rsc,即计算优化前后加速度偏置与陀螺仪差的二范数值当或者变化较大时,(如，加速度偏置变化大于1*10-3
或者陀螺仪偏置变化大于1*10-5
),则可利用上述计算出的雅可比矩阵对每帧imu预积分出的相对位姿进行一阶线性近似更新,然后根据行集合对map中的相对位姿进行更新,计算公式如下：
[0157][0158][0159][0160]
其中,和分别为陀螺仪偏置以及加速度计偏置的变化量,r(*)表示旋转矩阵转四元数操作，其它参数含义可参见前述公式中相同参数的含义，在此不再赘述。
[0161]
在获取了各特征点所属的图像行对应的imu相对位姿后，即可进行优化项构建。
[0162]
具体地，优化项构建主要包括三部分：imu预积分误差、重投影误差以及边缘化所提供的先验信息。本实施例中主要对重投影误差部分进行了改进,将rsc补偿加入重投影误差中,进一步提升精度。以逆深度表示3d点(特征点)位置,则重投影误差公式如下：
[0163]
[0164]
其中：
[0165][0166][0167]
其中,表示特征点的观测位置，表示特征点的投影位置；表示第j帧图像观测到第l个特征点(路标点)在图像帧的坐标,表示第i帧图像观测到第l个特征点(路标点)在图像帧的坐标,分别表示i,j两帧图像的特征点所在图像行相对与图像帧时间(采集时间)的位姿,分别为i,j两帧图像待估计的位姿,为预先标定好的相机与imu之间的外参,表示的逆，λ
l
表示第l个特征点逆深度状态，表示反向投影函数,用于将图像中的像素位置根据相机内参参数反投影到相机的归一化平面，r(*)表示四元数和旋转矩阵之间的变换公式。
[0168]
在确定了imu预积分误差、重投影误差以及边缘化所提供的先验信息后，可基于预先设定的约束方程进行与图像整体状态估计，本示例中，采用的约束方程如下：
[0169][0170]
其中，表示全部待估计的状态,为k时刻滑动时间窗口中图像帧待估计的位姿及运动状态，为位置状态,为速度状态,为姿态状态,ba,bg为偏置状态,n为时间窗口内图像帧时刻的个数,λ
l
,l∈[0,m]为第l个特征点逆深度状态，m为特征点总数。{rm,hm}为边缘化的先验信息，为imu观测模型的残差即预积分误差,表示所有imu观测数据的数据集。为视觉重投影模型残差即重投影误差,为时间窗口内至少被观测两帧以上的特征点的集合。
[0171]
通过上述约束方程，即可获得与图像帧对应的整体状态估计结果，基于该状态估计结果即可实现视觉定位。
[0172]
通过本实施例，利用imu的高频特性近似模拟卷帘快门相机在读出时间内的运动,提升了相机模型近似的效果；同时采用重复图像行剔除,动态更新rsc等操作降低了算力的消耗,在提升视觉定位精度的同时,保证了其计算效率。
[0173]
实施例六
[0174]
参照图6，示出了根据本技术实施例六的一种电子设备的结构示意图，本技术具体实施例并不对电子设备的具体实现做限定。
[0175]
如图6所示，该电子设备可以包括：处理器(processor)502、通信接口(communications interface)504、存储器(memory)506、以及通信总线508。
[0176]
其中：
[0177]
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
[0178]
通信接口504，用于与其它电子设备或服务器进行通信。
[0179]
处理器502，用于执行程序510，具体可以执行上述视觉定位方法实施例中的相关步骤。
[0180]
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
[0181]
处理器502可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本技术实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
[0182]
存储器506，用于存放程序510。存储器506可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0183]
程序510具体可以用于使得处理器502执行前述实施例一至三中任一个实施例所描述的视觉定位方法。
[0184]
程序510中各步骤的具体实现可以参见上述视觉定位方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
[0185]
通过本实施例的电子设备，针对基于卷帘快门相机采集的图像进行视觉定位的场景，为避免卷帘快门相机在移动时,在不同时刻按图像行曝光使得每一图像行的像素在不同位姿下获取，按照现有全局相机定位方式造成状态估计不准确的问题，首先对卷帘快门相机采集的图像帧进行特征点提取，然后，基于imu相对位姿数据和各特征点所属的图像行确定各图像行对应的图像行imu相对位姿数据，进而基于各图像行imu相对位姿数据、特征点在图像帧中的位置、图像间测量项以及待估计状态量进行视觉定位解算。因imu的高频特性，则基于高频采集到的imu帧数据和卷帘快门相机采用的图像帧进行位姿解算，可将及时获得的不同imu帧数据对应的相对位姿，作为确定图像帧中各图像行位姿的依据，更有效地反映卷帘快门相机在按图像行曝光时的位姿。因此，本实施例的方案可以进行有效且准确的视觉定位。
[0186]
需要指出，根据实施的需要，可将本技术实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本技术实施例的目的。
[0187]
上述根据本技术实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编
程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的视觉定位方法。此外，当通用计算机访问用于实现在此示出的视觉定位方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的视觉定位方法的专用计算机。
[0188]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。
[0189]
以上实施方式仅用于说明本技术实施例，而并非对本技术实施例的限制，有关技术领域的普通技术人员，在不脱离本技术实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本技术实施例的范畴，本技术实施例的专利保护范围应由权利要求限定。