时间戳校正方法、装置、设备、介质及计算机程序产品与流程

1.本发明涉及传感器数据处理技术领域，尤其涉及一种时间戳校正方法、装置、设备、介质及计算机程序产品。


背景技术：

2.在slam(simultaneous localization and mapping，同步定位与建图)系统中，通常包含相机与imu(inertial measurement unit，惯性测量单元)这两种传感器。slam系统对这两个传感器进行采样，获得相应的图像数据和imu数据，以及获得图像数据和imu数据对应的采样时间戳。通常假设获得的采样时间戳即为传感器采样时刻对应的时间，然而系统存在的触发延时、传输延时和没有准确同步时钟等问题，使得相机和imu之间的时间戳存在偏差，而相机与imu数据流时间戳上的偏差将影响vio(visual-inertial odometry，视觉惯性里程计)系统的工作，从而降低视觉惯性里程计的计算精度。


技术实现要素：

3.本发明提供一种时间戳校正方法、装置、设备、存储介质及计算机程序产品，用以解决现有技术中相机和imu之间的时间戳存在偏差的缺陷，提高视觉惯性里程计的计算精度。
4.本发明提供一种时间戳校正方法，包括：
5.获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；
6.对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；
7.根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；
8.根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
9.根据本发明提供的一种时间戳校正方法，所述获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据的步骤包括：
10.根据第一预设采集频率和预设时段获取相机图像，根据预设规则选取所述相机图像中的关键帧图像；
11.根据第二预设采集频率和所述预设时段获取惯性传感器imu数据；
12.根据所述imu数据提取相邻关键帧图像之间的运动数据。
13.根据本发明提供的一种时间戳校正方法，所述对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差的步骤包括：
14.对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，其中，所述相对位姿包括位置差、速度差和转角差；
15.根据所述位置差、所述速度差和所述转角差计算运动残差。
16.根据本发明提供的一种时间戳校正方法，所述根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差的步骤包括：
17.根据所述关键帧图像对应的路标点，计算所述关键帧图像与所述路标点之间的重投影误差；
18.根据所述重投影误差和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差。
19.根据本发明提供的一种时间戳校正方法，所述根据所述重投影误差和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差的步骤包括：
20.获取所述相对位姿对应的第一信息矩阵，以及所述重投影误差对应的第二信息矩阵；
21.根据所述重投影误差、所述运动残差、所述第一信息矩阵以及所述第二信息矩阵，确定优化方程；
22.根据所述优化方程，计算所述关键帧图像与所述运动数据之间的时差。
23.根据本发明提供的一种时间戳校正方法，所述根据所述优化方程，计算所述关键帧图像与所述运动数据之间的时差的步骤包括：
24.将所述关键帧图像的顶点坐标和边特征点代入所述优化方程，计算得到所述关键帧图像与所述运动数据之间的时差。
25.本发明还提供一种时间戳校正装置，包括：
26.运动数据提取模块，用于获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；
27.预积分模块，用于对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；
28.时差计算模块，用于根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；
29.时间戳校正模块，用于根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
30.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述时间戳校正方法。
31.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述时间戳校正方法。
32.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述时间戳校正方法。
33.本发明提供的时间戳校正方法、装置、设备、存储介质及计算机程序产品，通过获取相机图像，选取相机图像中的关键帧图像，并提取相邻关键帧图像之间的运动数据，通过对运动数据进行预积分，得到相对位姿与运动残差，根据关键帧图像对应的路标点和运动残差，计算关键帧图像与运动数据之间的时差，最终根据时差对关键帧图像和运动数据进行时间戳校正，消除了相机与imu之间的时间戳偏差，而相机与imu在时间戳上的偏差将影响vio系统的工作，降低视觉惯性里程计的计算精度，因此，本发明可以提高视觉惯性里程
计的计算精度。
附图说明
34.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本发明提供的时间戳校正方法的流程示意图之一；
36.图2是本发明提供的时间戳校正方法的流程示意图之二；
37.图3是本发明提供的时间戳校正装置的结构示意图；
38.图4是本发明提供的电子设备的结构示意图。
具体实施方式
39.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.下面结合图1-图2描述本发明的时间戳校正方法。
41.请参照图1，本发明提供一种时间戳校正方法，包括：
42.步骤s100，获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；
43.具体地，在slam系统中，通常包含相机与imu这两种传感器。slam系统对这两个传感器进行采样，获得相应的图像数据和imu数据，以及获得数据的时间戳。通常假设获得数据的时间戳为传感器采样时刻对应的时间，然而系统存在的触发延时和传输延时等问题，使得相机和imu的时间戳与真实采样时间之间存在偏差，本技术提出的时间戳校正方法即是为了解决上述问题。首先，以一定的帧率获取一段时间段内的相机图像，例如，在图像帧率为30hz的情况下，采集3分钟之内的相机图像，共5400帧相机图像，按照每隔5帧确定一张关键帧图像的规则，从这些相机图像中选取一定数量的关键帧图像，imu传感器的采集频率大于图像帧率，然后提取相邻的关键帧图像对应的时刻之内的imu数据，即本实施例中的运动数据，imu传感器采集到的数据主要是多个方向的加速度和多个方向的角速度，表示slam系统的运动状态的变化。
44.步骤s200，对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；
45.对于imu传感器中的陀螺仪来说，需要被估计的数据有其中ti＝[ri,pi]∈se(3)，其中，vi为关键帧图像i对应的slam系统在获得关键帧图像i时的速度，分别为陀螺仪和加速度计的偏差，对于slam系统而言，通过对imu数据进行预积分操作，可以获得连续两帧关键帧图像i到关键帧图像i+1之间slam系统的相对位姿，δp
i,i+1
，δv
i,i+1
，δr
i,i+1
分别表示关键帧图像i到关键帧图像i+1之间slam系统位置的变化，
速度的变化以及转角的变化。还可获得整个测量向量的信息矩阵∑i
i,i+1
。
[0046]
具体地，得到imu残差的方法可以通过如下公式实现，其中，表示imu残差，表示imu残差，其中，表示关键帧图像i对应的slam系统的转角信息矩阵的转置；其中，g表示重力加速度；
[0047]
步骤s300，根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；
[0048]
具体地，关键帧图像对应的路标点是指现实世界中的3d点，关键帧图像i与3d点xj之间存在视觉残差，定义视觉残差为r
ij
，则r
ij
＝u
ij-∏(t
wc
xj)，其中，u
ij
是3d路标点xj在关键帧图像i上的投影，其信息矩阵为∑
ij
，t
wc
表示世界坐标系到相机坐标系的转换，给定k+1个关键帧图像，及各关键帧图像的状态量sk＝{s0,
…
sk}，同时给定l个3d路标点集，3d路标点集的状态量为x＝{x0,
…
x
(l-1)
}，于是，相机与imu的时差优化问题就可以表示为imu残差以及视觉残差的组合，表示公式为其中，kj表示观测到第j个3d路标点的关键帧图像集合。
[0049]
本实施例提出的时间戳校正方法将相机与imu的时差作为状态变量的一部分。在imu与相机存在时间偏差dt的情况下，令t
imu
＝t
cam
+dt，那么相机图像的时间戳比对应数据真实的采样时间戳大dt。假设，第k帧关键帧图像ik对应的时间戳为tk，那么，关键帧图像ik真实的采样时间为t
k-dt。对于ik上的一个特征点来说，其图像坐标为u
ij
，特征点在tk时间的真实位置已经发生偏移，假设，特征点在短时间dt内在图像平面内的运动为匀速运动，那么在tk时刻，特征点估计的坐标为其中，为特征点在图像像素平面内的运动速度，可以通过前后两个关键帧的特征点的位置进行估计，即，基于上述假设，在vio系统中，将经时间偏差校正后的带参数dt的特征点坐标替换之前的特征点坐标，从而将时间偏差参数dt引入了上述优化方程，于是上述优化方程可以写成带时间差的形式，即，
[0050]
构建图优化过程中的顶点和边，顶点表示待优化的未知变量，边为连接优化变量之间的残差公式，并且进行优化计算出时差dt。
[0051]
步骤s400，根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
[0052]
具体地，根据上述内容计算得到相机与imu的时差之后，根据计算得到的时差，对
关键帧图像的时间戳和运动数据的时间戳进行校正，从而消除时间戳偏差对vio系统的影响，提高视觉惯性里程计的计算精度。
[0053]
本实施例通过获取相机图像，选取相机图像中的关键帧图像，并提取相邻关键帧图像之间的运动数据，通过对运动数据进行预积分，得到相对位姿与运动残差，根据关键帧图像对应的路标点和运动残差，计算关键帧图像与运动数据之间的时差，最终根据时差对关键帧图像和运动数据进行时间戳校正，消除了相机与imu之间的时间戳偏差，而相机与imu在时间戳上的偏差将影响vio系统的工作，降低视觉惯性里程计的计算精度，因此，本发明可以提高视觉惯性里程计的计算精度。
[0054]
在一个实施例中，本技术实施例提供的时间戳校正方法，还可以包括：
[0055]
步骤s101，根据第一预设采集频率和预设时段获取相机图像，根据预设规则选取所述相机图像中的关键帧图像；
[0056]
步骤s102，根据第二预设采集频率和所述预设时段获取惯性传感器imu数据；
[0057]
步骤s103，根据所述imu数据提取相邻关键帧图像之间的运动数据。
[0058]
具体地，以一定的帧率获取一段时间段内的相机图像，例如，在图像帧率(即本实施例中的第一预设采集频率)为30hz的情况下，采集3分钟(即本实施例中的预设时段)之内的相机图像，在第二预设采集频率的基础上，采集预设时段内的imu数据，根据相机和imu的特性可知，第二预设采集频率大于第一预设采集频率，而3分钟内共采集到5400帧相机图像，按照每隔5帧确定一张关键帧图像的规则，从这些相机图像中选取一定数量的关键帧图像，然后提取相邻的关键帧图像对应的时刻之内的imu数据，即本实施例中的运动数据，imu传感器采集到的数据主要是多个方向的加速度和多个方向的角速度，表示slam系统的运动状态的变化。
[0059]
本实施例通过一定频率采集一定时段内的相机图像和imu数据，根据采集到的图像和imu数据计算关键帧图像与运动数据之间的时差，最终根据时差对关键帧图像和运动数据进行时间戳校正，消除了相机与imu之间的时间戳偏差，提高视觉惯性里程计的计算精度。
[0060]
在一个实施例中，本技术实施例提供的时间戳校正方法，还可以包括：
[0061]
步骤s201，对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，其中，所述相对位姿包括位置差、速度差和转角差；
[0062]
步骤s202，根据所述位置差、所述速度差和所述转角差计算运动残差。
[0063]
具体地，对于slam系统而言，对imu数据进行预积分操作可以获得连续两帧关键帧图像i到关键帧图像i+1之间slam系统的相对位姿，相对位姿包括δp
i,i+1
，δv
i,i+1
，和δr
i,i+1
，其中，δp
i,i+1
表示关键帧图像i到关键帧图像i+1之间slam系统位置的变化，即本实施例中的位置差；δv
i,i+1
表示关键帧图像i到关键帧图像i+1之间slam系统速度的变化，即本实施例中的速度差；以及δr
i,i+1
表示关键帧图像i到关键帧图像i+1之间slam系统转角的变化，即本实施例中的转角差，通过以下公式据位置差、速度差和转角差计算运动残差，其中，表示关键帧图像i对应的slam系统的转角信息矩阵的转置；其
中，g表示重力加速度；
[0064]
本实施例通过预积分计算运动残差，根据运动残差对关键帧图像和运动数据进行时间戳校正，消除了相机与imu之间的时间戳偏差，提高视觉惯性里程计的计算精度。
[0065]
在一个实施例中，本技术实施例提供的时间戳校正方法，还可以包括：
[0066]
步骤s310，根据所述关键帧图像对应的路标点，计算所述关键帧图像与所述路标点之间的重投影误差；
[0067]
步骤s320，根据所述重投影误差和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差。
[0068]
具体地，定义重投影误差(即上述视觉残差)为r
ij
，则r
ij
＝u
ij-∏(t
wc
xj)，其中，u
ij
是路标点xj在关键帧图像i上的投影，其信息矩阵为∑
ij
，t
wc
表示世界坐标系到相机坐标系的转换，给定k+1个关键帧图像，及各关键帧图像的状态量sk＝{s0,
…
sk}，同时给定l个3d路标点集，3d路标点集的状态量为x＝{x0,
…
x
(l-1)
}，于是，相机与imu的优化问题就可以表示为imu残差以及重投影误差的组合，表示公式为构建图优化过程中的顶点和边，顶点表示待优化的未知变量，边为连接优化变量之间的残差公式，并且进行优化计算出时差dt。
[0069]
本实施例根据关键帧图像对应的路标点和运动残差，计算关键帧图像与运动数据之间的时差，消除了相机与imu之间的时间戳偏差，提高了视觉惯性里程计的计算精度。
[0070]
请参照图2，在一个实施例中，本技术实施例提供的时间戳校正方法，还可以包括：
[0071]
步骤s321，获取所述相对位姿对应的第一信息矩阵，以及所述重投影误差对应的第二信息矩阵；
[0072]
步骤s322，根据所述重投影误差、所述运动残差、所述第一信息矩阵以及所述第二信息矩阵，确定优化方程；
[0073]
步骤s323，根据所述优化方程，计算所述关键帧图像与所述运动数据之间的时差。
[0074]
本实施例提供的时间戳校正方法将相机与imu的时差作为状态变量的一部分。在imu与相机存在时间偏差dt的情况下，令t
imu
＝t
cam
+dt，那么相机图像的时间戳比对应数据真实的采样时间戳大dt。假设，第k帧关键帧图像ik对应的时间戳为tk，那么，关键帧图像ik真实的采样时间为t
k-dt。对于ik上的一个特征点来说，其图像坐标为u
ij
，特征点在tk时间的真实位置已经发生偏移，假设，特征点在短时间dt内在图像平面内的运动为匀速运动，那么在tk时刻，特征点估计的坐标为其中，为特征点在图像像素平面内的运动速度，可以通过前后两个关键帧的特征点的位置进行估计，即，基于上述假设，在vio系统中，将经时间偏差校正后的带参数dt的特征点坐标替换之前的特征点坐标，从而将时间偏差参数dt引入了上述优化方程，于是上述优化方程可以写成带时间差的形式，即，
其中，∑i
i,i+1
为第一信息矩阵，∑
ij
为第二信息矩阵。
[0075]
本实施例根据重投影误差、运动残差、第一信息矩阵以及第二信息矩阵计算关键帧图像与运动数据之间的时差，消除了相机与imu之间的时间戳偏差，提高了视觉惯性里程计的计算精度。
[0076]
在一个实施例中，本技术实施例提供的时间戳校正方法，还可以包括：
[0077]
步骤s3231，将所述关键帧图像的顶点坐标和边特征点代入所述优化方程，计算得到所述关键帧图像与所述运动数据之间的时差。
[0078]
构建图优化过程中的顶点和边，将关键帧图像中的顶点作为与时差dt相同的待优化的未知变量，边作为连接优化变量之间的残差公式，代入优化方程并且进行优化，计算出时差dt。
[0079]
本实施例通过计算出相机与imu的时差，消除了相机与imu之间的时间戳偏差，提高了视觉惯性里程计的计算精度。
[0080]
下面对本发明提供的时间戳校正装置进行描述，下文描述的时间戳校正装置与上文描述的时间戳校正方法可相互对应参照。
[0081]
请参照图3，本发明还提供一种时间戳校正装置，包括：
[0082]
运动数据提取模块10，用于获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；
[0083]
预积分模块20，用于对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；
[0084]
时差计算模块30，用于根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；
[0085]
时间戳校正模块40，用于根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
[0086]
可知地，所述运动数据提取模块，包括：
[0087]
图像获取单元，用于根据第一预设采集频率和预设时段获取相机图像，根据预设规则选取所述相机图像中的关键帧图像；
[0088]
imu数据获取单元，用于根据第二预设采集频率和所述预设时段获取惯性传感器imu数据；
[0089]
运动数据提取单元，用于根据所述imu数据提取相邻关键帧图像之间的运动数据。
[0090]
可知地，所述预积分模块，包括：
[0091]
预积分单元，用于对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，其中，所述相对位姿包括位置差、速度差和转角差；
[0092]
运动残差计算单元，用于根据所述位置差、所述速度差和所述转角差计算运动残差。
[0093]
可知地，所述时差计算模块，包括：
[0094]
重投影误差计算单元，用于根据所述关键帧图像对应的路标点，计算所述关键帧
图像与所述路标点之间的重投影误差；
[0095]
第一时差计算单元，用于根据所述重投影误差和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差。
[0096]
可知地，所述第一时差计算单元，包括：
[0097]
信息矩阵获取单元，用于获取所述相对位姿对应的第一信息矩阵，以及所述重投影误差对应的第二信息矩阵；
[0098]
优化方程确定单元，用于根据所述重投影误差、所述运动残差、所述第一信息矩阵以及所述第二信息矩阵，确定优化方程；
[0099]
第二时差计算单元，用于根据所述优化方程，计算所述关键帧图像与所述运动数据之间的时差。
[0100]
可知地，所述第二时差计算单元，包括：
[0101]
第三时差计算单元，用于将所述关键帧图像的顶点坐标和边特征点代入所述优化方程，计算得到所述关键帧图像与所述运动数据之间的时差。
[0102]
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行时间戳校正方法，该方法包括：获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
[0103]
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0104]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的时间戳校正方法，该方法包括：获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
[0105]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的时间戳校正方法，该方法
包括：获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
[0106]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0107]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0108]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。