一种基于深度图片特征提取的双目摄像头室内定位方法

1.本发明涉及一种室内目标定位方法，具体的说是一种基于深度脱线裁剪和卷积核特征提取的双目摄像头室内定位方法，属于定位导航技术领域。


背景技术：

2.随着室内定位的需求日益增大，室内定位技术受到越来越多的关注。传统的室内定位技术主要是利用超宽带、蓝牙、wifi等无线电信号进行位置估计。随着计算机计算处理能力的提高和图像技术的发展，基于图像的室内定位技术已经成为研究的热点。基于图像信息的室内定位具有成本低，无电磁干扰，绿色环保等优势。
3.目前图像定位的方法如文献[1]liang j z,corso n,turner e,etal.image based localization in indoor environments,fourthinternational conference on computing for geospatial research andapplication.2013,pp.70
‑
75.以及文献[2]kawaji h,hatada k,yamaskit,et al.image
‑
based indoor positioning system:fast image matchingusing omnidirectional panoramic images.in:proceeding of the 1st acminternational workshop on multimodal pervasive video analysis.acm, 2010.1
‑
4.所示。文献[1]使用可移动的立体视觉设备建立含有地理坐标系的3的图像库，然后利用sift(scale invariant feature transform) 特征在图像库中检索与输入图片最接近的图像，返回该图像的位置信息实现室内定位；文献[2]通过全景相机采集室内全景图片，连同位置信息一起存储到数据库中，通过pac
‑
sift算法和局部敏感哈希算法lsh分别完成图像检索的处理和图像特征匹配的处理，然后根据检索出的图像位置推算得到用户的位置信息。上述基于图像检索的定位方法需要花费很多时间来完成定位。
[0004]
随着机器学习的发展，基于机器学习的图像定位技术通过离线阶段的学习，能够克服图像检索方法在线时间复杂程度高的缺点，从未使得图像定位技术得到更加广泛的应用。经过检索发现，申请号为202010960213.4的中国专利申请公开了一种基于支持向量机和交互多模型技术的双目摄像头目标定位方法，该方法是直接利用深度图片进行位置估计学习。然而，由于深度图片中包含了大量背景深度信息，直接利用整个深度图片会导致离线学习效率不高。此外深度图片中包含噪声，直接利用未处理的深度图片进行离线学习，同样降低学习性能。


技术实现要素：

[0005]
本发明所要解决的技术问题是，克服现有技术的不足而提供一种基于深度图片裁剪和卷积核特征提取的双目摄像头室内定位方法。
[0006]
本发明提供一种基于深度图片特征提取的双目摄像头室内定位方法，包括如下步骤：
[0007]
步骤1、离线阶段
[0008]
步骤1
‑
1、将定位区域划分成若干参考点，目标位于每一个参考点上，利用双目摄
像头获取目标的深度图片；
[0009]
步骤1
‑
2、对接收的深度图片进行裁剪并利用卷积核进行图片特征提取后，结合相应的参考点位置与摄像头之间的距离，构建基于深度图片特征和距离信息的训练数据集；
[0010]
步骤1
‑
3、利用支持向量机(svm)算法对训练数据集进行回归训练，得到基于位置的回归函数；
[0011]
步骤2、在线阶段
[0012]
步骤2
‑
1、双目摄像头采集目标的深度图片；
[0013]
步骤2
‑
2、对采集的深度图片进行裁剪和卷积核特征提取，得到深度图片特征；
[0014]
步骤2
‑
3、将步骤2
‑
2得到的深度图片特征代入基于位置的回归函数中，实现对采集目标位置的估计。
[0015]
本发明的方法在离线阶段，将获得的深度图片进行尺寸裁剪处理，选取深度图片中不受人员变化影响的深度信息；然后通过卷积核对深度图片信息进行特征提取，去除图片中的无用信息，降低噪声，从而提高离线学习的效率；最后通过支持向量机方法进行基于位置的回归学习，得到位置回归模型。在线阶段，对获得的深度图片进行裁剪和卷积核特征提取后，通过位置回归模型直接计算出位置。本发明利用卷积核提取裁剪后的深度图片特征作为定位指纹，通过支持向量机进行回归学习，实现目标定位。同时，该方法在定位人员变化的情况下，具有更好的稳健性和定位估计结果。
[0016]
作为本发明进一步的技术方案：
[0017]
所述步骤1中，在离线阶段对数据进行预处理，包含深度图片的尺寸裁剪和卷积核深度图片特征提取。
[0018]
所述步骤1
‑
2中，利用卷积核提取深度图片的特征信息，可利用的卷积核有锐化卷积核、水平边缘检测卷积核、垂直边缘检测卷积核和sobel卷积核。
[0019]
所述步骤1
‑
3中，训练数据集的回归学习具体包括以下步骤：
[0020]
对于给定的训练数据集为(γ
n
，d
n
)，其中d
n
表示为当目标位于第n 个参考点时目标与摄像头的距离信息，γ
n
表示深度图片进行裁剪和利用卷积核进行图片特征提取后得到的深度图片特征，n∈(1，2，
…
，n)， n表示参考点的数目；
[0021]
将离线阶段基于距离信息的回归函数定义为：
[0022]
f(γ
n
)＝<w，γ
n
>+b
[0023]
其中，w表示权重参数向量，<，>表示内积算子，b表示偏置常量；
[0024]
利用ε
‑
支持向量回归(ε
‑
support vector regression,ε
‑
svr)算法，离线回归训练可以转化为：
[0025][0026][0027]
其中，ε是回归函数与实际距离d
n
坐标之间的偏差，c是惩罚系数，ξ
n
和是松弛变
量；
[0028]
在参数最优条件下，利用hessian矩阵使对偶拉格朗日函数达到最大值，同时结合核函数定义，则距离信息回归函数可表示为：
[0029][0030]
式中，α、α
*
为拉格朗日乘子向量，b
*
为通过拉格朗日函数得到的最佳阈值，k(γ
n
，γ
j
)为核函数。
[0031]
所述步骤2
‑
3中，基于位置的回归函数为：
[0032][0033]
式中，α、α
*
为拉格朗日乘子向量，b
*
为通过拉格朗日函数得到的最佳阈值，k(γ
n
，γ
j
)为核函数。
[0034]
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0035]
(1)本发明利用图像裁剪技术能够选取深度图片中普遍的深度信息，使得位置估计模型不受人员变换的影响，以降低不同人员因身高、体重等因素对位置估计性能的影响，具有普适性。
[0036]
(2)本发明利用卷积核对深度图片进行特征提取，能够去除图片中的无用信息，降低噪声，从而使深度图像更加清晰，进而提高离线学习的效率。
附图说明
[0037]
图1为本发明的原理框图。
[0038]
图2为本发明中离线阶段的原理框图。
[0039]
图3a为本发明中深度图片的示意图；图3b为本发明中深度图片经锐化卷积核卷积的结果示意图；图3c为本发明中图片经水平边缘检测卷积核卷积的结果示意图；图3d为本发明中图片经垂直边缘检测卷积核卷积的结果示意图；图3e为本发明中图片经sobel卷积核卷积的结果示意图。
[0040]
图4为本发明中在线阶段的原理框图。
[0041]
图5为本发明中定位性能分析的示意图。
具体实施方式
[0042]
下面结合附图对本发明的技术方案做进一步的详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护权限不限于下述的实施例。
[0043]
如图1所示，一种基于深度图片裁剪和卷积核特征提取的双目摄像头室内定位方法，包括离线和在线两个阶段。
[0044]
如图2所示，离线阶段包括如下步骤：
[0045]
步骤1
‑
1、将定位区域划分成n个参考点，目标位于每一个参考点上，利用双目摄像头获取目标的深度图片。
[0046]
步骤1
‑
2、对接收的深度图片进行裁剪并利用卷积核进行图片特征提取后，结合相应的参考点位置与摄像头之间的距离，构建基于深度图片特征和距离信息的训练数据集。
[0047]
(1)深度图片尺寸裁剪
[0048]
当利用双目摄像头获得人员目标深度图片后，为了减少不同人员身高和胖瘦的影响，通过裁剪深度图片得到目标深度信息，而非背景的深度信息。由于深度图片是一个像素矩阵，可直接通过提取该矩阵中的部分区域作为裁剪后的结果。
[0049]
(2)基于卷积核的深度图片特征提取
[0050]
由于原始数字图像中有各种随机噪声的干扰，图像卷积计算在图像增强技术中的运用无处不在。图像卷积可以通过使用不同的卷积核，对图像进行锐化增强、边缘检测等处理。
[0051]
不同的卷积核也有不同的作用。利用锐化卷积核、水平边缘检测卷积核、垂直边缘检测卷积核，sobel卷积核等卷积核对裁剪后的深度图片进行处理。锐化卷积核利用的是图像中边缘信息有着比周围像素更高的对比度，而经过卷积之后进一步增强了这种对比度，从而使图像显得棱角分明、画面清晰，起到锐化图像的效果。水平边缘检测卷积核和垂直边缘检测卷积核分别是检测图像中水平和垂直方向上的边缘信息。soble卷积核强调了和边缘相邻的像素点对边缘的影响。图3描述了深度图片经过不同卷积核卷积特征提取结果。
[0052]
步骤1
‑
3、利用支持向量机(svm)算法对训练数据集进行回归训练，得到基于位置的回归函数。
[0053]
基于支持向量机(svm)的图片特征提取：将图片对应的位置信息和处理后的深度图片特征作为离线训练数据，使用支持向量机(svm) 算法进行回归训练后，得到位置回归模型。在本发明中，利用了基于核函数的svm算法，该方法能够将低维的样本特征映射到高维，使原本线性不可分的样本在高维空间可分。
[0054]
离线阶段的回归学习具体包括以下步骤：
[0055]
对于给定的训练数据集为(γ
n
，d
n
)，其中d
n
表示为当目标位于第n 个参考点时目标与摄像头的距离信息，γ
n
表示深度图片进行裁剪和利用卷积核进行图片特征提取后得到的深度图片特征，n∈(1，2，
…
，n)， n表示参考点的数目；
[0056]
将离线阶段基于距离信息的回归函数定义为：
[0057]
f(γ
n
)＝<w，γ
n
>+b
ꢀꢀ
(1)
[0058]
其中，w表示权重参数向量，<，>表示内积算子，b表示偏置常量；
[0059]
利用ε
‑
支持向量回归(ε
‑
support vector regression,ε
‑
svr)算法，离线回归训练可以转化为：
[0060][0061]
[0062]
其中，ε是回归函数与实际距离d
n
坐标之间的偏差，c是惩罚系数，ξ
n
和是松弛变量；
[0063]
在参数最优条件下，利用hessian矩阵使对偶拉格朗日函数达到最大值，同时结合核函数定义，则距离信息回归函数可表示为：
[0064][0065]
式中，α、α
*
为拉格朗日乘子向量，b
*
为通过拉格朗日函数得到的最佳阈值，k(γ
n
，γ
j
)为核函数。
[0066]
如图4所示，离在线阶段包括如下步骤：
[0067]
步骤2
‑
1、双目摄像头采集目标的深度图片。
[0068]
步骤2
‑
2、对采集的深度图片进行裁剪和卷积核特征提取，得到深度图片特征。
[0069]
步骤2
‑
3、将步骤2
‑
2得到的深度图片特征代入基于位置的回归函数中，实现对采集目标位置的估计。基于位置的回归函数为：
[0070][0071]
式中，α、α
*
为拉格朗日乘子向量，b
*
为通过拉格朗日函数得到的最佳阈值，k(γ
n
，γ
j
)为核函数。γ
j
为训练样本数据集中在每个参考点上获得的深度图片进行裁剪和利用卷积核进行图片特征提取后得到的深度图片特征。常见的核函数包括：线性核函数、多项式核函数和高斯核函数。具体定义如下：
[0072]
线性核函数：k(γ
n
,γ
j
)＝γ
n
·
γ
j
[0073]
多项式核函数：k(γ
n
,γ
j
)＝(γ
n
·
γ
j
+r)
d
[0074]
高斯核函数：k(γ
n
,γ
j
)＝exp(
‑
g||γ
n
‑
γ
j
||2)
[0075]
其中r,d和g均为核函数参数。
[0076]
上述参数α,α
*
和b
*
都可通过对训练数据集进行离线学习得到。利用训练数据进行离线学习时，公式(2)定义的最优化模型的目标函数最小时，所对应的参数α,α
*
和b
*
就是回归函数的参数值。
[0077]
在线阶段双目摄像头通过计算自动得到相应的深度照片，深度照片依次经过裁剪、图像卷积处理，将处理后的图片数据输入到位置回归模型中进行计算，最终得到人员位置估计的结果。
[0078]
以均方根误差(rmse)为例，图5描述了不同数量训练集下,本发明的方法与其他方法的性能比较。可以看出，本发明所利用的图片尺寸裁剪和卷积核图片特征提取预处理都能改善定位性能。
[0079]
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。