基于多模态数据的室内定位方法及系统与流程

本发明涉及无线室内定位技术领域，尤其涉及一种基于多模态数据的室内定位方法及系统。

背景技术：

伴随着物联网技术与各种各样基于室内位置的应用的快速发展，对高精度以及实时性的室内定位服务需求变得越来越强烈，在过去的十年之中，基于wi-fi，蓝牙，rfid，声音信号，计算机视觉，磁场信号以及惯性传感器等众多室内定位技术发展了起来。然而，在发展过程中，上述的技术逐渐暴露了自身的优势及瓶颈。近几年来，不断有人提出融合多模态数据进行定位的工作，其核心思路即为取长补短，将单一技术的短板通过其它技术进行弥补。

其中，基于wi-fi，蓝牙等信号的室内定位技术，主要通过分析信号特征进行推导性定位。其中，定位效果良好的信号特征，如信道状态信息(csi)不能通过商用智能手机所方便测得。目前商用智能手机主要支持信号强度的检测，因此，基于无线信号指纹技术成为了基于无线信号的室内定位技术的核心方法。尽管基于wi-fi指纹的定位算法取得了不错的效果，但目前的定位系统都普遍面临着重要的挑战：由于室内环境与通讯环境的不断变化，指纹即信号强度具有时间不稳定性，从而给定位带来了较大的误差；指纹的空间歧义性，由于室内环境的复杂性以及多径效应的存在，两个相隔很远位置采集到的指纹可能会比较相似，降低了指纹在空间上的区分度，这会造成较大距离上的错误匹配，降低定位系统的精度。

基于惯性传感器的室内定位技术的重点在于，利用手机终端中集成的微机电传感器检测用户的运动模式来进行行人航迹推算(pdr)，从而获得用户在室内的移动轨迹。此类方法在相对定位的精确度上存在明显优势，但使用此类方法时，必须通过一些其它方法来确定用户在地图中的绝对位置，这一前提限制了此类方法的推广。

基于图像识别的室内定位方法，依赖其所使用的图像识别算法以及其中的图像匹配技术。常用的图像识别算法可以帮助计算机在图像中识别到人物个体，从而进行用户的主动式或被动式定位。然而，此类方法通常需要较长的运行时间，被动式定位的特性也使得在多用户被识别到的情况下难以唯一确定用户。

因此，现在亟需一种基于多模态数据的室内定位方法及系统来解决上述问题。

技术实现要素：

针对现有技术存在的问题，本发明实施例提供一种基于多模态数据的室内定位方法及系统。

第一方面，本发明实施例提供了一种基于多模态数据的室内定位方法，包括：

分别获取惯性传感器室内定位结果、无线信号室内定位结果以及计算机视觉室内定位结果；

基于预设的粒子滤波算法，融合所述惯性传感器室内定位结果、所述无线信号室内定位结果以及所述计算机视觉室内定位结果，得到多模态数据融合室内定位结果。

进一步地，所述分别获取惯性传感器室内定位结果、无线信号室内定位结果以及计算机视觉室内定位结果，包括：

基于信号强度的距离衰减，计算获取所述无线信号室内定位结果；

基于机器学习算法，计算获取所述计算机视觉室内定位结果；

基于惯性传感器测得的移动方向和长度，计算获取所述惯性传感器室内定位结果。

进一步地，所述基于预设的粒子滤波算法，融合所述惯性传感器室内定位结果、所述无线信号室内定位结果以及所述计算机视觉室内定位结果，得到多模态数据融合室内定位结果，包括：

基于预设的粒子滤波算法，进行重要性采样，获取多个粒子；

基于所述无线信号室内定位结果以及所述计算机视觉室内定位结果，计算所述粒子的粒子权重；

基于所述惯性传感器室内定位结果，计算所述粒子的粒子转移情况；

迭代重采样，直至达到预设的终止条件；

取所有粒子的加权平均作为所述多模态数据融合室内定位结果。

进一步地，粒子的权重计算公式为：

wi＝wi*e^((-δd²)/(2θ²))；

其中，基于无线信号定位，δd为粒子与无线接入点ap的真实距离和推定距离之间的距离差；基于计算机视觉室内定位，δd为粒子与最近的视频点之间的距离，所述视频点为基于计算机视觉室内定位的室内人员的物理位置；θ为预设固定值，粒子的初始权值为1/n，n为粒子数量。

进一步地，所述基于所述惯性传感器室内定位结果，计算所述粒子的粒子转移情况，还包括：

在进行粒子转移时，加入白噪声，以增加粒子的代表性。

进一步地，所述方法还包括：

基于运动恢复结构sfm技术，解算室内两个摄像头之间的相对位姿；

根据所述相对位姿，旋转其中一个摄像头，以构造出等效图片；

基于双目立体视觉bsv算法和所述等效图片，获取平面地图与像素点的真实世界位置，以构造电子地图进行数据采集。

第二方面，本发明实施例提供了一种基于多模态数据的室内定位系统，包括：

获取模块，用于分别获取惯性传感器室内定位结果、无线信号室内定位结果以及计算机视觉室内定位结果；

融合定位模块，用于基于预设的粒子滤波算法，融合所述惯性传感器室内定位结果、所述无线信号室内定位结果以及所述计算机视觉室内定位结果，得到多模态数据融合室内定位结果。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的一种基于多模态数据的室内定位方法及系统，通过在传统的室内无线定位技术的基础上融合了视频及惯性传感器数据的优点，并通过粒子滤波器进行数据的融合计算，从而实现高精度鲁棒性的实时室内定位。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于多模态数据的室内定位方法的流程示意图；

图2为本发明实施例提供的不同定位方法定误差的cdf图；

图3为本发明实施例提供的sfm校准示意图；

图4为本发明实施例提供的基于多模态数据的室内定位系统的结构示意图；

图5为本发明实施例提供的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的基于多模态数据的室内定位方法的流程示意图，如图1所示，本发明实施例提供了一种基于多模态数据的室内定位方法，包括：

步骤101，分别获取惯性传感器室内定位结果、无线信号室内定位结果以及计算机视觉室内定位结果；

步骤102，基于预设的粒子滤波算法，融合所述惯性传感器室内定位结果、所述无线信号室内定位结果以及所述计算机视觉室内定位结果，得到多模态数据融合室内定位结果。

在本发明实施例中，步骤101同时利用了三种导航技术，从而分别获取不同的室内定位结果，主要包括有：使用计算机视觉技术进行定位，可以较为精确、鲁棒地给出定位结果；基于惯性传感器的定位技术，可以精确刻画用户移动轨迹，并精确鲁棒地进行相对行为；基于无线信号的定位技术，可以给出用户在室内的大概位置。其中，惯性传感器和无线信号定位可以通过用户的智能设备获取，从而实现从硬件上区分各个用户。

进一步地，在步骤102中，图2为本发明实施例提供的不同定位方法定误差的cdf图，如图2所示，三种方式定位均存在各自的问题，而本发明实施例使用粒子滤波器融合多模态数据，可以高效地融合三种模态的数据，从而实现高效、精确和鲁棒的定位目的。

本发明实施例提供的一种基于多模态数据的室内定位方法，通过在传统的室内无线定位技术的基础上融合了视频及惯性传感器数据的优点，并通过粒子滤波器进行数据的融合计算，从而实现高精度鲁棒性的实时室内定位。

在上述实施例的基础上，所述分别获取惯性传感器室内定位结果、无线信号室内定位结果以及计算机视觉室内定位结果，包括：

基于信号强度的距离衰减，计算获取所述无线信号室内定位结果；

基于机器学习算法，计算获取所述计算机视觉室内定位结果；

基于惯性传感器测得的移动方向和长度，计算获取所述惯性传感器室内定位结果。

由上述实施例的内容可知，本发明实施例需要同时获取三种室内定位方式的定位结果。

具体地，在无线信号方面，本发明实施例选择了基于信号强度的定位方法作为无线信号的输入：

基于上述信号强度的距离衰减公式，可以从用户接受到的信号强度反推出用户与无线接入点ap之间的距离，其前提是已预知地图中各个ap的物理位置。

在计算机视觉方面，本发明实施例使用了机器学习的方法，使用室内环境摄像头，通过mask-rcnn对室内用户进行定位，并通过空间投影等方法，把得出的结果投射到二维的物理平面上。需要说明的是，机器学习方法存在一定的计算时间，所以该数据的更新频率约为2到3秒一次，但这足以进行室内用户位置信息的更新。

在上述实施例的基础上，所述基于预设的粒子滤波算法，融合所述惯性传感器室内定位结果、所述无线信号室内定位结果以及所述计算机视觉室内定位结果，得到多模态数据融合室内定位结果，包括：

基于预设的粒子滤波算法，进行重要性采样，获取多个粒子；

基于所述无线信号室内定位结果以及所述计算机视觉室内定位结果，计算所述粒子的粒子权重；

基于所述惯性传感器室内定位结果，计算所述粒子的粒子转移情况；

迭代重采样，直至达到预设的终止条件；

取所有粒子的加权平均作为所述多模态数据融合室内定位结果。

在本发明实施例中，将无线信号室内定位结果以及所述计算机视觉室内定位结果作为粒子权重计算的重要依据。从定位算法开始，将随机播撒粒子，每经过一段固定时间(如500ms)粒子滤波器进行一次迭代。迭代中，需要对每一个粒子进行权重计算。在推算权重前，通过粒子的物理位置，从而推算出粒子与每一个ap之间的距离；也可推算出粒子与最近的计算机视觉投射的用户点之间的距离。

进一步地，将这些距离误差通过下列公式进行粒子权重的调整：对于每一个ap，若接收到了信号强度大于一个阈值，通过信号强度衰减公式，计算出推定距离，以及利用粒子物理位置与ap物理位置计算出粒子与ap之间的真实距离。这两者的距离差，可设为δd。另一方面，对于每个粒子，从计算机视觉点中找到离该点最近的点，粒子与最近视频点之间的距离同样设为δd，其中，视频点为基于机器学习方法定位的室内人员的物理位置。粒子初始权值为1/n(n为粒子数量)，每一个δd都会使得粒子的权值乘以一个误差因子，公式如下：

wi＝wi*e^((-δd²)/(2θ²))；

其中，基于无线信号定位，δd为粒子与无线接入点ap的真实距离和推定距离之间的距离差；基于计算机视觉室内定位，δd为粒子与最近的视频点之间的距离，所述视频点为基于计算机视觉室内定位的室内人员的物理位置；θ为预设固定值，粒子的初始权值为1/n，n为粒子数量，θ取0.9，从而通过上述方法确定粒子权值。

进一步地，粒子滤波器的迭代过程中包含粒子的转移。通过惯性传感器推算出用户的移动方向和长度，以此作为粒子转移的参照，在电子地图中，按照数据给出的方向和长度进行粒子转移。

在上述实施例的基础上，所述基于所述惯性传感器室内定位结果，计算所述粒子的粒子转移情况，还包括：

在进行粒子转移时，加入白噪声，以增加粒子的代表性。

最后通过电子地图存在的地图约束，粒子会不断消亡，重采样，然后不断完成迭代。在迭代过程中，取所有粒子的加权平均为定位结果。在本发明一实施例中，具体步骤如下：

步骤s1，设k＝0并进行初始化，从初始分布中采样n个样本：对应所有权值设为：然后令k＝1。

步骤s2，开始进行重要性采样，对于所有粒子，根据运动信息对其进行粒子转移,则可得到n个k时刻的样本：随后计算样本权值：对比所有已知的无线数据和计算机视觉数据，得出相应的一系列δd，令粒子的权值修改为：

随后进行归一化：

步骤s3，判断有效粒子数量，若其数量不足，则执行步骤s4进行重采样；否则执行步骤s5，输出结果。

步骤s4，重采样。以权值大小为基准，从粒子集合中抽取新的粒子抽取的概率满足抽取结束后，用新的粒子集合取代原本的粒子集合并初始化权值，随后根据当前信息，再次估计粒子权重，且进行归一化。

步骤s5，输出结果，包括粒子状态以及权值。结果状态取粒子集合内粒子的带权平均位置。

步骤s6，当下一时刻的测量值到达时，使k＝k+1，返回步骤s2；否则结束。

在上述实施例的基础上，所述方法还包括：

基于运动恢复结构sfm技术，解算室内两个摄像头之间的相对位姿；

根据所述相对位姿，旋转其中一个摄像头，以构造出等效图片；

基于双目立体视觉bsv算法和所述等效图片，获取平面地图与像素点的真实世界位置，以构造电子地图进行数据采集。

在本发明实施例中，需要依托电子地图实现数据的采集。具体地，本发明首先利用sfm技术来计算两个摄像机之间的相对位姿，之后再利用成像原理来构造一张虚拟图片，图3为本发明实施例提供的sfm校准示意图，如图3所示，sfm算法首先提取并匹配两张图片内的特征点，根据特征点的匹配结果，通过求解一个pnp(perspective-n-point)问题来计算出两个摄像机之间的相对位姿。

进一步地，将计算好的相对位姿变换矩阵标记为其中l1与l2分别代表环境摄像头1与摄像头2的基准坐标系，基于该变换矩阵，可以得到从实际相机l2到虚拟相机的变换矩阵：

其中，由于两个摄像头的空间位置已知，是一个单纯的平移变换，可以根据摄像头之间的距离简单得到。

当得到从实际相机到虚拟相机的变换矩阵之后，可以根据成像原理计算等效图片，该等效图片可以视作由一个与l1平行的摄像头拍摄得到。具体来说，在真实相机l2之中：

在虚拟相机之中：

其中，f是相机的焦距，(u2,v2)是物体p点在原始图片之中的像素位置，是其在等效图片之中的像素位置，根据成像原理这两个向量是共线的，则有：

这个方程通过展开，有三个未知数(与λ)与三个方程，由此便可以计算出原始像素点在等效图片中的像素位置。对所有像素点进行相同的操作，便可以得到一幅由光轴平行的虚拟相机拍摄的等效图片。

进一步地，当获取了等效图片之后，可以使用传统的双目立体视觉算法，根据视差来求得像素点在三维空间之中的绝对位置。在求得所有匹配的特征点在二维平面地图上的位置之后，可以通过优化问题求解投影矩阵：

最小化：

其中有：

其中，n是两张图片中匹配到的特征点的数量，(ui,vi)是在图片中的像素位置，是利用投影矩阵求得的特征点在二维平面上的位置，是利用双目立体视觉求的特征点在二维平面上的真实位置，p是最后要求得的投影矩阵，投影矩阵关联了图片上的像素位置和真实世界中的二维绝对位置，从而使得计算机视觉的识别结果也有了绝对位置，得到多模态数据融合的先决条件。

图4为本发明实施例提供的基于多模态数据的室内定位系统的结构示意图，如图4所示，本发明实施例提供了一种基于多模态数据的室内定位系统的结构示意图，包括获取模块401和融合定位模块402，其中，获取模块401用于分别获取惯性传感器室内定位结果、无线信号室内定位结果以及计算机视觉室内定位结果；融合定位模块402用于基于预设的粒子滤波算法，融合所述惯性传感器室内定位结果、所述无线信号室内定位结果以及所述计算机视觉室内定位结果，得到多模态数据融合室内定位结果。

本发明实施例提供的一种基于多模态数据的室内定位系统，通过在传统的室内无线定位技术的基础上融合了视频及惯性传感器数据的优点，并通过粒子滤波器进行数据的融合计算，从而实现高精度鲁棒性的实时室内定位。

本发明实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

图5为本发明实施例提供的电子设备结构示意图，参照图5，该电子设备可以包括：处理器(processor)501、通信接口(communicationsinterface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法：分别获取惯性传感器室内定位结果、无线信号室内定位结果以及计算机视觉室内定位结果；基于预设的粒子滤波算法，融合所述惯性传感器室内定位结果、所述无线信号室内定位结果以及所述计算机视觉室内定位结果，得到多模态数据融合室内定位结果。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于多模态数据的室内定位方法，例如包括：分别获取惯性传感器室内定位结果、无线信号室内定位结果以及计算机视觉室内定位结果；基于预设的粒子滤波算法，融合所述惯性传感器室内定位结果、所述无线信号室内定位结果以及所述计算机视觉室内定位结果，得到多模态数据融合室内定位结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。