基于视觉的WiFi设备自动定位方法及系统

本发明涉及室内环境下的wi-fi设备定位领域，具体涉及基于视觉的wifi设备自动定位方法及系统。

背景技术：

1、wifi定位技术：由于wifi设备的普遍部署，基于wifi的定位技术引起了广泛关注。这些工作可以分为两类，即基于接触式和非接触式定位方法。

2、接触式定位系统利用用户穿戴设备的集成传感器，包括加速度计、陀螺仪、磁力计和气压计，收集与用户运动和空间定位相关的数据。例如公布号为cn117928527a的现有发明专利申请文献《一种基于行人运动特征优化的视觉惯性定位方法》，该现有方法包括：步骤1、利用行人头部穿戴的视觉惯性传感器中的惯性传感器单元进行姿态解算，获得行人的三维姿态信息；步骤2、基于行人的三维姿态信息，进行视觉惯性里程计的局部优化；步骤3、基于行人的三维姿态信息中的航向信息，进行视觉惯性里程计的全局优化。前述现有技术通过穿戴设备本身的数据，该种方法消除了对额外基础设施的需求，使实时跟踪更加可行。然而，这些方法的有效性可能受到各种因素的影响，包括传感器的准确性。此外，为了实现室内定位而给用户穿戴额外的设备可能会给某些用户带来不便。

3、非接触式定位方法消除了需要为目标用户配备任何额外硬件或传感器的要求。它们巧妙地利用环境中现有的基础设施，如wifi接入点或蓝牙信标，来执行室内定位和跟踪任务。通过测量分析信号或环境条件的变化特征，这些非接触式方法可以在无需目标用户主动参与的情况下推断出其大致位置。然而，值得注意的是，这些无设备感知系统无法区分用户身份。此外，这些方法在面对环境变化时常常遇到困难，并且在同时定位多个目标时可能面临挑战。

4、wifi地图构建：尽管wifi感知技术具有广泛的应用前景，但其有效性高度依赖于设备的精确布置，通常需要大量的人力投入。为了应对这一问题，已有的研究提出了自动构建wifi地图的方法。然而，这些方法存在一些局限性。例如公布号为cn117528770a的现有发明专利申请文献《用多样化数据的特征提取增强的室内指纹定位方法及系统》，该现有方法包括：接收csi数据包，通过rgb通道信息提取csi数据，构建csi图像，其中，所述csi数据包括天线的相位值、天线之间的相位差以及平均幅度值；将待定位的目标区域均匀打点，作为参考点，将每个参考点的位置坐标和csi图像存入数据库，得到指纹数据库；将指纹数据库输入到cnn网络进行权重训练，得到数据集；通过数据集进行在线位置估计，完成室内指纹定位。此外，triloc提出了一种新的天线布局，用于基于信道状态信息(csi)的wifi定位系统，可以显著减少大规模部署所需的校准工作。所提出的三角形天线布局可以在任何方向上实现80％的到达角(aoa)测量误差在9度以内，从而在不需要劳动密集型现场调查的情况下实现有希望的定位精度。locap是一个自动且准确的系统，用于估计接入点位置属性、天线布置和部署方向。它建立了反向定位的要求，以确保准确的接入点位置。locap利用校准过程来准确地估计接入点和用户位置的相对几何关系。校准过程包括在环境中不同位置测量wi-fi信号强度，并使用这些信息来估计接入点的位置属性。然而，locap需要一个耗时的相位校准过程，这在实际部署中是不切实际的。mapfi可以自动映射wifi基础设施，用于室内定位，无需劳动密集型现场调查。该系统提出了一种估计aoa和生成wifi地图的通用方法。

5、综上，现有技术存在对标定过程及人工操作的依赖、时间成本较高以及与真实家庭场景贴合度较低的技术问题。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有技术中对标定过程及人工操作的依赖、时间成本较高以及与真实家庭场景贴合度较低的技术问题。

2、本发明是采用以下技术方案解决上述技术问题的：基于视觉的wifi设备自动定位方法包括：

3、s1、对摄像头进行同步定位操作，建立基础地图资源，利用摄像头识别基础地图资源中的被识别目标位置，获取slam真实坐标以及图片坐标，处理得到图片坐标-真实坐标对，以转换得到slam空间内摄像机坐标，根据图片坐标-真实坐标对，求取同态转换矩阵h；

4、s2、进行wifi同步定位，对摄像机、被识别目标以及wifi设备，进行slam地图同步操作，在摄像头识别判定预设环境中有人运动时，采集当前时段的图片，通知wifi设备发收信号并上传csi数据、人体移动轨迹数据，识别并投影图中人体位置至预置真实坐标，对csi数据进行时频转换以及积分操作，得到反射路径长度plc，对csi数据进行噪声去除操作、突出动态信号操作，利用双曲线模型，根据反射路径长度plc、人体移动轨迹数据轨迹数据，wifi设备进行位置估计。

5、本发明以模型法为基础，结合居家常备的智能家居进行模型设计。具体地，本打磨采用扫地机器人和摄像头进行摄像头的位置同步；通过单目摄像头和wi-fi设备同时对人体移动进行监控；通过我们提出的双曲线模型，能够对wi-fi设备进行定位。整个设备部署方式符合智能家居的一般特征，具有实用性。本发明进行全自动化的基于视觉辅助的室内wi-fi地图构建，省去传统方法中的标定过程以及人工时间成本，同时其组织架构相比已有的方案更加符合真实的家庭场景，具有更多的实用价值。

6、在更具体的技术方案中，s1包括：

7、s11、根据真实坐标系-图片坐标对，利用opencv的findhomography函数，建立两个空间的同态变换矩阵h；

8、s12、求取两个空间的坐标系之间的平移矩阵tvec、旋转矩阵rvec，求取slam空间内摄像机坐标。

9、在更具体的技术方案中，s11中，同态变换矩阵h满足下述关系：

10、h×[xi,yi,1]t＝[xi,yi,1]t

11、式中，[xi,yi,1]t为扫地机器人在相机坐标系内的坐标，[xi,yi,1]t为真实坐标系下的坐标。

12、在更具体的技术方案中，s12中，将平移矩阵tvec、旋转矩阵rvec带入如下公式，求取slam空间内摄像机坐标：

13、

14、式中，rodrigues是将rvec从3×1的压缩矩阵还原成3×3的函数。至此，获取到的信息包括：摄像机在slam空间内的坐标、用于将图片坐标转化到真实坐标内的转换矩阵h。

15、在更具体的技术方案中，s2包括：

16、s21、对摄像机、被识别目标形成slam地图同步，进行wifi设备在slam地图中的同步操作；

17、s22、对摄像头、wifi设备，确定发收信号的协议信息；

18、s23、利用摄像头的识别预置环境中运动的人，采集当前时段的图片，触发wifi设备进行发收信号动作；

19、s24、在采集的图片的时间长度大于预置时间阈值时，触发各待定位的wifi设备上传csi数据、人体移动轨迹数据；

20、s25、摄像头在图片中识别人体位置，将人体位置投影到真实坐标内；

21、s26、对csi数据进行时频转换操作，获得多普勒频移；并将多普勒频移转换为多组链路对应的反射路径变化率plcr，对反射路径变化率plcr积分，获取反射路径长度plc；

22、s27、在反射路径长度plc与人体移动轨迹数据t的数据对数量大于预置阈值时，使用双曲线模型，对待定位的wifi设备进行位置估计。

23、在更具体的技术方案中，s26，时频变换包括：快速傅里叶变换fft、短时傅里叶变换stft。

24、本发明针对常见的家用设备，如扫地机器人、摄像头和商用wi-fi设备，进行全自动化的运行，不需要额外耗时的相位校准，从而促进了wi-fi传感在普通家庭环境中的部署。充分利用多模态数据的潜力，解决了分布式系统中信息聚合的挑战，并实现了各种技术之间的互补性。

25、在更具体的技术方案中，s26包括：

26、s261、采用天线间信号共轭乘方法，对csi数据进行噪声去除操作、突出动态信号操作，以得到两条链路所对应的反射路径变化率plcr的序列，序列积分得到反射路径长度plc：

27、

28、式中，hi(f,t)代表第i根天线在频率f和时刻t所观测到的信道状态信息，则代表第2根天线所观测到共轭csi。

29、s262、对反射路径长度plc和人体移动轨迹数据t进行插值处理，以通过同态变换，对人体移动轨迹数据t、反射路径长度plc进行对齐操作。

30、在更具体的技术方案中，s27包括：

31、s271、采用双曲线模型，在人体移动轨迹数据t上选择第一点pi和第二点pj，在反射路径长度plc中，找到第一点pi、第二点pj对应的plci和plcj并做差：

32、plci-plcj＝(‖txpi‖+‖rxpi‖)-(||txpj||+||rxpj||),

33、式中，tx为发射机坐标，rx为接收机坐标；

34、s272、根据发射机坐标tx和人体移动轨迹数据t，构建下述双曲线方程，据以确定wifi设备的位置。

35、在更具体的技术方案中，s272中，双曲线方程满足：

36、‖rxpi‖-||rxpj||＝(plci-‖txpi‖)-(plcj-||txpj||)

37、本发明通过进行全自动化的基于视觉辅助的室内wi-fi地图构建，能够适应环境变化，并且能够定位多个目标、区分用户身份。同时，本发明省去了相位校准过程，节省了人工成本，提高了系统部署效率，同时其组织架构相比已有的方案更加符合真实的家庭场景，具有更多的实用价值。

38、在更具体的技术方案中，基于视觉的wifi设备自动定位系统包括：

39、摄像头同步定位模块，用以对摄像头进行同步定位操作，建立基础地图资源，利用摄像头识别基础地图资源中的被识别目标位置，获取slam真实坐标以及图片坐标，处理得到图片坐标-真实坐标对，以转换得到slam空间内摄像机坐标，根据图片坐标-真实坐标对，求取同态转换矩阵h；

40、wifi同步定位模块，用以进行wifi同步定位，对摄像机、被识别目标以及wifi设备，进行slam地图同步操作，在摄像头识别判定预设环境中有人运动时，采集当前时段的图片，通知wifi设备发收信号并上传csi数据、人体移动轨迹数据，识别并投影图中人体位置至预置真实坐标，对csi数据进行时频转换以及积分操作，得到反射路径长度plc，对csi数据进行噪声去除操作、突出动态信号操作，利用双曲线模型，根据反射路径长度plc、人体移动轨迹数据轨迹数据，wifi设备进行位置估计，wifi同步定位模块与摄像头同步定位模块连接。

41、本发明相比现有技术具有以下优点：

42、本发明以模型法为基础，结合居家常备的智能家居进行模型设计。具体地，本打磨采用扫地机器人和摄像头进行摄像头的位置同步；通过单目摄像头和wi-fi设备同时对人体移动进行监控；通过我们提出的双曲线模型，能够对wi-fi设备进行定位。整个设备部署方式符合智能家居的一般特征，具有实用性。

43、本发明针对常见的家用设备，如扫地机器人、摄像头和商用wi-fi设备，进行全自动化的运行，不需要额外耗时的相位校准，从而促进了wi-fi传感在普通家庭环境中的部署。充分利用多模态数据的潜力，解决了分布式系统中信息聚合的挑战，并实现了各种技术之间的互补性。

44、本发明通过进行全自动化的基于视觉辅助的室内wi-fi地图构建，能够适应环境变化，并且能够定位多个目标、区分用户身份。同时，本发明省去了相位校准过程，节省了人工成本，提高了系统部署效率，同时其组织架构相比已有的方案更加符合真实的家庭场景，具有更多的实用价值。

45、本发明解决了现有技术中存在的对标定过程及人工操作的依赖、时间成本较高以及与真实家庭场景贴合度较低的技术问题。