一种基于毫米波雷达的多目标跟踪与呼吸检测方法与装置

1.本发明涉及室内人员监控和医疗以及灾后救援等领域，特别是涉及一种基于毫米波雷达的多目标跟踪与呼吸检测方法与装置。


背景技术：

2.摄像头一直以来都是对室内人员监控的主要途径，但是视频监控的隐私保护问题为使用者带来了极大的不便，特别是在私密场合，如家庭或者公共浴室、卫生间以及医院病房等场景，有很大的限制。而毫米波雷达技术近年来飞速发展，使其在成本、体积上已与摄像头极为接近，而在性能上则具有独特的优势，不受环境因素影响，如天气、温度和光照，不需要通过成像解决了隐私顾虑，而超高的位置分辨率可以精确实现定位，可轻松检测到目标所在的位置。
3.呼吸是人体的基本生命体征信息参数之一，它的变化直接反映了人体的身体是否健康，在生物医学领域起着至关重要的作用。目前常用呼吸检测仪器主要是是通过与人体接触的传感器来获取人体呼吸信息，如呼吸监护仪等，这类接触式测量仪器非常不便捷，而且在很多条件下都不太能满足一些用户(如精神病人，传染病人)的要求。雷达在呼吸信号检测方面具有可以不与受试者直接接触，不受环境因素影响以及很强的穿透能力等优势，对医院以及家中老人等长期生理监测具有重要意义。
4.目前应用在生命信号检测领域的雷达体制如连续波(cw)雷达、超宽带(uwb)雷达分别存在如不能测量传播延迟时间，因而不能得到距离信息，频谱的利用效率不高，对采样率的要求高，故导致测量准确率不高等缺陷，fmcw毫米波雷达同时拥有cw雷达、uwb 雷达的优点，可以同时实现对目标的测距和测速，从而可以区分多个检测目标，并提取目标微动信息(如呼吸信息)，并且拥有较强的抗干扰能力。但fmcw雷达应用在生命信号检测领域的研究起步较晚，信号处理过程较为复杂，目前大多研究都对测试人员数目和位置有较大的限制要求，一般只能对处于指定位置(正对着距离毫米波雷达0.5m左右)的单个人员进行生命体征检测，基本没有将多目标检测和呼吸检测结合起来的研究，在该领域还有很大的发展前景。


技术实现要素：

5.本发明的目的在于针对现有技术的不足，提供一种基于毫米波雷达的多目标跟踪与呼吸检测方法与装置，提出一种完整的多目标跟踪与呼吸检测方法并最终集成在一套装置上，在端上同时具备实时检测多目标的数量、位置并对目标进行准确跟踪，在此过程中对各个目标的呼吸信息进行检测的功能。
6.本发明的目的是通过以下技术方案来实现的：
7.本发明一方面提供了一种基于毫米波雷达的多目标跟踪与呼吸检测方法，包括以下步骤：
8.s1、采集毫米波雷达信号，得到中频if信号；
9.s2、对中频if信号进行处理得到各检测点所对应的距离、角度以及相位信息；
10.s3、分别在距离域和角度域使用caso-cfar算法进行目标点的检测；
11.s4、使用多普勒傅里叶变换得到已检测到的目标点的速度信息：
12.s5、在初始时刻利用dbscan算法对点云信息进行聚类得到目标的数目、每个目标所对应的点云以及所在位置信息：
13.s6、通过聚类、数据关联和扩展卡尔曼滤波结合的多目标跟踪算法对目标进行跟踪以及轨迹管理；
14.s7、基于二次聚类与统计信息的目标相位信息提取算法提取各目标对应的相位信息；
15.s8、基于寻峰法以及离散短时变基快速傅里叶变换算法获取目标的呼吸信息。
16.进一步地，所述s2具体包括以下子步骤：
17.s201、对中频if信号进行距离傅里叶变换获取各检测点的距离信息：
18.s202、利用capon波束形成算法通过在capon谱上搜索谱峰估计出波达角得到各检测点的角度信息：
19.s203、通过反正切变化得到各检测点的相位信息。
20.进一步地，所述s4中，通过雷达发射间隔为tc的n个chirp，每个反射的chirp脉冲通过range-fft进行处理，将在同一位置出现不同相位的峰值，峰值处的相位差δφ与目标移动的位移δd满足δφ＝λ4πδd，λ为雷达信号的波长，由于δd＝vtc，可得到速度为： v＝λδφ/4πtc；对距离fft的结果在chirp维作dopplor-fft，得到距离-多普勒图，提取距离-多普勒图的峰值可得到目标的多普勒频率，即可求得速度。
21.进一步地，所述s5具体包括以下子步骤：
22.s501、设定两个参数：邻域半径eps以及成为类需要满足的最小点数min_samples；
23.s502、按顺序从已检测到的目标点中选取一个未标记的点ai，作为聚类中心，并初始化该类点数ci＝1；
24.s503、开始遍历步骤s502之后的其他未标记的点，若某个点到聚类中心的距离小于等于 eps，那么将其分配到该聚类中心对应的类中，将该类点数ci加1；
25.s504、针对该类别重新计算它的聚类中心c为该类中点的集合，即该类新的聚类中心为该类的所有样本的质心；
26.s505、重复步骤s503和s504，直到所有点遍历完后判断该类点的数目是否满足大于等于min_samples，若是则将该类中的点都标记为已聚类，将这些点云作为新的一类并将最后的聚类中心作为该类所对应的目标的中心；
27.s506、重复步骤s502至s505，直至遍历完所有已检测到的目标点，得到目标的数目、每个目标所对应的点云以及目标位置信息。
28.进一步地，所述s6中，通过聚类、数据关联和扩展卡尔曼滤波结合的多目标跟踪算法对目标进行跟踪，包括：
29.s601、若该时刻为起始时刻，将聚类所得的多个目标中心点作为轨迹的起点；若该时刻并非起始时刻，则对上一时刻所得各轨迹对应的预测点进行目标关联门限的确定，选取该时刻在各目标关联门限内的点作为量测点，与上一时刻所得的该轨迹的预测点利用数
据关联算法进行数据关联；
30.s602、根据数据关联的结果进行扩展卡尔曼滤波，实现对该时刻轨迹状态的更新，将更新后的状态作为该轨迹的跟踪值，并根据更新结果对目标下一时刻的状态进行预测；
31.s603、对未完成数据关联的点再进行聚类从而判断是否有新的目标出现，若有新的目标出现则根据聚类中心的相关信息更新轨迹。
32.进一步地，所述s6中，轨迹管理方法具体为：
33.每个目标对应的轨迹状态共有三种：检测中，关联中，未关联；
34.若聚类后该轨迹满足成为目标轨迹的条件，则将其状态置为检测中轨迹；若连续多帧都检测到有超过指定阈值的点能够关联到该检测中的目标轨迹，则该目标轨迹的状态更新为关联中；若检测中的目标轨迹出现没有任何一个点和这条轨迹关联则直接将其状态置为未关联状态；若经过连续多帧状态为关联中的某轨迹仍未匹配到量测点，则删除该轨迹；同时将检测中以及关联中的轨迹信息、所匹配的点云以及其位置和相位信息进行记录和存储。
35.进一步地，所述s7具体包括以下子步骤：
36.s701、根据每个目标所对应点云的位置信息进行二次聚类并且选取分布的中位区间所对应的点云从而求取对应目标的相位信息；
37.s702、分别对各个目标所对应的相位值进行预处理，包括：相位展开处理以获得实际相位值，计算相位差从而消除相位偏移。
38.进一步地，所述s8具体包括以下子步骤：
39.s801、使用iir带通滤波器获取各目标的呼吸波形；
40.s802、利用寻峰法以及离散短时变基快速傅里叶变换操作获取各目标的呼吸速率；
41.寻峰法获取呼吸速率的公式为：
[0042][0043]
其中δt为间隔时间，m为δt时间内的峰值数目，f
res
可以看作δt时间内的呼吸速率；
[0044]
离散短时变基快速傅里叶变换的公式为：
[0045][0046]
其中w是窗函数，x(k)是x(n)w的傅里叶变换，x(n)为时域序列，n为傅里叶变换的点数；
[0047]
使用混合基fft算法，即若n＝4q*2，q为正整数，傅里叶变换可被分解成log4n＝q个基为4的蝶形fft和最后一级的一个基为2的蝶形fft，在点数是4的整数次方的情况下，利用基为4的蝶形fft，而在点数是2的整数次方但不是4的整数次方的情况下使用混合基 fft，即最后一级使用基为2的蝶形fft，而前面都使用基为4的蝶形fft；
[0048]
对各目标的相位信息进行离散短时变基快速傅里叶变换后，频谱峰值所在位置对应目标的呼吸速率。
[0049]
本发明另一方面提供了一种基于毫米波雷达的多目标跟踪与呼吸检测装置，该装置包括雷达前端系统、dsp子系统和主子系统；
[0050]
所述雷达前端系统包括发射天线、接收天线、合成器、混频器以及adc模块，用于采集毫米波雷达信号，得到中频if信号；
[0051]
所述dsp子系统用于实现如权利要求1-8任一项所述方法中的步骤s2至s4，将检测到的目标点云以及其相关信息传到主子系统进行后续处理；
[0052]
所述主子系统用于实现如权利要求1-8任一项所述方法中的步骤s5至s8。
[0053]
进一步地，所述dsp子系统采用高性能c674x dsp，具有强大数据处理能力和高运行速度，在dsp子系统中可以并行地实时完成大量基本信号数据的处理；所述主子系统采用以 200mhz的频率计时的armcortex-r4f处理器。
[0054]
本发明的有益效果是：本发明提出的一种基于毫米波雷达的多目标跟踪与呼吸检测方法与装置，利用毫米波雷达可以对室内人员的数目，位置以及轨迹进行跟踪，不受环境因素影响，不需要通过成像，解决了隐私顾虑，而超高的位置分辨率可以精确实现定位和目标跟踪。除此之外，利用毫米波雷达非接触式地对目标进行呼吸检测，更为便捷，相比现有的非接触式检测技术，既调高了精度又可以根据检测到的不同目标的位置实现对多目标的呼吸检测。本发明设计并集成了一套基于毫米波雷达的多目标跟踪与呼吸检测系统，通过软件架构的设计和算法优化该系统最终全部集成在一套装置上，通过在端上可以完成对室内多人员数目，位置检测，跟踪以及呼吸检测等多项功能，既可满足监控需要又可满足呼吸检测需求。
附图说明
[0055]
图1是本发明方法的总体流程图；
[0056]
图2是原始dbscan算法与本发明提出的聚类算法效果比较图；
[0057]
图3是多目标跟踪算法部分流程图；
[0058]
图4是本发明提出的轨迹管理算法流程图；
[0059]
图5是相位与呼吸信息提取算法部分流程图；
[0060]
图6是雷达装置的总体系统结构图；
[0061]
图7是利用本发明提出的方法和装置对多个目标的跟踪情况图；
[0062]
图8和9是利用本发明提出的方法和装置对多个目标的呼吸检测情况图。
具体实施方式
[0063]
为了更好的理解本技术的技术方案，下面结合附图对本技术实施例进行详细描述。
[0064]
应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
[0065]
在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0066]
本发明实施例提供一种基于毫米波雷达的多目标跟踪与呼吸检测方法，如图1所示，具体实施步骤如下：
[0067]
s1、采集毫米波雷达信号；
[0068]
毫米波雷达发射和接收fmcw调频连续波，该电磁波特点是信号的频率随时间变化呈线性升高，通过对混频器处理完发射波形和接收波形后产生的中频if信号进行采集。其中：
[0069][0070][0071][0072]
x1为接收信号，x2为发射信号，xout即为中频if信号；ω1，分别为接收信号的频率和相位，ω2,分别为发射信号的频率和相位。
[0073]
s2、对采集得到的中频if信号进行相应的处理得到各检测点所对应的距离、角度以及相位信息；
[0074]
s201、对采集得到的中频if信号进行距离傅里叶变换获取各检测点的距离信息：
[0075]
d＝fc/2s
[0076]
其中f为中频if信号的频率，c为光速，s为毫米波雷达发出的fmcw调频连续波频率的变化率；
[0077]
s202、利用capon波束形成算法通过在capon谱上搜索谱峰估计出波达角得到各检测点的角度信息：
[0078]
当目标距离发生很小的变化时，会导致range-fft峰值处相位发生较大的变化，因此可利用目标与两个天线的距离差引起的相位变化估算波达角，通过在capon谱上搜索谱峰就可以估计出波达角；
[0079]
s203、通过反正切变化得到各检测点的相位信息；
[0080]
s3、分别在距离域和角度域使用caso-cfar算法进行目标点的检测；
[0081]
s4、使用多普勒傅里叶变换得到已检测到的目标点的速度信息：
[0082]
通过fmcw雷达发射间隔为tc的n个chirp，每个反射的chirp脉冲通过range-fft进行处理，将在同一位置出现不同相位的峰值。峰值处的相位差δφ与目标移动的位移δd有关，δφ＝λ4πδd，λ为雷达信号的波长，而又由于δd＝vtc，可得到速度为：v＝λδφ/4πtc。故对距离fft的结果在chirp维作dopplor-fft，得到距离-多普勒图。提取距离-多普勒图的峰值即可得到目标的多普勒频率，即可求得速度。
[0083]
s5、在初始时刻利用本发明新提出的改进快速dbscan算法对点云信息进行聚类得到目标的数目、每个目标所对应的点云以及所在位置等状态信息，该聚类算法融合了基于密度的 dbscan和基于划分的kmeans聚类算法的思路和优势，在本发明研究场景下具有较低的算法复杂度且具有更好的聚类结果，能够消除点云中人体局部活动部位(头部、手部等)或椅子微动误检产生的目标点，有助于提高多目标跟踪算法中的目标位置的准确性以及呼吸检测中的相位获取精度；具体包括以下子步骤：
[0084]
s501、首先设定两个参数：邻域半径eps以及成为类需要满足的最小点数min_samples；
[0085]
s502、按顺序从已检测到的目标点中选取一个未标记的点ai，作为聚类中心，并初始化该类点数ci＝1；
[0086]
s503、开始遍历步骤s502之后的其他未标记的点，若某个点到聚类中心的距离小于等于 eps，那么将其分配到该聚类中心对应的类中，将该类点数ci加1；
[0087]
s504、针对该类别重新计算它的聚类中心c为该类中点的集合，即该类新的聚类中心为该类的所有样本的质心；
[0088]
s505、重复步骤s503和s504，直到所有点遍历完后判断该类点的数目是否满足大于等于min_samples，若是则将该类中的点都标记为已聚类，将这些点云作为新的一类并将最后的聚类中心作为该类所对应的目标的中心；
[0089]
s506、重复步骤s502至s505，直至遍历完所有已检测到的目标点，得到目标的数目、每个目标所对应的点云以及目标位置等状态信息。
[0090]
图2是对一定时间内两个目标检测所得点云进行聚类的结果，左图是利用原始dbscan 算法获得聚类效果，右图是利用本发明提出的改进快速dbscan算法处理获得的聚类结果，可发现聚类效果较原始算法有较好的提升，一些可能是由于手部等局部运动或者椅子等误检的相对离散的点云得到了较好的筛除，完成聚类的都是对应目标主体的密度较高的集中点云。
[0091]
s6、通过聚类、数据关联和扩展卡尔曼滤波结合的多目标跟踪算法对目标进行跟踪，利用本发明设计的轨迹管理方案对轨迹进行管理并匹配各目标对应点云以及点的相位等信息，该部分算法的主要流程如图3所示；具体包括以下子步骤：
[0092]
s601、若该时刻为起始时刻，将聚类所得的多个目标中心点作为轨迹的起点；若该时刻并非起始时刻，则对上一时刻所得各轨迹对应的预测点进行目标关联门限的确定，选取该时刻在各目标关联门限内的点作为量测点，与上一时刻所得的该轨迹的预测点利用数据关联算法进行数据关联；数据关联算法可采用jpda算法；
[0093]
s602、根据数据关联的结果进行扩展卡尔曼滤波，实现对该时刻轨迹状态的更新，将更新后的状态作为该轨迹的跟踪值，并根据更新结果对目标下一时刻的状态进行预测；
[0094]
s603、对未完成数据关联的点再进行聚类从而判断是否有新的目标出现，若有新的目标出现则根据聚类中心的相关信息更新轨迹；
[0095]
s604、利用本发明提出的轨迹管理方案对轨迹进行管理，通过该套轨迹管理方案可以较好地完成轨迹的管理和匹配，并较好地排除临时出现的噪声点被误认为新的目标轨迹以及目标被短时间遮挡又重新出现的情况。本发明提出的轨迹管理算法流程如图4所示，每个目标对应的轨迹状态共有三种：检测中，关联中，未关联。若聚类后该轨迹满足成为目标轨迹的条件，则将其状态置为检测中轨迹；若连续多帧都检测到有超过指定阈值的点能够关联到该检测中的目标轨迹，则该目标轨迹的状态更新为关联中；若检测中的目标轨迹出现没有任何一个点和这条轨迹关联则直接将其状态置为未关联状态；若经过连续多帧状态为关联中的某轨迹仍未匹配到量测点，则删除该轨迹；同时将检测中以及关联中的轨迹信息、所匹配的点云以及其位置和相位等信息进行记录和存储，供之后多目标跟踪以及相位与呼吸信息提取流程使用。
[0096]
s7、相位与呼吸信息提取算法部分总体的流程如图5所示。利用本发明新提出的一
种基于二次聚类与统计信息的目标相位信息提取算法提取各目标对应的相位信息；具体包括以下子步骤：
[0097]
s701、通过对每个目标聚类或者数据关联得到的点云再进行更为严格的聚类筛选，让一些整体来说密度较低的点云被筛除，也就是大概率对应手头部等局部运动带来的点云信息能够尽量通过二次聚类排除，最终获得的点云尽量大多数是分布在胸腔的点云，根据每个目标所对应点云的位置信息进行二次聚类并且选取分布的中位区间所对应的点云从而求取对应目标的相位信息；
[0098]
s702、分别对上述各个目标所对应的相位值进行预处理，主要包括：相位展开处理以获得实际相位值，计算相位差从而消除相位偏移；
[0099]
s8、利用基于寻峰法以及本发明提出的离散短时变基快速傅里叶变换等算法的呼吸提取方案，获取目标的呼吸信息；具体包括以下子步骤：
[0100]
s801、使用iir带通滤波器(0.2hz-0.5hz)获取各目标的呼吸波形；
[0101]
s802、利用寻峰法以及本发明提出的离散短时变基快速傅里叶变换等操作获取各目标的呼吸速率。寻峰法获取呼吸速率的主要原理为：
[0102][0103]
其中，δt为间隔时间，m为δt时间内的峰值数目，而f
res
可以看作δt时间内的呼吸速率。
[0104]
本发明提出的离散短时变基快速傅里叶变换主要基于离散短时傅里叶变换：
[0105][0106]
其中，w是窗函数，x(k)是x(n)w的傅里叶变换，x(n)为时域序列，n为傅里叶变换的点数。
[0107]
为了提高运行效率并减小存储空间，在本发明实际使用中，也是设计了一种混合基fft 算法，即若n＝4q*2，q为正整数，傅里叶变换可被分解成log4n＝q个基为4的蝶形fft和最后一级的一个基为2的蝶形fft，在点数是4的整数次方的情况下，利用基为4的蝶形fft，而在点数是2的整数次方但不是4的整数次方的情况下使用混合基fft，即最后一级使用基为2的蝶形fft，而前面都使用基为4的蝶形fft，从而最大限度地减少时间复杂度，提高效率。
[0108]
对各目标的相位信息进行离散短时变基快速傅里叶变换后，频谱峰值所在位置对应目标的呼吸速率。
[0109]
最终设计并集成了一套基于毫米波雷达的多目标跟踪与呼吸检测系统，通过软件架构的设计和算法优化最终将该套方法集成到一套基于毫米波雷达的多目标跟踪与呼吸检测装置上，该装置的总体系统结构图如图6所示，主要由三大模块组成：雷达前端系统，dsp子系统，主子系统。
[0110]
雷达前端系统主要包括2根发射天线，4根接收天线，合成器，混频器以及adc模块等。
[0111]
dsp子系统包括高性能c674x dsp，它具有强大数据处理能力和高运行速度，在dsp
子系统中可以并行地实时完成大量基本信号数据的处理，包括进行fft以及caponbf等操作获取相关的距离和角度信息，利用多普勒傅里叶变换以及反正切变换获取每个检测点的速度和相位信息，并在此基础上完成目标点云的检测，即主要对应前述基于毫米波雷达的多目标跟踪与呼吸检测方法中的步骤s2至s4。此时数据量得到大幅减少，故将检测到的目标点云以及其相关信息通过mailbox传到主子系统进行后续处理。
[0112]
主子系统包含一个以200mhz的频率计时的armcortex-r4f处理器，该部分主要包括和多目标追踪相关、对相位信息进行特殊处理以及呼吸信息提取等相对高级部分的算法。通过该套装置在端上能够实时检测目标的数量、位置并对目标进行准确跟踪，并在此过程中对各个目标的呼吸信息进行检测，即主要对应前述基于毫米波雷达的多目标跟踪与呼吸检测方法中的步骤s5至s8。
[0113]
利用集成了本发明所提出算法的装置对室内多个目标进行跟踪与呼吸检测，两个目标的跟踪情况如图7所示，可以精确地对两个目标完成跟踪。获得两个目标的呼吸波形与频谱情况如图8和9所示，可以获得各目标较好的波形并且频谱中有非常明显的谱峰，可以轻松求得到两个目标的呼吸速率分别为21bpm以及24bpm。
[0114]
以上所述，仅为本发明的具体实施方式，但本发明的实施方式并不受限于此，其他任何未背离本发明精神实质与原理的改变、修饰等置换方式，均在本发明的保护范围之内，具体以权利要求的保护范围为准。