一种车内遗留儿童检测方法及系统与流程

本发明涉及汽车安全防控，具体涉及一种车内遗留儿童检测方法及系统。

背景技术：

1、目前，由于家长疏忽而将儿童单独遗留在密闭车厢内导致的安全问题屡见不鲜，车辆暴露在阳光下使得车内温度迅速上升，车内儿童可能发生中暑昏迷甚至死于热射病，国内外于近些年也相继报道了类似事件中儿童的死亡案例。与车祸相比，儿童因车内中暑而死亡的案例较少，但此类完全可以避免的死亡事故值得特别关注。

2、euro-ncap是欧洲新车评估计划，旨在评估和比较车辆的安全性能，其中对儿童遗留检测(child presence detection，以下简称cpd)作出了规定，要求车辆cpd系统能够检测到车内儿童的存在，并向车主或第三方服务机构发出警报并在警报被忽略之后做出对应有效的干预措施。

3、现有技术中，如公告号为cn110576819a的中国专利，公开了一种预防、监控幼儿遗留车上发生危险的方法，其通过毫米波雷达检测生命体的心肺活动信息，实现遗留儿童的检测，但由于毫米波雷达接收端所收到的信号通常是多个目标物体信号反馈的叠加，包含车内的活物、车舱边缘及车辆内饰物体等，其中儿童的呼吸、心跳产生的信息并非反馈给雷达的主导，通过上述信息来直接判断是否为儿童，存在较高的误判、漏判风险；又比如公告号cn113978354a的中国专利，公开了一种车辆控制的方法、装置、设备及存储介质，其通过车内摄像头获取的图像判断车内是否存在儿童，然而在实际过程中，由于车内设施如座椅靠背、座椅头枕、扶手箱等对摄像头视线的干扰，尤其是对较小月龄的婴儿，通常还会加盖毛毯等覆盖物，使得依靠摄像头获取的图像不能准确判断，也存在较高的误判、漏判风险。因此，需要提供一种车内遗留儿童检测方法及系统，兼顾毫米波雷达与摄像头的优点。

技术实现思路

1、针对现有技术的不足，本发明提供一种车内遗留儿童检测方法及系统，以解决现有技术中存在较高的误判、漏判风险的问题。

2、为达到上述目的，本发明采用如下技术方案：一种车内遗留儿童检测方法，包括以下步骤：

3、s1：cpd系统的毫米波雷达发射出特定载波频率的毫米波，并获取所检测活物目标的散射点回波；

4、s2：根据散射点回波得到对应的多普勒频移，对收集到的微多普勒信号进行数据处理和分析，并提取出与活物目标运动相关的信息；

5、s3：根据提取的活物目标运动相关的信息，生成热效应图，判断车内是否存在乘员遗留；

6、s4：根据s3的判断结果，摄像头进行进一步判断；

7、s5：cpd系统的摄像头捕捉活物的视觉特征，使用openpose模型基于vgg-19卷积神经网络框架训练图像获取人体骨骼像素坐标点信息；

8、s6：依据人体骨骼像素坐标点信息得到人体肢体尺寸，通过人体肢体尺寸拟合出乘员的体积，从而完成乘员类别的判断；

9、s7：根据步骤s3和步骤s6的判断结果，cpd系统能发出报警信息。

10、本方案的有益效果为：在本方案中，通过毫米波雷达判断车内是否存在乘员遗留，再通过摄像头对乘员类别进行进一步判断，根据毫米波雷达和摄像头的共同判断结果，使得cpd系统发出报警信息，相比现有技术中，单独使用毫米波雷达或者摄像头作为cpd系统的直接检测设备，极大的减少了误报、漏报风险。具体的，通过奇异值分解的方式对雷达回波信号进行分解、筛选、过滤，从而得到所需对象的微多普勒信号，生成的热效应图，能够准确识别是否有乘员遗留；再结合摄像头获取的视觉特征，使用openpose模型基于vgg-19卷积神经网络框架训练图像获取人体骨骼像素坐标点信息，通过人体肢体尺寸拟合出乘员的体积从而完成车内乘客类别逻辑的判断。

11、进一步地，在步骤s1中，所述毫米波雷达发射出的载波频率为fc的波形sp1(t)以及雷达所检测的活物目标的散射点回波sp2(t)可以表示为：

12、sp1(t)＝exp(j2πfct)

13、

14、其中，ap表示在t时刻的回波信号幅度值，c为真空下的光速，rp(t)表示雷达与活物目标的距离差。

15、本方案的有益效果为：由于cpd系统主要是检测车内儿童，尤其是包含儿童处于儿童座椅内、且覆盖毛毯等场景，对传感器的穿透能力有较高的要求，因此选用毫米波雷达作为感应工具而非精度高但穿透性较弱的激光雷达，选用毫米波雷达来进行活物的识别，判断车内是否存在乘员遗留，其准确性更高。此外，毫米波雷达可以在车内隐蔽安装，不影响车辆内饰及外观，全天候工作，不受恶劣天气的影响。

16、进一步地，在步骤s2中，所述多普勒频移的计算过程如下：

17、其中，回波信号与发射信号的相位差为：

18、

19、对t时刻微分求导，从而得到该散射点对应的多普勒频移fd:

20、

21、本方案的有益效果为：毫米波雷达发出的电磁波利用回波成像来探测物体状态，若发射源与探测目标间存在相对运动，接收体接收到的来自发射源发射信息的频率与发射源发射信息的频率不同，当探测目标向发射源靠近时，反射信号频率将高于发射信号频率，反之亦然。通过人体周期性的运动特征，比如呼吸和心跳，产生的时频域微多普勒效应，生成热效应图来识别活物，仅用于判断车内是否存在乘员遗留，其准确性较高，相比于现有技术中直接利用上述呼吸和心跳等特征来判断乘员是成人还是儿童，减少了误报的风险。

22、进一步地，在步骤s5中，获取人体骨骼像素坐标点信息包括第一算法分支和第二算法分支，第一算法分支为骨骼点置信度训练，输出结果为人体骨骼点的坐标及置信度的集合，代表图像训练集中各骨骼点是人体骨骼关键点的概率，其中，第一算法分支的第一阶段会产生一组检测置信图：

23、s1＝ρ1(f)

24、第二算法分支为骨骼点亲合度训练，输出结果为骨骼点之间的契合度，第二算法分支的第一阶段会产生一组亲和向量：

25、

26、所述第一算法分支和第二算法分支经过多次迭代训练，利用损失函数计算损失值并对之前的网络结构进行反馈，后续的阶段会对前一阶段的置信度和契合度值进行迭代更新，如下列式子所示：

27、st＝ρt(f,st-1,lt-1)

28、

29、其中，st和lt分别代表经过t次迭代更新后得到的骨骼点置信度和契合度；f代表通过vgg19网络提取出来的视觉特征；ρ和为定义的函数符号，其上标t代表第t次迭代更新后获得的函数；

30、经过多次迭代，不断更新网络参数直至满足精确度的标准，从而获得最终的骨骼点置信度集合：

31、s＝(s1,s2,…,sj)

32、以及用于肢体连接的骨骼点契合度集合：

33、l＝(l1,l2,…,lc)

34、其中，s1,s2,…,sj代表置信度集合中的j个元素，l1,l2,…,lc代表契合度集合中的c个元素，骨骼点置信度集合和骨骼点契合度集合共同组成完整的人体骨骼像素坐标点信息。

35、本方案的有益效果为：基于上述人体骨骼像素坐标点信息的获取，一方面，多次迭代的算法能够保证最终获取信息的准确性，另一方面，能够对实际过程中，车内其他设施对摄像头视线的干扰，被遮挡的骨骼点能通过其他完整肢体的骨骼点推理获得。通过人体骨骼像素坐标点模拟出肢体尺寸及构造，能够较稳定地判断车内遗留乘员类型，避免了如人脸识别等现有的常规摄像头识别方式受遮挡影响较大的风险。采用openpose算法，其自下而上(bottom-up)的方式，即先检测人体肢体关键点，再将这些关键点对应到不同的肢体信息及对应的人体中，分别代表骨骼点置信度集合与骨骼点亲合度的集合，与现有的识别算法相比，其更能有效地进行单人和多人的识别和检测，满足现实车内场景的覆盖。

36、进一步地，在步骤s7中，cpd系统发出报警信息的判断逻辑为：

37、毫米波雷达检测出活物，摄像头判断为儿童，触发警报；

38、毫米波雷达检测出活物，摄像头判断为成人，不触发警报；

39、毫米波雷达检测出活物，摄像头判断不是儿童，触发警报；

40、毫米波雷达未检测出活物，摄像头判断为儿童，触发警报。

41、本方案的有益效果为：基于上述报警信息的逻辑判断，能够避免漏报和误报。

42、进一步地，所述报警信息分为三个阶段：初始警报、增强警报和强制干预；具体的：

43、初始警报：车辆锁车后10秒内检测出儿童遗留，则触发初始警报，响应方式为持续5秒的双闪和鸣笛，响应过程中cpd系统仍处于监测状态；

44、增强警报：初始警报触发后60秒内若仍检测出儿童遗留，则触发增强警报，响应方式为信号更为强烈的视觉、声觉警报以及移动设备app弹窗提示；增强警报的持续时间为10秒，且每隔1分钟循环一次直到20分钟；

45、强制干预：触发增强警报后若仍检测出儿童遗留车内，则触发强制干预措施，也是确保儿童安全的强制手段，响应方式为自动打开车内空调，调节车内温度至正常水平。

46、本方案的有益效果为：设置不同强度的报警信息，保证报警的有效性，并且能够在强制干预阶段，接管车机，通过开启空调等方式，保证遗留儿童的安全。

47、进一步地，一种车内遗留儿童检测系统，运用于上述任意一项所述的一种车内遗留儿童检测方法，在现有的车辆cpd系统基础上，使用毫米波雷达和摄像头作为车辆cpd系统的直接检测设备，所述毫米波雷达安装在车辆后顶棚中部，所述摄像头安装在车辆前顶棚中部。

48、本方案的有益效果为：通过采用毫米波雷达和摄像头作为车辆cpd系统的直接检测设备，使得车内遗留儿童检测系统能够根据上述方法进行检测，车辆后排顶棚中间位置安装的毫米波雷达可检测人体呼吸、心跳从而判断车内是否存在活物，位于车辆前部顶棚中央位置的摄像头可以捕捉乘员视觉特征，从而判断车内乘员类型，两者相结合共同实现车内儿童遗留检测的功能并且在确保儿童安全的前提下尽可能减少误报。

49、进一步地，所述车内遗留儿童检测系统能够通过基于euro-ncap法规的测试场景、其他测试场景和反向测试场景矩阵的测试验证。

50、本方案的有益效果为：系统通过设置的全部测试场景，既符合euro-ncap法规的要求，又超越该法规，全面覆盖各种场景，杜绝误报和漏报的情况发生。

51、进一步地，所述其他测试场景中儿童仍然被单独遗留在车内不同位置，包括儿童平躺在后排座椅上、儿童站或蹲在后排脚坑处、儿童站在后排车窗边。

52、本方案的有益效果为：系统通过设置的其他测试场景的测试，能够识别更多场景下儿童的真实情景，保证系统识别的全面性。

53、进一步地，所述反向测试场景中成人与儿童分别位于车内不同位置或成人抱着儿童位于车内不同位置，其中，对于成人与儿童位于车内不同位置的场景，具体的，若儿童位于二排左或右位置，则成人位于二排中；若儿童位于二排中，则成人位于副驾。

54、本方案的有益效果为：系统通过设置的反向测试场景的测试，能够避免儿童和成人同时停留在车内的误报警，避免引起乘员反感。