一种车内遗漏人员检测方法、装置、车辆和存储介质与流程

1.本发明涉及车辆技术领域，特别是涉及一种车内遗漏人员检测方法、一种车内遗漏人员检测装置、一种车辆和一种存储介质。


背景技术：

2.当家长带儿童出门时候，由于疏忽可能会把儿童遗漏在车内，由于儿童打开车门的能力有限，在密闭的车厢内很容易发生危险，尤其是夏天的时候遗漏在车内的儿童会有生命危险。
3.近年来，类似的幼童遗忘车内致死事件屡有发生。对35起儿童被遗忘车内造成的事故的分析发现，此类事故主要发生在5月-7月，占比80％，可能与夏季高温阳光暴晒车辆关系密切。绝大多数儿童年龄分布在3-5岁，占统计事故案例 81％，可能因为这一年龄段的儿童没有自我保护意识和自救能力，又不像更小年龄的婴幼儿会引起家长和校方全时段关注。而目前针对车内遗漏人员的检测会存在较高的误判率，导致使用期间经常误报。


技术实现要素：

4.鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种车内遗漏人员检测方法、一种车内遗漏人员检测装置、一种车辆和一种存储介质。
5.本发明实施例公开了一种车内遗漏人员检测方法，应用于车载终端，所述车载终端与采集组件、检测组件连接，所述方法包括：
6.在车辆的门窗锁止封闭时，接收所述采集组件发送的多媒体信息；所述多媒体信息包含图像信息和第一语音信息中的至少一种；
7.识别所述多媒体信息是否包含生物特征信息；
8.当所述多媒体信息包含生物特征信息时，接收所述检测组件发送的生物检测信息；
9.判断所述生物检测信息是否包含成人特征；
10.当所述生物特征信息不包含成人特征时，发出报警信息。
11.可选地，所述采集组件为视觉传感器，所述多媒体信息为图像信息；所述识别所述多媒体信息是否包含生物特征信息的步骤包括：
12.将所述图像信息转换为像素信息；
13.判断所述像素信息是否包含人脸特征；
14.若是，确定所述多媒体信息包含所述生物特征信息；
15.若否，确定所述多媒体信息不包含所述生物特征信息。
16.可选地，所述采集组件为第一麦克风，所述多媒体信息为第一语音信息；所述识别所述多媒体信息是否包含生物特征信息的步骤包括：
17.基于预设频率对所述第一语音信息进行滤波处理，生成音频数据；
18.判断所述音频数据是否为空；
19.若所述音频数据为空，确定所述多媒体信息不包含所述生物特征信息；
20.若所述音频数据不为空，确定所述多媒体信息包含所述生物特征信息。
21.可选地，所述检测组件为重力传感器，所述生物检测信息包括至少一组重力数据；所述判断所述生物检测信息是否包含成人特征的步骤包括：
22.逐一判断所述重力数据是否处于预设重力阈值范围；
23.若存在至少一组重力数据不处于所述预设重力阈值范围，确定所述生物检测信息包含所述成人特征；
24.若所述重力数据处于所述预设重力阈值范围，确定所述生物检测信息不包含所述成人特征。
25.可选地，所述检测组件为第二麦克风，所述生物检测信息包括第二语音信息；所述车载终端上部署有迁移学习模型；所述判断所述生物检测信息是否包含成人特征的步骤包括：
26.基于所述第二语音信息分离出声源数据；
27.将所述声源数据输入所述迁移学习模型，所述迁移学习模型用于根据输入的声源数据，输出声源类型信息，其中所述声源类型信息包括儿童声源，和/或，成人声源；
28.若所述声源类型信息只包括所述儿童声纹，确定所述生物检测信息不包含所述成人特征；
29.若所述声源类型信息包括所述成人声纹，确定所述生物检测信息包含所述成人特征。
30.可选地，所述基于所述第二语音信息分离出声源数据的步骤包括：
31.将所述第二语音信息转换为矩阵数据；
32.对所述矩阵数据进行奇异值分解，生成声源数据。
33.可选地，所述检测组件为热量检测传感器，所述生物检测信息包括热量数据；所述判断所述生物检测信息是否包含成人特征的步骤包括：
34.将所述热量数据转换为热力图，所述热力图中存在预设热量值对应的分布范围；
35.当所述分布范围大于或等于预设阈值范围时，确定所述生物检测信息包含所述成人特征；
36.当所述分布范围小于所述预设阈值范围时，确定所述生物检测信息不包含所述成人特征。
37.本发明实施例还公开了一种车内遗漏人员检测装置，应用于车载终端，所述车载终端与采集组件、检测组件连接，所述装置包括：
38.第一接收模块，用于在车辆的门窗锁止封闭时，接收所述采集组件发送的多媒体信息；所述多媒体信息包含图像信息和第一语音信息中的至少一种；
39.识别模块，用于识别所述多媒体信息是否包含生物特征信息；
40.第二接收模块，用于当所述多媒体信息包含生物特征信息时，接收所述检测组件发送的生物检测信息；
41.判断模块，用于判断所述生物检测信息是否包含成人特征；
42.报警模块，用于当所述生物特征信息不包含成人特征时，发出报警信息。
43.本发明实施例还公开了一种车辆，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的车内遗漏人员检测方法的步骤。
44.本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的车内遗漏人员检测方法的步骤。
45.本发明实施例包括以下优点：
46.本发明实施例通过在车辆的门窗锁止封闭时，接收所述采集组件发送的多媒体信息；所述多媒体信息包含图像信息和第一语音信息中的至少一种；可以在车辆门窗锁止时就开始接收采集组件发送的多媒体信息对是否遗漏人员进行检测，提高检测的时效性；识别所述多媒体信息是否包含生物特征信息；通过对多媒体信息初步识别是否存在人员，可以快速初步确认，提高检测的效率；当所述多媒体信息包含生物特征信息时，接收所述检测组件发送的生物检测信息；确认存在人员时，可以进一步接收复核需要的生物检测信息，进行深度确认；判断所述生物检测信息是否包含成人特征；确认是否存在成人，而成人在车内时并不会造成危险，可以避免误报的情况，降低误报率；当所述生物特征信息不包含成人特征时，发出报警信息。当不存在成人时，说明只有儿童遗漏在车内，需要向外界发出报警信息以得到及时的救援。
附图说明
47.图1是本发明的一种车内遗漏人员检测方法实施例一的步骤流程图；
48.图2是本发明的一种车内遗漏人员检测方法实施例二的步骤流程图；
49.图3是本发明的一种车内遗漏人员检测方法示例一的流程图；
50.图4是本发明的一种车内遗漏人员检测方法实施例三的步骤流程图；
51.图5是本发明的一种车内遗漏人员检测方法示例二的流程图；
52.图6是本发明的一种车内遗漏人员检测方法实施例四的步骤流程图；
53.图7是本发明的一种车内遗漏人员检测方法示例三的流程图；
54.图8是本发明的一种车内遗漏人员检测装置实施例的结构框图；
55.图9是本发明实施例提供的一种车辆的结构框图；
56.图10是本发明实施例提供的一种存储介质的结构框图。
具体实施方式
57.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
58.参照图1，示出了本发明的一种车内遗漏人员检测方法实施例一的步骤流程图，所述方法应用于车载终端，所述车载终端与采集组件、检测组件连接，所述方法具体可以包括如下步骤：
59.步骤101，在车辆的门窗锁止封闭时，接收所述采集组件发送的多媒体信息；所述多媒体信息包含图像信息和第一语音信息中的至少一种；
60.车载终端可以在接收针对车辆门窗进行上锁的控制指令后，对车辆的门窗锁止封
闭；在此时，可以通过与采集组件之间建立的数据传输链路接收采集组件发送的多媒体信息；其中，采集组件与车载终端之间可以是有线连接，也可以是无线连接；对应的数据传输链路可以是指有线数据传输链路或无线数据传输链路；本发明实施例对此不作具体限定。
61.在实际应用中，采集组件可以针对车内的环境采集包含图像信息和第一语音信息中的至少一种的多媒体信息。需要说明的是，第一语音信息是指采集组件针对车内环境中的声音进行采集得到的语音信息。
62.步骤102，识别所述多媒体信息是否包含生物特征信息；
63.在收到多媒体信息后，可以根据多媒体信息确定当前车内的情况，具体地，识别多媒体信息是否包含生物特征信息，以确定当前车内是否存在生物。其中，生物特征信息可以是人的生理特征信息，如人脸、人声等。
64.步骤103，当所述多媒体信息包含生物特征信息时，接收所述检测组件发送的生物检测信息；
65.当通过在多媒体信息中确定包含生物特征信息时，即代表此时车内是有人的，但是有人并不能代表就只能是儿童。因此，可以接收监测组件发送的生物检测信息，通过生物检测信息进行复核。
66.步骤104，判断所述生物检测信息是否包含成人特征；
67.在实际应用中，可以针对生物检测信息进行判断，确定其是否包含成人特征；当其包含成人特征说明车内的人员是有成人，是具有足够的能力自由地从车内打开车辆的门窗，即使滞留在车内并不会发生危险。而其不包含成人特征说明车内的人员是并没有成人，是有儿童遗漏在车内的这种情况时危险的。
68.步骤105，当所述生物特征信息不包含成人特征时，发出报警信息。
69.当确定生物特征信息是不含包成人特征时，是儿童单独的留在车内，为了避免危险的发生，按照预设的报警方式发出报警信息；预设的报警方式可以是如向指定设备发出求救信息或者提示信息，通过指定设备告知设备的使用者有儿童独自遗漏在车内。在本发明的一示例中，车载终端可以与车主或多个相关家庭成员的手机或其他移动设备(可穿戴智能手环等)进行注册绑定才可以使用，发出报警信息时是向车主或多个相关家庭成员的手机或其他移动设备发送信息。还可以是直接持续地向车外发出喇叭声，以吸引路人注意到车内存在儿童。
70.本发明实施例通过在车辆的门窗锁止封闭时，接收所述采集组件发送的多媒体信息；所述多媒体信息包含图像信息和第一语音信息中的至少一种；可以在车辆门窗锁止时就开始接收采集组件发送的多媒体信息对是否遗漏人员进行检测，提高检测的时效性；识别所述多媒体信息是否包含生物特征信息；通过对多媒体信息初步识别是否存在人员，可以快速初步确认，提高检测的效率；当所述多媒体信息包含生物特征信息时，接收所述检测组件发送的生物检测信息；确认存在人员时，可以进一步接收复核需要的生物检测信息，进行深度确认；判断所述生物检测信息是否包含成人特征；确认是否存在成人，而成人在车内时并不会造成危险，可以避免误报的情况，降低误报率；当所述生物特征信息不包含成人特征时，发出报警信息。当不存在成人时，说明只有儿童遗漏在车内，需要向外界发出报警信息以得到及时的救援。
71.参照图2，示出了本发明的一种车内遗漏人员检测方法实施例二的步骤流程图，所
述方法应用于车载终端，所述车载终端与采集组件、检测组件连接。
72.需要说明的是，车载终端是指具有控制车辆零部件实现指定操作功能的车辆控制器，如ecu(electronic control unit，电子控制单元)。采集组件和检测组件则可以通过车内的can(controller area network，控制器局域网络)或lin(local interconnect network，局域互联网络)与车载终端连接。
73.在实际应用中，所述采集组件可以为视觉传感器，视觉传感器用于采集车内的图像；对于视觉传感器的安装位置可以是在车辆的中控台，车内后视镜、车顶对应的内饰部分等可以采集到车内各个座椅图像的位置，本发明实施例对此不作具体限定。
74.检测组件可以为重力传感器，对于重力传感器则可以安装在车辆的每个座椅中，并且，若是在座椅的基础上还安装了儿童座椅，还可以为儿童座椅配置一个重力传感器安装在儿童座椅下方。而重力传感器以及视觉传感器则可以复用车内已经的，无需额外增加零部件，使得本发明实施例的车内遗漏人员检测方法可以在现有的车辆上实现，且无需增加额外的硬件成本。
75.所述方法具体可以包括如下步骤：
76.步骤201，在车辆的门窗锁止封闭时，接收所述采集组件发送的多媒体信息；所述多媒体信息为图像信息；
77.在车辆的发动机处于熄火状态且车辆的驾驶位置上无人存在时，车辆的门窗会自动的上锁。在车辆的门窗锁止封闭时，可以接收采集组件发送的多媒体数据，具体地，是接收视觉传感器发送的图像信息；所述图像信息包括针对车内全部座椅所在位置的图像，可以是一张车内全部座椅的全景图像，也可以是多张不同的单个或部分座椅图像；本发明实施例对此不作具体限定。
78.步骤202，识别所述多媒体信息是否包含生物特征信息；
79.在得到图像信息作为多媒体信息后，可以对多媒体信息进行识别，判断图像信息中是否包括生物特征信息。
80.具体地，所述识别所述多媒体信息是否包含生物特征信息的步骤可以包括：
81.子步骤s2021，将所述图像信息转换为像素信息；
82.在得到图像信息后，可以针对图像中每一个像素通过输入rgb(red green blue，三原色)通道将转换为矩阵数据作为像素信息。
83.子步骤s2022，判断所述像素信息是否包含人脸特征；
84.转换为像素信息后，可以根据像素信息与人脸特征对应的矩阵数据进行比对，判断像素信息中rgb矩阵中是否包含人脸特征对应的矩阵数据，即确定视觉传感器采集的车内图像之中是否有包括人脸。需要说明的是，当采集到的图像信息中是包括多幅图像时，逐一针对每一幅图像都进行判断，只要其中一幅图像包含人脸特征，即可确认包含人脸特征。
85.子步骤s2023，若是，确定所述多媒体信息包含所述生物特征信息；
86.若像素信息中包含人脸特征，即视觉传感器是采集到包含了人脸的图像，可以确定多媒体信息包含生物特征信息，即确定车内当前是存在人员的。
87.子步骤s2024，若否，确定所述多媒体信息不包含所述生物特征信息。
88.若像素信息中不包含人脸特征，即视觉传感器是采集到的图像并没有人脸，可以确定多媒体信息不包含生物特征信息，即确定车内当前是并不存在人员；车载终端则可以
下电。
89.步骤203，当所述多媒体信息包含生物特征信息时，接收所述检测组件发送的生物检测信息；所述生物检测信息包括至少一组重力数据；
90.当确认多媒体信息中包含生物特征信息，确认了车内存在人员，需要进行复核验证车内的人员组成，此时可以接收检测组件发送的生物检测信息。具体地，检测组件为重力传感器时，生物检测信息包括至少一组重力数据。
91.步骤204，判断所述生物检测信息是否包含成人特征；
92.针对生物检测信息检测是否包含成人特征，从而确定车内人员之中是否包括成人，由于成人具备适时打开车辆门窗的能力，短暂的门窗锁止封闭并不会造成生命危险。
93.在本发明的一可选实施例中，所述判断所述生物检测信息是否包含成人特征的步骤包括：
94.子步骤s2041，逐一判断所述重力数据是否处于预设重力阈值范围；
95.由于车辆包括多个座位，因此针对每个座位对应的座椅上重力传感器检测到的重力数据进行判断，逐一地判断重力数据是否处于预设重力阈值范围内；以预设重力阈值范围表征儿童存在的特征。对于预设重力阈值范围可以基于儿童的体重所确定；如由于遗漏儿童事件常发生于3-5岁儿童，可以将预设重力阈值范围设立为5岁儿童体重对应的数值之下来，此外还可以在体重的基础上增加一定数值，保证检测的准确性。具体地，如5岁儿童的体重为12.93-27.8千克；可以在此基础上增加10千克，将预设重力阈值范围设置为37.8千克以下。
96.对于判断是否在预设重力阈值范围的方式，可以采用作差法，数轴法等，本发明实施例对此不作进一步限定。
97.子步骤s2042，若存在至少一组重力数据不处于所述预设重力阈值范围，确定所述生物检测信息包含所述成人特征；
98.逐一判断重力数据中是否有一组重力数据不处于预设重力阈值范围，即检测到的人员体重是重于儿童的体重，可以确定出生物检测信息包含成人特征，车内的人员是有至少一名成人的。
99.在具体应用中，在逐一判断的过程中，只要检测出有重力数据不处于预设重力阈值范围即可，确定生物检测信息包含成人特征；无需判断剩余的重力数据，减少数据处理的时间，提高检测的时效性。
100.子步骤s2043，若所述重力数据处于所述预设重力阈值范围，确定所述生物检测信息不包含所述成人特征。
101.在逐一判断的过程中，全部的重力数据都是处于预设重力阈值范围，即目前车内的人员都是儿童并没有成人；确定生物检测信息中并不包含成人特征。
102.步骤205，当所述生物特征信息不包含成人特征时，发出报警信息。
103.当生物特征信息不包含成人特征，车内存在的人员都是儿童是危险的情况；因此可以向外发出报警信息。对于发出报警信息可以是通过车载终端向驾驶员的手机应用程序或者手环提示驾驶员车内有儿童，可以直接给驾驶员打电话告知；对于车辆的本身则可以开启警报装置，发出语音警报。
104.在实际应用中，可能是真正存在临时锁车，在检测到车内只有儿童时，可以开始计
时和检测车内的温度和二氧化碳，在计时的时间超过安全时间前，暂时不发出警告；在车内的温度、二氧化碳会对儿童造成伤害的情况时，在发出警报信息，并且打开车辆的天窗对车内进行换气，保证儿童的安全；且向驾驶员发出警报信息时，驾驶员也可以通过手机应用程序或者手环等向车载终端发出门窗的控制指令，车载终端对车辆上指定的门窗进行操作。而在计时结束前都收不到驾驶员的反馈，则车载终端可以直接控制打开车门，保证车内儿童的安全。
105.本发明实施例通过采用视觉传感器采集车内的图像信息，判断图像是否包括人脸特征确定是否存在人员，并且结合重力传感器的重力数据进一步判断车内的人员是不是具有成人，在没有成人时再向外界发出警报信息。可以有效防止车内存在儿童的长时间遗漏的现象发生，提高了安全性；而采集组件以及检测组件复用车内已有从零部件，可以在不增加成本的前提下实现检测；提高实用性以及降低实现成本。并且通过初步检测再进行人员组成的检测，在至存在儿童时才发出警报信息，降低误报率。
106.为了使本领域技术人员能够更好地理解本发明实施例，下面通过一个例子对本发明实施例加以说明：
107.参照图3，示出了本发明的一种车内遗漏人员检测方法示例一的流程图。
108.1、在汽车驾驶员熄火车门关闭时，首先通过对视觉传感器的多媒体信息进行判断是否存在生物特征信息来检测车内是否存在有人，有人时驾驶员可能还没下车，可以在中控屏上提醒驾驶员离开时注意遗漏儿童。
109.2、通过重力传感器的生物检测信息确定车内是否只要儿童；是则通过手机app或者手环提示驾驶员，否则结束探测操作。
110.3、计时器开始计时，同时开始进行车辆内温度和二氧化碳浓度的检测，当未达到预设时间，但车辆内温度高于预设温度或二氧化碳浓度高于预设浓度，此时若车辆仍处于关门状态，则控制降温换气装置(车辆天窗)开启。同时开启汽车的警报装置和给驾驶员打电话。
111.4、当预设时间到达后，汽车处于关门状态则开启车门。
112.5、车内儿童出来后再关闭车门。
113.参照图4，示出了本发明的一种车内遗漏人员检测方法实施例三的步骤流程图，所述方法应用于车载终端，所述车载终端与采集组件、检测组件连接。其中，检测组件为热量检测传感器。所述热量检测传感器可以安装在车辆的空调出风口处。
114.步骤401，在车辆的门窗锁止封闭时，接收所述采集组件发送的多媒体信息；所述多媒体信息包含图像信息和第一语音信息中的至少一种；
115.在具体实现中，可以在车辆门窗锁止封闭时，车载终端通过车内的can 总线接收采集组件发送的多媒体信息；其中，采集组件根据车内安装的已有的传感器所确定；可以为视觉传感器和/或麦克风；对应的多媒体信息包含图像信息和第一语音信息中的至少一种。需要说明的是，第一语音信息即为车辆的门窗锁止封闭时采集的语音信息。
116.此外，为了避免临时门窗锁止封闭或者误操作导致的门窗锁闭引起后续的误报；还可以是在门窗锁止封闭后，先获取车内的温度信息，当车内温度超过人体舒适温度时，接收多媒体信息进行检测，以进一步地降低误报率。
117.步骤402，识别所述多媒体信息是否包含生物特征信息；
118.识别多媒体信息中包含的内容，确定其中是否包含生物特征信息，以确定车辆门窗锁闭后，车内是否存在人员。
119.步骤403，当所述多媒体信息包含生物特征信息时，接收所述检测组件发送的生物检测信息；所述生物检测信息包括热量数据；
120.当在多媒体信息中包含生物特征信息，确定车内存在人员时，可以接收检测组件发送的检测信息。具体地，检测组件为热量检测传感器时，生物检测信息中则包括热量数据。其中，热量数据是针对车内存在的人员进行热量检测生成。
121.步骤404，判断所述生物检测信息是否包含成人特征；
122.车载终端可以对热量检测传感器的热量数据进行判断，其是否包含成人特征。
123.具体地，所述判断所述生物检测信息是否包含成人特征的步骤包括：
124.子步骤s4041，将所述热量数据转换为热力图，所述热力图中存在预设热量值对应的分布范围；
125.可以将热量数据按照车内环境进行映射，生成与车内环境相关的热力图；其中，热力图中存在着与人体相关的预设热量值对应的分布范围，即所述预设热量值为人体在自然环境中的热量值。
126.子步骤s4042，当所述分布范围大于或等于预设阈值范围时，确定所述生物检测信息包含所述成人特征；
127.将其转换为热力图后，当预设热量值对应的分布范围大于或等于预设阈值范围时，说明当前人员的体型是成人体型，可以确定生物检测信息包含成人特征。其中，预设阈值范围可以根据成人体型对应在热力图中所占的范围进行确定，具体数值本发明实施例不作限定。
128.子步骤s4043，当所述分布范围小于所述预设阈值范围时，确定所述生物检测信息不包含所述成人特征。
129.当预设热量值对应的分布范围小于预设阈值范围时，说明当前人员的体型并未达到成人体型，当前人员是儿童。因此，可以确定生物检测信息不包含成人特征，是儿童遗漏在车内。
130.步骤405，当所述生物特征信息不包含成人特征时，发出报警信息。
131.当确定生物特征信息不包含成人特征时，可以马上发出报警信息，如通过扩音器播放提示语音“请注意车内儿童”等类似的提示语音，达到及时警示的目的。
132.本发明实施例通过在车内检测是否存在人员，并在确定存在人员时，通过热量检测传感器检测的热量数据确定是否存在成人特征，从而确定车内人员中是否包括成人，在无成人时再发出语音警报；可以更加准确地确定车内遗漏人员是否只有儿童后在进行报警，减少误报的发生，且能发出报警信息，提醒关注车内的儿童，确保遗漏在车内儿童的生命安全。
133.为了使本领域技术人员能够更好地理解本发明实施例，下面通过一个例子对本发明实施例加以说明：
134.参照图5，示出了本发明的一种车内遗漏人员检测方法示例二的流程图。
135.在车门锁闭时，通过温度监控设备实时收集车内温度；判断车内温度是否大于设定的人体舒适温度。
136.在车门锁闭且温度高于设定的人体舒适温度时，获取采集组件的多媒体信息确定是否有人员，且在有人时进一步确定人员是否只有儿童，确定是只有儿童时，向扩音器发出指令。
137.扩音器持续地播放提示语音“请注意车内儿童”等类似的提示语音，达到及时警示的目的。
138.参照图6，示出了本发明的一种车内遗漏人员检测方法实施例四的步骤流程图，所述方法应用于车载终端，所述车载终端与采集组件、检测组件连接。
139.具体地，采集组件可以为第一麦克风，检测组件为第二麦克风，其中，第一麦克风与第二麦克风是为了区分在不同阶段采集不同信息的硬件设备，在实际应用中，第一麦克风与第二麦克风可以复用同一个实体麦克风，也可以是不同的实体麦克风，本发明实施例不作具体限定。
140.此外，车载终端上部署有迁移学习模型；迁移学习模型是基于albert(预训练模型)或网络模型经过蒸馏、剪枝、量化后的轻便神经网络模式，其占用的资源较小，可以在车载终端有限的资源上运行。
141.步骤601，在车辆的门窗锁止封闭时，接收所述采集组件发送的多媒体信息；所述多媒体信息为第一语音信息；
142.当驾驶员停车熄火离开车辆并锁死车辆门窗后，车载终端可以开始接收第一麦克风发送的针对车内声音生成的第一语音信息。其中，第一语音信息为采集组件在车辆的门窗锁止封闭时针对车内声音进行采集生成的信息。
143.步骤602，识别所述多媒体信息是否包含生物特征信息；
144.得到第一语音信息后，可以对其进行识别，确定第一语音信息中是否有人类的说话声，或者哭泣声等人类声音来确定是否包含生物特征信息。
145.具体地，所述识别所述多媒体信息是否包含生物特征信息的步骤包括：
146.子步骤s6021，基于预设频率对所述第一语音信息进行滤波处理，生成音频数据；
147.首先，若有人在车内，成人就会有说话声，儿童则会有哭泣声；可以获知这些声音所在的音频段的频率，采用所述频率作为预设频率对第一语音信息进行滤波处理，将非人声的部分滤除，并将第一语音信息充模拟量转换为数字量生成音频数据。
148.子步骤s6022，判断所述音频数据是否为空；
149.对得到的音频数据进判断时，可以读取音频数据中的值，判断该值是否为空。对于值的读取可以采用查询的方式、检验的方式等，本发明实施例对此不作具体限定。
150.子步骤s6023，若所述音频数据为空，确定所述多媒体信息不包含所述生物特征信息；
151.在确定音频数据中的值为空，即在人发声的音频段内没有声音，说明车内并没有人，确定多媒体信息不包含生物特征信息。
152.子步骤s6024，若所述音频数据不为空，确定所述多媒体信息包含所述生物特征信息。
153.如果音频数据中存在有具体的值，说明采集到的声音中是有人声的，车内存在人员，确定多媒体信息包含生物特征信息。
154.步骤603，当所述多媒体信息包含生物特征信息时，接收所述检测组件发送的生物
检测信息；所述生物检测信息包括第二语音信息；
155.当多媒体信息包含生物特征信息时即车内有人员时，可以接收检测组件发送的生物检测信息；具体地，检测组件为第二麦克风，生物检测信息包括第二语音信息。需要说明的是，第二语音信息是确定存在人员，对人员身份进行验证时采集车内人声生成的信息。
156.步骤604，判断所述生物检测信息是否包含成人特征；
157.在实际应用中，可以利用车载终端上已经训练好的神经网络模型，将生物检测信息输入神经网络模型中，基于输出结果确定是否包含成人特征。
158.具体地，所述判断所述生物检测信息是否包含成人特征的步骤包括：
159.子步骤s6041，基于所述第二语音信息分离出声源数据；
160.第二语音信息中可能存在多个人的声音，并不能直接对第二语音信息进行判断，可以先将第二语言信息进行分离，生成声源数据，确定音源的数量以及对应不同人员的语音。
161.在实际应用中，可以将第二语音信息转换为矩阵数据；令模拟量格式的第二语音信息转换为数字量格式的矩阵数据。
162.再对矩阵数据进行奇异值分解(singular value decomposition，svd)，确定出声源的数量以及，不同声源对应的特征，生成声源数据。
163.子步骤s6042，将所述声源数据输入所述迁移学习模型，所述迁移学习模型用于根据输入的声源数据，输出声源类型信息，其中所述声源类型信息包括儿童声源，和/或，成人声源；
164.分解为声源数据后，声源数据为单声源时可以直接将其输入迁移学习模型中；声源数据多声源，即声源数据存在多个，可以对其进行排序，本发明对排序的方式不作限定。然后按照顺序输入到迁移学习模型中。迁移学习模型会根据输入的声源数据，输出对应的声源类型信息；声源类型信息表征着采集到的人声对应的类型；其中，包括儿童声源，和/或，成人声源。由于人在不同阶段声音会发生变换，因此，可以通过声音对身份进行有效的验证。
165.子步骤s6043，若所述声源类型信息只包括所述儿童声纹，确定所述生物检测信息不包含所述成人特征；
166.当迁移学习模型针对本次验证输入的全部声源数据输出的声源类型信息中，只包括有儿童声纹说明对车内的人声进行验证得到的结果全为儿童，并不存在成人，可以确定生物检测信息中不包含成人特征。
167.子步骤s6044，若所述声源类型信息包括所述成人声纹，确定所述生物检测信息包含所述成人特征。
168.当迁移学习模型针对本次验证输入的全部声源数据输出的声源类型信息中，存在有一个声源数据对应的声源类型信息是包括成人声纹，即车内存在有成人，可以确定生物检测信息包含成人特征。
169.步骤605，当所述生物特征信息不包含成人特征时，发出报警信息。
170.当生物特征信息不包含成人特征，即车内仅有儿童时，可以控制车窗 ecu稍微打开车窗，并向所有与车载终端绑定的手机发送报警信息通知相关人员前来救援。
171.本发明实施例中，通过采集的第一语音信息进行识别确定车内存在人员后，再采
用第二语音信息验证车内人员的身份，重复验证确定车内人员组成，减少误报情况的发生，且在车内仅有儿童时发出警报信息通知相关人员进行救援，保证了车内儿童的生命安全。
172.为了使本领域技术人员能够更好地理解本发明实施例，下面通过一个例子对本发明实施例加以说明：
173.参照图7，示出了本发明的一种车内遗漏人员检测方法示例三的流程图。
174.1、驾驶员(车主)或多个相关家庭成员的手机或其他移动设备进行注册，与车载终端进行绑定。
175.2、当驾驶员停车熄火离开车辆并锁死车辆门窗后，即刻启动麦克风采集第一语音信息；确定车内是否存在人员。
176.3、当存在人员时，通过麦克风采集第二语音信息，利用svd矩阵分解技术将第二语音信息分离为声源信息，确定车内声源个数以及对应声音，再利用albert或蒸馏、剪枝、量化后的轻便的迁移学习模型来检测各个声源信息是否存在成人或有自主能力呼救的人对应的成人声源。当不存在人员是确定无声源，关闭系统不再进行检测。
177.4、根据声源类型信息确定车内是不是存在成人，当车内不存在成人，仅有儿童时，控制车窗ecu稍微打开车窗并向所有与车载终端绑定的手机发送警报信号通知相关人员前来救援。当车内存在成人时，关闭系统不再进行检测。
178.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
179.参照图8，示出了本发明的一种车内遗漏人员检测装置实施例的结构框图，所述装置应用于车载终端，所述车载终端与采集组件、检测组件连接，所述装置具体可以包括如下模块：
180.第一接收模块801，用于在车辆的门窗锁止封闭时，接收所述采集组件发送的多媒体信息；所述多媒体信息包含图像信息和第一语音信息中的至少一种；
181.识别模块802，用于识别所述多媒体信息是否包含生物特征信息；
182.第二接收模块803，用于当所述多媒体信息包含生物特征信息时，接收所述检测组件发送的生物检测信息；
183.判断模块804，用于判断所述生物检测信息是否包含成人特征；
184.报警模块805，用于当所述生物特征信息不包含成人特征时，发出报警信息。
185.在本发明的一可选实施例中，所述采集组件为视觉传感器，所述多媒体信息为图像信息；所述识别模块802包括：
186.第一转换子模块，用于将所述图像信息转换为像素信息；
187.第一判断子模块，用于判断所述像素信息是否包含人脸特征；
188.第一确定子模块，用于若所述像素信息包括人脸特征，确定所述多媒体信息包含所述生物特征信息；
189.第二确定子模块，用于所述像素信息不包括人脸特征，确定所述多媒体信息不包含所述生物特征信息。
190.在本发明的一可选实施例中，所述采集组件为第一麦克风，所述多媒体信息为第一语音信息；所述识别模块802包括：
191.滤波子模块，用于基于预设频率对所述第一语音信息进行滤波处理，生成音频数据；
192.第二判断子模块，用于判断所述音频数据是否为空；
193.第三确定子模块，用于若所述音频数据为空，确定所述多媒体信息不包含所述生物特征信息；
194.第四确定子模块，用于若所述音频数据不为空，确定所述多媒体信息包含所述生物特征信息。
195.在本发明的一可选实施例中，所述检测组件为重力传感器，所述生物检测信息包括至少一组重力数据；所述判断模块804包括：
196.第三判断子模块，用于逐一判断所述重力数据是否处于预设重力阈值范围；
197.第五确定子模块，用于若存在至少一组重力数据不处于所述预设重力阈值范围，确定所述生物检测信息包含所述成人特征；
198.第六确定子模块，用于若所述重力数据处于所述预设重力阈值范围，确定所述生物检测信息不包含所述成人特征。
199.在本发明的一可选实施例中，所述检测组件为第二麦克风，所述生物检测信息包括第二语音信息；所述车载终端上部署有迁移学习模型；所述判断模块804包括：
200.分离子模块，用于基于所述第二语音信息分离出声源数据；
201.输入子模块，用于将所述声源数据输入所述迁移学习模型，所述迁移学习模型用于根据输入的声源数据，输出声源类型信息，其中所述声源类型信息包括儿童声源，和/或，成人声源；
202.第七确定子模块，用于若所述声源类型信息只包括所述儿童声纹，确定所述生物检测信息不包含所述成人特征；
203.第八确定子模块，用于若所述声源类型信息包括所述成人声纹，确定所述生物检测信息包含所述成人特征。
204.在本发明的一可选实施例中，所述分离子模块包括：
205.转换单元，用于将所述第二语音信息转换为矩阵数据；
206.分解单元，用于对所述矩阵数据进行奇异值分解，生成声源数据。
207.在本发明的一可选实施例中，所述检测组件为热量检测传感器，所述生物检测信息包括热量数据；所述判断模块804包括：
208.第二转换子模块，用于将所述热量数据转换为热力图，所述热力图中存在预设热量值对应的分布范围；
209.第九确定子模块，用于当所述分布范围大于或等于预设阈值范围时，确定所述生物检测信息包含所述成人特征；
210.第十确定子模块，用于当所述分布范围小于所述预设阈值范围时，确定所述生物检测信息不包含所述成人特征。
211.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
212.本发明实施例还提供了一种车辆，如图9所示，包括：
213.处理器901和存储器902，所述存储器902存储有所述处理器901可运行的计算机程序，当车辆运行时，所述处理器901执行所述计算机程序，以实现如本发明实施例任一项所述的方法。具体实现方式和技术效果与方法实施例部分类似，这里不再赘述。
214.本发明实施例还提供了一种计算机可读存储介质，如图10所示，所述存储介质上存储有计算机程序1001，所述计算机程序1001被处理器运行时执行如本发明实施例任一项所述的方法。具体实现方式和技术效果与方法实施例部分类似，这里不再赘述。
215.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
216.本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
217.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
218.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
219.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
220.尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
221.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
222.以上对本发明所提供的一种车内遗漏人员检测方法、装置、车辆和存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。