一种车辆门锁的控制方法及装置与流程

1.本申请涉及车辆安全防护技术领域，尤其涉及一种车辆门锁的控制方法及装置。


背景技术：

2.目前，网约车的乘客抵达目的地之后，需要在开车门之前人为谨慎观察后方是否有车辆或行人，确认无风险后再打开车门。但是，并不是所有的乘客都具有较高的风险意识，当乘客开车门没有主动观察车辆后方的来车情况时，容易发生危险。因此，如何能够实现对车门防碰撞的控制，成为了一个亟待解决的问题。


技术实现要素：

3.本申请实施例提供一种车辆门锁的控制方法及装置，以实现对车门的防碰撞。
4.本申请实施例提供的具体技术方案如下：
5.一种车辆门锁的控制方法，包括：
6.分别从图像采集设备采集到的当前时间范围内的各待识别图像中，检测获得各区域图像，以及各区域图像在对应的待识别图像中的位置信息，其中，所述区域图像中包含有目标对象，所述图像采集设备朝向于所述目标对象的行进方向；
7.分别根据各位置信息，计算各目标对象与所述图像采集设备之间的距离值；
8.根据计算出的各距离值，确定是否对所述车辆的车门进行关锁控制。
9.可选的，若所述目标对象为人体，则分别根据各位置信息，计算各目标对象与所述图像采集设备之间的距离值之前，进一步包括：
10.分别针对所述各区域图像，对任意一张区域图像进行人体关键点识别，获得该区域图像中包含的各人体关键点，以及所述各人体关键点对应的关键点坐标，其中，所述关键点坐标表征人体关键点在待识别图像中的二维坐标；
11.分别针对各人体，根据任意一个人体在各区域图像中的各人体关键点的关键点坐标，确定出该人体在所述当前时间范围内的运动轨迹，并根据所述运动轨迹，预测获得该人体在下一时间范围内的预测运动轨迹；
12.根据所述各人体的预测运动轨迹，从所述各人体中选择出满足预设的预测运动轨迹条件的人体；
13.保留选择出的各人体的各区域图像在对应的待识别图像中的位置信息。
14.可选的，分别从图像采集设备采集到的当前时间范围内的各待识别图像中，检测获得各区域图像，具体包括：
15.分别针对图像采集设备采集到的当前时间范围内的各待识别图像，基于已训练的目标对象识别模型，以任意一张待识别图像为输入参数，对该待识别图像进行目标对象检测，获得各包含有目标对象的区域图像。
16.可选的，对该待识别图像进行目标对象检测，具体包括：
17.通过所述目标对象识别模型中的骨干网络层，对该待识别图像进行特征提取，获
得该待识别图像的特征图；
18.通过所述目标对象识别模型中的空洞卷积层，对所述特征图进行空洞卷积，确定所述空洞卷积特征；
19.根据所述空洞卷积特征，确定该待识别图像中是否包含有目标对象。
20.可选的，对任意一张区域图像进行人体关键点识别，获得该区域图像中包含的各人体关键点，以及所述各人体关键点对应的关键点坐标，具体包括：
21.基于已训练的人体关键点检测模型，以任意一张区域图像为输入参数，对该区域图像进行人体关键点识别，获得对应识别出的各人体关键点，以及所述各人体关键点对应的关键点坐标，其中，所述人体关键点检测模型的模型结构至少包括骨干网络层、卷积层、深度可分离卷积层、沙漏结构层和全连接层，所述骨干网络层、所述卷积层、所述深度可分离卷积层和所述沙漏结构层用于对所述区域图像进行特征提取。
22.可选的，所述人体关键点检测模型的训练方式为：
23.获取图像样本集，其中，所述图像样本集中包括多类区域图像样本和对应的各人体关键点样本；
24.将所述图像样本集输入至人体关键点检测模型进行训练，输出为区域图像中包含的各人体关键点，以及对应的关键点坐标，直至所述人体关键点检测模型的损失函数最小化，获得训练完成的人体关键点检测模型，其中，所述损失函数为根据区域图像样本的数量、人体关键点类别的数量、检测获得的关键点坐标和预设的标准关键点坐标之间的误差值，以及各类区域图像样本对应的权重确定出的。
25.可选的，根据所述运动轨迹，预测获得该人体在下一时间范围内的预测运动轨迹，具体包括：
26.分别将各待识别图像分割为相同预设面积的各区域方格，并根据所述各区域图像在所述各区域方格中的位置信息，对所述各区域方格进行编码处理，获得该人体的位置编码图；
27.基于已训练的位置预测模型，以所述位置编码图为输入参数，预测获得该人体在下一时间范围内的第一预测运动轨迹；
28.根据所述运动轨迹，以及根据所述各关键点坐标确定出的运动方向和运动速度，预测获得该人体在下一时间范围内的第二预测运动轨迹；
29.根据所述第一预测运动轨迹和所述第二预测运动轨迹，确定该人体在下一时间范围内的预测运动轨迹。
30.可选的，若所述位置信息中至少包括区域图像的宽度值，则分别根据各位置信息，计算各目标对象与所述图像采集设备之间的距离值，具体包括：
31.分别针对所述各区域图像，根据任意一张区域图像的宽度值、预设的像素宽度和预设的焦距，确定出该区域图像中的目标对象与所述图像采集设备之间的距离值，其中，所述像素宽度和所述焦距为对图像采集设备进行预标定获得的。
32.可选的，根据计算出的各距离值，确定是否对所述车辆的车门进行关锁控制，具体包括：
33.若确定连续预设数张待识别图像对应的距离值小于预设的距离阈值，则生成关锁指令；
34.将所述关锁指令发送给车门控制器，以使所述车门控制器响应所述关锁指令，对所述车辆的车门进行关锁控制。
35.一种车辆门锁的控制装置，包括：
36.检测模块，用于分别从图像采集设备采集到的当前时间范围内的各待识别图像中，检测获得各区域图像，以及各区域图像在对应的待识别图像中的位置信息，其中，所述区域图像中包含有目标对象，所述图像采集设备朝向于所述目标对象的行进方向；
37.计算模块，用于分别根据各位置信息，计算各目标对象与所述图像采集设备之间的距离值；
38.控制模块，用于根据计算出的各距离值，确定是否对所述车辆的车门进行关锁控制。
39.可选的，若所述目标对象为人体，则分别根据各位置信息，计算各目标对象与所述图像采集设备之间的距离值之前，进一步包括：
40.识别模块，用于分别针对所述各区域图像，对任意一张区域图像进行人体关键点识别，获得该区域图像中包含的各人体关键点，以及所述各人体关键点对应的关键点坐标，其中，所述关键点坐标表征人体关键点在待识别图像中的二维坐标；
41.预测模块，用于分别针对各人体，根据任意一个人体在各区域图像中的各人体关键点的关键点坐标，确定出该人体在所述当前时间范围内的运动轨迹，并根据所述运动轨迹，预测获得该人体在下一时间范围内的预测运动轨迹；
42.选择模块，用于根据所述各人体的预测运动轨迹，从所述各人体中选择出满足预设的预测运动轨迹条件的人体；
43.处理模块，用于保留选择出的各人体的各区域图像在对应的待识别图像中的位置信息。
44.可选的，分别从图像采集设备采集到的当前时间范围内的各待识别图像中，检测获得各区域图像时，检测模块具体用于：
45.分别针对图像采集设备采集到的当前时间范围内的各待识别图像，基于已训练的目标对象识别模型，以任意一张待识别图像为输入参数，对该待识别图像进行目标对象检测，获得各包含有目标对象的区域图像。
46.可选的，对该待识别图像进行目标对象检测时，检测模块具体用于：
47.通过所述目标对象识别模型中的骨干网络层，对该待识别图像进行特征提取，获得该待识别图像的特征图；
48.通过所述目标对象识别模型中的空洞卷积层，对所述特征图进行空洞卷积，确定所述空洞卷积特征；
49.根据所述空洞卷积特征，确定该待识别图像中是否包含有目标对象。
50.可选的，对任意一张区域图像进行人体关键点识别，获得该区域图像中包含的各人体关键点，以及所述各人体关键点对应的关键点坐标时，识别模块具体用于：
51.基于已训练的人体关键点检测模型，以任意一张区域图像为输入参数，对该区域图像进行人体关键点识别，获得对应识别出的各人体关键点，以及所述各人体关键点对应的关键点坐标，其中，所述人体关键点检测模型的模型结构至少包括骨干网络层、卷积层、深度可分离卷积层、沙漏结构层和全连接层，所述骨干网络层、所述卷积层、所述深度可分
离卷积层和所述沙漏结构层用于对所述区域图像进行特征提取。
52.可选的，训练所述人体关键点检测模型时，进一步包括：
53.获取模块，用于获取图像样本集，其中，所述图像样本集中包括多类区域图像样本和对应的各人体关键点样本；
54.训练模块，用于将所述图像样本集输入至人体关键点检测模型进行训练，输出为区域图像中包含的各人体关键点，以及对应的关键点坐标，直至所述人体关键点检测模型的损失函数最小化，获得训练完成的人体关键点检测模型，其中，所述损失函数为根据区域图像样本的数量、人体关键点类别的数量、检测获得的关键点坐标和预设的标准关键点坐标之间的误差值，以及各类区域图像样本对应的权重确定出的。
55.可选的，根据所述运动轨迹，预测获得该人体在下一时间范围内的预测运动轨迹时，预测模块具体用于：
56.分别将各待识别图像分割为相同预设面积的各区域方格，并根据所述各区域图像在所述各区域方格中的位置信息，对所述各区域方格进行编码处理，获得该人体的位置编码图；
57.基于已训练的位置预测模型，以所述位置编码图为输入参数，预测获得该人体在下一时间范围内的第一预测运动轨迹；
58.根据所述运动轨迹，以及根据所述各关键点坐标确定出的运动方向和运动速度，预测获得该人体在下一时间范围内的第二预测运动轨迹；
59.根据所述第一预测运动轨迹和所述第二预测运动轨迹，确定该人体在下一时间范围内的预测运动轨迹。
60.可选的，若所述位置信息中至少包括区域图像的宽度值，则计算模块具体用于：
61.分别针对所述各区域图像，根据任意一张区域图像的宽度值、预设的像素宽度和预设的焦距，确定出该区域图像中的目标对象与所述图像采集设备之间的距离值，其中，所述像素宽度和所述焦距为对图像采集设备进行预标定获得的。
62.可选的，控制模块具体用于：
63.若确定连续预设数张待识别图像对应的距离值小于预设的距离阈值，则生成关锁指令；
64.将所述关锁指令发送给车门控制器，以使所述车门控制器响应所述关锁指令，对所述车辆的车门进行关锁控制。
65.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述车辆门锁的控制方法的步骤。
66.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述车辆门锁的控制方法的步骤。
67.本申请实施例中，分别从图像采集设备采集到的当前时间范围内的各待识别图像中，检测获得各区域图像，以及各区域图像在对应的待识别图像中的位置信息，分别根据各位置信息，计算各目标对象与图像采集设备之间的距离值，根据计算出的各距离值，确定是否对车辆的车门进行关锁控制；同时，对图像采集设备采集到的待识别图像进行检测，获得包含有各目标对象的区域图像，并计算各目标对象与图像采集设备之间的距离值，根据确定出的各距离值，能够实现对车门的门锁进行控制，从而能够实现对车门的防碰撞，并且，
本申请实施例中的方法只需要图像采集设备和服务器，就能够实现对车门的防碰撞控制，大大降低了车门防碰撞控制的成本。
附图说明
68.图1为本申请实施例中一种车辆门锁的控制方法的流程图；
69.图2为本申请实施例中摄像机安装位置的效果示意图；
70.图3为本申请实施例中骨干网络层结构图；
71.图4为本申请实施例中轨迹综合图；
72.图5为本申请实施例中一种车辆门锁的控制系统的结构示意图；
73.图6为本申请实施例中ai处理模块结构示意图；
74.图7为本申请实施例中车辆门锁的控制装置的结构示意图；
75.图8为本申请实施例中电子设备的结构示意图。
具体实施方式
76.下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
77.随着生活水平的不断进步和社会的发展，网约车已经成为人们出行的主要工具之一。当乘坐网约车的乘客抵达目的地下车之前，需要谨慎观察后方是否有车辆或行人，当乘客确认无风险之后才能够打开车门。但是，并不是所有的乘客都具有较高的风险意识，当乘客无风险意识或风险意识较低时，开车门没有主动观察车辆后方的来车情况，容易发生危险。因此，如何能够实现对车门防碰撞的控制，成为了一个亟待解决的问题。
78.本申请实施例中，为了解决上述问题，提供了一种控制车门防碰撞的方法，分别从图像采集设备采集到的当前时间范围内的各待识别图像中，检测获得各区域图像，以及各区域图像在对应的待识别图像中的位置信息，分别根据各位置信息，计算各目标对象与图像采集设备之间的距离值，根据计算出的各距离值，确定是否对车辆的车门进行关锁控制，因此，能够在较少的成本的基础上，实现对车门防碰撞的控制，保证行车的安全。
79.基于上述实施例，参阅图1所示，为本申请实施例中一种车辆门锁的控制方法的流程图，具体包括：
80.步骤100：分别从图像采集设备采集到的当前时间范围内的各待识别图像中，检测获得各区域图像，以及各区域图像在对应的待识别图像中的位置信息。
81.其中，区域图像中包含有目标对象，图像采集设备设置在车辆的前挡风玻璃与车门之间的柱子上，且图像采集设备朝向于目标对象的行进方向。
82.本申请实施例中，图像采集设备在当前时间范围内按照预设的采集频率不断采集待识别图像，并将采集到的各待识别图像发送给服务器，进而服务器接收图像采集设备发送的当前时间范围内的各待识别图像，并从各待识别图像中检测获得各包含有目标对象的区域图像，以及各区域图像在对应的待识别图像中的位置信息。
83.其中，每一张待识别图像中包含有至少一个目标对象，每一张区域图像中包含有
一个目标对象，每一张待识别图像中包含有至少一张区域图像。
84.图像采集设备例如可以为摄像机，本申请实施例中对此并不进行限制。
85.目标对象例如可以为人体，本申请实施中对此并不进行限制。
86.需要说明的是，为了获得更好的视野，防止因乘客开车门导致交通事故的发生，可以将图像采集设备安装在车辆的前挡风玻璃与车门之间的柱子上，还可以设置在车侧边后视镜的上方，图像采集设备的视野可调，从而图像采集设备能够采集到车侧后方指定位置区域的待识别图像，参阅图2所示，为本申请实施例中摄像机安装位置的效果示意图，摄像机可以安装在车辆的a位置处。
87.本申请实施例中，可以通过目标对象识别模型检测获得各区域图像，下面对本申请实施例中检测获得各区域图像的步骤进行详细阐述，具体包括：
88.分别针对图像采集设备采集到的当前时间范围内的各待识别图像，基于已训练的目标对象识别模型，以任意一张待识别图像为输入参数，对该待识别图像进行目标对象检测，获得各包含有目标对象的区域图像。
89.本申请实施例中，分别针对各待识别图像，将任意一张待识别图像输入至已训练的目标对象识别模型中，对该待识别图像进行目标对象检测，若确定在该待识别图像中检测到目标对象，则通过外接矩形框将检测到的目标对象从该待识别图像中标注出来，并对外接矩形框进行截取，进而能够从该待识别图像中截取获得包含有目标对象的区域图像。
90.具体地，目标对象识别模型的模型结构至少包括骨干网络层和空洞卷积层，下面对本申请实施例中对待识别图像进行目标对象检测的步骤进行详细阐述，具体包括：
91.s1：通过目标对象识别模型中的骨干网络层，对该待识别图像进行特征提取，获得该待识别图像的特征图。
92.本申请实施例中，将待识别图像输入至目标对象识别模型中的骨干网络层中，对待识别图像进行特征提取，从而获得输出的待识别图像的特征图，参阅表1所示，为本申请实施例中骨干网络的结构示意表。
93.表1.
94.输入尺寸操作通道数步长640*640*3conv_bn162320*320*16conv_dw321320*320*32conv_dw322160*160*32conv_dw321
95.在通过骨干网络层对待识别图像进行特征提取时，具体包括：
96.步骤(1)：将图片尺寸640*640*3的待识别图像输入至骨干网络层的第一层中，进行conv_bn操作，输出尺寸为320*320*16的特征图。
97.其中，conv_bn操作包括conv2d，批量标准化(batchnorm)，线性整流函数(rectified linear unit，relu)。
98.步骤(2)：将特征图尺寸为320*320*16的特征图输入至骨干网络层的第二层中，进行conv_dw操作，输出尺寸为320*320*32的特征图。
99.其中，conv_dw操作包括conv2d，batchnorm，relu。
100.步骤(3)：将特征图尺寸为320*320*32的特征图输入至骨干网络层的第三层中，进
行conv_dw操作，输出尺寸为160*160*32的特征图。
101.其中，conv_dw操作包括conv2d，batchnorm，relu。
102.步骤(4)：将特征图尺寸为160*160*32的特征图输入至骨干网络层的第四层中，进行conv_dw操作，输出尺寸维160*160*32的特征图。
103.其中，conv_dw操作包括conv2d，batchnorm，relu。
104.本申请实施例中，通过步骤(4)输出的特征图为最终通过目标对象检测模型的骨干网络层获得的特征图，参阅图3所示，为本申请实施例中骨干网络层结构图。
105.s2：通过目标对象识别模型中的空洞卷积层，对特征图进行空洞卷积，确定空洞卷积特征。
106.本申请实施例中，将待识别图像的特征图输入至目标对象识别模型中的空洞卷积层，对进行空洞卷积操作，确定空洞卷积特征，空洞卷积层能够在减少池化操作的同时，增加感受野，并且，不需要压缩待识别图像的图像分辨率，保留待识别图像的内部数据结构，相比于现有技术中仅通过普通的卷积层进行特征提取来说，能够获得更好的检测效果。
107.s3：根据空洞卷积特征，确定该待识别图像中是否包含有目标对象。
108.本申请实施例中，根据空洞卷积层获得的空洞卷积特征，确定在待识别图像中是否包含有目标对象。
109.步骤110：分别根据各位置信息，计算各目标对象与图像采集设备之间的距离值。
110.本申请实施例中，分别根据各位置信息，计算各目标对象与图像采集设备之间的距离值。
111.具体地，执行步骤110时，具体包括：
112.分别针对各区域图像，根据任意一张区域图像的宽度值、预设的像素宽度和预设的焦距，确定出该区域图像中的目标对象与图像采集设备之间的距离值。
113.其中，像素宽度和焦距为对图像采集设备进行预标定获得的。
114.本申请实施例中，在进行测距之前，首先获取摄像机的焦距。标定图像采集设备，获取图像采集设备的焦距，在图像采集设备的预设距离处放置物体，该物体的宽度值为预先测量出的，通过图像采集设备对物体进行拍照，并测量物体的像素宽度，根据物体的像素宽度、图像采集设备与物体之间的距离和物体的宽度值，确定出摄像机的焦距。
115.例如，假设图像采集设备为摄像机，则标定摄像机，获取相机焦距f，在距离摄像机d处放置宽度为w的物体，通过摄像机对其进行拍照且测量物体像素宽度p，这样摄像机焦距f＝(p*d)/w。
116.然后，就能够根据相似三角形定理，获取到人体与图像采集设备之间的实际距离。
117.例如，将摄像机移动靠近物体或者远离该物体时，由三角形相似定理可以计算出该物体离摄像机的距离d^'＝(w*f)/p。
118.要想获得物体离摄像机的距离，只要知道摄像机焦距f和目标物体大小w。焦距已由刚开始标定已经得出，目标物体大小可以由s2得到。
119.进一步地，当目标对象为人体时，为了提高控制的准确度，防止误操作的情况发生，还可以从检测到的各目标对象中，选择出满足预设的预测运动轨迹的目标对象，并仅对满足预设的预测运动轨迹的目标对象进行计算，具体包括：
120.s1：分别针对各区域图像，对任意一张区域图像进行人体关键点识别，获得该区域
图像中包含的各人体关键点，以及各人体关键点对应的关键点坐标。
121.其中，关键点坐标表征人体关键点在待识别图像中的二维坐标。
122.本申请实施例中，分别针对各待识别图像中的各区域图像，对任意一张区域图像进行人体关键点识别，获得该区域图像中包含的各人体关键点，以及各人体关键点对应的关键点坐标。
123.具体地，在对任意一张区域图像进行人体关键点识别时，可以通过人体关键点检测模型来识别，具体包括：
124.基于已训练的人体关键点检测模型，以任意一张区域图像为输入参数，对该区域图像进行人体关键点识别，获得对应识别出的各人体关键点，以及各人体关键点对应的关键点坐标。
125.其中，人体关键点检测模型的模型结构至少包括骨干网络层、卷积层、深度可分离卷积层、沙漏结构层和全连接层，骨干网络层、卷积层、深度可分离卷积层和沙漏结构层用于对区域图像进行特征提取。
126.本申请实施例中，首先，训练人体关键点检测模型，下面对本申请实施例中训练人体关键点检测模型的步骤进行详细阐述，具体包括：
127.a1：获取图像样本集。
128.其中，图像样本集中包括多类区域图像样本和对应的各人体关键点样本。
129.本申请实施例中，获取图像样本集，图像样本集中包括多类区域图像样本，以及每一张区域图像对应的各人体关键点样本。
130.需要说明的是，各区域图像样本被分为多种样本类别，例如可以为遮挡、骑车、打伞，本申请实施例中对此并不进行限制。
131.每一类样本类别中，包含有多张区域图像样本，每一张区域图像样本中包含有各人体关键点样本。
132.a2：将图像样本集输入至人体关键点检测模型进行训练，输出为区域图像中包含的各人体关键点，以及对应的关键点坐标，直至人体关键点检测模型的损失函数最小化，获得训练完成的人体关键点检测模型。
133.其中，损失函数为根据区域图像样本的数量、人体关键点类别的数量、检测获得的关键点坐标和预设的标准关键点坐标之间的误差值，以及各类区域图像样本对应的权重确定出的。
134.本申请实施例中，将图像样本集输入至人体关键点检测模型进行训练，输出为区域图像中包含的各人体关键点，以及各人体关键点对应的关键点坐标，直至人体关键点检测模型的损失函数最小化，获得训练完成的人体关键点检测模型。
135.其中，损失函数例如可以表示为：
[0136][0137]
其中，m为区域图像样本的总数量，n为每一张区域图像中包含的人体关键点的数量，为检测获得的关键点坐标和预设的标准关键点坐标之间的误差值，为各类区域图像样本对应的权重，c为样本类别。
[0138]
n例如可以为18，本申请实施例中对此并不进行限制。
[0139]
在计算检测获得的关键点坐标和预设的标准关键点坐标之间的误差值时，可以通过l2距离进行计算。
[0140]
这样，添加各类区域图像样本对应的权重，对于那些数量较少的样本，给予一个较大的权重，从而在训练进行梯度反向传时，能够提高这些数量较少的样本对于模型训练的力量，能够解决样本不均衡问题，提高人体关键点的定位精度。
[0141]
在训练获得人体关键点检测模型之后，将区域图像输入至已训练的人体关键点检测模型，通过人体关键点检测模型中的骨干网络层，对区域图像进行特征提取，获得区域图像的特征图。
[0142]
然后，通过人体关键点检测模型中的卷积层，对特征图1*1的卷积操作，获得1*1卷积特征，并分别对1*1卷积特征进行3*3，5*5，7*7卷积操作，获得3*3卷积特征，5*5卷积特征和7*7卷积特征。
[0143]
然后，在获得1*1卷积特征，3*3卷积特征，5*5卷积特征和7*7卷积特征通过人体关键点检测模型中的空洞卷积层，对1*1卷积特征进行卷积率为1的空洞卷积操作，获得第一空洞卷积特征，对3*3卷积特征进行卷积率为3的空洞卷积操作，获得第二空洞卷积特征，对5*5的卷积特征进行卷积率为5的空洞卷积操作，获得第三空洞卷积特征，对7*7卷积特征进行卷积率为7的空洞卷积操作，获得第四空洞卷积特征。
[0144]
最后，通过mish激活函数对第一空洞卷积特征、第二空洞卷积特征、第三空洞卷积特征和第四空洞卷积特征进行特征合并，获得空洞卷积特征，并根据空洞卷积特征，获得区域图像中的各人体关键点，以及各人体关键点的关键点坐标。
[0145]
需要说明的是，骨干网络层的输出作为卷积层的输入，经过卷积层、深度可分离卷积层以及沙漏型结构层进行特征提取操作，然后通过全连接层输出人体关键点和对应的关键点坐标，参阅表2所示，为本申请实施例中人体关键点检测模型的结构示意表。
[0146]
表2.
[0147][0148][0149]
s2：分别针对各人体，根据任意一个人体在各区域图像中的各人体关键点的关键点坐标，确定出该人体在当前时间范围内的运动轨迹，并根据运动轨迹，预测获得该人体在
下一时间范围内的预测运动轨迹。
[0150]
本申请实施例中，分别针对各人体，根据任意一个人体在各区域图像的位置信息，确定出该人体在当前时间范围内的运动轨迹，并根据每一张区域图像中包含的各人体关键点的关键点坐标，确定出该人体的运动方向和运动速度，从而根据确定出的运动轨迹、运动方向和运动速度，对该人体在下一时间范围内的运动轨迹进行预测，获得预测运动轨迹。
[0151]
下面对本申请实施例中根据运动轨迹，预测获得该人体在下一时间范围内的预测运动轨迹的步骤进行详细阐述，具体包括：
[0152]
a1：分别将各待识别图像分割为相同预设面积的各区域方格，并根据各区域图像在各区域方格中的位置信息，对各区域方格进行编码处理，获得该人体的位置编码图。
[0153]
本申请实施例中，分别针对各待识别图像，执行以下操作步骤：
[0154]
首先，将待识别图像进行图像分割，将待识别图像分割为一个一个的固定大小的区域方格，各区域方格能够组成该待识别图像。
[0155]
然后，以待识别图像的左下角为原点，建立二维坐标系，并根据各区域图像在对应的待识别图像中的位置信息，确定出区域图像在各区域方格中的位置信息。
[0156]
然后，对各区域图像进行人体关键点识别，获得各区域图像的人体关键点信息，并获得各人体关键点在各区域方格中的位置信息。
[0157]
最后，根据各人体关键点在区域方格中的位置信息，对各区域方格进行编码处理，获得任意一张待识别图像的编码图。
[0158]
a2：基于已训练的位置预测模型，以位置编码图为输入参数，预测获得该人体在下一时间范围内的第一预测运动轨迹。
[0159]
本申请实施例中，将位置编码图输入至已训练的位置预测模型中，由于位置编码图表征人体在当前时间范围内的运动预测获得该人体在下一时间范围内的第一预测运动轨迹。
[0160]
其中，位置预测模型例如可以为长短期记忆网络(long short
‑
term memory，lstm)模型，本申请实施例中对此并不进行限制。
[0161]
a3：根据运动轨迹，以及根据各关键点坐标确定出的运动方向和运动速度，预测获得该人体在下一时间范围内的第二预测运动轨迹。
[0162]
本申请实施例中，在获得当前时间范围内的运动轨迹之后，还会根据各关键点坐标确定出人体在当前时间范围内的运动方向和运动速度，从而就能够根据运动方向和运动速度，预测获得该人体在下一时间范围内的第二预测运动轨迹。
[0163]
a4：根据第一预测运动轨迹和第二预测运动轨迹，确定该人体在下一时间范围内的预测运动轨迹。
[0164]
本申请实施例中，在获得第一预测运动轨迹和第二预测运动轨迹之后，就能够根据第一预测运动轨迹和第二预测运动轨迹，综合确定出该人体在下一时间范围内的预测运动轨迹。
[0165]
例如，将待识别图像分割成固定大小的格子，然后把时刻t
‑
n到时刻t的区域图像的位置信息进行编码，并将语义特征以及待识别图像的场景中的特征进行编码，获得位置编码图，并将位置编码图输入至lstm中，该lstm模型会预测行人下t+1时刻以及t+n时刻会出现在视线分割的方格内。当确定在哪个具体方格后，再进一步预估在该方格具体位置。
[0166]
因此，为了获取行人最终t时刻到t+n时刻行人轨迹，采用t
‑
n时刻到t时刻人体姿态信息预估t时刻到t+n时刻行人轨迹，主要是根据人体关节的整体移动方向进行轨迹预估。然后结合第一预测运动轨迹和第二预测运动轨迹进行最终的运动轨迹预测。参阅图4所示，为本申请实施例中轨迹综合图。
[0167]
s3：根据各人体的预测运动轨迹，从各人体中选择出满足预设的预测运动轨迹条件的人体。
[0168]
本申请实施例中，首先，设定预测运动轨迹条件。
[0169]
预测运动轨迹条件例如可以为运动方向为向车辆运动，本申请实施例中对此并不进行限制。
[0170]
然后，分别针对各人体，判断任意一个人体的预测运动轨迹是否满足预设的运动轨迹条件。
[0171]
例如，预设的预测运动轨迹条件为运动方向为向车辆运动，任意一个人体的预测运动轨迹为运动方向为向车辆运动，则确定该人体的预测运动轨迹满足预设的运动轨迹条件。
[0172]
最后，从各人体中，选择出满足预设的预测运动轨迹条件的人体。
[0173]
这样，能够从待识别图像的多个人体中，选择出运动方向为向车辆运动的人体，从而对这些人体进行车门控制预警。
[0174]
s4：保留选择出的各人体的各区域图像在对应的待识别图像中的位置信息。
[0175]
本申请实施例中，将选择出的各人体的各区域图像在对应的待识别图像中的位置信息保留。
[0176]
步骤120：根据计算出的各距离值，确定是否对车门进行防碰撞控制。
[0177]
本申请实施例中，执行步骤120时，具体包括：
[0178]
s1：若确定连续预设数张待识别图像对应的距离值小于预设的距离阈值，则生成关锁指令。
[0179]
本申请实施例中，分别针对每一张待识别图像，判断各待识别图像对应的距离值是否小于预设的距离阈值，若确定均小于预设的距离阈值，则确定该待识别图像需要进行车门防碰撞预警。
[0180]
s2：将关锁指令发送给车门控制器，以使车门控制器响应关锁指令，对车辆的车门进行关锁控制。
[0181]
本申请实施例中，将关锁指令发送给车门控制器，锁死车门。同时，语音提示此刻开门存在危险等相关语音信息。当指定区域行人已经远离车辆或者离开监控区域，自动解除车门锁死状态，并语音提示此刻可以下车等相关语音信息。
[0182]
本申请实施例中，分别从图像采集设备采集到的当前时间范围内的各待识别图像中，检测获得各包含有目标对象的区域图像，以及各区域图像在对应的待识别图像中的位置信息，分别根据各位置信息，计算各目标对象与图像采集设备之间的距离值，根据计算出的各距离值，确定是否对车门门锁进行关锁控制，这样，通过计算目标对象与图像采集设备之间的距离值，从而判断是否有行人以及靠近车辆来控制车辆车门锁，能够降低因不注意车外情况打开车门导致的交通事故。
[0183]
基于上述实施例，参阅图5所示，为本申请实施例中一种车辆门锁的控制系统的结
构示意图，具体包括：
[0184]
1、图像获取模块。
[0185]
用于获取摄像机采集到的当前时间范围内的各待识别图像。
[0186]
2、ai处理模块。
[0187]
将分别将各待识别图像输入至目标对象识别模型，参阅图6所示，为本申请实施例中ai处理模块结构示意图，虚线以下部分卷积层(convolutionlayer1)主要采用空洞卷积(dilated convolutions)减少池化操作同时增加了感受野，不需要压缩图像分辨率，保留图像内部数据结构，比普通卷积层有更好的检测效果。通过目标对象识别模型能够识别出待识别模型中的包含有目标对象的区域图像。虚线框部分为人体关键点检测模型，首先检测待识别图像中的各区域图像中所有的人体关键点，然后根据检测出来的人体关键点分配给对应的人体。具体地，可以采用基于部分亲和字段(paf)算法，目的是为了将所有可能链接集合找到最优匹配，从而能够将每个人体关键点和不同的人对应起来。
[0188]
3、距离估计模块。
[0189]
分别根据各位置信息，计算各目标对象与图像采集设备之间的距离值。
[0190]
4、车门控制模块。
[0191]
根据计算出的各距离值，确定是否对车辆的车门进行关锁控制，同时，语音提示此刻开门存在危险等相关语音信息。当指定区域行人已经远离车辆或者离开监控区域，自动解除车门锁死状态，并语音提示此刻可以下车等相关语音信息。
[0192]
本申请实施例中的车辆门锁的控制系统主要是通过ai技术对行人进行检测以及预测行人轨迹进行预测，根据行人离车距离来控制车门锁开闭，以此来降低因开车门而导致的交通事故。
[0193]
基于同一发明构思，本申请实施例中还提供了一种车辆门锁的控制装置，该车辆门锁的控制装置例如可以是前述实施例中的服务器，该车辆门锁的控制装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例，参阅图7所示，为本申请实施例中车辆门锁的控制装置的结构示意图，具体包括：
[0194]
检测模块700，用于分别从图像采集设备采集到的当前时间范围内的各待识别图像中，检测获得各区域图像，以及各区域图像在对应的待识别图像中的位置信息，其中，所述区域图像中包含有目标对象，所述图像采集设备设置在车辆的前挡风玻璃与车门之间的柱子上，且所述图像采集设备朝向于所述目标对象的行进方向；
[0195]
计算模块701，用于分别根据各位置信息，计算各目标对象与所述图像采集设备之间的距离值；
[0196]
控制模块702，用于根据计算出的各距离值，确定是否对所述车辆的车门进行关锁控制。
[0197]
可选的，若所述目标对象为人体，则分别根据各位置信息，计算各目标对象与所述图像采集设备之间的距离值之前，进一步包括：
[0198]
识别模块703，用于分别针对所述各区域图像，对任意一张区域图像进行人体关键点识别，获得该区域图像中包含的各人体关键点，以及所述各人体关键点对应的关键点坐标，其中，所述关键点坐标表征人体关键点在待识别图像中的二维坐标；
[0199]
预测模块704，用于分别针对各人体，根据任意一个人体在各区域图像中的各人体
关键点的关键点坐标，确定出该人体在所述当前时间范围内的运动轨迹，并根据所述运动轨迹，预测获得该人体在下一时间范围内的预测运动轨迹；
[0200]
选择模块705，用于根据所述各人体的预测运动轨迹，从所述各人体中选择出满足预设的预测运动轨迹条件的人体；
[0201]
处理模块706，用于保留选择出的各人体的各区域图像在对应的待识别图像中的位置信息。
[0202]
可选的，分别从图像采集设备采集到的当前时间范围内的各待识别图像中，检测获得各区域图像时，检测模块700具体用于：
[0203]
分别针对图像采集设备采集到的当前时间范围内的各待识别图像，基于已训练的目标对象识别模型，以任意一张待识别图像为输入参数，对该待识别图像进行目标对象检测，获得各包含有目标对象的区域图像。
[0204]
可选的，对该待识别图像进行目标对象检测时，检测模块700具体用于：
[0205]
通过所述目标对象识别模型中的骨干网络层，对该待识别图像进行特征提取，获得该待识别图像的特征图；
[0206]
通过所述目标对象识别模型中的空洞卷积层，对所述特征图进行空洞卷积，确定所述空洞卷积特征；
[0207]
根据所述空洞卷积特征，确定该待识别图像中是否包含有目标对象。
[0208]
可选的，对任意一张区域图像进行人体关键点识别，获得该区域图像中包含的各人体关键点，以及所述各人体关键点对应的关键点坐标时，识别模块703具体用于：
[0209]
基于已训练的人体关键点检测模型，以任意一张区域图像为输入参数，对该区域图像进行人体关键点识别，获得对应识别出的各人体关键点，以及所述各人体关键点对应的关键点坐标，其中，所述人体关键点检测模型的模型结构至少包括骨干网络层、卷积层、深度可分离卷积层、沙漏结构层和全连接层，所述骨干网络层、所述卷积层、所述深度可分离卷积层和所述沙漏结构层用于对所述区域图像进行特征提取。
[0210]
可选的，训练所述人体关键点检测模型时，进一步包括：
[0211]
获取模块707，用于获取图像样本集，其中，所述图像样本集中包括多类区域图像样本和对应的各人体关键点样本；
[0212]
训练模块708，用于将所述图像样本集输入至人体关键点检测模型进行训练，输出为区域图像中包含的各人体关键点，以及对应的关键点坐标，直至所述人体关键点检测模型的损失函数最小化，获得训练完成的人体关键点检测模型，其中，所述损失函数为根据区域图像样本的数量、人体关键点类别的数量、检测获得的关键点坐标和预设的标准关键点坐标之间的误差值，以及各类区域图像样本对应的权重确定出的。
[0213]
可选的，根据所述运动轨迹，预测获得该人体在下一时间范围内的预测运动轨迹时，预测模块704具体用于：
[0214]
分别将各待识别图像分割为相同预设面积的各区域方格，并根据所述各区域图像在所述各区域方格中的位置信息，对所述各区域方格进行编码处理，获得该人体的位置编码图；
[0215]
基于已训练的位置预测模型，以所述位置编码图为输入参数，预测获得该人体在下一时间范围内的第一预测运动轨迹；
[0216]
根据所述运动轨迹，以及根据所述各关键点坐标确定出的运动方向和运动速度，预测获得该人体在下一时间范围内的第二预测运动轨迹；
[0217]
根据所述第一预测运动轨迹和所述第二预测运动轨迹，确定该人体在下一时间范围内的预测运动轨迹。
[0218]
可选的，若所述位置信息中至少包括区域图像的宽度值，则计算模块具体用于：
[0219]
分别针对所述各区域图像，根据任意一张区域图像的宽度值、预设的像素宽度和预设的焦距，确定出该区域图像中的目标对象与所述图像采集设备之间的距离值，其中，所述像素宽度和所述焦距为对图像采集设备进行预标定获得的。
[0220]
可选的，控制模块702具体用于：
[0221]
若确定连续预设数张待识别图像对应的距离值小于预设的距离阈值，则生成关锁指令；
[0222]
将所述关锁指令发送给车门控制器，以使所述车门控制器响应所述关锁指令，对所述车辆的车门进行关锁控制。
[0223]
基于上述实施例，参阅图8所示为本申请实施例中电子设备的结构示意图。
[0224]
本申请实施例提供了一种电子设备，该电子设备可以包括处理器810(center processing unit，cpu)、存储器820、输入设备830和输出设备840等，输入设备830可以包括键盘、鼠标、触摸屏等，输出设备840可以包括显示设备，如液晶显示器(liquid crystal display，lcd)、阴极射线管(cathode ray tube，crt)等。
[0225]
存储器820可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器810提供存储器820中存储的程序指令和数据。在本申请实施例中，存储器820可以用于存储本申请实施例中任一种车辆门锁的控制方法的程序。
[0226]
处理器810通过调用存储器820存储的程序指令，处理器810用于按照获得的程序指令执行本申请实施例中任一种车辆门锁的控制方法。
[0227]
基于上述实施例，本申请实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的车辆门锁的控制方法。
[0228]
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0229]
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0230]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0231]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0232]
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。