一种基于unity3D的自动驾驶车厢监控方法与流程

一种基于unity3d的自动驾驶车厢监控方法
技术领域
1.本发明涉及一种自动驾驶车厢监控方法，更具体的是涉及一种基于unity3d的自动驾驶车厢监控方法。


背景技术：

2.安全是无人驾驶汽车的基础，为了提升驾驶和乘客的安全，需要对车厢进行监控，驾驶员监控dms(drive monitoring system)可以帮助判断驾驶员的开车状态，是无人驾驶系统不可或缺的一环，dms的主要功能包括：疲劳监测包括打哈欠、闭眼次数和时长等；危险行为监测包括吃东西、打电话、抽烟、和后座聊天；驾驶员是否丧失行为能力；注意力、视野范围监测；人脸识别包括身份识别、情感识别、特征识别；事故、救援等。
3.但dms相机对驾驶员仅仅进行状态监视，缺少对车厢内部场景的监控及可视化。unity3d是一款跨平台游戏引擎，包含渲染和物理引擎以及脚本接口。该引擎可用于创建三维和二维游戏，以及各种仿真内容。该引擎具有良好的社区生态，已有许多基于unity3d开发的虚拟场景案例。在虚拟现实方面，开发者可利用已有插件包，快速便捷地开发支持多种设备的虚拟现实应用。目前将unity3d应用到车厢监控的研究较少。


技术实现要素：

4.为解决现有技术的不足，现提供一种基于unity3d的自动驾驶车厢监控方法，包括以下步骤：
5.s1:搭建硬件数据采集平台与和软件场景运行平台，所述硬件数据采集平台包括车端的自动驾驶车载平台和多个车内环视相机；所述软件场景运行平台包括工作站和vr头盔；
6.s2:通过车端的自动驾驶车载平台采集车内环视相机的数据；
7.s3:将s2采集到的数据传输至工作站，所述工作站运行的软件为基于unity3d开发的车厢场景软件；
8.s4:将来自车辆采集来的数据同步投影至s3车厢场景软件中的车辆模型中；
9.s5:通过vr头盔观看车辆运行情况。
10.优选的，所述s3中采集到的数据通过5gcpe传输到工作站。
11.优选的，所述车内环视相机设置在车厢顶棚位置，调整车内环视相机在车厢顶棚的位置，使车内环视相机整体视野覆盖车厢内360
°
视角以及车窗外的图像数据。
12.优选的，所述s5中，座椅为体感设计座椅，通过增加体感设计座椅使得用户获得沉浸式的体验。
13.优选的，车内环视相机的数量不少于三个。
14.优选的，通过图片拼接投影的方式将数据同步投影至车厢场景软件。
15.有益效果：
16.(1)区别于现有技术，本发明提供的一种基于unity3d的自动驾驶车厢监控方法，
通过unity3d车辆场景还原与vr头盔可以让用户在不去搭乘实际车辆的情况下去视觉感受自动驾驶车辆的运行状况，同时可以提高自动驾驶算法迭代和模拟仿真的调试效率。
17.(2)通过在车厢内顶棚位置多个车内环视相机，使相机整体视野覆盖车厢内360
°
视角以及车窗外的图像，可以用作自动驾驶车辆事故的现场还原。
附图说明
18.图1是实施例中基于unity3d的自动驾驶车厢监控方法系统架构图；
19.图2是车厢监控方法系统的主要流程图。
具体实施方式
20.为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
21.如图1所示，本实施例提供的基于unity3d的自动驾驶车厢监控方法，用于对自动驾驶车辆中车厢相机所记录的数据进行场景还原。
22.所述的基于unity3d的自动驾驶车厢监控方法，包括产品侧与技术侧，产品侧包括硬件数据采集平台与软件场景运行平台，其中硬件数据采集平台包括车端的自动驾驶车载平台和四个车内环视相机；软件场景运行平台包括工作站和vr头盔，其中四个车内环视相机设置在车厢内顶棚位置，调整相机角度，使相机整体视野覆盖车厢内360
°
视角以及车窗外的图像，可以用作自动驾驶车辆事故的现场还原。
23.技术侧即基于unity3d的自动驾驶车厢监控方法包括以下步骤：
24.(1)根据产品侧搭建好硬件数据采集平台与软件场景运行平台；
25.(2)通过车端的自动驾驶车载平台采集车内环视相机的数据；
26.(3)将步骤(2)采集到的数据通过5gcpe传输至工作站，工作站运行着基于unity3d引擎构建合成车厢场景模型；
27.unity3d引擎是搭建虚拟漫游世界的平台，鉴于此平台下可以完成对场景元素的编辑、汇总和整合，但对于场景模型需要借助三维软件，场景模型的构建技术包括基于模型软件生成技术、基于图像的构建技术以及基于三维几何图形的技术，本发明采用的是基于图像的构建技术，通过车载平台采集到的来自于车内环视相机的真实图像通过图像的图形绘制技术生成不同视点处的场景画面。
28.(4)通过图片拼接投影的方式将来自车辆采集来的数据同步投影至s3车厢场景软件中的车辆模型中；
29.所述的图像拼接是将空间中具有一定重叠率的图像序列校正为一幅无缝的宽视场图像它通常包括图像预处理、图像配准和图像融合3个步骤,图像配准是其中最重要的一步，区域配准和特征配准是最常用的配准方法，基于区域的配准方法,例如互相关法、相位相关法和归一化的相关法等,处理思想简单,可以借助快速傅里叶变换(fft)方法计算互相关系数,从而提高其计算速度以及缩短处理时间,但是它受图像灰度变化的影响较大,对旋转和畸变图像配准误差较大。基于特征的配准方法,具体的实现方法有空间关系法、不变描述算子法和统计概率法等,配准精度高,但是计算过程复杂,实现难度较高；
30.图像拼接的关键技术是特征提取与匹配，特征提取与匹配是图像拼接的基础，是
图像拼接制约发展的关键技术，同时消耗的时间也是最多的。通过特征查找、匹配、运动求解实现基于特征的方法；
31.(5)通过vr头盔观看车辆运行情况，在观看时为用户增加相应的体感设计座椅，让用户更真实地感受到车辆实时自动驾驶的状况。
32.本发明通过unity3d车辆场景还原与vr头盔可以让用户在不去搭乘实际车辆的情况下去视觉感受自动驾驶车辆的运行状况，同时可以提高自动驾驶算法迭代和模拟仿真的调试效率。
33.作为进一步改进，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。


技术特征：
1.一种基于unity3d的自动驾驶车厢监控方法，其特征在于，包括以下步骤：s1:搭建硬件数据采集平台与和软件场景运行平台，所述硬件数据采集平台包括车端的自动驾驶车载平台和多个车内环视相机；所述软件场景运行平台包括工作站和vr头盔；s2:通过车端的自动驾驶车载平台采集车内环视相机的数据；s3:将s2采集到的数据传输至工作站，所述工作站运行的软件为基于unity3d开发的车厢场景软件；s4:将来自车辆采集来的数据同步投影至s3车厢场景软件中的车辆模型中；s5:通过vr头盔观看车辆运行情况。2.根据权利要求1所述的一种基于unity3d的自动驾驶车厢监控方法，其特征在于，所述s3中采集到的数据通过5gcpe传输到工作站。3.据权利要求1所述的一种基于unity3d的自动驾驶车厢监控方法，其特征在于，所述车内环视相机设置在车厢顶棚位置，调整车内环视相机在车厢顶棚的位置，使车内环视相机整体视野覆盖车厢内360
°
视角以及车窗外的图像数据。4.据权利要求2所述的一种基于unity3d的自动驾驶车厢监控方法，其特征在于，所述s5中，座椅为体感设计座椅。5.据权利要求1所述的一种基于unity3d的自动驾驶车厢监控方法，其特征在于，车内环视相机的数量不少于三个。6.据权利要求1所述的一种基于unity3d的自动驾驶车厢监控方法，其特征在于，s4中，通过图片拼接投影的方式将数据同步投影至车厢场景软件。

技术总结
本发明提供了一种基于unity3D的自动驾驶车厢监控方法，包括以下步骤：（1）搭建硬件数据采集平台与和软件场景运行平台、（2）通过车端的自动驾驶车载平台采集车内环视相机的数据、（3）将步骤2采集到的数据传输至工作站、（4）通过图片拼接投影的方式将来自车辆采集来的数据同步投影至步骤3车厢场景软件中的车辆模型中、（5）通过VR头盔观看车辆运行情况。本发明通过unity3D车辆场景还原与VR头盔可以让用户在不去搭乘实际车辆的情况下去视觉感受自动驾驶车辆的运行状况，同时可以提高自动驾驶算法迭代和模拟仿真的调试效率。迭代和模拟仿真的调试效率。迭代和模拟仿真的调试效率。


技术研发人员：石金鹰 王劲
受保护的技术使用者：中智行（上海）交通科技有限公司
技术研发日：2021.12.30
技术公布日：2022/5/17