基于HUD的辅助驾驶系统的制作方法

基于hud的辅助驾驶系统
技术领域
1.本技术涉及汽车技术领域，具体而言，涉及一种基于hud的辅助驾驶系统。


背景技术：

2.随着生活水平的提高，汽车保有量越来越高，为了提高汽车驾驶的安全性，辅助驾驶技术应运而生。目前比较流行的辅助驾驶技术是通过hud(head up display，平视显示器)系统、dms(driver monitor system，驾驶员监控系统)和adas(advanced driving assistance system，高级驾驶辅助系统)在前挡风玻璃上准确地投射辅助驾驶信息，供驾驶员在无需低头的情况下便可查看这些辅助驾驶信息。
3.然而，相关技术中，hud系统、dms系统和adas系统均有独立的控制器，所以通过独立的控制器实现交互，从而不但使得控制器开发及生产成本高、难以发挥协同优势，而且还会使得hud系统获取dms系统和adas系统中数据时存在一定延时。


技术实现要素：

4.本技术提供了一种基于hud的辅助驾驶系统，能够提供一种综合的控制器来控制各个辅助设备，从而不但可以降低控制器开发及生产成本、提高协同优势，而且可以降低通信延时。
5.具体的技术方案如下：
6.本技术的实施例提供了一种基于hud的辅助驾驶系统，所述辅助驾驶系统包括域控制器、平视显示器hud、驾驶员监控系统dms摄像头、高级驾驶辅助系统adas摄像头和车身内部传感器，所述hud、所述dms摄像头、所述adas摄像头和所述车身内部传感器分别与所述域控制器通过串行解串线路通信连接；
7.所述dms摄像头，用于采集驾驶员图像信息，并通过所述串行解串线路将所述驾驶员图像信息发送给所述域控制器；
8.所述车身内部传感器，用于采集车身信号，并通过所述串行解串线路将所述车身信号发送给所述域控制器；
9.所述adas摄像头，用于采集车辆前方视野图像信息，并通过所述串行解串线路将所述车辆前方视野图像信息发送给所述域控制器；
10.所述域控制器，用于根据所述驾驶员图像信息、所述车身信号和所述车辆前方视野图像信息并通过所述串行解串线路控制所述hud进行辅助驾驶。
11.在一种实施方式中，所述域控制器，用于获取当前时刻的目标信息、第一时刻的目标信息和第二时刻的目标信息，其中，所述目标信息包括基于所述dms摄像头采集的驾驶员图像信息确定的驾驶员眼位信息和基于所述车身内部传感器采集的车身信号确定的车身信息，所述驾驶员眼位信息包括驾驶员眼位坐标，所述车身信息包括车辆位置，所述第一时刻和所述第二时刻均小于所述当前时刻，所述当前时刻与所述第一时刻的时差为第一延时，所述当前时刻与所述第二时刻的时差为第二延时，所述第一延时为所述域控制器获取
车身信息的延时，所述第二延时为所述域控制器获取驾驶员眼位信息的延时，将所述当前时刻的目标信息、所述第一时刻的目标信息和所述第二时刻的目标信息输入到位置预测模型中获得第三时刻的驾驶员眼位坐标和所述第三时刻的车辆位置，其中，所述位置预测模型为基于多个历史时刻的目标信息训练得到的预测模型，所述第三时刻大于所述当前时刻，所述第三时刻与所述当前时刻的时差为第三延时，所述第三延时为所述hud显示辅助驾驶信息的延时，获取待显示辅助驾驶信息，其中，所述待显示辅助驾驶信息包括基于所述adas摄像头在所述当前时刻采集的车辆前方视野图像信息和所述第三时刻的车辆位置确定的目标辅助驾驶信息，根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud的投影显示区域内的显示位置，控制所述hud在所述显示位置处显示所述待显示辅助驾驶信息。
12.在一种实施方式中，所述域控制器包括串行器、第一解串器、第二解串器、第三解串器、第一相机串行接口、第二相机串行接口、第三相机串行接口、第四相机串行接口、图形处理器gpu、目标处理器；
13.所述dms摄像头通过串行解串线路与所述第一解串器通信连接，所述第一解串器与所述第一相机串行接口通信连接，所述第一相机串行接口与所述目标处理器通信连接，所述dms摄像头将在目标时刻采集的驾驶员图像信息由并行信号转化为串行信号，通过所述串行解串线路将携带驾驶员图像信息的串行信号传输至所述第一解串器，所述第一解串器将携带驾驶员图像信息的串行信号转化为并行信号，并通过所述第一相机串行接口将携带驾驶员图像信息的并行信号传输给所述目标处理器进行处理以获得所述目标时刻的驾驶员眼位信息，所述目标时刻包括所述当前时刻、所述第一时刻或者所述第二时刻；
14.所述adas摄像头通过串行解串线路与所述第二解串器通信连接，所述第二解串器与所述第二相机串行接口通信连接，所述第二相机串行接口与所述目标处理器通信连接，所述adas摄像头将在所述当前时刻采集的车辆前方视野图像信息由并行信号转化为串行信号，通过所述串行解串线路将携带车辆前方视野图像信息的串行信号传输至所述第二解串器，所述第二解串器将携带车辆前方视野图像信息的串行信号转化为并行信号，并通过所述第二相机串行接口将携带车辆前方视野图像信息的并行信号传输给所述目标处理器进行处理以获得所述待显示辅助驾驶信息；
15.所述车身内部传感器通过所述串行解串线路与所述第三解串器通信连接，所述第三解串器与所述第三相机串行接口通信连接，所述第三相机串行接口与所述目标处理器通信连接，所述车身内部传感器将在所述目标时刻采集的车身信号由并行信号转化为串行信号，通过所述串行解串线路将携带车身信号的串行信号传输至所述第三解串器，所述第三解串器将携带车身信号的串行信号转化为并行信号，并通过所述第三相机串行接口将携带车身信号的并行信号传输给所述目标处理器进行处理以获得所述目标时刻的车身信息；
16.所述目标处理器，用于获取所述当前时刻的目标信息、所述第一时刻的目标信息和所述第二时刻的目标信息，将所述当前时刻的目标信息、所述第一时刻的目标信息和所述第二时刻的目标信息输入到所述位置预测模型中获得所述第三时刻的驾驶员眼位坐标和所述第三时刻的车辆位置，以及获取所述待显示辅助驾驶信息；
17.所述hud通过所述串行解串线路与所述串行器通信连接，所述串行器与所述第四相机串行接口连接，所述第四相机串行接口与所述gpu通信连接，所述gpu根据所述第三时
刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud的投影显示区域内的显示位置，并通过所述第四相机串行接口将包含显示位置的待显示辅助驾驶信息传输给所述串行器，所述串行器将包含显示位置的待显示辅助驾驶信息由并行信号转化为串行信号，所述串行器将携带串行信号的待显示辅助驾驶信息通过所述串行解串线路传输至所述hud，在所述hud将携带串行信号的待显示辅助驾驶信息转换为并行信号之后，所述hud在所述显示位置处显示所述待显示辅助驾驶信息。
18.在一种实施方式中，所述辅助驾驶系统还包括安装在车辆侧面的第一电子后视镜和/或安装在车辆后面的第二电子后视镜；
19.所述第一电子后视镜，用于采集车辆侧方视野图像信息，并通过所述串行解串线路将当前时刻采集的车辆侧方视野图像信息发送给所述域控制器；
20.所述第二电子后视镜，用于采集车辆后方视野图像信息，并通过所述串行解串线路将当前时刻采集的车辆后方视野图像信息发送给所述域控制器；
21.所述域控制器，用于根据所述当前时刻采集的车辆侧方视野图像信息确定与车辆侧方视野相关的待显示辅助驾驶信息，和/或，根据所述当前时刻采集的车辆后方视野图像信息确定与车辆后方视野相关的待显示辅助驾驶信息。
22.在一种实施方式中，当所述辅助驾驶系统包括所述第一电子后视镜时，所述域控制器还包括第四解串器和第五相机串行接口，所述第一电子后视镜通过所述串行解串线路与所述第四解串器通信连接，所述第四解串器与所述第五相机串行接口通信连接，所述第五相机串行接口与所述目标处理器通信连接，其中，所述第一电子后视镜、第四解串器、第五相机串行接口的数量分别相同，所述第一电子后视镜将在所述当前时刻采集的车辆侧方视野图像信息由并行信号转化为串行信号，通过所述串行解串线路将携带车辆侧方视野图像信息的串行信号传输至所述第四解串器，所述第四解串器将携带车辆侧方视野图像信息的串行信号转化为并行信号，并通过所述第五相机串行接口将携带车辆侧方视野图像信息的并行信号传输给所述目标处理器进行处理以获得与车辆侧方视野相关的待显示辅助驾驶信息；
23.当所述辅助驾驶系统包括所述第二电子后视镜时，所述域控制器还包括第五解串器和第六相机串行接口，所述第二电子后视镜通过所述串行解串线路与所述第五解串器通信连接，所述第五解串器与所述第六相机串行接口通信连接，所述第六相机串行接口与所述目标处理器通信连接，所述第二电子后视镜将在所述当前时刻采集的车辆后方视野图像信息由并行信号转化为串行信号，通过所述串行解串线路将携带车辆后方视野图像信息的串行信号传输至所述第五解串器，所述第五解串器将携带车辆后方视野图像信息的串行信号转化为并行信号，并通过所述第六相机串行接口将携带车辆后方视野图像信息的并行信号传输给所述目标处理器进行处理以获得与车辆后方视野相关的待显示辅助驾驶信息。
24.在一种实施方式中，所述域控制器，还用于在根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud的投影显示区域内的显示位置之前，将所述第三时刻的车辆位置与高精地图进行匹配，以获取基于所述第三时刻的车辆位置确定的预设地理范围内的局部高精地图，判断当前外界环境是否满足预设环境条件，在所述当前外界环境满足所述预设环境条件的情况
下，直接执行所述根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud的投影显示区域内的显示位置，在所述当前外界环境不满足所述预设环境条件的情况下，使用基于所述局部高精地图确定的辅助驾驶信息替换所述目标辅助驾驶信息作为所述待显示辅助驾驶信息。
25.在一种实施方式中，所述域控制器，还用于在判断当前外界环境是否满足预设环境条件之前，判断基于所述局部高精地图确定的辅助驾驶信息和所述目标辅助驾驶信息之间的差异，在所述差异未超过预设差异阈值的情况下，执行所述判断当前外界环境是否满足预设环境条件，在所述差异超过所述预设差异阈值的情况下，控制所述hud停止显示所述待显示辅助驾驶信息，并控制所述hud显示用于指示辅助驾驶功能发生故障的告警信息。
26.在一种实施方式中，在所述当前外界环境满足所述预设环境条件的情况下，所述待显示辅助驾驶信息还包括所述局部高精地图。
27.在一种实施方式中，所述车身信息还包括车速、车身横摆角速度、车身俯仰角速度和车辆加速度中至少一项，所述驾驶员眼位信息还包括驾驶员眼位移动速度和/或驾驶员眼位移动加速度。
28.在一种实施方式中，所述域控制器还包括以太网模块和安全模块，所述安全模块用于通过所述以太网模块接收服务器加密的空中下载技术ota升级包，并将所述加密的ota升级包进行解密，获得解密的ota升级包，以便所述域控制器基于所述解密的ota升级包进行升级。
29.由上述内容可知，本技术实施例提供的基于hud的辅助驾驶系统，能够提供一种综合的域控制器，使得域控制器分别与hud、dms摄像头、adas摄像头和车身内部传感器通过串行解串线路通信连接，进而不但可以降低控制器开发及生产成本、提高协同优势，而且可以从通信上降低延时。
30.本技术实施例可以取得的技术效果还包括但不限于以下几点：
31.1、在基于该域控制器控制hud实现辅助驾驶的过程中，可以先获取当前时刻的目标信息、第一时刻的目标信息和第二时刻的目标信息，再将当前时刻的目标信息、第一时刻的目标信息和第二时刻的目标信息输入到位置预测模型中获得第三时刻的驾驶员眼位坐标和第三时刻的车辆位置，并获取基于adas摄像头在当前时刻采集的车辆前方视野图像信息和第三时刻的车辆位置确定的待显示辅助驾驶信息，最后根据第三时刻的驾驶员眼位坐标、第三时刻的车辆位置和待显示辅助驾驶信息确定待显示辅助驾驶信息在hud的投影显示区域(如前挡风玻璃)内的显示位置，控制hud在显示位置处显示待显示辅助驾驶信息。由此可知，由于本技术实施例预测并结合第三时刻的驾驶员眼位坐标、车辆位置和基于第三时刻确定的待显示辅助驾驶信息实现了待显示辅助驾驶信息的显示，所以本技术实施例在投影显示区域上显示的辅助驾驶信息不存在延时，从而降低了失真率。
32.2、在当前外界环境满足预设环境条件的情况下，可以直接基于车辆前方视野图像信息和第三时刻的车辆位置确定的目标辅助驾驶信息进行hud显示，而在当前外界环境不满足预设环境条件的情况下，可以使用基于局部高精地图确定的辅助驾驶信息替换目标辅助驾驶信息进行hud显示，从而可以解决如下问题：在当前外界环境不良好(如天气不好、有障碍物)时，导致adas摄像头采集的车辆前方视野图像信息所表征的实物线条不清晰或不完整，从而使得hud上显示的待显示辅助驾驶信息不准确，进而给驾驶员驾车造成安全风
险。此外，在当前外界环境满足所述预设环境条件的情况下，待显示辅助驾驶信息除了包括目标辅助驾驶信息外，还可以包括局部高精地图，为驾驶员提供更丰富的辅助驾驶信息。
33.3、本技术实施例可以实时通过局部高精地图来验证辅助驾驶功能是否正常，并在基于局部高精地图确定的辅助驾驶信息和目标辅助驾驶信息之间的差异超过预设差异阈值的情况下，控制hud停止显示所述待显示辅助驾驶信息，并控制hud显示用于指示辅助驾驶功能发生故障的告警信息，以尽快通知驾驶员进行故障排查。
34.4、本技术实施例还可以通过域控制器与目标电子后视镜(包括安装在车辆侧面的第一电子后视镜和/或安装在车辆后面的第二电子后视镜)通信连接，为驾驶员提供车辆侧面和/或车辆后面的辅助驾驶信息，以进一步提高驾驶员驾驶体验和驾驶安全性。
35.当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
36.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本技术的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本技术实施例提供的一种基于hud的辅助驾驶系统的架构图；
38.图2为本技术实施例提供的另一种基于hud的辅助驾驶系统的架构图；
39.图3为本技术实施例提供的一种域控制器电源供电方法的示意图；
40.图4为本技术实施例提供的一种基于hud的辅助驾驶方法的流程示意图；
41.图5为本技术实施例提供的一种hud显示效果示例图；
42.图6为本技术实施例提供的一种基于hud的辅助驾驶装置的组成框图。
具体实施方式
43.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.需要说明的是，本技术实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
45.图1为本技术实施例提供的一种基于hud的辅助驾驶系统的架构图，该辅助驾驶系统位于车辆内，所述辅助驾驶系统包括域控制器11、hud12、dms摄像头13、adas摄像头14和车身内部传感器15，所述hud12、所述dms摄像头13、所述adas摄像头14和所述车身内部传感器15分别与所述域控制器11通过串行解串线路通信连接，即所述hud12、所述dms摄像头13、所述adas摄像头14和所述车身内部传感器15共用一个域控制器11。车身内部传感器15包括定位模块、加速度传感器、角速度传感器、速度传感器等。
46.所述dms摄像头13，用于采集驾驶员图像信息，并通过所述串行解串线路将所述驾驶员图像信息发送给所述域控制器11；
47.所述车身内部传感器15，用于采集车身信号，并通过所述串行解串线路将所述车身信号发送给所述域控制器11；
48.所述adas摄像头14，用于采集车辆前方视野图像信息，并通过所述串行解串线路将所述车辆前方视野图像信息发送给所述域控制器11；
49.所述域控制器11，用于根据所述驾驶员图像信息、所述车身信号和所述车辆前方视野图像信息并通过所述串行解串线路控制所述hud12进行辅助驾驶。
50.相关技术中，hud系统中的hud控制器获取dms系统传输的车辆位置、获取dms系统测量的驾驶员眼位坐标以及hud融合显示辅助驾驶信息均存在一定延时，假设分别为
△
t1、
△
t2、
△
t3。由此使得t时刻hud控制器获得的是t
‑△
t1时刻的车辆位置、t
‑△
t2时刻的驾驶员眼位坐标，hud将辅助驾驶信息显示在前挡风玻璃处被人眼看到的时刻为t+
△
t3。由此可能会导致至少两种失真问题：(1)基于t
‑△
t1时刻确定的辅助驾驶信息和t+
△
t3时刻驾驶员看到的前方视野信息在内容上相同，但是却因为驾驶员在t+
△
t3时刻与t
‑△
t2时刻的眼位坐标不同，以及t+
△
t3时刻和t
‑△
t1时刻车辆位置不同而导致车辆视野前方路面标志等信息的视觉角度存在差异，从而使得辅助驾驶信息在前挡风玻璃上显示的图标与前方视野的实物不逼真、不贴合，例如视觉上存在错位；(2)基于t
‑△
t1时刻确定的辅助驾驶信息(例如有右转路面标志)和t+
△
t3时刻驾驶员看到的前方视野信息((例如没有右转路面标志))不同，从而因图标指示滞后而影响驾驶员驾驶体验，甚至可能因为误导而发生交通事故。
51.为了进一步降低hud显示辅助驾驶信息的失真率，本技术实施例提供的辅助驾驶系统还包括：
52.所述域控制器11，用于获取当前时刻的目标信息、第一时刻的目标信息和第二时刻的目标信息，其中，所述目标信息包括基于所述dms摄像头13采集的驾驶员图像信息确定的驾驶员眼位信息和基于所述车身内部传感器15采集的车身信号确定的车身信息，所述驾驶员眼位信息包括驾驶员眼位坐标，所述车身信息包括车辆位置，所述第一时刻和所述第二时刻均小于所述当前时刻，所述当前时刻与所述第一时刻的时差为第一延时，所述当前时刻与所述第二时刻的时差为第二延时，所述第一延时为所述域控制器11获取车身信息的延时，所述第二延时为所述域控制器11获取驾驶员眼位信息的延时，将所述当前时刻的目标信息、所述第一时刻的目标信息和所述第二时刻的目标信息输入到位置预测模型中获得第三时刻的驾驶员眼位坐标和所述第三时刻的车辆位置，其中，所述位置预测模型为基于多个历史时刻的目标信息训练得到的预测模型，所述第三时刻大于所述当前时刻，所述第三时刻与所述当前时刻的时差为第三延时，所述第三延时为所述hud12显示辅助驾驶信息的延时，获取待显示辅助驾驶信息，其中，所述待显示辅助驾驶信息包括基于所述adas摄像头14在所述当前时刻采集的车辆前方视野图像信息和所述第三时刻的车辆位置确定的目标辅助驾驶信息，根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud12的投影显示区域内的显示位置，控制所述hud12在所述显示位置处显示所述待显示辅助驾驶信息。
53.在一种实施方式中，所述域控制器11，还用于在根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息
在所述hud12的投影显示区域内的显示位置之前，将所述第三时刻的车辆位置与高精地图进行匹配，以获取基于所述第三时刻的车辆位置确定的预设地理范围内的局部高精地图，判断当前外界环境是否满足预设环境条件，在所述当前外界环境满足所述预设环境条件的情况下，直接执行所述根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud12的投影显示区域内的显示位置，在所述当前外界环境不满足所述预设环境条件的情况下，使用基于所述局部高精地图确定的辅助驾驶信息替换所述目标辅助驾驶信息作为所述待显示辅助驾驶信息。
54.在一种实施方式中，所述域控制器11，还用于在判断当前外界环境是否满足预设环境条件之前，判断基于所述局部高精地图确定的辅助驾驶信息和所述目标辅助驾驶信息之间的差异，在所述差异未超过预设差异阈值的情况下，执行所述判断当前外界环境是否满足预设环境条件，在所述差异超过所述预设差异阈值的情况下，控制所述hud12停止显示所述待显示辅助驾驶信息，并控制所述hud12显示用于指示辅助驾驶功能发生故障的告警信息。
55.在一种实施方式中，在所述当前外界环境满足所述预设环境条件的情况下，所述待显示辅助驾驶信息还包括所述局部高精地图。
56.在一种实施方式中，所述车身信息还包括车速、车身横摆角速度、车身俯仰角速度和车辆加速度中至少一项，所述驾驶员眼位信息还包括驾驶员眼位移动速度和/或驾驶员眼位移动加速度。
57.在一种实施方式中，如图2所示，所述域控制器11包括串行器111、第一解串器112、第二解串器113、第三解串器114、第一相机串行接口115、第二相机串行接口116、第三相机串行接口117、第四相机串行接口118、图形处理器gpu119、目标处理器120。其中，串行器用于并行信号转化为串行信号，解串器用于将串行信号转化为并行信号，相机串行接口可以为mipi-csi(mobile industry processor interface cmos sensor interface，移动产业处理器接口联盟-相机串行接口)接口。目标处理器120包括cpu(central processing unit，中央处理器)和/或vpu(video processing unit，视频处理单元)，主要用于复杂算法处理。
58.所述dms摄像头13通过串行解串线路与所述第一解串器112通信连接，所述第一解串器112与所述第一相机串行接口115通信连接，所述第一相机串行接口115与所述目标处理器120通信连接。所述dms摄像头13将在目标时刻采集的驾驶员图像信息由并行信号转化为串行信号，通过所述串行解串线路将携带驾驶员图像信息的串行信号传输至所述第一解串器112，所述第一解串器112将携带驾驶员图像信息的串行信号转化为并行信号，并通过所述第一相机串行接口115将携带驾驶员图像信息的并行信号传输给所述目标处理器120进行处理以获得所述目标时刻的驾驶员眼位信息，所述目标时刻包括所述当前时刻、所述第一时刻或者所述第二时刻。
59.所述adas摄像头14通过串行解串线路与所述第二解串器113通信连接，所述第二解串器113与所述第二相机串行接口116通信连接，所述第二相机串行接口116与所述目标处理器120通信连接。所述adas摄像头14将在所述当前时刻采集的车辆前方视野图像信息由并行信号转化为串行信号，通过所述串行解串线路将携带车辆前方视野图像信息的串行信号传输至所述第二解串器113，所述第二解串器113将携带车辆前方视野图像信息的串行
信号转化为并行信号，并通过所述第二相机串行接口116将携带车辆前方视野图像信息的并行信号传输给所述目标处理器120进行处理以获得所述待显示辅助驾驶信息。
60.所述车身内部传感器15通过所述串行解串线路与所述第三解串器114通信连接，所述第三解串器114与所述第三相机串行接口117通信连接，所述第三相机串行接口117与所述目标处理器120通信连接。所述车身内部传感器15将在所述目标时刻采集的车身信号由并行信号转化为串行信号，通过所述串行解串线路将携带车身信号的串行信号传输至所述第三解串器114，所述第三解串器114将携带车身信号的串行信号转化为并行信号，并通过所述第三相机串行接口117将携带车身信号的并行信号传输给所述目标处理器120进行处理以获得所述目标时刻的车身信息。
61.所述目标处理器120，用于获取所述当前时刻的目标信息、所述第一时刻的目标信息和所述第二时刻的目标信息，将所述当前时刻的目标信息、所述第一时刻的目标信息和所述第二时刻的目标信息输入到所述位置预测模型中获得所述第三时刻的驾驶员眼位坐标和所述第三时刻的车辆位置，以及获取所述待显示辅助驾驶信息。
62.所述hud12通过所述串行解串线路与所述串行器111通信连接，所述串行器111与所述第四相机串行接口118连接，所述第四相机串行接口118与所述gpu119通信连接。所述gpu119根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud12的投影显示区域内的显示位置，并通过所述第四相机串行接口118将包含显示位置的待显示辅助驾驶信息传输给所述串行器111，所述串行器111将包含显示位置的待显示辅助驾驶信息由并行信号转化为串行信号，所述串行器111将携带串行信号的待显示辅助驾驶信息通过所述串行解串线路传输至所述hud12，在所述hud12将携带串行信号的待显示辅助驾驶信息转换为并行信号之后，所述hud12在所述显示位置处显示所述待显示辅助驾驶信息。对于光机的亮度、显示角度等信息可以通过hud12中的i2c接口进行控制。
63.在一种实施方式中，如图2所示，所述辅助驾驶系统还包括安装在车辆侧面的第一电子后视镜和/或安装在车辆后面的第二电子后视镜122，所述待显示辅助驾驶信息还包括所述第一电子后视镜在所述当前时刻采集的车辆侧方视野图像信息和/或所述第二电子后视镜122在所述当前时刻采集的车辆后方视野图像信息。
64.所述第一电子后视镜，用于采集车辆侧方视野图像信息，并通过所述串行解串线路将当前时刻采集的车辆侧方视野图像信息发送给所述域控制器；
65.所述第二电子后视镜122，用于采集车辆后方视野图像信息，并通过所述串行解串线路将当前时刻采集的车辆后方视野图像信息发送给所述域控制器；
66.所述域控制器11，用于根据所述当前时刻采集的车辆侧方视野图像信息确定与车辆侧方视野相关的待显示辅助驾驶信息，和/或，根据所述当前时刻采集的车辆后方视野图像信息确定与车辆后方视野相关的待显示辅助驾驶信息。
67.当所述辅助驾驶系统包括所述第一电子后视镜时，所述域控制器11还包括第四解串器和第五相机串行接口，所述第一电子后视镜通过所述串行解串线路与所述第四解串器通信连接，所述第四解串器与所述第五相机串行接口通信连接，所述第五相机串行接口与所述目标处理器120通信连接，其中，所述第一电子后视镜、第四解串器、第五相机串行接口的数量分别相同，例如，辅助驾驶系统中包括左右两侧的电子后视镜，即第一电子后视镜
121a和第一电子后视镜121b，第一电子后视镜121a对应的第四解串器和第五相机串行接口分别为第四解串器123a和第五相机串行接口124a，第一电子后视镜121b对应的第四解串器和第五相机串行接口分别为第四解串器123b和第五相机串行接口124b。所述第一电子后视镜121a(或者121b)将在所述当前时刻采集的车辆侧方视野图像信息由并行信号转化为串行信号，通过所述串行解串线路将携带车辆侧方视野图像信息的串行信号传输至所述第四解串器123a(或者123b)，所述第四解串器123a(或者123b)将携带车辆侧方视野图像信息的串行信号转化为并行信号，并通过所述第五相机串行接口124a(或者124b)将携带车辆侧方视野图像信息的并行信号传输给所述目标处理器120进行处理以获得与车辆侧方视野相关的待显示辅助驾驶信息。
68.当所述辅助驾驶系统包括所述第二电子后视镜122时，所述域控制器11还包括第五解串器125和第六相机串行接口126，所述第二电子后视镜122通过所述串行解串线路与所述第五解串器125通信连接，所述第五解串器125与所述第六相机串行接口126通信连接，所述第六相机串行接口126与所述目标处理器120通信连接。所述第二电子后视镜122将在所述当前时刻采集的车辆后方视野图像信息由并行信号转化为串行信号，通过所述串行解串线路将携带车辆后方视野图像信息的串行信号传输至所述第五解串器125，所述第五解串器125将携带车辆后方视野图像信息的串行信号转化为并行信号，并通过所述第六相机串行接口126将携带车辆后方视野图像信息的并行信号传输给所述目标处理器120进行处理以获得与车辆后方视野相关的待显示辅助驾驶信息。
69.在一种实施方式中，如图2所示，所述域控制器11还包括以太网模块127和安全模块128，所述安全模块128用于通过所述以太网模块127接收服务器加密的空中下载技术ota升级包，并将所述加密的ota升级包进行解密，获得解密的ota升级包，以便所述域控制器11基于所述解密的ota升级包进行升级。
70.在一种实施方式中，光机连接侧身电源作为输入，3.3v、5v、12v三路电源进行输出。其中，3.3v电源用于光机中的数字微镜供电，led光源的逻辑控制电路供电、串行器、解串器、led光敏传感器等的供电。5v电源用于led驱动器供电，负责光机工作时，红色、蓝色、绿色三路led分时发光。光沿光路传播，投射到dmd上，形成光机的原始图像。12v电源用于光机的电机控制。光机的电机主要用于调节hud图像输出的上下视场角，以适应不同身高的用户。
71.域控制器电源供电方案如图3所示。车身蓄电池电源供电作为供电模块的输入。共输出3.3v、1.8v、12v、5v四路电源。其中3.3v电源为域控制器的声音模块21、移动通信(4g/5g)模块22、wifi模块23、串口模块24的io电源部分进行供电。1.8v作为存储器emmc(embedded multi media card)25、lpddr(low power double data rate sdram，低功耗内存)26、串行器27、解串器28逻辑核心部分进行供电。5v电源用于域控制器的usb接口29供电、12v电源供电主要用于串行器/解串器的poc(power on cable，通电电缆)210部分进行供电。
72.本技术实施例提供的基于hud的辅助驾驶系统，能够提供一种综合的域控制器，使得域控制器分别与hud、dms摄像头、adas摄像头和车身内部传感器通信连接，进而不但可以降低控制器开发及生产成本、提高协同优势，而且可以从通信上降低延时。在基于该域控制器控制hud实现辅助驾驶的过程中，可以先获取当前时刻的目标信息、第一时刻的目标信息
和第二时刻的目标信息，再将当前时刻的目标信息、第一时刻的目标信息和第二时刻的目标信息输入到位置预测模型中获得第三时刻的驾驶员眼位坐标和第三时刻的车辆位置，并获取基于adas摄像头在当前时刻采集的车辆前方视野图像信息和第三时刻的车辆位置确定的待显示辅助驾驶信息，最后根据第三时刻的驾驶员眼位坐标、第三时刻的车辆位置和待显示辅助驾驶信息确定待显示辅助驾驶信息在hud的投影显示区域(如前挡风玻璃)内的显示位置，控制hud在显示位置处显示待显示辅助驾驶信息。由此可知，由于本技术实施例预测并结合第三时刻的驾驶员眼位坐标、车辆位置和基于第三时刻确定的待显示辅助驾驶信息实现了待显示辅助驾驶信息的显示，所以本技术实施例在投影显示区域上显示的辅助驾驶信息不存在延时，从而降低了失真率。
73.相应于上述实施例，本技术实施例提供了一种基于hud的辅助驾驶方法，该辅助驾驶方法应用于域控制器，域控制器分别与hud、dms摄像头、adas摄像头和车身内部传感器通信连接，如图4所示，所述方法包括：
74.步骤s300：获取当前时刻的目标信息、第一时刻的目标信息和第二时刻的目标信息。
75.所述目标信息包括基于所述dms摄像头采集的驾驶员图像信息确定的驾驶员眼位信息和基于所述车身内部传感器采集的车身信号确定的车身信息，所述驾驶员眼位信息包括驾驶员眼位坐标，所述车身信息包括车辆位置，所述第一时刻和所述第二时刻均小于所述当前时刻，所述当前时刻与所述第一时刻的时差为第一延时，所述当前时刻与所述第二时刻的时差为第二延时，所述第一延时为所述域控制器获取车身信息的延时，所述第二延时为所述域控制器获取驾驶员眼位信息的延时。
76.所述车身信息还包括车速、车身横摆角速度、车身俯仰角速度和车辆加速度中至少一项，所以车身内部传感器车速传感器、角速度传感器、加速度传感器、定位模块等。所述驾驶员眼位信息还包括驾驶员眼位移动速度和/或驾驶员眼位移动加速度。
77.步骤s310：将所述当前时刻的目标信息、所述第一时刻的目标信息和所述第二时刻的目标信息输入到位置预测模型中获得第三时刻的驾驶员眼位坐标和所述第三时刻的车辆位置。
78.所述位置预测模型为基于多个历史时刻的目标信息训练得到的预测模型，该位置预测模型可以为基于回归算法进行训练的回归模型，也可以为其他预测模型，所述第三时刻大于所述当前时刻，所述第三时刻与所述当前时刻的时差为第三延时，所述第三延时为所述hud显示辅助驾驶信息的延时。
79.步骤s320：获取待显示辅助驾驶信息。
80.其中，所述待显示辅助驾驶信息包括基于所述adas摄像头在所述当前时刻采集的车辆前方视野图像信息和所述第三时刻的车辆位置确定的目标辅助驾驶信息。基于车辆前方视野图像信息和第三时刻的车辆位置确定的辅助驾驶信息包括但不限于车道线、地面标识、路牌、车速、车辆加速度等。adas摄像头能够采集到车辆前方较大视野范围内的图像信息，所以该图像信息可以应用于多个时刻，但第一时刻和第三时刻的车辆前方视野图像信息可能存在差异，例如在第一时刻能看到右转路面标志，在第三时刻可能已经驶过右转路面标志，而变成直行路面标志，为了防止误导驾驶员，本技术实施例根据车辆前方视野图像信息和第三时刻的车辆位置确定的目标辅助驾驶信息。
81.在实际应用中，在当前外界环境不良好(如天气不好、有障碍物)时，会导致adas摄像头采集的车辆前方视野图像信息所表征的实物线条不清晰或不完整，从而使得hud上显示的待显示辅助驾驶信息不准确，进而给驾驶员驾车造成安全风险。为了解决该技术问题，本技术实施例可以先将所述第三时刻的车辆位置与高精地图进行匹配，以获取基于所述第三时刻的车辆位置确定的预设地理范围内的局部高精地图；再判断当前外界环境是否满足预设环境条件；在所述当前外界环境满足所述预设环境条件的情况下，直接执行所述根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud的投影显示区域内的显示位置(即步骤s330)；在所述当前外界环境不满足所述预设环境条件的情况下，先使用基于所述局部高精地图确定的辅助驾驶信息替换目标辅助驾驶信息作为所述待显示辅助驾驶信息，再基于替换后的待显示辅助驾驶信息执行步骤s330。
82.判断当前外界环境是否满足预设环境条件的具体实现方法包括但不限于：(1)从网络上获取车辆所在地区的天气预报，当天气预报表明天气晴朗、空气质量大于预设质量阈值时，确定当前外界环境满足预设环境条件，否则确定当前外界环境不满足预设环境条件。(2)通过判断车辆前方视野图像信息中车道线等信息的清晰度，若清晰度大于预设清晰度阈值，则确定当前外界环境满足预设环境条件，否则确定当前外界环境不满足预设环境条件。(3)判断车辆前方视野图像信息中是否含有面积大于预设面积的障碍物，若存在，则确定当前外界环境不满足预设环境条件，否则确定当前外界环境满足预设环境条件。
83.在一种实施方式中，为了防止辅助驾驶系统的辅助驾驶功能发生故障而导致hud上显示的待显示辅助驾驶信息错误进而给驾驶员造成误导，本技术实施例可以在判断当前外界环境是否满足预设环境条件之前，先判断基于所述局部高精地图确定的辅助驾驶信息和目标辅助驾驶信息之间的差异；在所述差异未超过预设差异阈值的情况下，执行所述判断当前外界环境是否满足预设环境条件；在所述差异超过所述预设差异阈值的情况下，控制所述hud停止显示所述待显示辅助驾驶信息，并控制所述hud显示用于指示辅助驾驶功能发生故障的告警信息。
84.在判断基于所述局部高精地图确定的辅助驾驶信息和基于所述车辆前方视野图像信息确定的辅助驾驶信息之间的差异时，可以分别针对辅助驾驶信息中的每一项内容进行比对，例如车道线、路牌等一一进行比对，获得每一项内容的差异，再分别判断每一项内容的差异是否超过预设差异阈值，或者直接判断所有项的差异平均值是否超过预设差异阈值。当然，为了保证告警的准确性，当首次检测到超过预设差异阈值时，还会持续进行检测，当连续预设时长均超过预设差异阈值时，才发出告警信息。
85.在一种实施方式中，在所述当前外界环境满足所述预设环境条件的情况下，所述待显示辅助驾驶信息除了包括基于所述adas摄像头在所述当前时刻采集的车辆前方视野图像信息确定的辅助驾驶信息之外，还包括所述局部高精地图，以便弥补adas摄像头无法采集到全局信息的缺陷。由于前挡风玻璃空间有限，所以该局部高精地图可以算是一个迷你局部高精地图，可以将其放置在左下角或者右下角，也可以根据实际情况调整到其他显示位置。
86.步骤s330：根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud的投影显示区域内的显示
位置，控制所述hud在所述显示位置处显示所述待显示辅助驾驶信息。
87.如图5所示，在确定待显示辅助驾驶信息在hud的投影显示区域内的显示位置时，若使得第三时刻的驾驶员眼位坐标、在第三时刻的车辆位置处待显示辅助驾驶信息对应的实物信息(如图中的路面标志)以及在投影显示区域内待显示辅助驾驶信息对应的虚拟物体信息(如图中前挡风玻璃上的图标)在同一个平面上，那么此时的虚拟物体信息在投影显示区域上的位置就是所需的显示位置。
88.假设域控制器获取车辆位置、驾驶员眼位坐标以及hud融合显示辅助驾驶信息的延时分别为
△
t1、
△
t2、
△
t3，那么使得t时刻域控制器获得的是t
‑△
t1时刻的车辆位置、t
‑△
t2时刻的驾驶员眼位坐标，hud将辅助驾驶信息显示在前挡风玻璃处被人眼看到的时刻为t+
△
t3。如图5所示，在这种情况下，若不进行调整，驾驶员将使用位于t+
△
t3时刻眼位坐标处的眼睛在前挡风玻璃的原始图标位置处看到用于表示直行的图标，但是此时看到的图标与t+
△
t3时刻的路面标志不在同一个平面上，从而造成错位、失真的现象。而采用本技术实施例进行调整后，驾驶员将使用位于t+
△
t3时刻眼位坐标处的眼睛在前挡风玻璃的实际图标位置处看到用于表示直行的图标，此时的图标与t+
△
t3时刻的路面标志在同一个平面上，而不会有错位、失真的现象。
89.在一种实施方式中，为了让驾驶员直观看到车辆左右侧、后侧的车辆信息，从而进一步提高辅助驾驶体验，提高驾驶安全，本技术实施例的域控制器与目标电子后视镜通信连接，所述目标电子后视镜包括安装在车辆侧面的第一电子后视镜和/或安装在车辆后面的第二电子后视镜，所述待显示辅助驾驶信息还包括基于所述第一电子后视镜在所述当前时刻采集的车辆侧方视野图像信息确定的辅助驾驶信息和/或基于所述第二电子后视镜在所述当前时刻采集的车辆后方视野图像信息确定的辅助驾驶信息。为了节省资源，降低驾驶员视觉压力，也可以在特殊场景下(如并线)才将基于车辆侧方视野图像信息确定的辅助驾驶信息和/或基于车辆后方视野图像信息确定的辅助驾驶信息投射到前挡风玻璃上，避免驾驶员左右转头，迁移视线。
90.本技术实施例提供的基于hud的辅助驾驶方法，能够提供一种综合的域控制器，使得域控制器分别与hud、dms摄像头、adas摄像头和车身内部传感器通信连接，进而不但可以降低控制器开发及生产成本、提高协同优势，而且可以从通信上降低延时。在基于该域控制器控制hud实现辅助驾驶的过程中，可以先获取当前时刻的目标信息、第一时刻的目标信息和第二时刻的目标信息，再将当前时刻的目标信息、第一时刻的目标信息和第二时刻的目标信息输入到位置预测模型中获得第三时刻的驾驶员眼位坐标和第三时刻的车辆位置，并获取基于adas摄像头在当前时刻采集的车辆前方视野图像信息和第三时刻的车辆位置确定的待显示辅助驾驶信息，最后根据第三时刻的驾驶员眼位坐标、第三时刻的车辆位置和待显示辅助驾驶信息确定待显示辅助驾驶信息在hud的投影显示区域(如前挡风玻璃)内的显示位置，控制hud在显示位置处显示待显示辅助驾驶信息。由此可知，由于本技术实施例预测并结合第三时刻的驾驶员眼位坐标、车辆位置和基于第三时刻确定的待显示辅助驾驶信息实现了待显示辅助驾驶信息的显示，所以本技术实施例在投影显示区域上显示的辅助驾驶信息不存在延时，从而降低了失真率。
91.基于上述实施例，本技术实施例提供了一种基于hud的辅助驾驶装置，所述辅助驾驶装置应用于域控制器，所述域控制器分别与平视显示器hud、驾驶员监控系统dms摄像头、
高级驾驶辅助系统adas摄像头和车身内部传感器通信连接，如图6所示，所述装置包括：
92.第一获取单元40，用于获取当前时刻的目标信息、第一时刻的目标信息和第二时刻的目标信息，其中，所述目标信息包括基于所述dms摄像头采集的驾驶员图像信息确定的驾驶员眼位信息和基于所述车身内部传感器采集的车身信号确定的车身信息，所述驾驶员眼位信息包括驾驶员眼位坐标，所述车身信息包括车辆位置，所述第一时刻和所述第二时刻均小于所述当前时刻，所述当前时刻与所述第一时刻的时差为第一延时，所述当前时刻与所述第二时刻的时差为第二延时，所述第一延时为所述域控制器获取车身信息的延时，所述第二延时为所述域控制器获取驾驶员眼位信息的延时；
93.预测单元42，用于将所述当前时刻的目标信息、所述第一时刻的目标信息和所述第二时刻的目标信息输入到位置预测模型中获得第三时刻的驾驶员眼位坐标和所述第三时刻的车辆位置，其中，所述位置预测模型为基于多个历史时刻的目标信息训练得到的预测模型，所述第三时刻大于所述当前时刻，所述第三时刻与所述当前时刻的时差为第三延时，所述第三延时为所述hud显示辅助驾驶信息的延时；
94.第二获取单元44，用于获取待显示辅助驾驶信息，其中，所述待显示辅助驾驶信息包括基于所述adas摄像头在所述当前时刻采集的车辆前方视野图像信息和所述第三时刻的车辆位置确定的目标辅助驾驶信息；
95.确定单元46，用于根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud的投影显示区域内的显示位置；
96.控制单元48，用于控制所述hud在所述显示位置处显示所述待显示辅助驾驶信息。
97.在一种实施方式中，所述装置还包括：
98.匹配单元，用于在根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud的投影显示区域内的显示位置之前，将所述第三时刻的车辆位置与高精地图进行匹配，以获取基于所述第三时刻的车辆位置确定的预设地理范围内的局部高精地图；
99.判断单元，用于判断当前外界环境是否满足预设环境条件；
100.所述确定单元46，用于在所述当前外界环境满足所述预设环境条件的情况下，根据所述第三时刻的驾驶员眼位坐标、所述第三时刻的车辆位置和所述待显示辅助驾驶信息确定所述待显示辅助驾驶信息在所述hud的投影显示区域内的显示位置；
101.替换单元，用于在所述当前外界环境不满足所述预设环境条件的情况下，使用基于所述局部高精地图确定的辅助驾驶信息替换所述目标辅助驾驶信息作为所述待显示辅助驾驶信息。
102.在一种实施方式中，判断单元，还用于在判断当前外界环境是否满足预设环境条件之前，判断基于所述局部高精地图确定的辅助驾驶信息和所述目标辅助驾驶信息之间的差异，在所述差异未超过预设差异阈值的情况下，执行所述判断当前外界环境是否满足预设环境条件；
103.控制单元48，还用于在所述差异超过所述预设差异阈值的情况下，控制所述hud停止显示所述待显示辅助驾驶信息，并控制所述hud显示用于指示辅助驾驶功能发生故障的告警信息。
104.在一种实施方式中，在所述当前外界环境满足所述预设环境条件的情况下，所述待显示辅助驾驶信息还包括所述局部高精地图。
105.在一种实施方式中，所述域控制器与目标电子后视镜通信连接，所述目标电子后视镜包括安装在车辆侧面的第一电子后视镜和/或安装在车辆后面的第二电子后视镜，所述待显示辅助驾驶信息还包括基于所述第一电子后视镜在所述当前时刻采集的车辆侧方视野图像信息确定的辅助驾驶信息和/或基于所述第二电子后视镜在所述当前时刻采集的车辆后方视野图像信息确定的辅助驾驶信息。
106.在一种实施方式中，所述车身信息还包括车速、车身横摆角速度、车身俯仰角速度和车辆加速度中至少一项，所述驾驶员眼位信息还包括驾驶员眼位移动速度和/或驾驶员眼位移动加速度。
107.基于上述方法实施例，本技术的另一实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上所述的方法。
108.基于上述方法实施例，本技术的另一实施例提供了一种车辆，所述车辆包括上述实施例提及的基于hud的辅助驾驶系统。
109.上述系统、装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本技术所必须的。
110.本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
111.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。