基于CAN-TSN网关的高级辅助驾驶系统

基于can-tsn网关的高级辅助驾驶系统
技术领域
1.本发明涉及自动驾驶技术领域，特别涉及一种基于can-tsn网关的高级辅助驾驶系统。


背景技术：

2.随着汽车智能化网联化的发展，汽车电子电气架构由基于ecu的分布式汽车电子电气架构转向域集中式电子电气架构。如bosch公司将汽车划分为动力域、车身域、底盘域、座舱域和高级辅助驾驶域。现有的高级辅助驾驶系统主要通过外接如毫米波雷达、激光雷达、车载摄像头、惯性导航等传感器，采集交通环境数据，精确识别各类交通元素，为自动驾驶汽车决策系统提供支撑。现有的高级辅助驾驶系统主要以车辆外部路况环境为主，对于汽车内部驾驶员状态、汽车行驶状态等信息的感知较少，缺少对汽车车速、轮胎转速、发动机温度、驾驶员是否疲劳驾驶、是否存在不良驾驶行为等信息的感知。
3.现有的高级辅助驾驶系统存在的问题包括：1、主要通过采集路况信息进行自动驾驶决策，数据单一，缺乏对汽车状态检测和驾驶员信息采集与决策，也无法将数据传至汽车控制系统。2、高级辅助驾驶系统与汽车控制系统存在通信协议不兼容、速率不匹配等问题，需要通过网关实现互联互通。3、现有的can-tsn网关主要侧重于理论，所使用的验证平台缺乏车规级认证，不具备实际落地的可行性，缺乏实际方案。


技术实现要素：

4.本发明提供了一种基于can-tsn网关的高级辅助驾驶系统，将obd采集到的车辆状态数据通过can-tsn网关传至辅助驾驶子系统，为辅助驾驶子系统的决策提供更多的数据支撑，实现多感知融合，将决策反馈至汽车控制子系统，提高自动驾驶汽车的安全性与可靠性。
5.本发明提供了一种基于can-tsn网关的高级辅助驾驶系统，包括辅助驾驶子系统、汽车控制子系统和中央网关；
6.所述辅助驾驶子系统用于对路况信息和驾驶员行为进行检测；所述汽车控制子系统用于对汽车状态进行检测，以及采用毫米波雷达对障碍物进行检测；所述中央网关用于连接所述辅助驾驶子系统的第一域控制器和汽车控制子系统的第二域控制器，所述中央网关为can-tsn网关，采用can-tsn协议转换算法进行速率匹配，为第一域控制器和第二域控制器分配ip地址，采用tcp/ip网络层的socket传输以及数据链路层的以太网帧/tsn帧传输；
7.所述can-tsn协议转换算法包括can-tsn转换策略和tsn-can转换策略，所述can-tsn转换策略按照消息周期和负载进行打包，所述tsn-can转换策略将tsn帧按照需要发往的域进行划分。
8.进一步地，所述can-tsn转换策略将所述汽车控制子系统的can消息转换为tsn帧并转发至所述辅助驾驶子系统，其步骤包括：
9.s11、将can消息装入tsn帧；
10.s12、判断tsn帧是否过载；
11.s13、当tsn帧过载时，创建tsn帧，并返回步骤s11；
12.s14、当tsn帧未过载时，判断是否满足实时调度；
13.s15、当未满足实时调度时，将消息重打包，并返回步骤s11；
14.s16、当满足实时调度时进行转发。
15.进一步地，所述tsn-can转换策略将所述辅助驾驶子系统的决策发送至所述汽车控制子系统，其步骤包括：
16.s21、将tsn帧拆分；
17.s22、将数据填充can消息；
18.s23、判断是否可以填充；
19.s24、当不可以填充时，创建新的can消息，并返回步骤s22；
20.s25、当可以填充时，判断是否满足实时调度；
21.s26、当未满足实时调度时，返回步骤s21；
22.s27、当满足实时调度时进行转发。
23.进一步地，所述辅助驾驶子系统包括第一域控制器、车载外摄像头、车载内摄像头和车载嵌入式gpu，并通过tsn网络进行通信；
24.所述车载外摄像头面向车外采集路况信息，并通过第一设定算法进行实时目标检测；其中，检测内容包括小车、货车、大巴车、行人、自行车、交通标志；
25.所述车载内摄像头面向车内采集驾驶员行为信息，通过第二设定算法进行疲劳驾驶检测和不良行为检测；
26.所述车载嵌入式gpu用于接收所述路况信息和驾驶员行为信息进行数据处理，并将处理结果传输至所述第一域控制器；
27.所述第一域控制器用于对所述车载嵌入式gpu传输的数据采用多感知融合算法进行感知融合形成所述决策，并将所述决策发送至所述中央网关。
28.进一步地，所述多感知融合算法的步骤包括：
29.s31、多个不同类型的传感器采集观测目标的数据；
30.s32、对多个不同类型的传感器的输出数据进行特征提取与变换，对特征矢量yi进行模式识别处理，得到各传感器关于目标的说明数据；
31.s33、进行传感器同步，包括时间同步和空间同步；
32.s34、将各传感器关于目标的说明数据按照同一目标进行分组，利用融合算法将目标的各传感器数据进行合成，得到观测目标的一致性解释与描述。
33.进一步地，所述时间同步和空间同步包括ieee 802.1as协议和传感器标定。
34.进一步地，所述第一设定算法为yolov5算法，所述第二设定算法为轻量级的mobilenet。
35.进一步地，所述汽车控制子系统包括第二域控制器、汽车动力模拟器、毫米波雷达和汽车obd仪表盘，并通过车载can总线进行通信；
36.所述第二域控制器用于can总线数据接收与解析，并将数据打包成以太网/tsn帧格式，通过socket套接字传输至所述中央网关；
37.所述汽车动力模拟器以第一设定周期发送汽车状态信号；其中，所述汽车状态信号包括汽车车速、轮胎转速、冷却液温度、进气温度、进气歧管压力、节气门位置、点火提前角、发动机负荷、剩余油量、空燃比、涡轮压力；
38.所述毫米波雷达以第二设定周期采集障碍物信息，并计算障碍物的角度、距离和速度；其中，所述障碍物信息包括横向距离、纵向距离、横向速度、纵向速度；
39.所述汽车obd仪表盘通过obd接口读取所述汽车动力模拟器的数据，并对所述数据进行实时显示和异常警报。
40.本发明的有益效果为：
41.1、本发明可以扩充现有的高级辅助驾驶系统功能，为自动驾驶算法的决策提供更多信息，如汽车行驶状况、车身信息等，进行多感知融合，从而全面提高自动驾驶算法在各个场景下的安全性与准确性。
42.2、本发明通过将一部分低带宽传感器(如毫米波雷达)放入车身控制域，降低现有自动驾驶域的负载压力，并提高低带宽传感器的实时性。
43.3、本发明兼容各种obd接口和毫米波雷达，可以根据数据特征动态调整can-tsn协议转换的实时调度算法，并基于车规级开发套件提出一种能够落地的网关设计方案。
附图说明
44.图1为本发明基于can-tsn网关的高级辅助驾驶系统功能示意图。
45.图2为本发明基于can-tsn网关的高级辅助驾驶系统架构示意图。
46.图3为本发明基于can-tsn网关的高级辅助驾驶系统内部架构示意图。
47.图4为本发明中多感知融合算法示意图。
48.图5为本发明的can-tsn协议转换算法中can-tsn转发策略流程图。
49.图6为本发明的can-tsn协议转换算法中tsn-can转发策略流程图。
50.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
51.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
52.在高级辅助驾驶系统中需要使用高速车载以太网技术如时间敏感网络(tsn)来满足自动驾驶域对高带宽低时延的需求。而传统的汽车控制系统，如动力域、底座域和车身域等系统，仍使用控制器局域网络(can)作为骨干通信网络。因此，为了实现域集中式电子电气架构中各个域的互联互通，本发明提出can-tsn网关来将汽车控制域中的车辆状态数据发送至辅助驾驶子系统，解决不同网络之间的速率匹配、协议转换问题，达到对辅助驾驶子系统的辅助决策作用。
53.如图1-3所示，本发明提供了一种基于can-tsn网关的高级辅助驾驶系统，包括辅助驾驶子系统、汽车控制子系统和中央网关，辅助驾驶子系统(高级辅助驾驶域)和汽车控制子系统(汽车动力控制域)通过车载网关建立连接。辅助驾驶子系统用于实现路况信息检测和驾驶员行为检测，汽车控制子系统用于实现汽车状态检测和毫米波雷达障碍物检测，中央网关用于连接两个域的域控制器，实现不同域直接的协议转换与速率匹配。
54.辅助驾驶子系统(高级辅助驾驶域)由以太网/tsn为主，通过面向车内的车载摄像
头实时检测驾驶员行为，通过面向车外的车载摄像头实时检测路况信息，将数据通过域控制器发送至交换机。汽车控制子系统(汽车动力控制域)由can总线为主，通过汽车obd仪表盘实现汽车状态显示，通过汽车ecu模拟器实现动力模拟，通过毫米波雷达实现障碍物距离速度检测。
55.辅助驾驶子系统：用于对路况信息和驾驶员行为进行检测。
56.所述辅助驾驶子系统包括第一域控制器、车载外摄像头、车载内摄像头和车载嵌入式gpu，并通过tsn网络进行通信；
57.所述车载外摄像头面向车外采集路况信息，并通过第一设定算法进行实时目标检测；其中，检测内容包括小车、货车、大巴车、行人、自行车、交通标志，所述第一设定算法为yolov5算法。
58.所述车载内摄像头面向车内采集驾驶员行为信息，通过第二设定算法进行疲劳驾驶检测和不良行为检测，所述第二设定算法为轻量级的mobilenet。
59.所述车载嵌入式gpu用于接收所述路况信息和驾驶员行为信息进行数据处理，并将处理结果传输至所述第一域控制器；
60.所述第一域控制器用于对所述车载嵌入式gpu传输的数据采用多感知融合算法进行感知融合形成所述决策，并将所述决策发送至所述中央网关。
61.如上所述，辅助驾驶子系统以嵌入式gpu为计算单元，通过车载摄像头采集信息，通过tsn网络通信。面向车外采集路况信息，通过yolov5算法进行实时目标检测，主要检测内容包括小车、货车、大巴、行人、自行车、交通标志等路况信息。面向车内采集驾驶员信息，通过轻量级的mobilenet实现疲劳驾驶检测与不良行为检测，如打电话、抽烟等。通过嵌入式gpu进行数据处理，将处理结果汇总至第一域控制器进行感知融合，经过多感知融合算法形成决策，最终将决策通过第一域控制器发送至中央网关。
62.如图4所示，所述多感知融合算法的步骤包括：
63.s31、多个不同类型的传感器采集观测目标的数据；
64.s32、对多个不同类型的传感器的输出数据进行特征提取与变换，对特征矢量yi进行模式识别处理，得到各传感器关于目标的说明数据；
65.s33、进行传感器同步，包括时间同步和空间同步；所述时间同步和空间同步包括ieee802.1as协议和传感器标定。
66.s34、将各传感器关于目标的说明数据按照同一目标进行分组，利用融合算法将目标的各传感器数据进行合成，得到观测目标的一致性解释与描述。
67.如上所述，多感知融合算法原理为：首先，通过多个不同类型传感器采集观测目标的数据，对传感器的输出数据进行特征提取与变换。对特征矢量yi进行模式识别处理，完成各传感器关于目标的说明。其次，进行传感器同步，包括时间同步与空间同步，设计技术包括ieee802.1as以及传感器标定等。最后，将各传感器关于目标的说明数据按同一目标进行分组，利用融合算法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述。
68.汽车控制子系统：用于对汽车状态进行检测，以及采用毫米波雷达对障碍物进行检测。
69.所述汽车控制子系统包括第二域控制器、汽车动力模拟器、毫米波雷达和汽车obd仪表盘，并通过车载can总线进行通信；
70.所述第二域控制器用于can总线数据接收与解析，并将数据打包成以太网/tsn帧格式，通过socket套接字传输至所述中央网关；
71.所述汽车动力模拟器以第一设定周期发送汽车状态信号；其中，所述汽车状态信号包括汽车车速、轮胎转速、冷却液温度、进气温度、进气歧管压力、节气门位置、点火提前角、发动机负荷、剩余油量、空燃比、涡轮压力；
72.所述毫米波雷达以第二设定周期采集障碍物信息，并计算障碍物的角度、距离和速度；其中，所述障碍物信息包括横向距离、纵向距离、横向速度、纵向速度；
73.所述汽车obd仪表盘通过obd接口读取所述汽车动力模拟器的数据，并对所述数据进行实时显示和异常警报。
74.如上所述，汽车控制子系统由第二域控制器、汽车obd仪表盘、汽车动力模拟器、毫米波雷达组成，通过车载can总线通信。第二域控制器实现can总线数据接收与解析，将数据打包成以太网/tsn帧格式，通过socket套接字传至中央网关。汽车动力模拟器以50ms的周期发送汽车状态信号，包括汽车车速、轮胎转速、冷却液温度、进气温度、进气歧管压力、节气门位置、点火提前角、发动机负荷、剩余油量、空燃比、涡轮压力等。毫米波雷达以30ms的周期采集障碍物信息，包括横向距离、纵向距离、横向速度、纵向速度等，通过现有算法计算出障碍物的角度、距离和速度。汽车obd仪表盘通过obd接口可以读取动力模拟器数据，实现数据的实时显示与异常警报。
75.中央网关：
76.所述中央网关用于连接所述辅助驾驶子系统的第一域控制器和汽车控制子系统的第二域控制器，所述中央网关为can-tsn网关，采用can-tsn协议转换算法进行速率匹配，为第一域控制器和第二域控制器分配ip地址，采用tcp/ip网络层的socket传输以及数据链路层的以太网帧/tsn帧传输；
77.所述can-tsn协议转换算法包括can-tsn转换策略和tsn-can转换策略，所述can-tsn转换策略按照消息周期和负载进行打包，所述tsn-can转换策略将tsn帧按照需要发往的域进行划分。
78.如上所述，以can-tsn网关作为中央网关，主要功能包括网络路由、协议转换以及速率匹配。中央网关为各个控制器分配ip地址，支持tcp/ip网络层的socket传输以及数据链路层的以太网帧/tsn帧传输；由于以太网/tsn支持100m甚至1000m网络，而车载can总线仅支持1m/s。因此网关中不能直接转发，需要can-tsn协议转换算法进行速率匹配。can-tsn协议转换算法分为can-tsn转换策略和tsn-can转换策略，can到tsn转换策略是按照消息周期和负载进行打包，在满足实时性和安全性的前提，尽可能的提高带宽利用率。tsn到can转换策略是将tsn帧按照需要发往的域进行划分，在满足can消息通信矩阵的同时尽量减少can消息创建的数量。
79.如图5所示，所述can-tsn转换策略将所述汽车控制子系统的can消息转换为tsn帧并转发至所述辅助驾驶子系统，其步骤包括：
80.s11、将can消息装入tsn帧；
81.s12、判断tsn帧是否过载；
82.s13、当tsn帧过载时，创建tsn帧，并返回步骤s11；
83.s14、当tsn帧未过载时，判断是否满足实时调度；
84.s15、当未满足实时调度时，将消息重打包，并返回步骤s11；
85.s16、当满足实时调度时进行转发。
86.如图6所示，所述tsn-can转换策略将所述辅助驾驶子系统的决策发送至所述汽车控制子系统，其步骤包括：
87.s21、将tsn帧拆分；
88.s22、将数据填充can消息；
89.s23、判断是否可以填充；
90.s24、当不可以填充时，创建新的can消息，并返回步骤s22；
91.s25、当可以填充时，判断是否满足实时调度；
92.s26、当未满足实时调度时，返回步骤s21；
93.s27、当满足实时调度时进行转发。
94.如上所述，can-tsn协议转换算法分为can-tsn转换策略和tsn-can转换策略，can到tsn转换策略是按照消息周期和负载进行打包，在满足实时性和安全性的前提，尽可能的提高带宽利用率。tsn到can转换策略是将tsn帧按照需要发往的域进行划分，在满足can消息通信矩阵的同时尽量减少can消息创建的数量。
95.如图1、2所示，本发明的系统按照功能可以划分为车外检测、车内检测与汽车状态检测，车外检测：路况检测、常见路标识别、障碍物检测；车内检测：疲劳驾驶检测和驾驶员不良驾驶行为检测；汽车状态检测：状态检测显示、汽车制动模拟。图2中，eps(electric power steering，电动助力转向系统)。adas常用的环境感知传感器主要有摄像头、毫米波雷达和超声波雷达。navi指车辆本身自带语音电子导航系统(navi)，集成了多媒体功能的可同时执行多项任务的车载电脑。v2x(vehicle to everything)，以车辆为中心，与周边车辆、设备、基站通信，从而获取实时路况、道路信息、行人信息等一系列交通信息，以提高驾驶安全性、减少拥堵、提高交通效率、提供车载娱乐信息等。
96.本发明采用can-tsn网关来将汽车控制域中的车辆状态数据发送至辅助驾驶子系统，解决不同网络之间的速率匹配、协议转换问题，达到对辅助驾驶子系统的辅助决策作用。通过汽车obd接口来进行车辆状态监控以及数据采集，将obd采集到的车辆状态数据通过can-tsn网关传至辅助驾驶子系统，为辅助驾驶子系统的决策提供更多的数据支撑，实现多感知融合。将决策反馈至汽车控制子系统，实现感知、决策、执行一体的辅助驾驶系统，从而提高自动驾驶汽车的安全性与可靠性。
97.本发明中所涉及的设备型号包括：nxp车规级车载以太网交换机1个：主要采用的型号为sja1105q-evb；nxp车规级微控制器2个：主要型号为s32k148evb；nxp车规级片上设备2个：主要型号为i.mx6；nxp车规级phy设备2个：主要型号为tja1101；车载以太网透传模块2个；车载毫米波雷达4个：主要型号为纳雷科技sr73；汽车ecu动力模拟器1个；车载嵌入式gpu2个：主要型号为英伟达jetson nano；车载摄像头2个；
98.本发明采用支持obd接口的汽车ecu模拟器模拟动力域数据来源，采用毫米波雷达作为车身域数据来源，采用微控制器作为can域内节点，采用车载以太网交换机作为中央网关，采用片上设备作为域控制器。从obd接口、毫米波雷达获取汽车行驶状态以及路况信息并在can节点进行数据分析，通过中央网关将can消息转为tsn帧发至辅助驾驶子系统；通过摄像头采集汽车内外信息，在嵌入式gpu部署ai检测算法，将数据发至域控制器进行感知融
合，形成决策，并将决策通过中央网关发送至汽车控制子系统进行决策。
99.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
100.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。