一种基于单目摄像头的自动驾驶幽灵攻击检测方法

本发明属于图像处理与深度学习，尤其涉及一种基于单目摄像头的自动驾驶幽灵攻击检测方法。

背景技术：

1、近年来，各级自动驾驶车辆越来越多的应用在我们的生活中，自动驾驶技术的发展对道路交通的安全高效运转有极大的促进作用。

2、在各类自动驾驶车辆中，基于深度学习的目标检测算法发挥着基础且不可替代的作用，其正确性对上层决策和控制算法的正常运转至关重要。然而，近年来优于目标检测模块的错误输出导致的车辆安全事故屡见不鲜。与此同时，攻击者利用各种攻击方式也可以对目标检测模块的运转产生巨大干扰，从而严重危害用户的生命财产安全。

3、在各类图像攻击中，攻击者利用投影仪，显示器等电子显示设备创造虚假物体，从而欺骗基于图像的目标检测算法的幽灵攻击是一种广泛且危害严重的攻击。其在造成严重事故的同时不需要攻击者对目标检测算法的原理有任何背景知识且能远程发动攻击。然而，对于如何有效防御该类攻击，目前还缺乏系统性的解决方案。

技术实现思路

1、本发明的目的在于针对现有技术的不足，提供一种基于单目摄像头的自动驾驶幽灵攻击检测方法。该系统考虑了实际场景下可能存在的多种攻击设备类型，采用领域泛化的思想减少各攻击设备在特征空间的差异，增强了系统对未知种类攻击设备产生的虚假物体图像的检测能力。

2、根据本申请实施例的第一方面，提供一种基于单目摄像头的自动驾驶幽灵攻击检测方法，包括：

3、获取路况图像，对所述路况图像进行目标检测，以检测场景中存在的目标物体并对各目标物体进行分割；

4、将分割得到的所有目标物体图像进行预处理；

5、对预处理后的目标物体图像，利用预训练的特征提取及分类识别网络生成领域无关的特征表示并根据所述特征表示判断所述目标物体是否为幽灵攻击产生的虚假物体。

6、进一步地，所述预处理包括z-score标准化和基于双线性插值的尺寸变换。

7、进一步地，所述特征提取及分类识别网络分为特征提取部分和分类识别部分，所述特征提取部分为添加了空间注意力机制的残差神经网络，所述分类识别部分采用两层全连接多层感知机结构。

8、进一步地，所述特征提取及分类识别网络的训练过程中，根据训练集中的物体图像计算特征表示和分类结果，根据分类结果计算交叉熵损失，根据特征表示计算三元组损失以及领域对抗损失，将所有损失的加权和作为网络的总损失。

9、进一步地，所述三元组损失为：

10、

11、其中a为训练集中的物体图像的特征表示，p表示a同类的特征表示，n表示与啊不同类的特征表示，m为margin阈值，是特征空间中的一个数据点的特征向量，即计算得到的特征表示，映射函数是网络中使用的特征提取器，d(x，y)是特征空间中两个向量上的距离度量。

12、进一步地，所述领域对抗损失为：

13、

14、其中，n为攻击设备种类数量，x为训练集中物体图像所对应的特征表示，yd为攻击设备类型的标签，表示幽灵攻击由哪一类攻击设备进行，是指示函数，d为鉴别器。

15、进一步地，所述总损失l为：

16、

17、其中λtrip，λadv为两个超参数，用于控制每个损失的比例，ω(θ)是对网络参数的l2正则化，α为正则化项的系数，lcls是根据分类结果计算的交叉熵损失。

18、根据本申请实施例的第二方面，提供一种基于单目摄像头的自动驾驶幽灵攻击检测装置，包括：

19、目标检测及分割模块，用于获取路况图像，对所述路况图像进行目标检测，以检测场景中存在的目标物体并对各目标物体进行分割；

20、预处理模块，用于将分割得到的所有目标物体图像进行预处理；

21、幽灵攻击检测模块，用于对预处理后的目标物体图像，利用预训练的特征提取及分类识别网络生成领域无关的特征表示并根据所述特征表示判断所述目标物体是否为幽灵攻击产生的虚假物体。

22、根据本申请实施例的第三方面，提供一种电子设备，包括：

23、一个或多个处理器；

24、存储器，用于存储一个或多个程序；

25、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

26、根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。

27、本申请的实施例提供的技术方案可以包括以下有益效果：

28、由上述实施例可知，本申请基于领域泛化的思想，引入两种特征层面的损失函数，使不同攻击设备的虚假物体产生一致的特征表示，从而使检测系统对未知的攻击设备种类保持良好的性能。与此同时，本发明只依赖于在自动驾驶车辆中广泛存在的单目摄像头，能够应用于各级自动驾驶车辆中。此外，该方法的特征提取模块使用的深度神经网络十分轻量，使得本发明只需要极少的运算资源且能够满足自动驾驶车辆的实时性要求，便于在车辆侧部署。

29、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种基于单目摄像头的自动驾驶幽灵攻击检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述预处理包括z-score标准化和基于双线性插值的尺寸变换。

3.根据权利要求1所述的方法，其特征在于，所述特征提取及分类识别网络分为特征提取部分和分类识别部分，所述特征提取部分为添加了空间注意力机制的残差神经网络，所述分类识别部分采用两层全连接多层感知机结构。

4.根据权利要求1所述的方法，其特征在于，所述特征提取及分类识别网络的训练过程中，根据训练集中的物体图像计算特征表示和分类结果，根据分类结果计算交叉熵损失，根据特征表示计算三元组损失以及领域对抗损失，将所有损失的加权和作为网络的总损失。

5.根据权利要求4所述的方法，其特征在于，所述三元组损失为：

6.根据权利要求4所述的方法，其特征在于，所述领域对抗损失为：

7.根据权利要求4所述的方法，其特征在于，所述总损失l为：

8.一种基于单目摄像头的自动驾驶幽灵攻击检测装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。

技术总结
本发明公开了一种基于单目摄像头的自动驾驶幽灵攻击检测方法，包括：获取路况图像，对所述路况图像进行目标检测，以检测场景中存在的目标物体并对各目标物体进行分割；将分割得到的所有目标物体图像进行预处理；对预处理后的目标物体图像，利用预训练的特征提取及分类识别网络生成领域无关的特征表示并根据所述特征表示判断所述目标物体是否为幽灵攻击产生的虚假物体。本发明只依赖于在自动驾驶车辆中广泛存在的单目摄像头，能够应用于各级自动驾驶车辆中。

技术研发人员：林峰,李瑾,闫昊,刘子威,任奎
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/3/27