用于检测对物体识别系统的投影攻击的系统和方法与流程

本公开涉及车辆中的物体检测系统，包括使用计算机视觉系统来检测物体。

背景技术：

1、智能交通系统(its)是智能城市不断发展的一个组成部分，可用于交通规划和交通管理的决策制定。汽车、交通信号灯、司机、传感器、路边单元和其他公共基础设施构成了多个系统的复杂网络系统。基于its的应用可能包括优化交通信号控制、安全交叉路口和紧急警告通知，目标是提高出行效率、公共安全、应急响应，甚至灾难恢复。作为its的构成部分，智能交通信号灯、信号和/或标志越来越多地用于交通管理。一些车辆，例如自主或半自主车辆，可能会利用成像系统来检测物体、交通信号灯、信号和/或标志并相应地调整车辆操作。

技术实现思路

1、本公开提供用于使用对所检测数据的稳健鉴认和验证来对物体交通信号灯、信号和/或标志执行实时检测和识别以解决数据安全的机构。例如，一些交通标志识别系统可能会采用多种深度学习算法来理解各种图像识别场景下的不同交通标志。然而，发明人认识到，基于计算机视觉的交通标志识别系统面临的一个挑战是能够将原始交通标志信号与伪造或被黑客入侵的信号区分开来，所述伪造或被黑客入侵的信号几乎与合法交通信号相似，但实际上是为一些其他应用而设计的和/或由未经授权的实体修改(例如，通过入侵现有的交通信号控制系统来显示)。现有算法在区分伪造标志信号和原始交通标志信号方面也存在挑战。在一些示例中，本公开的方面提供基于密码学的交通标志验证系统，所述基于密码学的交通标志验证系统补充基于计算机视觉的交通标志识别。在一些公开的系统中，指示交通标志的数据是安全的(例如，加密的和/或有数字签名的)并传输到车辆。车辆使用来自计算机视觉系统的识别标志验证安全数据，以便使用密码鉴认检查基于计算机视觉识别的标志的真实性。

2、对基于计算机视觉的物体检测系统或物体识别系统的类似攻击包括将物体图像投影到表面上或空气中，例如作为全息图，因此物体检测系统可能会将物体的投影误认为是物体本身。因此，在一些示例中，本公开的方面提供了一种物体检测系统，所述物体检测系统使用卷积神经网络估计由计算机视觉系统检测到的物体的深度，以便确定所述物体是否是真实的物理物体，或者所述物体是否是投影到表面上的物体的二维图像或投影在空气中的物体的三维图像(例如，全息图)。

3、在一种用于车辆的系统的一个示例中，所述系统包括图像传感器、处理器和存储装置，所述存储装置存储能够由所述处理器执行以进行以下操作的指令：经由所述图像传感器捕获所述车辆的环境的图像；检测所述车辆的所述环境的所述图像中的物体；确定所述物体是否是所述物体的投影图像；并且如果所述物体不是所述投影图像，则选择性地控制所述车辆的一个或多个车辆系统执行一个或多个动作。

4、在一种用于车辆的方法的一个示例中，所述方法包括：经由图像传感器捕获所述车辆的环境的图像；用第一神经网络检测所述图像中的物体；用第二神经网络确定所述物体是否是所述物体的投影图像；如果所述物体不是所述投影图像，则选择性地控制所述车辆的一个或多个车辆系统执行一个或多个动作；以及如果所述物体是所述投影图像，则不选择性地控制所述车辆的所述一个或多个车辆系统执行所述一个或多个动作。

5、在一种用于车辆的方法的另一个示例中，所述方法包括：经由图像传感器捕获所述车辆的环境的图像；用第一神经网络检测所述图像中的物体；用第二神经网络估计所述图像中的所述物体的深度；基于所述物体的所述估计深度来确定所述物体是否是所述物体的投影图像；如果所述物体不是所述投影图像，则选择性地控制所述车辆的一个或多个车辆系统执行一个或多个动作；以及如果所述物体是所述投影图像，则不选择性地控制所述车辆的所述一个或多个车辆系统执行所述一个或多个动作。

技术特征：

1.一种用于车辆的系统，所述系统包括：

2.如权利要求1所述的系统，其中所述存储装置还存储能够由所述处理器执行以进行以下操作的指令：如果所述物体是所述投影图像，则不选择性地控制所述车辆的所述一个或多个车辆系统执行所述一个或多个动作。

3.如权利要求1所述的系统，其中所述存储装置还存储能够由所述处理器执行以进行以下操作的指令：估计所述图像中的所述物体的深度，并且如果所述估计深度非零，则确定所述物体不是所述物体的所述投影图像。

4.如权利要求3所述的系统，其中所述存储装置还存储能够由所述处理器执行以进行以下操作的指令：将所述图像中的所述物体分类为交通标志牌，并且如果所述估计深度是零，则确定所述物体不是所述物体的所述投影图像。

5.如权利要求5所述的系统，其中所述存储装置还存储能够由所述处理器执行以进行以下操作的指令：如果所述估计深度是零，则将所述交通标志牌鉴认为有效交通标志牌以确定所述物体不是所述投影图像。

6.如权利要求3所述的系统，其中所述存储装置存储深度估计神经网络，所述深度估计神经网络被配置为接受所述图像作为输入并生成所述估计深度作为输出，其中所述存储装置还存储能够由所述处理器执行以进行以下操作的指令：将所述图像输入到所述深度估计神经网络以估计所述图像中的所述物体的所述深度。

7.如权利要求6所述的系统，其中所述存储装置存储相对相机姿势神经网络，所述相对相机姿势神经网络被训练来接受来自所述图像传感器的两个连续图像并输出所述两个连续图像之间的相对相机姿势，所述两个连续图像包括所述图像和第二图像。

8.如权利要求7所述的系统，其中所述存储装置还存储能够由所述处理器执行以进行以下操作的指令：

9.如权利要求1所述的系统，其中所述存储装置还存储能够由所述处理器执行以进行以下操作的指令：经由用户接口向所述车辆的操作者输出通知，指示如果所述物体是所述投影图像则所述物体是投影物体。

10.一种用于车辆的方法，所述方法包括：

11.如权利要求10所述的方法，其中确定所述物体是否是所述物体的所述投影图像包括：

12.如权利要求11所述的方法，所述方法还包括用所述第一神经网络对所述物体的类型分类，其中确定所述物体是否是所述物体的所述投影图像还包括如果所述深度是零并且所述物体的所述类型不被分类为交通标志牌，则确定所述物体是所述投影图像。

13.如权利要求12所述的方法，其中确定所述物体是否是所述物体的所述投影图像还包括如果所述深度是零并且所述物体的所述类型被分类为所述交通标志牌，则确定所述物体不是所述投影图像。

14.如权利要求11所述的方法，所述方法还包括：

15.如权利要求14所述的方法，所述方法还包括针对经由所述图像传感器获取的后续图像用所述更新的第二神经网络确定所述后续图像中的物体是否是投影图像。

16.一种用于车辆的方法，所述方法包括：

17.如权利要求16所述的方法，所述方法还包括用所述第一神经网络将所述物体分类为交通标志牌，并且如果所述估计深度是零，则鉴认所述物体作为所述交通标志牌的有效性。

18.如权利要求16所述的方法，所述方法还包括执行对所述第二神经网络的无监督训练以基于所述图像中的所述物体的所述估计深度来几乎实时地更新所述第二神经网络。

19.如权利要求18所述的方法，其中执行对所述第二神经网络的无监督训练以基于所述图像中的所述物体的所述估计深度来实时地更新所述第二神经网络包括：

20.如权利要求19所述的方法，所述方法还包括：

技术总结
提供用于车辆的物体检测系统的示例。在一个示例中，一种用于车辆的系统包括：图像传感器；处理器；以及存储装置，所述存储装置存储能够由所述处理器执行以进行以下操作的指令：经由所述图像传感器捕获所述车辆的环境的图像；检测所述车辆的所述环境的所述图像中的物体；确定所述物体是否是所述物体的投影图像；并且如果所述物体不是所述投影图像，则选择性地控制所述车辆的一个或多个车辆系统执行一个或多个动作。

技术研发人员：S.Y.D.赫曼塔拉贾
受保护的技术使用者：哈曼国际工业有限公司
技术研发日：
技术公布日：2024/1/13