车载传感器中的对准验证的制作方法

本公开涉及车载传感器中的对准验证。

背景技术：

1、车辆(例如，汽车、摩托车、卡车、建筑设备)越来越多地使用传感器和通信系统来增强操作。例如，一些传感器(例如，惯性测量单元(imu)、车轮角度传感器)可以提供关于车辆的信息，而其他传感器(例如，相机、激光雷达系统、雷达系统)提供关于车辆周围环境的信息。该信息可以促进车辆的半自主动作(例如，自适应巡航控制、自动制动)或自主操作，或者可以促进向驾驶员提供警报。当使用多个传感器来获得关于车辆周围环境的信息时，每个传感器具有其自己的坐标系。传感器的坐标系之间的对准对于准确检测可能是有帮助的或必要的，并且可以促进传感器信息的融合。因此，期望在车载传感器中提供对准验证。

技术实现思路

1、在一个示例性实施例中，车辆中的系统包括用于获得图像传感器坐标系中的图像的图像传感器和用于获得深度传感器坐标系中的点云的深度传感器。处理电路实施神经网络以确定变换矩阵的验证状态，该变换矩阵将深度传感器坐标系中的点云变换为图像传感器坐标系中的经变换的点云。变换矩阵包括旋转参数和平移参数。

2、除了本文描述的一个或多个特征之外，变换矩阵的验证状态被确定为对准或未对准的二进制指示。

3、除了本文描述的一个或多个特征之外，变换矩阵的验证状态被确定为与经变换的点云到图像传感器的图像平面的投影相关联的投影损失、与经变换的点云相关联的三维损失以及与旋转参数和平移参数相关联的旋转和平移损失中的一个或多个。

4、除了本文描述的一个或多个特征之外，图像传感器是相机，并且处理电路基于一个或多个图像获得图像表示。

5、除了本文中所描述的特征中的一个或多个之外，所述图像表示指示所述图像中的所述一个或多个的红色、绿色、蓝色(rgb)强度水平或所述图像中的所述一个或多个的图像梯度幅度。

6、除了本文描述的一个或多个特征之外，深度传感器是雷达系统或激光雷达系统，并且处理电路基于一个或多个点云获得点云表示。

7、除了本文描述的一个或多个特征之外，点云表示指示一个或多个点云的每个点的深度和强度水平、两个或更多个点云的静止点的聚合深度和聚合强度、或两个或更多个点云的聚合深度梯度幅度和聚合强度梯度幅度。

8、除了本文描述的一个或多个特征之外，所述处理电路基于来自与对准的深度传感器对准的对准的图像传感器的图像数据并且基于从所述对准的深度传感器获得并使用对准的变换矩阵变换到所述对准的图像传感器的坐标系的经变换的点云数据来训练所述神经网络。

9、除了本文描述的一个或多个特征之外，所述处理电路还通过扰动构成所述对准的变换矩阵的所述旋转参数和平移参数的一个或多个参数来生成训练样本。

10、除了本文所述的一个或多个特征之外，为每个训练样本随机选择一个或多个参数的扰动量。

11、在另一示例性实施例中，一种车辆中的方法包括：在图像传感器坐标系中从图像传感器获得图像，以及在深度传感器坐标系中从深度传感器获得点云。该方法还包括实施神经网络以确定变换矩阵的验证状态，该变换矩阵将深度传感器坐标系中的点云变换为图像传感器坐标系中的经变换的点云。变换矩阵包括旋转参数和平移参数。

12、除了本文描述的一个或多个特征之外，确定变换矩阵的验证状态是作为对准或未对准的二进制指示。

13、除了本文描述的一个或多个特征之外，将验证状态确定为与经变换的点云到图像传感器的图像平面的投影相关联的投影损失、与经变换的点云相关联的三维损失以及与旋转参数和平移参数相关联的旋转和平移损失中的一个或多个。

14、除了本文描述的一个或多个特征之外，所述方法还包括基于来自作为相机的图像传感器的一个或多个图像获得图像表示。

15、除了本文中所描述的特征中的一个或多个之外，所述图像表示指示所述图像中的所述一个或多个的红色、绿色、蓝色(rgb)强度水平或所述图像中的所述一个或多个的图像梯度幅度。

16、除了本文描述的一个或多个特征之外，所述方法还包括基于来自深度传感器的一个或多个点云获得点云表示，所述深度传感器是雷达系统或激光雷达系统。

17、除了本文描述的一个或多个特征之外，点云表示指示一个或多个点云的每个点的深度和强度水平、两个或更多个点云的静止点的聚合深度和聚合强度、或两个或更多个点云的聚合深度梯度幅度和聚合强度梯度幅度。

18、除了本文描述的一个或多个特征之外，所述方法还包括基于来自与对准的深度传感器对准的对准的图像传感器的图像数据并且基于从所述对准的深度传感器获得并且使用对准的变换矩阵变换到所述对准的图像传感器的坐标系的经变换的点云数据来训练所述神经网络。

19、除了本文中所描述的特征中的一个或多个之外，所述方法还包含通过扰动构成所述对准的变换矩阵的所述旋转参数及所述平移参数的一个或多个参数而产生训练样本。

20、除了本文所述的一个或多个特征之外，扰动包括为每个训练样本随机选择一个或多个参数的扰动量。

21、当结合附图时，根据以下详细说明书，本公开的上述特征和优点以及其他特征和优点是显而易见的。

技术特征：

1.一种车辆中的系统，包括：

2.根据权利要求1所述的系统，其中，所述变换矩阵的所述验证状态被确定为对准或未对准的二进制指示。

3.根据权利要求1所述的系统，其中，所述变换矩阵的所述验证状态被确定为与所述经变换的点云到所述图像传感器的图像平面的投影相关联的投影损失、与所述经变换的点云相关联的三维损失、以及与所述旋转参数和平移参数相关联的旋转和平移损失中的一个或多个。

4.根据权利要求1所述的系统，其中，所述图像传感器是相机，并且所述处理电路基于所述图像中的一个或多个获得图像表示，所述图像表示指示所述图像中的所述一个或多个的红色、绿色、蓝色(rgb)强度水平或所述图像中的所述一个或多个的图像梯度幅度，所述深度传感器是雷达系统或激光雷达系统，并且所述处理电路基于所述点云中的一个或多个获得点云表示，并且点云表示指示一个或多个点云的每个点的深度和强度水平、两个或更多个点云的静止点的聚合深度和聚合强度、或两个或更多个点云的聚合深度梯度幅度和聚合强度梯度幅度。

5.根据权利要求1所述的系统，其中，所述处理电路被配置为基于来自与对准的深度传感器对准的对准的图像传感器的图像数据，并且基于从所述对准的深度传感器获得并使用对准的变换矩阵变换到所述对准的图像传感器的坐标系的经变换的点云数据来训练所述神经网络，所述处理电路被配置为通过扰动构成所述对准的变换矩阵的所述旋转参数和平移参数的一个或多个参数来生成训练样本，并且为每个训练样本随机选择一个或多个参数的扰动量。

6.一种车辆中的方法，包括：

7.根据权利要求6所述的方法，其中确定所述变换矩阵的所述验证状态是作为对准或未对准的二进制指示。

8.根据权利要求6所述的方法，其中，将所述验证状态确定为与所述经变换的点云到所述图像传感器的图像平面的投影相关联的投影损失、与所述经变换的点云相关联的三维损失以及与所述旋转参数和平移参数相关联的旋转和平移损失中的一个或多个。

9.根据权利要求6所述的方法，还包括：基于来自作为相机的所述图像传感器的所述图像中的一个或多个图像获得图像表示，其中，所述图像表示指示所述图像中的所述一个或多个图像的红色、绿色、蓝色(rgb)强度水平或所述图像中的所述一个或多个图像的图像梯度幅度，以及基于来自作为雷达系统或激光雷达系统的所述深度传感器的所述点云中的一个或多个点云获得点云表示，其中所述点云表示指示所述点云中的所述一个或多个的每个点的深度和强度水平、所述点云中的两个或更多个的静止点的聚合深度和聚合强度、或所述点云中的所述两个或更多个的聚合深度梯度幅度和聚合强度梯度幅度。

10.根据权利要求6所述的方法，还包括：基于来自与对准的深度传感器对准的对准的图像传感器的图像数据并且基于从所述对准的深度传感器获得并且使用对准的变换矩阵变换到所述对准的图像的坐标系的经变换的点云数据来训练所述神经网络，并且通过扰动构成所述对准的变换矩阵的所述旋转参数和平移参数的一个或多个参数来生成训练样本，其中所述扰动包括为所述训练样本中的每一个随机选择的所述一个或多个参数的扰动量。

技术总结
车辆中的系统包括用于获得图像传感器坐标系中的图像的图像传感器和用于获得深度传感器坐标系中的点云的深度传感器。处理电路实施神经网络以确定变换矩阵的验证状态，该变换矩阵将深度传感器坐标系中的点云变换为图像传感器坐标系中的经变换的点云。变换矩阵包括旋转参数和平移参数。

技术研发人员：M.巴尔塔克斯,D.莱维,N.加内特,D.波特诺伊,A.巴蒂科夫,S.本埃兹拉,T.弗曼
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：
技术公布日：2024/1/12