技术特征：
1.一种模型训练方法，其特征在于，包括：获取第一场景对应的第一点云和第一图像；对第一图像进行语义分割，获得第一图像的语义分割结果，所述第一图像的语义分割结果包括第一图像的每个像素的语义标签；将第一点云中每个点对应的第一图像的语义分割结果中相应像素的语义标签，作为第一点云中该点的预测语义标签，以得到附带预测语义标签的第一点云；将附带真实语义标签的实例样本的第二点云通过复制和粘贴替换附带预测语义标签的第一点云中的部分点，以得到附带混合语义标签的第三点云，所述附带混合语义标签的第三点云中的所述部分点附带真实语义标签、其他点附带预测语义标签；利用附带混合语义标签的第三点云对点云目标检测模型进行训练。2.根据权利要求1所述的方法，其特征在于，对点云目标检测模型进行训练包括：利用附带混合语义标签以及标签类型的第三点云对点云目标检测模型进行训练，所述标签类型用于表征一个语义标签是真实语义标签或预测语义标签。3.根据权利要求1所述的方法，其特征在于，得到附带预测语义标签的第一点云包括：根据点云到相机的坐标转换关系，将第一点云投影到相机坐标系，以确定第一点云中每个点对应的第一图像中的相应像素；将第一点云中每个点对应的第一图像的语义分割结果中相应像素的语义标签，作为第一点云中该点的预测语义标签，得到附带预测语义标签的第一点云。4.根据权利要求1所述的方法，其特征在于，还包括：统计训练数据中各种实例样本的数量，在各种实例样本的数量不均衡的情况下，将数量较少的实例样本作为第二点云相应的实例样本。5.根据权利要求1所述的方法，其特征在于，对第一图像进行语义分割包括：利用语义分割模型，对第一图像进行语义分割，得到第一图像的语义分割结果。6.根据权利要求1所述的方法，其特征在于，获取第一场景对应的第一点云和第一图像包括：通过雷达获取第一场景对应的第一点云，通过相机获取第一场景对应的第一图像。7.根据权利要求1-6任一项所述的方法，其特征在于，还包括：利用训练后的点云目标检测模型，对当前点云进行目标检测；基于检测的目标，进行自动驾驶控制。8.一种模型训练装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-6任一项所述的模型训练方法。9.一种模型训练装置，包括：信息获取单元，被配置为获取第一场景对应的第一点云和第一图像；语义分割单元，被配置为对第一图像进行语义分割，获得第一图像的语义分割结果，所述第一图像的语义分割结果包括第一图像的每个像素的语义标签；语义预测单元，被配置为将第一点云中每个点对应的第一图像的语义分割结果中相应像素的语义标签，作为第一点云中该点的预测语义标签，以得到附带预测语义标签的第一
点云；语义处理单元，被配置为将附带真实语义标签的实例样本的第二点云通过复制和粘贴替换附带预测语义标签的第一点云中的部分点，以得到附带混合语义标签的第三点云，所述附带混合语义标签的第三点云中的所述部分点附带真实语义标签、其他点附带预测语义标签；模型训练单元，被配置为利用附带混合语义标签的第三点云对点云目标检测模型进行训练。10.根据权利要求9所述的装置，其特征在于，所述模型训练单元，被配置为：利用附带混合语义标签以及标签类型的第三点云对点云目标检测模型进行训练，所述标签类型用于表征一个语义标签是真实语义标签或预测语义标签。11.根据权利要求9所述的装置，其特征在于，所述语义预测单元，被配置为：根据点云到相机的坐标转换关系，将第一点云投影到相机坐标系，以确定第一点云中每个点对应的第一图像中的相应像素；将第一点云中每个点对应的第一图像的语义分割结果中相应像素的语义标签，作为第一点云中该点的预测语义标签，得到附带预测语义标签的第一点云。12.根据权利要求9所述的装置，其特征在于，还包括：样本均衡单元，被配置为统计训练数据中各种实例样本的数量，在各种实例样本的数量不均衡的情况下，将数量较少的实例样本作为第二点云相应的实例样本。13.一种自动驾驶车辆，其特征在于，包括：中央处理器，被配置为利用点云目标检测模型，对当前点云进行目标检测，基于检测的目标，进行自动驾驶控制，其中，所述点云目标检测模型是根据权利要求1-6任一项所述的模型训练方法进行训练得到的。14.根据权利要求13所述的自动驾驶车辆，其特征在于，所述自动驾驶车辆包括：自动驾驶模块、底盘模块、远程监控推流模块、货箱模块中的至少一个，其中，所述中央处理器位于所述自动驾驶模块中。15.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7中任一项所述的方法的步骤。
技术总结
本公开提出一种模型训练方法和装置及自动驾驶车辆，涉及计算机领域，尤其涉及自动驾驶领域。本公开通过改进复制粘贴的数据增强与为点云赋予语义的融合方式，将场景的原始点云与原始图像进行对照以确定预测语义标签，通过减小点云与图像间的对照误差来减小预测语义标签的误差，并且，将附带真实语义标签的实例样本的点云替换附带预测语义标签的点云中的部分点，将附带混合语义标签的点云作为训练数据，相对于仅附带预测语义标签的点云作为训练数据，增加准确语义标签的数量。从而，减小训练数据中语义标签的误差，提高训练数据的准确性，有利于提高被训练的点云目标检测模型的准确性。确性。确性。
技术研发人员：张宝丰 刘浩 王丹 王冠
受保护的技术使用者：北京京东乾石科技有限公司
技术研发日：2022.10.09
技术公布日：2022/12/9