一种3D场景定标方法、定标装置及其定标应用与流程

一种3d场景定标方法、定标装置及其定标应用
技术领域
1.本发明属于图像处理技术，具体涉及一种3d场景定标方法、定标装置及其定标应用。


背景技术：

2.随着科技的发展，人工智能技术的出现，一些无人智能装置应用在人们日常生活中，无人智能装置对场景的识别尤为重要，比如无人驾驶等，通常会预先采集图场景图像，通过对每个场景标注对应的场景，利用已标注的图像集，对模型进行训练，以使汽车在实际驾驶过程中，当采集到周围的图像时，可以应用已训练的模型，通过图像识别出所处的场景，以便根据场景来决策驾驶策略。
3.而现有对场景的标注，需要对场景图像重复标注操作，造成场景标注操作较为繁琐，造成场景标注时间长，效率低下。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种3d场景定标方法、定标装置及其定标应用。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种3d场景定标方法，包括如下步骤：
7.s1、场景区域检测：获取待定标的3d场景图像，其中所述待标定的3d场景图像中分布设有多个标定板，并从3d场景图像中检测定标板的位置区域；
8.s2、场景全局定标配准：基于步骤s1中定标板位置信息，从定标板的距离数据和摄像机数据中快速计算生成3d场景包围盒变换成2d空间中的包围盒的全部变换参数集合；
9.s3、场景精准定标配准：引入定标板上所有点的数据信息来进行计算，对步骤s2的变换参数集合结果进行优化，使得点对点的距离最小，得到优化后的变换参数的集合；
10.s4、场景方案选择：使用非极大抑制的方法来计算得到变换参数的最终值。
11.进一步的，在步骤s1中，所述3d场景图像在定标前需要进行灰度化处理，得到灰度3d场景图像。
12.进一步的，在步骤s1中，具体检测定标板的方法，包括如下步骤：
13.步骤101：使用pca降维的方法计算3d场景图像每个点的法向量；
14.步骤102：使用随机种子结合法向量信息来判定不同的点是否属于一个区域；
15.步骤103：对所生成的区域进行滤波得到定标板的位置信息。
16.更进一步的，在步骤s2中，具体快速生成变换参数集合的方法，具体包括如下步骤：
17.步骤201、在距离数据和摄像机数据中随机选择定标板区域上三个点组；
18.步骤202、利用三个点组中定标板的中心和法向量的信息，来计算其所对应的变换参数，并计算该参数下来衡量定标精度的分值；
19.步骤203、选择分值大于阈值的参数作为初始的变换参数集合。
20.进一步的，在步骤s4中，在所述最终值为多组参数时，通过人工介入的方式来选择最终的值。
21.本发明还提供了一种3d场景定标的装置，包括摄像机、多个定标板、定标板检测模块、变换参数计算模块、优化计算模块、非极大抑制计算模块；
22.所述摄像机用于采集3d场景图像；
23.所述多个定标板用于分布固定在场景内，用于场景定标板的检测定标，所述定标板上阵列设有多个定标点；
24.所述定标板检测模块用于检测3d场景中全部的定标板位置区域；
25.所述变换参数计算模块用于计算3d场景包围盒变换成2d空间中的包围盒的全部变换参数并将其集合，实现场景全局定标配准；
26.所述优化计算模块用于计算选定的定标板上所有点的变换参数信息，并将其集合；
27.所述非极大抑制计算模块用于计算筛选出变换参数的最终值。
28.进一步的，所述定标板检测模块包括降维计算模块、区域判断模块、滤波模块，所述降维计算模块用于计算3d场景图像每个点的法向量，所述区域判断模块用于根据场景内每个点的法向量信息是否属于同一区域进行划分区域位置，所述滤波模块用于过滤出定标板位置。
29.进一步的，还包括图像灰度化处理模块，用于将彩色3d场景灰度化。
30.本发明同时还提供了一种3d场景定标的应用，应用于街景场景的重构，在点云空间中标注的3d场景包围盒可直接通过变换参数得到该物体在2d空间中的包围盒，再结合人工判定，可得到2d空间中分割的标注结果。
31.本发明提出的一种3d场景定标方法、定标装置及其定标应用，有益效果在于：
32.(1)、本发明可使一个传感器中的点变换到另外一个传感器的坐标系统中，计算3d点云数据中的点和2d图像数据中的点的对应关系，有助于场景理解精度的提高，点云空间中标注的3d包围盒可直接通过变换参数得到该物体在2d空间中的包围盒。
33.(2)、本发明在3d场景中对物体进行标注，有效的避免了对同一物体在不同帧之间的重复标注的工作，并且可以直接得到物体的轨迹信息，提高3d场景标注的效率。
附图说明
34.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
35.图1是本发明实施例中关于定标方法的流程图；
36.图2是本发明实施例中关于定标装置的系统框图；
37.图3是本发明实施例中关于定标应用中灰度处理示意图；
38.图4是本发明实施例中关于定标应用定标板标定后的示意图；
39.图5是本发明实施例中关于定标应用的示意图。
具体实施方式
40.下面结合具体实施例来对本发明做进一步说明。
41.参见图1，一种3d场景定标方法，包括如下步骤：
42.步骤1、对对3d场景进行区域检测：获取待定标的3d场景图像，其中待标定的3d场景图像中分布设有多个标定板，并从3d场景图像中检测定标板的位置区域，标定板上阵列设有多个标定点。3d场景图像在定标前需要进行灰度化处理，得到灰度3d场景图像。
43.为了进一步说明检测定标板的方法，具体包括如下步骤：1、使用pca降维的方法计算3d场景图像每个点的法向量；2、使用随机种子结合法向量信息来判定不同的点是否属于一个区域；3、对所生成的区域进行滤波得到定标板的位置信息。
44.步骤2、对3d场景进行全局变换参数配准：基于步骤1中定标板位置信息，从定标板的距离数据和摄像机数据中快速计算生成3d场景包围盒变换成2d空间中的包围盒的全部变换参数集合；
45.为了进一步说明快速生成变换参数集合的方法，具体包括如下步骤：1、在距离数据和摄像机数据中随机选择定标板区域上三个点组；2、利用三个点组中定标板的中心和法向量的信息，来计算其所对应的变换参数，并计算该参数下来衡量定标精度的分值；3、选择分值大于阈值的参数作为初始的变换参数集合。
46.步骤3、对3d场景进行精准变换参数配准：引入定标板上所有点的数据信息来进行计算，对步骤s2的变换参数集合结果进行优化，使得点对点的距离最小，得到优化后的变换参数的集合。
47.步骤4、对3d场景方案进行选择：使用非极大抑制的方法来计算得到变换参数的最终值。在所述最终值为多组参数时，通过人工介入的方式来选择最终的值。
48.参见图2，本发明还提供了一种3d场景定标的装置，包括摄像机、多个定标板、定标板检测模块、变换参数计算模块、优化计算模块、非极大抑制计算模块。
49.摄像机用于采集3d场景图像。多个定标板用于分布固定在场景内，用于场景定标板的检测定标，定标板上阵列设有多个定标点。
50.定标板检测模块用于检测3d场景中全部的定标板位置区域；定标板检测模块包括降维计算模块、区域判断模块、滤波模块，所述降维计算模块用于计算3d场景图像每个点的法向量，所述区域判断模块用于根据场景内每个点的法向量信息是否属于同一区域进行划分区域位置，所述滤波模块用于过滤出定标板位置。
51.变换参数计算模块用于计算3d场景包围盒变换成2d空间中的包围盒的全部变换参数并将其集合，实现场景全局定标配准。
52.优化计算模块用于计算选定的定标板上所有点的变换参数信息，并将其集合。
53.非极大抑制计算模块用于计算筛选出变换参数的最终值。
54.还包括图像灰度化处理模块，用于将彩色3d场景灰度化。
55.参见图3
‑
5，同时，本发明还公开了一种3d场景定标的应用，应用于街景场景的重构，在点云空间中标注的3d场景包围盒可直接通过变换参数得到该物体在2d空间中的包围盒，再结合人工判定，可得到2d空间中分割的标注结果。
56.本发明的3d场景定标方法、定标装置及其定标应用，可使一个传感器中的点变换到另外一个传感器的坐标系统中，计算3d点云数据中的点和2d图像数据中的点的对应关
系，有助于场景理解精度的提高，点云空间中标注的3d包围盒可直接通过变换参数得到该物体在2d空间中的包围盒，在3d场景中对物体进行标注，有效的避免了对同一物体在不同帧之间的重复标注的工作，并且可以直接得到物体的轨迹信息，提高3d场景标注的效率。
57.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。