自动驾驶感知数据的自动采集方法、装置、介质及设备与流程

1.本技术涉及自动驾驶技术领域，尤其涉及一种自动驾驶感知数据的自动采集方法、装置、介质及设备。


背景技术：

2.在自动驾驶领域，车辆的安全行驶是首要条件，这就需要车辆有强大的感知能力，而感知又需要采集大量的数据进行标注、训练、分析和处理，这将耗费大量的成本。目前的感知系统可以实现大多数场景的稳定检测与识别，但是对于少数极端场景，例如港口环境下仍无法覆盖，这就给车辆的安全行驶带来了隐患。那在大量的自动驾驶数据面前，如何采集到真正有意义的数据，如何采集感知系统无法覆盖的极端场景，避免采集重复无效的数据，就显得尤为重要。


技术实现要素：

3.针对现有技术中，在进行自动驾驶道路信息的感知时，在一些特殊场景下感知数据无法完全覆盖驾驶场景出现漏采，或者重复采集的问题，本技术提出一种自动驾驶感知数据的自动采集方法、装置、介质及设备。
4.在本技术的一个技术方案中，提供一种自动驾驶感知数据的自动采集方法，包括：通过当前自动驾驶车辆上激光雷达获取的周围车辆的当前帧点云信息，确定周围车辆在预建立的自车坐标系下的第一周围车辆信息；根据第一周围车辆信息，确定周围车辆各自对应的第一边界框；从预建立的车辆信息数据库中获取当前自动驾驶车辆在当前区域内周围车辆的第二周围车辆信息；将第二周围车辆信息转换到自车坐标系下，并确定周围车辆各自对应的第二边界框；将第一边界框和第二边界框进行匹配，根据匹配结果对点云信息进行记录。
5.可选的，确定周围车辆在预建立的自车坐标系下的第一周围车辆信息，包括：对当前帧点云信息进行预处理；通过深度学习检测网络对预处理后的点云信息进行识别，确定第一周围车辆信息，第一周围车辆信息包括周围车辆在自车坐标系下的位置信息、朝向信信息以及尺寸信息。
6.可选的，根据第一周围车辆信息，确定周围车辆各自对应的第一边界框，包括：通过车载计算单元，根据位置信息确定第一边界框的位置；根据朝向信息确定第一边界框的方向；根据尺寸信息确定第一边界框的大小。
7.可选的，车辆信息数据库的预建立过程包括：通过车辆上搭载的组合导航设备，获取自动驾驶车辆的位置和姿态；对位置和姿态进行整合，得到车辆在世界坐标系下的位置信息、朝向信息、速度信息；将位置信息、朝向信息、速度信息与车辆的尺寸信息进行整合，得到车辆的车辆信息；将车辆信息进行上传，得到车辆信息数据库。
8.可选的，将第一边界框和第二边界框进行匹配，根据匹配结果对点云信息进行记录，包括：分别对各个第一边界框和第二边界框进行中心点距离和交并比的计算；若中心点
距离小于预设距离阈值且交并比大于预设阈值，则第一边界框和对应的第二边界框匹配。
9.可选的，将第一边界框和第二边界框进行匹配，根据匹配结果对点云信息进行记录，还包括：若第一边界框和对应的第二边界框匹配，判断第一边界框对应的第一速度和第二边界框对应的第二速度的差值；若差值大于预设速度阈值，则将当前帧点云信息对应时刻的前后各预设时间段的点云信息进行记录；若差值不大于预设速度阈值，则不对当前帧点云信息进行记录。
10.可选的，将第一边界框和第二边界框进行匹配，根据匹配结果对点云信息进行记录，还包括：若第一边界框没有与之匹配的第二边界框，则将当前帧点云信息进行记录，并标记为误检；若第二边界框没有与之匹配的第一边界框，则将当前帧点云信息进行记录，并标记为误检或漏检。
11.在本技术的一个技术方案中，提供一种自动驾驶感知数据的自动采集装置，包括：用于通过当前自动驾驶车辆上激光雷达获取的周围车辆的当前帧点云信息，确定周围车辆在预建立的自车坐标系下的第一周围车辆信息的模块；用于根据第一周围车辆信息，确定周围车辆各自对应的第一边界框的模块；用于从预建立的车辆信息数据库中获取当前自动驾驶车辆在当前区域内周围车辆的第二周围车辆信息的模块；用于将第二周围车辆信息转换到自车坐标系下，并确定周围车辆各自对应的第二边界框的模块；用于将第一边界框和第二边界框进行匹配，根据匹配结果对点云信息进行记录的模块。
12.在本技术的一个技术方案中，提供一种计算机可读存储介质，其存储有计算机指令，其中计算机指令被操作以执行方案一中的自动驾驶感知数据的自动采集方法。
13.在本技术的一个技术方案中，提供一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，其中：处理器操作计算机指令以执行方案一中的自动驾驶感知数据的自动采集方法。
14.本技术的有益效果是：本技术通过在预建立的车辆信息数据库中提取周围车辆信息与自车感知的周围车辆信息进行比较，根据比较的结果进行自车感知数据的记录和删除，从而避免在特殊环境下的数据漏采，提高感知数据的覆盖度，提高数据采集的有效性。
附图说明
15.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
16.图1是本技术自动驾驶感知数据的自动采集方法的一个实施方式的流程示意图；
17.图2是本技术自动驾驶感知数据的自动采集装置的一个实施方式的结构示意图。
18.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
19.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例
中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的产品或设备不必限于清楚地列出的哪些单元，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它单元。
21.在自动驾驶领域，车辆的安全行驶是首要条件，这就需要车辆有强大的感知能力，而感知又需要采集大量的数据进行标注、训练、分析和处理，这将耗费大量的成本。目前的感知系统可以实现大多数场景的稳定检测与识别，但是对于少数极端场景，例如港口环境下仍无法覆盖，这就给车辆的安全行驶带来了隐患。那在大量的自动驾驶数据面前，如何采集到真正有意义的数据，如何采集感知系统无法覆盖的极端场景，避免采集重复无效的数据，就显得尤为重要。
22.针对在进行自动驾驶道路信息的感知时，在一些特殊场景下感知数据无法完全覆盖驾驶场景，容易出现漏采，或者重复采集的问题，本技术在自动驾驶车辆上的激光雷达采集周围车辆信息外，从预建立的车辆信息数据库中获取周围车辆上传的周围车辆信息，通过比较两者周围车辆信息的关系，对应的将自身车辆感知的周围车辆信息进行记录，从而从而避免在特殊环境下的数据漏采，提高感知数据的覆盖度，提高数据采集的有效性。
23.为此，本技术提出一种自动驾驶感知数据的自动采集方法、装置、介质及设备。本技术的自动驾驶感知数据的自动采集方法，包括通过自动驾驶车辆上激光雷达获取的周围车辆的当前帧点云信息，确定周围车辆在预建立的自车坐标系下的第一周围车辆信息；根据第一周围车辆信息，确定周围车辆各自对应的第一边界框；从预建立的车辆信息数据库中获取自动驾驶车辆在当前区域内周围车辆的第二周围车辆信息；将第二周围车辆信息转换到自车坐标系下，并确定周围车辆各自对应的第二边界框；将第一边界框和第二边界框进行匹配，根据匹配结果对点云信息进行记录。
24.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
25.图1示出了本技术自动驾驶感知数据的自动采集方法的一个实施方式。
26.在图1所示的实施方式中，本技术的自动驾驶感知数据的自动采集方法包括过程s101，通过自动驾驶车辆上激光雷达获取的周围车辆的当前帧点云信息，确定周围车辆在预建立的自车坐标系下的第一周围车辆信息。
27.在该实施方式中，在当前自动驾驶车辆行驶时，通过自身搭载的激光雷达设备扫描自身车辆的周围环境信息，得到在自身车辆周围的周围车辆的当前帧点云信息，然后通过周围车辆的当前帧点云信息，经过位置确定，大小确定，在预建立的自车坐标系下，得到周围车辆的第一周围车辆信息。当前自动驾驶车辆为目前进行数据采集判断的自动驾驶车
辆。
28.可选的，确定周围车辆在预建立的自车坐标系下的第一周围车辆信息，包括：对当前帧点云信息进行预处理；通过深度学习检测网络对预处理后的点云信息进行识别，确定第一周围车辆信息，第一周围车辆信息包括周围车辆在自车坐标系下的位置信息、朝向信息以及尺寸信息。
29.在该可选实施例中，在根据周围车辆的当前帧点云信息确定周围车辆的第一周围车辆信息的过程中，首先对当前帧点云进行预处理，例如，预处理的过程包括噪点去除，保证结果的准确性。以及进行当前帧点云中地面点和非地面点的分割，通过地面点和非地面点更好地进行第一周围车辆信息的确定，在经过预处理后，通过深度学习检测网络对预处理后的点云信息进行识别，从而得到周围车辆在自车坐标系下的位置信息、朝向信息以及车辆长宽高的尺寸信息。
30.在图1所示的实施方式中，本技术的自动驾驶感知数据的自动采集方法包括过程s102，根据第一周围车辆信息，确定周围车辆各自对应的第一边界框。
31.在该实施方式中吗，在获得周围车辆在自车坐标系下的位置、朝向以及尺寸信息后，通过自动驾驶车辆上搭载的车载计算单元，根据第一周围车辆信息得到周围车辆对应的第一边界框，其中，第一边界框用来表示对应的周围车辆。
32.可选的，根据第一周围车辆信息，确定周围车辆各自对应的第一边界框，包括：通过车载计算单元，根据位置信息确定第一边界框的位置；根据朝向信息确定第一边界框的方向；根据尺寸信息确定第一边界框的大小。
33.在该可选实施例中，在进行第一边界框的确定时，通过车载计算单元利用第一周围车辆信息中的位置信息确定第一边界框的位置；利用朝向信息确定第一边界框的方向以及利用尺寸信息确定第一边界框的大小，最终确定出周围车辆分别对应的第一边界框。
34.具体的，第一边界框例如为长方形框，以周围车辆的位置信息，例如在自车坐标系中的坐标作为长方形框的中心，以周围车辆的朝向信息，确定长方形框的朝向即角度；以车辆的尺寸信息，确定长方形框的长度和宽度。
35.在图1所示的实施方式中，本技术的自动驾驶感知数据的自动采集方法包括过程s103，从预建立的车辆信息数据库中获取自动驾驶车辆在当前区域内周围车辆的第二周围车辆信息。
36.在该实施方式中，在自身车辆通过搭载的激光雷达获取周围车辆的点云信息，进而确定周围车辆的第一周围车辆信息后，在预建立的车辆信息数据库中获取周围车辆的第二周围车辆信息，其中第二车辆信息包括周围车辆对应的位置信息、朝向信息以及尺寸信息。
37.可选的，车辆信息数据库的预建立过程包括：通过车辆上搭载的组合导航设备，获取自动驾驶车辆的位置和姿态；对位置和姿态进行整合，得到车辆在世界坐标系下的位置信息、朝向信息以及速度信息；将位置信息、朝向信息以及速度信息与车辆的尺寸信息进行整合，得到车辆的车辆信息；将车辆信息进行上传，得到车辆信息数据库。
38.在该可选实施例中，在进行车辆信息数据库的建立时，通过车辆自身搭载的组合导航设备，例如gps设备，imu惯性单元等，进行车辆自身的位置和姿态的测量，并进行数据的处理及整合，得到车辆的位置信息、表示车辆姿态的朝向信息，以及表示车辆速度的速度
信息。将车辆的大小尺寸与上述信息进行整合，得到车辆的车辆信息。利用通讯模块，例如5g通讯将获得的自身车辆的车辆信息上传到车辆信息数据库。其中，车辆信息数据库可依据gprc框架进行建立，进行不同车辆之间数据的传输。
39.在图1所示的实施方式中，本技术的自动驾驶感知数据的自动采集方法包括过程s104，将第二周围车辆信息转换到自车坐标系下，并确定周围车辆各自对应的第二边界框。
40.在该实施方式中，从车辆信息数据库中获得周围车辆的第二周围车辆信息后，由于第二周围车辆信息均是以对应车辆的自车坐标系获取的信息，因此在进行与第一周围车辆信息的判断时，需要转换到当前车辆的自车坐标系下，并根据第二周围车辆信息确定对应的第二边界框。其中，第二边界框的位置由第二周围车辆信息中的位置信息确定，第二边界框的大小由第二周围车辆信息中的尺寸信息确定，第二边界框的方向由第二周围车辆信息中的朝向信息确定。
41.在图1所示的实施方式中，本技术的自动驾驶感知数据的自动采集方法包括过程s105，将第一边界框和第二边界框进行匹配，根据匹配结果对点云信息进行记录。
42.在该实施方式中，当前自动驾驶车辆通过搭载的激光雷达设备获得周围车辆的第一周围车龄信息，并得到周围车辆分别对应的第一边界框；通过在车辆信息数据库中提取该行驶区域内的周围车辆通过自身的导航设备获取的第二周围车辆信息，并得到对应的第二边界框。通过当前自身车辆感知的第一边界框和周围车辆自身上传的第二周围车辆信息得到的第二边界框进行比较，进而确定当前自身车辆获得的数据是否正确，是否重复检测，进而进行数据记录的判定，从而保证在特殊环境下，数据测量的准确性以及避免数据的重复记录。
43.可选的，将第一边界框和第二边界框进行匹配，根据匹配结果对点云信息进行记录，包括：分别对各个第一边界框和第二边界框进行中心点距离和交并比的计算；若中心点距离小于预设距离阈值且交并比大于预设阈值，则第一边界框和对应的第二边界框匹配。
44.在该可选实施例中，在进行第一边界框和第二边界框的匹配判断时，分别计算第一边界框的中心和第二边界框中点之间的距离，以及第一边界框和第二边界框之间的交并比。若两个中心点之间的距离小于预设距离阈值，且交并比大于预设阈值，则确定第一边界框与第二边界框匹配。因为第一边界框与第二边界框匹配，此时当前自动驾驶车辆可完全借助从车辆信息库中提取的第二周围车辆信息得到的第二边界框进行当前自动驾驶车辆的自动驾驶控制过程，而不需要对当前自动驾驶车辆感知的第一周围车俩信息进行判断，因此不需要对感知的点云信息进行记录。
45.具体的，预设距离阈值的取值范围可选择1.35-1.55米，优选的，预设距离阈值选择1.45米；交并比的预设阈值的取值范围可选择0.25-0.35，优选的，预设阈值取值为0.3。需要说明的是，上述阈值的取值范围及取值均为较优的选择，在实际的操作过程中，可根据实际的处理要求进行合适的选择，本技术不进行具体限制。
46.可选的，将第一边界框和第二边界框进行匹配，根据匹配结果对点云信息进行记录，还包括：若第一边界框和对应的第二边界框匹配，判断第一边界框对应的第一速度和第二边界框对应的第二速度的差值；若差值大于预设速度阈值，则将当前帧点云信息对应时刻的前后各预设时间段的点云信息进行记录；若差值不大于预设速度阈值，则不对当前帧点云信息进行记录。
47.在该可选实施例中，若第一边界框与第二边界框匹配，进行第一边界框对应的第一速度和第二边界框对应的第二速度的比较，若两个速度的差值大于预设速度阈值，对当前自动驾驶车辆采集的当前帧点云信息对应时刻前后各预设时间段的点云信息进行记录；若两个速度的差值不大于预设速度阈值，则不对当前帧点云信息进行记录。其中，记录下的数据用于在后续对当前自动驾驶车辆上的感知系统进行分析，进而确定感知系统中跟踪模块对障碍物的速度估计不准确的原因，便于对感知系统进行改进和优化。
48.可选的，将第一边界框和第二边界框进行匹配，根据匹配结果对点云信息进行记录，还包括：若第一边界框没有与之匹配的第二边界框，则将当前帧点云信息进行记录，并标记为误检；若第二边界框没有与之匹配的第一边界框，则将当前帧点云信息进行记录，并标记为漏检。
49.在该可选实施例中，第一边界框为当前自动驾驶车辆感知得到，第二边界框为车辆信息数据中获取，可以认为第二边界框为真值，第一边界框为检测值。在进行第一边界框和第二边界框的匹配判断后，若第一边界框没有与之匹配的第二边界框，则将当前自动驾驶车辆感知的当前帧点云信息进行记录，说明此时当前自动驾驶车辆对非车辆物体进行误检，导致感知得到的第一边界框没有与之匹配的第二边界框，并将当前自动驾驶车辆感知的当前帧点云信息标记为误检。若第二边界框没有与之匹配的第一边界框，说明此时第一边界框少于第二边界框，或者第一边界框与第二边界框不对应，此时可能存在第一边界框的漏检或者第一边界框的误检，从而导致第二边界框没有与之匹配的第一边界框。若出现漏检或误检，则表明当前自动驾驶车辆的感知设备出现异常，需要进行后续设备的调整。
50.本技术的自动驾驶感知数据的自动采集方法通过在预建立的车辆信息数据库中提取周围车辆信息与自车感知的周围车辆信息进行比较，根据比较的结果进行自车感知数据的记录和删除，从而避免在特殊环境下的数据漏采，提高感知数据的覆盖度，提高数据采集的有效性。另外，在自动驾驶车辆的形式过程中，会将自身组合导航设备实时采集的车辆信息实时上传到车辆信息数据库中，保证车辆信息数据库中数据的实时性，保证进行是否进行数据记录的判断时的准确性。
51.图2示出了本技术自动驾驶感知数据的自动采集装置的一个方式。
52.在图2所示的实施方式中，本技术的自动驾驶感知数据的自动采集装置包括：用于通过当前自动驾驶车辆上激光雷达获取的周围车辆的当前帧点云信息，确定所述周围车辆在预建立的自车坐标系下的第一周围车辆信息的模块201；用于根据所述第一周围车辆信息，确定所述周围车辆各自对应的第一边界框的模块202；用于从预建立的车辆信息数据库中获取所述当前自动驾驶车辆在当前区域内所述周围车辆的第二周围车辆信息的模块203；用于将所述第二周围车辆信息转换到所述自车坐标系下，并确定所述周围车辆各自对应的第二边界框的模块204；用于将所述第一边界框和所述第二边界框进行匹配，根据匹配结果对所述点云信息进行记录的模块205。
53.可选的，在模块201中，对当前帧点云信息进行预处理；通过深度学习检测网络对预处理后的点云信息进行识别，确定第一周围车辆信息，第一周围车辆信息包括周围车辆在自车坐标系下的位置信息、朝向信信息以及尺寸信息。
54.可选的，在模块202中，通过车载计算单元，根据位置信息确定第一边界框的位置；根据朝向信息确定第一边界框的方向；根据尺寸信息确定第一边界框的大小。
55.可选的，车辆信息数据库的预建立过程包括：通过车辆上搭载的组合导航设备，获取自动驾驶车辆的位置和姿态；对位置和姿态进行整合，得到车辆在世界坐标系下的位置信息、朝向信息、速度信息；将位置信息、朝向信息、速度信息与车辆的尺寸信息进行整合，得到车辆的车辆信息；将车辆信息进行上传，得到车辆信息数据库。
56.可选的，在模块205中，分别对各个第一边界框和第二边界框进行中心点距离和交并比的计算；若中心点距离小于预设距离阈值且交并比大于预设阈值，则第一边界框和对应的第二边界框匹配。
57.可选的，在模块205中，若第一边界框和对应的第二边界框匹配，判断第一边界框对应的第一速度和第二边界框对应的第二速度的差值；若差值大于预设速度阈值，则将当前帧点云信息对应时刻的前后各预设时间段的点云信息进行记录；若差值不大于预设速度阈值，则不对当前帧点云信息进行记录。
58.可选的，在模块205中，若第一边界框没有与之匹配的第二边界框，则将当前帧点云信息进行记录，并标记为误检；若第二边界框没有与之匹配的第一边界框，则将当前帧点云信息进行记录，并标记为误检或漏检。
59.本技术的自动驾驶感知数据的自动采集装置通过在预建立的车辆信息数据库中提取周围车辆信息与自车感知的周围车辆信息进行比较，根据比较的结果进行自车感知数据的记录和删除，从而避免在特殊环境下的数据漏采，提高感知数据的覆盖度，提高数据采集的有效性。
60.在本技术的一个具体实施方式中，一种计算机可读存储介质，其存储有计算机指令，其中计算机指令被操作以执行任一实施例描述的自动驾驶感知数据的自动采集方法。其中，该存储介质可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。
61.软件模块可驻留在ram存储器、快闪存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可装卸盘、cd-rom或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。
62.处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)、现场可编程门阵列(英文：field programmable gate array，简称：fpga)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如dsp与微处理器的组合、多个微处理器、结合dsp核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。
63.在本技术的一个具体实施方式中，一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，其中：处理器操作计算机指令以执行任一实施例描述的自动驾驶感知数据的自动采集方法。
64.在本技术所提供的实施方式中，应该理解到，所揭露的装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑
功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
65.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
66.以上仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。