面向无人系统感知的复杂环境适应性评估方法及装置

本公开涉及无人系统仿真，尤其涉及一种面向无人系统感知的复杂环境适应性评估方法及装置。

背景技术：

1、无人系统执行任务所需的核心技术包括感知，无人系统感知能够从周围环境中收集图像数据或点云数据等，并从这些数据中提取相关信息，实现目标检测、目标分类、目标跟踪等感知任务。

2、由于感知任务的执行结果，通常作为无人系统执行其它任务(如避障、超车、跟踪等)的基础，能够对无人系统的任务执行结果造成重要影响，因此提升无人系统感知的性能，有助于从根源上提升无人系统的可靠性和安全性等。通过对无人系统感知进行性能评估，能够实现基于性能评估结果有针对性地提升性能，达到更好的性能提升效果。

3、目前，针对无人系统感知，多从内部的模型功能效果和安全等角度进行性能评估。例如，对无人系统感知的感知准确性、感知有效性、感知鲁棒性等进行评估。这些性能评估方式均未考虑到无人系统所处外部环境的特点对感知的性能影响，缺乏从复杂环境适应性角度执行性能评估的相关方法。

技术实现思路

1、本发明提出了一种面向无人系统感知的复杂环境适应性评估方法及装置，考虑无人系统所处外部环境的特点对感知的性能影响，能够实现从复杂环境适应性角度执行性能评估。

2、根据本公开实施例的第一方面，公开了一种面向无人系统感知的复杂环境适应性评估方法，包括：

3、获取n个评估数据集及其环境复杂程度，所述n为正整数；

4、从所述n个评估数据集中获取与感知任务相匹配的k个评估数据集，所述k为小于或等于所述n的正整数；

5、基于所述k个评估数据集对无人系统感知执行所述感知任务的情况进行测试，得到k个测试结果；其中，每个测试结果包括所述无人系统感知在相应评估数据集上的测试指标数据和测试通过情况；

6、结合所述k个测试结果和所述k个评估数据集的环境复杂程度，确定所述无人系统感知的复杂环境适应性。

7、可选地，所述获取n个评估数据集及其环境复杂程度，包括：

8、对原始数据集进行标签扩充处理和数据扩充处理，得到扩充数据集；

9、拆分重组所述扩充数据集，得到所述n个评估数据集；

10、通过环境复杂程度评估模型对所述n个评估数据集分别计算评估，获取所述n个评估数据集的环境复杂程度。

11、可选地，所述标签扩充处理包括对所述原始数据集中的数据扩充标注以下标签：地理环境标签、地物类别标签；

12、所述数据扩充处理包括对所述原始数据集中的数据执行以下处理并扩充标注相应处理内容的标签：天候变化处理、干扰添加处理。

13、可选地，所述拆分重组所述扩充数据集，得到所述n个评估数据集，包括：

14、基于所述地理环境标签和所述地物类别标签，对所述扩充数据集中的数据进行分类，得到m个类别的数据，所述m为正整数；

15、基于所述天候变化处理和所述干扰添加处理，对所述m个类别中各个类别的数据再次分类，得到n个类别的数据，所述n为大于所述m的整数；

16、以所述n个类别中各个类别的数据分别构建一个评估数据集，得到所述n个评估数据集。

17、可选地，所述环境复杂程度评估模型包括以下评估指标：地理环境多样性、地物类别丰富度、天候影响度、干扰强度。

18、可选地，所述基于所述k个评估数据集对无人系统感知执行所述感知任务的情况进行测试，得到k个测试结果，包括：

19、针对所述k个评估数据集中各个评估数据集，基于所述评估数据集对所述无人系统感知执行所述感知任务的情况进行测试，获取所述评估数据集对应的测试运行数据；

20、基于所述测试运行数据计算至少一个测试指标的取值，得到所述评估数据集对应的测试指标数据；

21、基于所述评估数据集对应的测试指标数据和测试指标阈值的比较，确定所述评估数据集对应的测试通过情况。

22、可选地，所述结合所述k个测试结果和所述k个评估数据集的环境复杂程度，确定所述无人系统感知的复杂环境适应性，包括：

23、按照所述k个评估数据集的环境复杂程度从低到高的顺序，依次基于所述k个测试结果中相应环境复杂程度的评估数据集对应的测试结果，判断所述无人系统感知是否能适应相应环境复杂程度；

24、以所述无人系统感知所能适应的最高环境复杂程度，确定所述无人系统感知的复杂环境适应等级；

25、基于所述最高环境复杂程度的评估数据集对应的测试结果，确定所述无人系统感知的复杂环境适应稳定性；

26、其中，所述复杂环境适应性包括所述复杂环境适应等级和所述复杂环境适应稳定性。

27、可选地，所述依次基于所述k个测试结果中相应环境复杂程度的评估数据集对应的测试结果，判断所述无人系统感知是否能适应相应环境复杂程度之后，还包括：

28、以所述最高环境复杂程度及其之前所有环境复杂程度的评估数据集中、对应的测试通过情况为通过的所有评估数据集作为第一类评估数据集，提取所述第一类评估数据集的数据特征，确定所述无人系统感知的感知特点；

29、以所述最高环境复杂程度及其之后所有环境复杂程度的评估数据集中、对应的测试通过情况为未通过的所有评估数据集作为第二类评估数据集，提取所述第二类评估数据集的数据特征，确定所述无人系统感知的感知缺点。

30、根据本公开实施例的第二方面，提供了一种面向无人系统感知的复杂环境适应性评估装置，包括：

31、数据集获取模块，用于获取n个评估数据集及其环境复杂程度，所述n为正整数；

32、数据集选取模块，用于从所述n个评估数据集中获取与感知任务相匹配的k个评估数据集，所述k为小于或等于所述n的正整数；

33、测试结果获取模块，用于基于所述k个评估数据集对无人系统感知执行所述感知任务的情况进行测试，得到k个测试结果；其中，每个测试结果包括所述无人系统感知在相应评估数据集上的测试指标数据和测试通过情况；

34、适应性确定模块，用于结合所述k个测试结果和所述k个评估数据集的环境复杂程度，确定所述无人系统感知的复杂环境适应性。

35、根据本公开实施例的第三方面，提供了一种计算机设备，所述计算机设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现本公开第一方面所提供的面向无人系统感知的复杂环境适应性评估方法。

36、根据本公开实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现本公开第一方面所提供的面向无人系统感知的复杂环境适应性评估方法。

37、本公开实施例提供的技术方案至少包括以下有益效果：

38、本发明以不同环境复杂程度的多个评估数据集对无人系统感知进行测试，通过对测试结果的分析获取无人系统感知的复杂环境适应性。具体来说，本发明考虑无人系统所处外部环境的特点对感知的性能影响，获取与感知任务匹配的多个评估数据集及其环境复杂程度，以不同环境复杂程度的多个评估数据集对无人系统感知执行感知任务的情况进行测试，并基于测试结果从复杂环境适应等级和复杂环境适应稳定性这两方面分析无人系统感知的复杂环境适应性，填补了行业空缺，有助于对无人系统实现更加丰富和完善的性能评估。

39、本发明对原始数据集进行标签扩充处理和数据扩充处理，并拆分重组所得到的扩充数据集以获取多个评估数据集。具体来说，本发明在获取原始数据集后，可以对原始数据集执行数据标签完整性、数据内容丰富度等方面质量评估，在原始数据集未通过质量评估的情况下，对原始数据集执行标签扩充处理和数据扩充处理，再拆分重组所得到的扩充数据集以获取多个评估数据集。相比于直接获取多个评估数据集，本发明对原始上传或原始获取的数据集的数据质量和数据数量要求不高，能够通过标签扩充处理和数据扩充处理自动化提升数据质量和数据数量，适配更加丰富的原始数据集。

40、本发明基于无人系统感知在多个评估数据集上的测试通过情况，获取相应评估数据集的数据特征，以分析无人系统感知的感知特点和感知缺点。具体来说，本发明按照无人系统感知在不同环境复杂程度的多个评估数据集上的测试通过情况，将多个评估数据集分为两类，一类评估数据集对应的测试通过情况为通过，抽取此类评估数据集的数据特征并分析表现突出的特征，可以得到无人系统感知的感知特点；另一类评估数据集对应的测试通过情况为未通过，抽取此类评估数据集的数据特征并分析表现突出的特征，可以得到无人系统感知的感知缺点。通过明确感知特点和感知缺点，能够有针对性地改进无人系统感知、或明确无人系统感知的最佳应用场景，有助于无人系统发挥最佳性能。

41、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。