检测结果的识别方法、装置、存储介质和处理器与流程

1.本发明涉及车辆领域，具体而言，涉及一种检测结果的识别方法、装置、存储介质和处理器。


背景技术：

2.目前，对雷达目标识别的效果进行评估包含主观评价和客观评价，主观评价就是设计不同的场景进行识别，肉眼判断识别效果的好坏，客观评价就是通过比较不同识别方法正确识别率，通过数学计算对雷达目标识别方法进行评价，但上述问题存在对模型效果的评估准确率低技术问题。
3.针对上述现有技术对模型效果评估的准确率低的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种检测结果的识别方法、装置、存储介质和处理器，以至少解决对电池状态判断准确率低的技术问题。
5.根据本发明实施例的一个方面，提供了一种检测结果的识别方法，包括：获取由检测模型输出的检测结果，其中，检测结果由检测模型对目标类型场景下的检测对象进行检测得到；确定检测结果中的检测框，其中，检测框用于确定检测对象的位置；基于距离阈值，确定检测框和对应的真值框之间的匹配结果，其中，距离阈值用于表征检测框和真值框之间匹配的距离范围的临界值，匹配结果用于表示检测框和真值框之间的匹配程度；基于多个匹配结果，确定目标分数，其中，目标分数用于表征检测结果的准确程度。
6.可选地，基于检测框对应的目标类型对象，对检测框进行分类，得到检测框对应的类型检测框。
7.可选地，基于距离阈值，确定检测框和对应的真值框之间的匹配结果，包括：响应于类型检测框和对应的真值框之间的距离不大于距离阈值，增加正样本数量，其中，正样本数量用于确定与真值框匹配的类型检测框的数量；响应于真值框未存在对应的类型检测框，增加中间样本数量，其中，中间样本数量用于表示真值框未存在对应的类型检测框的数量；响应于类型检测框和对应的真值框之间的距离大于距离阈值，或响应于类型检测框未存在对应的真值框，增加负样本数量，其中，负样本数量用于确定距离大于距离阈值和未存在对应的真值框的类型检测框的数量；基于正样本数量、中间样本数量和负样本数量，确定类型检测框和对应的真值框之间的匹配结果。
8.可选地，基于正样本数量、中间样本数量和负样本数量，确定类型检测框和对应的真值框之间的匹配结果，包括：基于正样本数量、中间样本数量和负样本数量，确定多个评估数据，其中，多个评估数据用于评估类型检测框和真值框的匹配程度；基于多个评估数据，确定类型检测框和对应的真值框之间的匹配结果。
9.可选地，基于正样本数量、中间样本数量和负样本数量，确定多个评估数据，包括：
确定类型检测框对应的特征信息，其中，特征信息包括以下至少之一：位置信息、尺寸信息、角度信息和速度信息；基于正样本数量、中间样本数量、负样本数量和特征信息，确定多个评估数据。
10.可选地，多个评估数据包括以下至少之一：准确率、召回率、中心点距离误差、角度误差、贴合度误差和速度误差；基于正样本数量和负样本数量，确定准确率；基于正样本数量和中间样本数量，确定召回率；基于特征信息，确定中心点距离误差、角度误差、贴合度误差和速度误差；基于准确率和召回率，确定平均精度；基于中心点距离误差、角度误差、贴合度误差和速度误差，确定平均误差；基于平均精度和对应的平均误差，确定匹配结果。
11.可选地，将检测数据中的立体对象转换为平面对象。
12.根据本发明实施例的另一方面，还提供了一种检测结果的识别装置，包括：获取模块，用于获取由检测模型输出的检测结果，其中，检测结果由检测模型对目标类型场景下的检测对象进行检测得到；第一确定模块，用于确定检测结果中的检测框，其中，检测框用于确定检测对象的位置；第二确定模块，用于基于距离阈值，确定检测框和对应的真值框之间的匹配结果，其中，距离阈值用于表征检测框和真值框之间匹配的距离范围的临界值，匹配结果用于表示检测框和真值框之间的匹配程度；第三确定模块，用于基于多个匹配结果，确定目标分数，其中，目标分数用于表征检测结果的准确程度。
13.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行本发明实施例的检测结果的识别方法。
14.根据本发明实施例的另一方面，还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的检测结果的识别方法。
15.在本发明实施例中，获取由检测模型输出的检测结果，其中，检测结果由检测模型对目标类型场景下的检测对象进行检测得到；确定检测结果中的检测框，其中，检测框用于确定检测对象的位置；基于距离阈值，确定检测框和对应的真值框之间的匹配结果，其中，距离阈值用于表征检测框和真值框之间匹配的距离范围的临界值，匹配结果用于表示检测框和真值框之间的匹配程度；基于多个匹配结果，确定目标分数，其中，目标分数用于表征检测结果的准确程度。也就是说，本发明通过按照检测框对应的目标对象对检测框进行分类，降维处理检测框，并按照距离阈值计算是否匹配的方式，获取多个匹配结果，计算出均值能够很好的反映出在预定场景下的目标检测效果，从而实现了提高对模型效果的评估准确率技术效果，解决了对模型效果的评估准确率低技术问题。
附图说明
16.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
17.图1是根据本发明实施例的一种检测结果的识别方法的流程图；
18.图2是根据本发明实施例的一种检测结果的识别装置的示意图。
具体实施方式
19.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的
附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
20.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
21.实施例1
22.根据本发明实施例，提供了一种检测结果的识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
23.图1是根据本发明实施例的一种检测结果的识别方法的流程图，如图1所示的检测结果的识别方法的流程图，该方法包括如下步骤：
24.步骤s102，获取由检测模型输出的检测结果，其中，检测结果由检测模型对目标类型场景下的检测对象进行检测得到。
25.在本发明上述步骤s102提供的技术方案中，获取检测模型输出的检测结果，其中，检测结果可以为由检测模型对目标类型场景下的检测对象进行检测得到；目标类型场景可以为高速路段、十字路口、环岛、施工路段、闹市街区和笔直路段等；检测模型可以为目标检测算法的模型等，此处仅为举例说明，不对目标类型场景和检测模型种类做具体限制。
26.可选的，可以对待检测的数据按照目标类型场景进行分类，将分类好的数据输入检测模型中，获取相同目标类型场景下检测模型输出的检测结果。
27.步骤s104，确定检测结果中的检测框，其中，检测框用于确定检测对象的位置。
28.在本发明上述步骤s104提供的技术方案中，确定检测结果中的检测框，其中，检测框可以用于确定检测对象的位置，可以为二维矩形框；检测对象可以为检测数据中存在的对象，比如，可以为汽车行驶道路上的障碍物。
29.可选地，由于检测对象的高度对自动驾驶汽车的决策几乎没有影响，只考虑检测对象的位置，就能够实现正确避让，因此，在本发明实施例中可以采用降维的方法(比如，俯视最大轮廓)，将三维的检测对象识别为标准的长方体，即，将三维对象降维成二维矩形，以实现对数据的快速处理，从而达到快速确定检测结果中的检测框的目的。
30.步骤s106，基于距离阈值，确定检测框和对应的真值框之间的匹配结果，其中，距离阈值用于表征检测框和真值框之间匹配的距离范围的临界值，匹配结果用于表示检测框和真值框之间的匹配程度。
31.在本发明上述步骤s106的技术方案中，可以根据实际需求设定距离阈值的大小和数量，确定检测结果中的检测框，将检测框与对应真值框之间的距离进行比较，根据距离的
大小，确定检测框与对应真值框的匹配结果，其中，真值框可以为检测对象实际存在的位置；检测框与真值框之间的距离可以为检测框与真值框最邻近的点、最邻近的面、中心点等，此处不做具体限制；距离阈值可以为根据实际需求设定的值，可以根据需要的精准程度设置距离阈值的大小与数量，比如，可以设置4个距离阈值，分别为0.5米，1.0米，1.5米，2.0米，需要说明的是，此处距离阈值大小和数量仅作举例说明，不对距离阈值大小和数量做具体限制；匹配结果(score)可以为平均分数，可以用于表示检测框和真值框之间的匹配程度，比如，可以用数字表示匹配的程度。
32.可选地，由于在自动驾驶实际应用时，障碍物相对目标车辆最邻近的点、最近邻的面对自动驾驶决策起着决定性作用，因此，出于对驾驶安全的充分考虑，可以使用最近点匹配法，即，通过对最近邻点之间的距离进行判断，从而计算出检测框和真值框的匹配结果。
33.步骤s108，基于多个匹配结果，确定目标分数，其中，目标分数用于表征检测结果的准确程度。
34.在本发明上述步骤s108技术方案中，确定不同目标类型场景对应的匹配结果，从而确定检测模型的目标分数，其中，目标分数(mscore)可以用于表征检测模型输出检测结果的准确程度，又可以称为平均分数。
35.可选地，计算多个目标类型场景的匹配结果，可以将确定的多个目标类型场景对应的多个匹配结果相加，然后用得到的和除以目标类型场景的数量(n)，从而确定目标分数，即：
[0036][0037]
可选地，计算得到的目标分数越高，则说明检测模型识别的准确率越高越好。
[0038]
本技术上述步骤s102至步骤s108，通过按照最近点距离阈值计算是否匹配的方式，获取多个匹配结果，计算出均值能够很好的反映出在预定场景下的目标检测效果，从而实现了提高对模型效果的评估准确率技术效果，解决了对模型效果的评估准确率低技术问题。
[0039]
下面对该实施例的上述方法进行进一步介绍。
[0040]
作为一种可选的实施例方式，基于检测框对应的目标类型对象，对检测框进行分类，得到检测框对应的类型检测框。
[0041]
在该实施例中，可以基于检测框对应的目标类型，对得到的检测框进行分类，得到检测框对应的类型检测框，其中，目标类型(障碍物)可以为马路上可以存在的任何对象类型，比如，汽车、树木等，此处不对目标类型做具体限制。
[0042]
可选地，将待验证的数据按照目标场景类型进行分类，得到多组集合(s)，对多组集合分别进行检测，得到检测模型的检测结果，确定检测结果中的检测到的检测框对应的目标对象的种类，基于目标类型对检测框进行分类。
[0043]
在该实施例中，确定检测模型输出的检测到的所有障碍物信息，将检测到的检测框和真实框信息按照不同类别障碍物进行分类，将分类之后的检测框与对应的真值框进行匹配，确定匹配结果。
[0044]
作为一种可选的实施例方式，基于距离阈值，确定检测框和对应的真值框之间的匹配结果，包括：响应于类型检测框和对应的真值框之间的距离不大于距离阈值，增加正样
本数量，其中，正样本数量用于确定与真值框匹配的类型检测框的数量；响应于真值框未存在对应的类型检测框，增加中间样本数量，其中，中间样本数量用于表示真值框未存在对应的类型检测框的数量；响应于类型检测框和对应的真值框之间的距离大于距离阈值，或响应于类型检测框未存在对应的真值框，增加负样本数量，其中，负样本数量用于确定距离大于距离阈值和未存在对应的真值框的类型检测框的数量；基于正样本数量、中间样本数量和负样本数量，确定类型检测框和对应的真值框之间的匹配结果。
[0045]
在该实施例中，基于距离阈值，比较类型检测框和对应的检测框之间的距离，响应于类型检测框和对应的真值框之间的距离不大于距离阈值，则增加正样本数量；响应于真值框未存在对应的类型检测框，则增加中间样本数量；响应于类型检测框和对应的真值框之间的距离大于距离阈值，或响应于类型检测框未存在对应的真值框，则增加负样本数量，基于正样本数量、中间样本数量和负样本数量，确定类型检测框和对应的真值框之间的匹配结果，其中，正样本(true positive，简称为tp)可以用于确定与真值框匹配的类型检测框的数量；中间样本(false negative，简称为fn)可以用于表示真值框未存在对应的类型检测框的数量；负样本(false positive，简称为fp)可以用于表示距离大于距离阈值和未存在对应的真值框的类型检测框的数量。
[0046]
可选地，根据需求设定距离阈值数量和大小，基于距离阈值，确定正样本数量、中间样本数量和负样本数量，基于正样本数量、中间样本数量和负样本数量，确定类型检测框和对应的真值框之间的匹配结果。
[0047]
举例而言，可以设置距离阈值为0.5米，则基于距离阈值对类型检测框和对应真值框的中心点距离进行判断，确定距离不大于距离阈值的数量，得到正样本数量，确定真值框无对应的检测框的数量，得到中间样本的数量；确定检测框无对应的真值框的数量，得到负样本的数量，基于正样本数量、中间样本数量和负样本数量，确定类型检测框和对应的真值框之间的匹配结果。
[0048]
举例而言，可以设置多个距离阈值，分别为0.5米，1.0米，1.5米，2.0米，基于不同的距离阈值，分别对类型检测框和对应真值框的最近邻点之间的距离进行判断，确定距离不大于距离阈值的数量，分别得到多个正样本(true positive，简称为tp)数量；确定真值框无对应的检测框的数量，分别得到多个中间样本(false negative，简称为fn)的数量；确定检测框无对应的真值框的数量，分别得到多个负样本(false positive，简称为fp)的数量，基于多个正样本数量、多个中间样本数量和多个负样本数量，确定类型检测框和对应的真值框之间的匹配结果，其中，正样本、中间样本和负样本的数量是对同一场景下相同类型的障碍物对应的检测框进行检测得到的。
[0049]
在该实施例中，可以通过增加距离阈值的数量，从而实现对检测模型的检测效果评估的更加准确。
[0050]
作为一种可选的实施例方式，基于正样本数量、中间样本数量和负样本数量，确定类型检测框和对应的真值框之间的匹配结果，包括：基于正样本数量、中间样本数量和负样本数量，确定多个评估数据，其中，多个评估数据用于评估类型检测框和真值框的匹配程度；基于多个评估数据，确定类型检测框和对应的真值框之间的匹配结果。
[0051]
在该实施例中，基于正样本数量、中间样本数量和负样本数量，确定多个评估数据，基于多个评估数据，确定类型检测框和对应的真值框之间的匹配结果，其中，多个评估
数据用于评估类型检测框和真值框的匹配程度。
[0052]
作为一种可选的实施例方式，基于正样本数量、中间样本数量和负样本数量，确定多个评估数据，包括：确定类型检测框对应的特征信息，其中，特征信息包括以下至少之一：位置信息、尺寸信息、角度信息和速度信息；基于正样本数量、中间样本数量、负样本数量和特征信息，确定多个评估数据。
[0053]
在该实施例中，确定类型检测框对应的特征信息，基于正样本数量、中间样本数量、负样本数量和特征信息，确定多个评估数据，其中，特征信息可以用于表示类型检测框对应的目标对象的信息，可以包括以下至少之一：位置信息、尺寸信息、角度信息和速度信息。
[0054]
可选地，确定检测结果中的检测到的类型检测框对应的目标对象(障碍物)的种类，并对其进行分类，分别确定障碍物信息的位置信息(x，y，z)、尺寸信息(w，l，h)、角度信息(比如，朝向角(r))、速度信息(vx，vy)和状态属性。
[0055]
作为一种可选的实施例方式，多个评估数据包括以下至少之一：准确率、召回率、中心点距离误差、角度误差、贴合度误差和速度误差；基于正样本数量和负样本数量，确定准确率；基于正样本数量和中间样本数量，确定召回率；基于特征信息，确定中心点距离误差、角度误差、贴合度误差和速度误差；基于准确率和召回率，确定平均精度；基于中心点距离误差、角度误差、贴合度误差和速度误差，确定平均误差；基于平均精度和对应的平均误差，确定匹配结果。
[0056]
在该实施例中，多个评估数据包括以下至少之一：准确率、召回率、中心点距离误差、角度误差、贴合度误差和速度误差。
[0057]
在该实施例中，基于正样本数量和负样本数量，确定准确率，其中，准确率(p)可以为正样本数量除以所有检测框(all dectections)数量之积，即：
[0058][0059]
其中，上述所有检测框指的是同一场景下的相同类型的类型检测框，所有类型检测框数量可以为正样本和负样本二者之和。
[0060]
在该实施例中，基于正样本数量和中间样本数量，确定召回率，其中，召回率(r)可以为正样本数量除以所有真值框(all ground_truth)数量之积，即：
[0061][0062]
其中，所有真值框数量可以为正样本和中间样本二者之和。
[0063]
在该实施例中，利用计算得到对应的精确率和召回率绘制精确率-召回率曲线(p-r曲线)，基于p-r曲线的面积，确定同一场景下的单类别精度(ap)，通过相同的方法分别确定所有场景下所有目标对象对应的单类别精度，将同一个场景下的所有单类别精度相加，在将得到的和除以该场景下包含的目标对象的种类数(c)和对应的距离阈值的数量(d)得到平均精度(map)，即：
[0064]
[0065]
其中，ap
c,d
表示一个场景中计算得到的所有单类别精度，比如，当只有一个距离阈值时，一个场景中对应至少一类目标对象，得到至少一个单类别精度，其中，单类别精度数量与目标对象的种类一一对应，将所有单类别精度相加，将得到的和除以目标对象的种类数，即可得到该场景对应的平均精度；当有两个距离阈值时，一个场景中对应至少一类目标对象，一类目标对象对应两个单类别精度数量，将所有单类别精度相加，将得到的和除以目标对象的种类数和距离阈值数量，即可得到该场景对应的平均精度。
[0066]
在该实施例中，基于中心点距离误差(de)、角度误差(oe)、贴合度误差(se)和速度误差(ve)，确定平均误差，其中，平均误差可以为单类别平均误差(mtp)，单类别平均误差包括以下至少之一：该类别对应的所有检测框的中心点距离误差之和除以该类别对应的检测框的数量、该类别对应的所有检测框的角度误差之和除以该类别对应的检测框的数量、该类别对应的所有检测框的贴合度误差之和除以该类别对应的检测框的数量、该类别对应的所有检测框速度误差之和除以该类别对应的检测框的数量，即：
[0067][0068]
其中，tpc可以用于表示该类别对应的所有检测框距离误差、该类别对应的所有检测框角度误差、该类别对应的所有检测框贴合度误差和该类别对应的所有检测框速度误差。
[0069]
可选地，计算检测框的中心点距离误差可以为计算检测框的长(y
dt
)减去真值框的长(y
gt
)的差的平方加检测框的宽(x
dt
)减去真值框的宽(x
gt
)的差的平方，对二者平方之和开平方的结果除以对应距离阈值的值(thres)，即：
[0070][0071]
举例而言，当距离阈值为0.5米时，基于特征信息确定检测框和对应的真值框的速度信息，通过上述公式，计算得到中心距离误差；当距离阈值为0.5米,1米时，基于特征信息确定检测框和对应的真值框的速度信息，用检测框对应的速度信息减去真值框对应的速度信息，给得到结果带平方并相加，之后在对得到的和开根号，将得到的结果分别除以0.5米和1米，得到该检测框在不同距离阈值下的中心距离误差，将得到的两个中心距离误差相加除以2，取平均，得到该检测框最终对应的中心距离误差，需要说明的是，上述仅为举例说明，当距离阈值数量为5时，就是分别计算5个距离阈值的中心距离误差，然后将计算得到的5个中心点距离误差相加，用得到的和除以5，即可得到一个检测框的中心点距离误差，此处不对距离阈值的大小和数量做具体限制。
[0072]
可选地，使用上述方法计算同一场景下相同类型的所有障碍物对应的中心点距离误差，将计算得到的所有中心点距离误差相加，将得到的和除以同一场景下相同类型的所有障碍物的数量，从而得到同一场景下相同类型的目标对象的中心点距离误差。
[0073]
可选地，计算角度误差可以为检测框的朝向角(r
gt
)减去真值框的朝向角(r
dt
)的差的绝对值除以π得到，即：
[0074]
[0075]
可选地，计算一个目标类型场景对应的角度误差可以为：首先，计算同一目标类型场景下所有检测框的角度误差，将同一目标类型场景下的所有检测框的角度误差相加，用计算得到的和除以所有检测框的数量，得到一个目标类型场景对应的角度误差。
[0076]
可选地，计算一个目标类型场景下的贴合度误差，可以为先算出一个检测框对应的贴合度误差，然后将一个目标类型场景下所有检测框的贴合度误差相加之后用相加的和除以检测框数量得到，其中，一个检测框的贴合度误差可以为，用1减去检测框和真值框的交并比，即：
[0077]
se＝1-iou
[0078]
可选地，计算一个场景下的速度误差，可以先算出一个检测框对应的速度误差，然后将一个场景下所有检测框的速度误差相加之后用相加的和除以检测框数量得到，其中，一个检测框的速度误差可以为，首先计算检测框的速度减去对应真值框的速度差的平方的和，对计算得到的和开平方，之后用得到的结果除以检测框的速度平方的和，即：
[0079][0080]
在该实施例中，基于平均精度和对应的平均误差，确定匹配结果，其中，评估结果可以为评估分数(score)，计算一个场景的评估分数，可以通过对该场景对应的平均精度和平均误差的加权平均得到，比如，可以为分别将4个mtp和1进行比较，当mtp大于1时取1，当mtp不大于1时取mtp，得到的4个结果，用1减去4个结果，之后将得到的4个差相加，之后将得到的和加上4倍的map，最后在除以8之后得到最终该场景下的分数(score)，即：
[0081][0082]
需要说明的是，随着实验数据越来越多，score值计算时可以对map和各类误差的权重进行调整，得到更符合实际应用场景，上述数字8和4可以根据实际需求进行更改，此处仅为举例说明，不做具体限制，比如，当只对障碍物的位置信息、大小信息和方向信息进行评估时，那么score值计算的公式可以为：
[0083][0084]
其中，此时tp仅包含：te，se，oe，本发明实施例可以根据想评估的指标进行处理，不对特征信息做具体限制，此处数字仅为举例说明，不做具体限制。
[0085]
作为一种可选的实施例方式，将检测数据中的立体对象转换为平面对象。
[0086]
在该实施例中，由于目标对象的高度对自动驾驶汽车决策几乎没有影响，只需要考虑外边界的具体位置，就能够实现正确避让，因此，可以采用降维(俯视最大轮廓)的方法，将检测数据中的立体对象转换为平面对象，即，将三维的对象识别为标准的长方体，以实现对数据的快速处理。
[0087]
该实施例获取由检测模型输出的检测结果，其中，检测结果由检测模型对目标类
型场景下的检测对象进行检测得到；确定检测结果中的检测框，其中，检测框用于确定检测对象的位置；基于距离阈值，确定检测框和对应的真值框之间的匹配结果，其中，距离阈值用于表征检测框和真值框之间匹配的距离范围的临界值，匹配结果用于表示检测框和真值框之间的匹配程度；基于多个匹配结果，确定目标分数，其中，目标分数用于表征检测结果的准确程度。也就是说，本发明通过按照检测框对应的目标对象对检测框进行分类，降维处理检测框，并按照距离阈值计算是否匹配的方式，获取多个匹配结果，计算出均值能够很好的反映出在预定场景下的目标检测效果，从而实现了提高对模型效果的评估准确率技术效果，解决了对模型效果的评估准确率低技术问题。
[0088]
实施例2
[0089]
下面结合优选的实施方式对本发明实施例的技术方案进行举例说明。
[0090]
在自动驾驶中，车载系统对于车辆周围目标检测的准确性对车辆的安全性至关重要，因此，在自动驾驶雷达感知目标识别的研发和测试中，对雷达目标识别的效果进行评价，从而帮助研究人员对识别方法进行针对性的改进至关重要。
[0091]
目前，已有的评估手段包含主观评价和客观评价，主观评价就是设计不同的场景进行识别，肉眼判断识别效果的好坏，客观评价就是通过比较不同识别方法正确识别率，通过数学计算对雷达目标识别方法进行评价，雷达目标识别效果评价装置常用的方法是在获得识别率多个样本的基础上，直接对正确识别率取平均，比较大小以衡量识别效果优劣，但是该方法直接取样本存在均值不够标准的问题，且未考虑错误识别率导致存在数据利用率低，评价的准确性不高的问题。
[0092]
在一种相关技术中，提出过一种目标检测的精度评价方法，仅根据检测结果的准确率和召回率来计算平均精度，但该方法未对错误类型及错误大小进行综合考虑，仍存在评估效果不准确的问题。
[0093]
在另一种相关技术中，还提出一种车载系统的目标检测性能的评价方法，该方法根据目标参考值和检测值的位置进行匹配，小于设定阈值匹配上，大于设定阈值没有匹配上，最终根据位置平均误差、位置标准偏差、漏检率、虚警率对模型的检测效果进行评估，但该方法仅考虑了目标位置的偏差情况，没有对大小、角度等其他影响实际效果的属性进行考虑，因而仍存在评估效果不准确的问题。
[0094]
在另一种相关技术中，还提出一种评估目标检测模型的方法，该方法仅是针对交并比算法进行了创新修正，并且使用交并比设定阈值进行匹配，因而也仍存在评估效果不准确的问题。
[0095]
为解决上述问题，本发明提出一种综合考虑位置、大小、方向、属性及速度误差的计算方法，将不同错误类型合并得出一个目标分数，用于评价识别效果好坏，而不是简单正确率的平均，同时，由于在自动驾驶场景中，障碍物的高度信息不如障碍物俯视最大外轮廓重要，俯视下的外轮廓对自动驾驶决策起着决定性的作用，因此，提出降维评估方式，从而加快对数据的处理速度。
[0096]
下面对本发明实施例进行进一步的介绍。
[0097]
在该实施例中，将待验证的数据按照目标场景类型进行分类，得到多组集合，可以用s表示，其中，目标场景类型可以为高速路段、十字路口、环岛、施工路段、闹市街区和笔直路段等，此处不对场景类型做具体限定。
[0098]
可选地，对多组集合分别进行检测，得到检测模型的检测结果，确定检测结果中的检测到的检测框对应的目标对象(障碍物)的种类，并对其进行分类，分别确定障碍物信息的位置(x，y，z)、尺寸(w，l，h)、朝向角(r)、速度(vx，vy)和状态属性，其中，检测算法可以为目标检测算法，此处不对算法种类做具体限制。
[0099]
在该实施例中，由于障碍物的高度对自动驾驶汽车决策几乎没有影响，只需要考虑外边界的具体位置，就能够实现正确避让，因此，在本发明实施例中采用降维(俯视最大轮廓)的方法，将三维的对象识别为标准的长方体，即，将三维对象降维成二维矩形，以实现对数据的快速处理。
[0100]
在该实施例中，确定检测算法输出的检测到的所有障碍物信息，将检测到的检测框和真实框信息按照不同类别障碍物进行匹配，确定匹配结果。
[0101]
可选地，可以设置距离阈值为0.5米，1.0米，1.5米，2.0米，对检测框和对应真值框的最近邻点之间的距离进行判断，确定距离不大于距离阈值的数量，分别得到每个距离阈值对应的正样本(true positive，简称为tp)数量；确定真值框无对应的检测框的数量，分别得到每个距离阈值对应的中间样本(false negative，简称为fn)的数量；确定检测框无对应的真值框的数量，分别得到每个距离阈值对应的负样本(false positive，简称为fp)的数量，其中，正样本、中间样本和负样本的数量是对同一场景下相同类型的障碍物对应的检测框进行检测得到的。
[0102]
需要说明的是，此处距离阈值大小和数量仅作举例说明，不对距离阈值大小和数量做具体限制。
[0103]
由于在自动驾驶实际应用时，障碍物相对目标车辆最邻近的点和最近邻的面对自动驾驶决策起着决定性作用，因此，出于对驾驶安全的充分考虑，本发明实施例提出的最近点匹配法，是通过对最近邻点进行判断，从而计算每一帧筛选出的障碍物检测框和真值框的匹配情况，但需要说明的是，判断不仅可以是对最近邻点进行判断，也可以对检测框和对应真值框的中心点进行判断，此处不对判断点的选取做具体判断。
[0104]
在该实施例中，根据正样本、中间样本和负样本的数量分别计算各个场景对应的准确率(p)、召回率(r)、距离误差(de)、角度误差(oe)、贴合度误差(se)、速度误差(ve)。
[0105]
可选地，计算同一场景下相同类型的障碍物的精确度，精确率的计算方式可以为正样本数量除以所有检测框(all dectections)数量之积，即：
[0106][0107]
其中，上述所有检测框指的是同一场景下的相同类型的目标对象对应的检测框，所有检测框数量可以为正样本和负样本二者之和。
[0108]
可选地，当距离阈值不止一个时，分别计算不同距离阈值所对应的精确度，最后将得到的多个精确度相加，用相加得到的和除以距离阈值的数量，即可得到最终的精确度。
[0109]
可选地，计算同一场景下相同类型的障碍物的精确度，召回率的计算方式可以为正样本数量除以所有真值框(all ground_truth)数量之积，即：
[0110][0111]
其中，所有真值框数量可以为正样本和中间样本二者之和。
r曲线)，基于p-r曲线的面积，确定单类别精度(ap)，通过相同的方法分别确定所有场景下所有目标对象对应的单类别精度。
[0125]
可选地，确定一个场景对应的平均精度(map)，可以通过将一个场景下所有单类别精度相加，将得到的和除以该场景下包含的目标对象的种类数(c)和对应的距离阈值数量(d)得到，即：
[0126][0127]
其中，d表示距离阈值的数量，ap
c,d
表示一个场景下计算得到的所有ap，包括在不同距离阈值的情况下计算得到的单类别精度。
[0128]
可选地，计算单类别平均误差(mtp)，其中，单类别平均误差包括以下至少之一：该类别对应的所有检测框的距离误差(de)之和除以该类别对应的检测框的数量、该类别对应的所有检测框的角度误差(oe)之和除以该类别对应的检测框的数量、该类别对应的所有检测框的贴合度误差(se)之和除以该类别对应的检测框的数量、该类别对应的所有检测框速度误差(ve)之和除以该类别对应的检测框的数量，即，
[0129][0130]
其中，tpc可以用于表示该类别对应的所有检测框距离误差、该类别对应的所有检测框角度误差、该类别对应的所有检测框贴合度误差和该类别对应的所有检测框速度误差。
[0131]
在该实施例中，计算一个场景的评估分数，可以通过对该场景对应的平均精度和平均误差的加权平均得到，可以为分别将4个mtp和1进行比较，当mtp大于1时取1，当mtp不大于1时取mtp，得到的4个结果，用1减去4个结果，之后将得到的4个差相加，之后将得到的和加上4倍的map，最后在除以8之后得到最终该场景下的分数(score)，即：
[0132][0133]
需要说明的是，随着实验数据越来越多，score值计算时可以对map和各类误差的权重进行调整，得到更符合实际应用场景，上述数字8和4可以根据实际需求进行更改，此处仅为举例说明，不做具体限制。
[0134]
可选地，如果待评估的障碍物信息不含上述所有属性，或者其中某些属性不想参与评估，也可以简化评估分数计算方法，比如，当只对障碍物的位置、大小、方向进行评估，那么score值计算公式为：
[0135][0136]
此时tp仅包含：te，se，oe，本发明实施例可以根据想评估的指标进行处理，不对障碍物信息做具体限制，其中，数字仅为距离说明，不做具体限制。
[0137]
在该实施例中，按照上述方法，分别计算其他场景的平均分数，从而确定模型的目标分数(mscore)，即：
[0138][0139]
其中，n为对应的所有目标类型场景的数量。
[0140]
可选地，计算得到的目标分数越高，则检测模型的检测效果越好，越准确。
[0141]
该实施例通过降维处理三维框，并按照最近点距离阈值计算是否匹配的方式，通过获取多个目标对象检测的平均精度，计算出均值能够很好的反映出在预定场景下的目标检测效果，提出分场景、误差加权平均的评估分数计算方式，从而实现对不同算法在预定场景下的目标检测效果和使用不同算法的有效性进行评价，选出最优的实施算法，使在预定场景下实施目标检测能够灵活高效的进行目标检测，进而实现了提高对模型效果的评估准确率技术效果，解决了对模型效果的评估准确率低技术问题。
[0142]
实施例3
[0143]
根据本发明实施例，还提供了一种检测结果的识别装置。需要说明的是，该检测结果的识别装置可以用于执行实施例1中的检测结果的识别方法。
[0144]
图2是根据本发明实施例的一种检测效果的识别装置的示意图。如图2所示，该检测结果的识别装置200可以包括：获取模块202、第一确定模块204、第二确定模块206和第三确定模块208。
[0145]
获取模块202，用于获取由检测模型输出的检测结果，其中，检测结果由检测模型对目标类型场景下的检测对象进行检测得到；
[0146]
第一确定模块204，用于确定检测结果中的检测框，其中，检测框用于确定检测对象的位置；
[0147]
第二确定模块206，用于基于距离阈值，确定检测框和对应的真值框之间的匹配结果，其中，距离阈值用于表征检测框和真值框之间匹配的距离范围的临界值，匹配结果用于表示检测框和真值框之间的匹配程度；
[0148]
第三确定模块208，用于基于多个匹配结果，确定目标分数，其中，目标分数用于表征检测结果的准确程度。
[0149]
可选地，装置还包括：分类模块，用于基于检测框对应的目标类型对象，对检测框进行分类，得到检测框对应的类型检测框。
[0150]
可选地，第二确定模块206包括：第一处理单元，用于响应于类型检测框和对应的真值框之间的距离不大于距离阈值，增加正样本数量，其中，正样本数量用于确定与真值框匹配的类型检测框的数量；响应于真值框未存在对应的类型检测框，增加中间样本数量，其中，中间样本数量用于表示真值框未存在对应的类型检测框的数量；响应于类型检测框和对应的真值框之间的距离大于距离阈值，或响应于类型检测框未存在对应的真值框，增加负样本数量，其中，负样本数量用于确定距离大于距离阈值和未存在对应的真值框的类型检测框的数量；基于正样本数量、中间样本数量和负样本数量，确定类型检测框和对应的真值框之间的匹配结果。
[0151]
可选地，第一处理单元包括：第一确定子模块，用于基于正样本数量、中间样本数量和负样本数量，确定多个评估数据，其中，多个评估数据用于评估类型检测框和真值框的匹配程度；基于多个评估数据，确定类型检测框和对应的真值框之间的匹配结果。
[0152]
可选地，第一处理单元包括：第二确定子模块，用于确定类型检测框对应的特征信
息，其中，特征信息包括以下至少之一：位置信息、尺寸信息、角度信息和速度信息；基于正样本数量、中间样本数量、负样本数量和特征信息，确定多个评估数据。
[0153]
可选地，第一处理单元包括：第三确定子单元，用于基于正样本数量和负样本数量，确定准确率；基于正样本数量和中间样本数量，确定召回率；基于特征信息，确定中心点距离误差、角度误差、贴合度误差和速度误差；基于准确率和召回率，确定平均精度；基于中心点距离误差、角度误差、贴合度误差和速度误差，确定平均误差；基于平均精度和对应的平均误差，确定匹配结果。
[0154]
可选地，装置还包括：转换单元，用于将检测数据中的立体对象转换为平面对象。
[0155]
在本发明实施例中，通过获取模块，获取由检测模型输出的检测结果，其中，检测结果由检测模型对目标类型场景下的检测对象进行检测得到；通过第一确定模块，确定检测结果中的检测框，其中，检测框用于确定检测对象的位置；通过第二确定模块，基于距离阈值，确定检测框和对应的真值框之间的匹配结果，其中，距离阈值用于表征检测框和真值框之间匹配的距离范围的临界值，匹配结果用于表示检测框和真值框之间的匹配程度；通过第三确定模块，基于多个匹配结果，确定目标分数，其中，目标分数用于表征检测结果的准确程度。也就是说，本发明通过按照检测框对应的目标对象对检测框进行分类，降维处理检测框，并按照距离阈值计算是否匹配的方式，获取多个匹配结果，计算出均值能够很好的反映出在预定场景下的目标检测效果，从而实现了提高对模型效果的评估准确率技术效果，解决了对模型效果的评估准确率低技术问题。
[0156]
实施例4
[0157]
根据本发明实施例，还提供了一种计算机可读存储介质，该存储介质包括存储的程序，其中，所述程序执行实施例1中所述的检测结果的识别方法。
[0158]
实施例5
[0159]
根据本发明实施例，还提供了一种处理器，该处理器用于运行程序，其中，所述程序运行时执行实施例1中所述的检测结果的识别方法。
[0160]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0161]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0162]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0163]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0164]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0165]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0166]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。