基于平均类间检测精度差的目标检测性能评估方法及系统

1.本发明涉及目标检测技术领域，特别是涉及一种基于平均类间检测精度差的目标检测性能评估方法及系统。


背景技术：

2.随着计算机技术的发展和计算机视觉的广泛应用，利用计算机图像处理技术对目标进行检测已成为研究热点，在多个领域受到了广泛应用。视觉目标检测是计算机视觉的经典任务，旨在定位图像中存在物体的位置并识别物体的具体类别。其中，基于深度学习的目标检测已成为主流方法。
3.在使用基于深度学习的检测模型进行目标检测时，由于数据集中存在多个目标类别，模型对不同目标类别的检测精度不尽相同，且存在部分目标类别之间的检测精确度相差较大的情况，模型检测结果表现出一种不平衡性，现有评价指标不能充分说明模型对目标的检测能力。


技术实现要素：

4.为了克服现有技术的不足，本发明的目的是提供一种基于平均类间检测精度差的目标检测性能评估方法及系统。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于平均类间检测精度差的目标检测性能评估方法，包括：
7.构建目标检测数据集；所述目标检测数据集中包括多张标注后的目标图像；
8.根据目标检测模型对所述目标检测数据集进行检测，得到不同标注类别的检测精度值；
9.按照由小到大的顺序将各个所述标注类别进行编号，并对每个编号的所述检测精度值与后续编号的所述检测精度值依次作差并取绝对值，得到多个作差结果值；
10.对所述作差结果值求平均值，得到平均类间检测精度差；所述平均类间检测精度差用于评估所述目标检测模型对不同类别检测性能的均衡性。
11.优选地，所述构建目标检测数据集，包括：
12.利用图像标注软件对采集到的目标图像进行标注，得到标注后的目标图像；
13.根据所述目标图像确定所述目标检测数据集。
14.优选地，所述根据目标检测模型对所述目标检测数据集进行检测，得到不同标注类别的检测精度值，包括：
15.按照预定比例对所述目标检测数据集进行划分，得到训练集和测试集；
16.构建目标检测模型；
17.在所述训练集上对所述目标检测模型进行训练，得到训练好的模型；
18.使用所述训练好的模型在所述测试集上进行测试，得到所述不同标注类别的检测精度值。
19.优选地，所述平均类间检测精度差的计算公式为：
[0020][0021]
其中，adpd为所述平均类间检测精度差，n为编号的个数，n≥2,pi为编号为i的标注类别的检测精度，pj为编号为j的标注类别的检测精度，为作差结果值的个数。
[0022]
优选地，所述图像标注软件为iabelimg。
[0023]
一种基于平均类间检测精度差的目标检测性能评估系统，包括：
[0024]
数据集构建模块，用于构建目标检测数据集；所述目标检测数据集中包括多张标注后的目标图像；
[0025]
检测模块，用于根据目标检测模型对所述目标检测数据集进行检测，得到不同标注类别的检测精度值；
[0026]
编号作差模块，用于按照由小到大的顺序将各个所述标注类别进行编号，并对每个编号的所述检测精度值与后续编号的所述检测精度值依次作差并取绝对值，得到多个作差结果值；
[0027]
平均精度差确定模块，用于对所述作差结果值求平均值，得到平均类间检测精度差；所述平均类间检测精度差用于评估所述目标检测模型对不同类别检测性能的均衡性。
[0028]
优选地，所述数据集构建模块具体包括：
[0029]
标注单元，用于利用图像标注软件对采集到的目标图像进行标注，得到标注后的目标图像；
[0030]
数据集确定单元，用于根据所述目标图像确定所述目标检测数据集。
[0031]
优选地，所述检测模块具体包括：
[0032]
划分单元，用于按照预定比例对所述目标检测数据集进行划分，得到训练集和测试集；
[0033]
模型构建单元，用于构建目标检测模型；
[0034]
训练单元，用于在所述训练集上对所述目标检测模型进行训练，得到训练好的模型；
[0035]
测试单元，用于使用所述训练好的模型在所述测试集上进行测试，得到所述不同标注类别的检测精度值。
[0036]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0037]
本发明提供了一种基于平均类间检测精度差的目标检测性能评估方法及系统，方法包括：构建目标检测数据集；所述目标检测数据集中包括多张标注后的目标图像；根据目标检测模型对所述目标检测数据集进行检测，得到不同标注类别的检测精度值；按照由小到大的顺序将各个所述标注类别进行编号，并对每个编号的所述检测精度值与后续编号的所述检测精度值依次作差并取绝对值，得到多个作差结果值；对所述作差结果值求平均值，得到平均类间检测精度差；所述平均类间检测精度差用于评估所述目标检测模型对不同类别检测性能的均衡性。本发明通过计算所有不同类别间检测精度差值绝对值的平均值，能够准确地评估模型在数据集上对不同类别检测性能的平衡性。
附图说明
[0038]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]
图1为本发明提供的实施例中的方法流程示意图；
[0040]
图2为本发明提供的实施例中的技术方案流程图；
[0041]
图3为本发明提供的实施例中的计算adpd作差过程示意图
[0042]
图4为本发明提供的实施例中的类间检测精度作差结果示意图。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0045]
本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤、过程、方法等没有限定于已列出的步骤，而是可选地还包括没有列出的步骤，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤元。
[0046]
本发明的目的是提供一种基于平均类间检测精度差的目标检测性能评估方法及系统，能够准确地评估模型在数据集上对不同类别检测性能的平衡性。
[0047]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0048]
图1为本发明提供的实施例中的方法流程示意图，如图1所示，本发明提供了一种基于平均类间检测精度差的目标检测性能评估方法，包括：
[0049]
步骤100：构建目标检测数据集；所述目标检测数据集中包括多张标注后的目标图像；
[0050]
步骤200：根据目标检测模型对所述目标检测数据集进行检测，得到不同标注类别的检测精度值；
[0051]
步骤300：按照由小到大的顺序将各个所述标注类别进行编号，并对每个编号的所述检测精度值与后续编号的所述检测精度值依次作差并取绝对值，得到多个作差结果值；
[0052]
步骤400：对所述作差结果值求平均值，得到平均类间检测精度差；所述平均类间检测精度差用于评估所述目标检测模型对不同类别检测性能的均衡性。
[0053]
图2为本发明提供的实施例中的技术方案流程图，如图2所示，本发明技术方案流
程包含以下步骤：
[0054]
步骤1：使用图像标注软件对采集到的图像进行标注，构建目标检测数据集；
[0055]
步骤2：使用目标检测模型对该数据集进行检测，得到不同类别的检测精度值；
[0056]
步骤3：对不同类别分别编号为0，1，
……
，n-1；
[0057]
步骤4：对不同类别间检测精度作差，从编号0开始依次与大于0的编号作差取绝对值，编号0完成后，编号1按照相同的方式进行相减取绝对值，直至所有编号完成相同操作，得到个值；
[0058]
步骤5：对个值求平均值，计算所得值即为平均类间检测精度差，当值越小时，说明模型在不同类别上的检测能力越是趋于相近，当值越大时，说明模型对不同类别检测能力的差距越大。
[0059]
平均类间检测精度差的计算过程如式(1)所示：
[0060][0061]
式中，n表示类别数，n≥2，表示需要做差的次数，pi表示编号为i的类别的检测精度，pj表示编号为j的类别的检测精度。
[0062]
优选地，所述步骤100具体包括：
[0063]
利用图像标注软件对采集到的目标图像进行标注，得到标注后的目标图像；
[0064]
根据所述目标图像确定所述目标检测数据集。
[0065]
具体的，所述图像标注软件为iabelimg。
[0066]
本实施例中以输电线路螺栓缺陷检测为例进行进一步描述：
[0067]
本实施例首先使用iabelimg图像标注软件对采集到的输电线路螺栓图像进行标注，如螺栓的缺销缺陷标注为“pin losing”，构建输电线路螺栓缺陷检测数据集。
[0068]
优选地，所述步骤200具体包括：
[0069]
按照预定比例对所述目标检测数据集进行划分，得到训练集和测试集；
[0070]
构建目标检测模型；
[0071]
在所述训练集上对所述目标检测模型进行训练，得到训练好的模型；
[0072]
使用所述训练好的模型在所述测试集上进行测试，得到所述不同标注类别的检测精度值。
[0073]
本实施例其次将螺栓缺陷检测数据集按照一定比例划分为训练集和测试集，首先在训练集上对目标检测模型进行训练得到权重参数，随后使用训练好的模型在测试集上进行测试，得到不同类别的检测精度值。
[0074]
优选地，所述平均类间检测精度差的计算公式为：
[0075][0076]
其中，adpd为所述平均类间检测精度差，n为编号的个数，n≥2,pi为编号为i的标注类别的检测精度，pj为编号为j的标注类别的检测精度，为作差结果值的个数。
[0077]
本实施例之后对不同类别分别编号为0，1，
……
，n-1，计算平均类间检测精度差；然后对不同类别间检测精度作差，如图3所示，从编号0开始依次与大于0的编号作差取绝对值，即得到|p
0-p1|、|p
0-p2|......|p
0-p
n-1
|这n-1个差值，编号0完成后，编号1按照相同的方式进行相减取绝对值，即得到|p
1-p2|、|p
1-p3|......|p
1-p
n-1
|，这n-2个差值，依此类推直至所有编号完成相同操作，得到如图4所示的不同类别间检测精度做差后取绝对值的结果，共个值。
[0078]
本实施例最后对得到的个值取平均值，计算所得值即为平均类间检测精度差。当值越小时，说明模型在不同类别上的检测能力越是趋于相近，当值越大时，说明模型对不同类别检测能力的差距越大。
[0079]
对应上述方法，本实施例还提供了一种基于平均类间检测精度差的目标检测性能评估系统，包括：
[0080]
数据集构建模块，用于构建目标检测数据集；所述目标检测数据集中包括多张标注后的目标图像；
[0081]
检测模块，用于根据目标检测模型对所述目标检测数据集进行检测，得到不同标注类别的检测精度值；
[0082]
编号作差模块，用于按照由小到大的顺序将各个所述标注类别进行编号，并对每个编号的所述检测精度值与后续编号的所述检测精度值依次作差并取绝对值，得到多个作差结果值；
[0083]
平均精度差确定模块，用于对所述作差结果值求平均值，得到平均类间检测精度差；所述平均类间检测精度差用于评估所述目标检测模型对不同类别检测性能的均衡性。
[0084]
优选地，所述数据集构建模块具体包括：
[0085]
标注单元，用于利用图像标注软件对采集到的输电线路螺栓图像进行标注，得到标注后的目标图像；
[0086]
数据集确定单元，用于根据所述目标图像确定所述目标检测数据集。
[0087]
优选地，所述检测模块具体包括：
[0088]
划分单元，用于按照预定比例对所述目标检测数据集进行划分，得到训练集和测试集；
[0089]
模型构建单元，用于构建目标检测模型；
[0090]
训练单元，用于在所述训练集上对所述目标检测模型进行训练，得到训练好的模型；
[0091]
测试单元，用于使用所述训练好的模型在所述测试集上进行测试，得到所述不同标注类别的检测精度值。
[0092]
本发明的有益效果如下：
[0093]
本发明提出的一种基于平均类间检测精度差的目标检测评估方法，通过计算所有不同类别间检测精度差值绝对值的平均值，能够准确地评估模型在数据集上对不同类别检测性能的平衡性。
[0094]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统
而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0095]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。