一种基于目标识别的图像质量评价方法及装置与流程

1.本发明涉及图像处理技术领域，特别是一种基于目标识别的图像质量评价方法及装置。


背景技术：

2.图像质量评价(iqa，image quality assessment)是图像分析的基本技术，分为主观评价与客观评价。主观评价主要通过人对图像打分，客观评价主要是设计算法评价图像质量。当前图像质量评价方法主要考虑图像的噪声、曝光、聚焦等影响图像清晰度的因素，很少在图像评价过程中考虑图像的具体用途。在诸如无人机巡线等实际生产场景，图像主要用于目标识别任务，通过算法自动识别图像中的关键目标，以及自动发现缺陷。通过识别任务的效果，反推图像的质量不失为一种合理的图像质量评价方法。


技术实现要素：

3.有鉴于此，本发明提供了一种基于目标识别的图像质量评价方法及装置，通过识别任务效果评价图像质量的策略，并在图像质量评价过程中仍可兼容图像主观评价与客观评价方法。
4.本发明提供一种基于目标识别的图像质量评价方法，其包括：
5.根据图像识别任务性能指标和目标子图像的质量评价指标，对待评价图像进行质量评价。
6.优选地，所述对待评价图像进行质量评价，包括：
7.当所述待评价图像的图像识别任务为单类别目标识别且所述待评价图像为单张图像时，计算第一质量评价值；
8.当所述待评价图像的图像识别任务为多类别目标识别且所述待评价图像为单张图像时，基于计算出的所述第一质量评价值，计算第二质量评价值；
9.当所述待评价图像的图像识别任务为多类别目标识别且所述待评价图像为多张图像时，基于计算出的所述第二质量评价值，计算第三质量评价值。
10.优选地，所述第一质量评价值为：
[0011][0012]
公式中，q
α
为第一质量评价值，f
β
为图像识别任务性能指标，为目标子图像的质量评价指标，α为平衡因子且0≤α≤+∞。
[0013]
优选地，当所述待评价图像的图像识别任务为多类别目标识别且所述待评价图像为单张图像时，基于计算出的所述第一质量评价值，计算第二质量评价值，包括：
[0014]
对所述多类别目标中的所有单类别目标计算所述第一质量评价值，对计算得到的所有所述第一质量评价值求取平均值，即得到所述第二质量评价值；
[0015]
所述第二质量评价值为：
[0016][0017]
公式中，为第二质量评价值，q
α
(j)为利用第j类别目标识别结果得出的图像质量评价值，m为目标类别总数。
[0018]
优选地，当所述待评价图像的图像识别任务为多类别目标识别且所述待评价图像为多张图像时，基于计算出的所述第二质量评价值，计算第三质量评价值，包括：
[0019]
计算针对所述多张图像中所有单张图像多类别目标对应的所述第二质量评价值，求取所有所述第二质量评价值的平均值，即得到所述第三质量评价值；
[0020]
所述第三质量评价值为：
[0021][0022]
公式中，为第三质量评价值，为第k张图像基于m个类别目标识别任务的质量评价值，k为待评价图像的数量。
[0023]
优选地，当α大于设定的大于1的阈值α
t
时，
[0024]
优选地，所述图像识别任务性能指标是根据所述待评价图像中目标识别准确率和目标识别召回率获取；所述目标子图像的质量评价是根据所述待评价图像中目标子图像获取。
[0025]
优选地，所述目标识别准确率为：
[0026][0027]
公式中，p为目标识别准确率，n为图像识别任务正确检测出的目标数量，n
′
为图像识别任务检测出的全部目标数量；
[0028]
所述目标识别召回率为：
[0029][0030]
公式中，r为目标识别召回率，为期望检出的目标数量，n为图像识别任务正确检测出的目标数量。
[0031]
优选地，所述图像识别任务检测出的目标数量n
′
包含正确检测出的n个目标，以及错误检测出目标的数量；所述期望检出的目标数量包含所述待评价图像中实际包含的目标数量，以及由于图像采集的问题，导致本应包含在待评价图像中却被遗漏的目标数量。
[0032]
本发明还提供了一种基于目标识别的图像质量评价装置，其包括：
[0033]
质量评价模块：用于根据图像识别任务性能指标和目标子图像的质量评价指标，对待评价图像进行质量评价。
[0034]
由于采用了上述技术方案，本发明具有如下的优点：综合了图像识别任务的性能评估以及子图像的质量评估，实用性更强，更能真实反映图像目标识别任务需求；充分考虑
了图像识别任务的效果，将图像识别任务的准确率、召回率纳入图像质量评价；针对图像识别任务检出目标对应的子图像，对子图像采用主观评价或客观评价方法。对子图像进行质量评价更能真实反映任务需求。
附图说明
[0035]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0036]
图1为本发明实施例的一种基于目标识别的图像质量评价方法的流程示意图；
[0037]
图2为本发明实施例的一种基于目标识别的图像质量评价装置示意图。
具体实施方式
[0038]
结合附图和实施例对本发明作进一步说明，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
[0039]
为了便于理解，参见图1，本发明提供了一种基于目标识别的图像质量评价方法的实施例，该方法包含如下步骤：
[0040]
s101：根据获取的待评价图像，得到目标识别准确率和目标识别召回率；
[0041]
s102：根据目标识别准确率和目标识别召回率，得到图像识别任务性能指标；
[0042]
s103：提取目标子图像，得到目标子图像的质量评价指标；
[0043]
s104：根据图像识别任务性能指标和目标子图像的质量评价指标，对待评价图像进行质量评价。
[0044]
本实施例中，对待评价图像进行质量评价，包括：
[0045]
当待评价图像的图像识别任务为单类别目标识别且待评价图像为单张图像时，计算第一质量评价值；
[0046]
当待评价图像的图像识别任务为多类别目标识别且待评价图像为单张图像时，基于计算出的第一质量评价值，计算第二质量评价值；
[0047]
当待评价图像的图像识别任务为多类别目标识别且待评价图像为多张图像时，基于计算出的第二质量评价值，计算第三质量评价值。
[0048]
本实施例中，第一质量评价值为：
[0049][0050]
公式中，q
α
为第一质量评价值，f
β
为图像识别任务性能指标，为目标子图像的质量评价指标，α为平衡因子且0≤α≤+∞，p为目标识别准确率，r为目标识别召回率，β为平衡因子且0≤β≤+∞；当β《1时，图像识别任务性能指标f
β
主要由准确率p确定，lim
β
→0f
β
＝p；当β＞1时，图像识别任务性能指标f
β
主要由召回率r确定，lim
β
→
+∞fβ
＝r；
qi为识别任务正确检出的任一目标i对应的目标子图像的质量评价得分，0≤qi≤1，n为图像识别任务正确检测出的目标数量。
[0051]
其中，当α《1时，第一质量评价值q
α
主要由图像识别任务性能指标f
β
确定，lim
α
→0q
α
＝f
β
；当α＞1时，第一质量评价值q
α
主要由目标子图像的质量评价指标确定，
[0052]
本实施例中，当待评价图像的图像识别任务为多类别目标识别且待评价图像为单张图像时，基于计算出的第一质量评价值，计算第二质量评价值，包括：
[0053]
对多类别目标中的所有单类别目标计算第一质量评价值，对计算得到的所有第一质量评价值求取平均值，即得到第二质量评价值；
[0054]
第二质量评价值为：
[0055][0056]
公式中，为第二质量评价值，q
α
(j)为利用第j类别目标识别结果得出的图像质量评价值，m为目标类别总数。
[0057]
本实施例中，当待评价图像的图像识别任务为多类别目标识别且待评价图像为多张图像时，基于计算出的第二质量评价值，计算第三质量评价值，包括：
[0058]
计算针对多张图像中所有单张图像多类别目标对应的第二质量评价值，求取所有第二质量评价值的平均值，即得到第三质量评价值；
[0059]
第三质量评价值为：
[0060][0061]
公式中，为第三质量评价值，为第k张图像基于m个类别目标识别任务的质量评价值，k为待评价图像的数量。
[0062]
本实施例中，当α大于设定阈值α
t
(α
t
＞＞1)时，当β大于设定阈值β
t
(β
t
＞＞1)时，f
β
＝r。
[0063]
本实施例中，图像识别任务性能指标是根据待评价图像中目标识别准确率和目标识别召回率获取；目标子图像的质量评价是根据待评价图像中目标子图像获取。
[0064]
本实施例中，目标识别准确率为：
[0065][0066]
公式中，p为目标识别准确率，n为图像识别任务正确检测出的目标数量，n
′
为图像识别任务检测出的全部目标数量；
[0067]
目标识别召回率为：
[0068]
[0069]
公式中，r为目标识别召回率，为期望检出的目标数量，n为图像识别任务正确检测出的目标数量。其中，不为0。
[0070]
本实施例中，图像识别任务检测出的目标数量n
′
包含正确检测出的n个目标，以及错误检测出目标的数量。需要说明的是，n
′
＝0时，n必然为0，令n
′
＝0时，p＝0，f
β
＝0，q
α
＝0。
[0071]
本实施例中，期望检出的目标数量包含待评价图像中实际包含的目标数量，以及由于图像采集的问题，导致本应包含在待评价图像中却被遗漏的目标数量。
[0072]
为了便于理解，参见图2，本发明还提供了一种基于目标识别的图像质量评价装置的实施例，包括：
[0073]
第一计算模块201：用于根据获取的待评价图像，得到目标识别准确率和目标识别召回率；
[0074]
第二计算模块202：用于根据目标识别准确率和目标识别召回率，得到图像识别任务性能指标；
[0075]
第三计算模块203：用于提取目标子图像，得到目标子图像的质量评价指标；
[0076]
质量评价模块204：用于根据图像识别任务性能指标和目标子图像的质量评价指标，对待评价图像进行质量评价。
[0077]
为了便于理解，本发明还提供了一种单张图像单类别目标质量评价的实施例，包括：
[0078]
[1]设条件如下：
[0079]
a)待评价的图像为一张输电线路无人机巡检图像，图像识别任务为销钉检测算法；
[0080]
b)设定平衡因子α与β均为1；
[0081]
c)子图像质量采用主观评价标准：按是否看得清销钉纹理取0到1之间的值，0表示完全不清，1表示非常清晰；
[0082]
[2]利用人工标注图像，对待评价图像进行销钉标注，并分析出该图像中期望检出的销钉数量为
[0083]
[3]利用图像识别任务，对待评价图像进行销钉检测，检出n
′
个销钉；
[0084]
[4]结合人工标注的结果与图像识别任务的结果，判定图像识别任务检出的销钉中n个检测正确；
[0085]
[5]根据准确率召回率及β＝1，计算图像识别任务的销钉检测性能指标f
β
为：
[0086][0087]
[6]将n个销钉对应的子图像都提取出来，根据子图像质量主观评价标准，为每个子图像打分，0≤qi≤1，并计算子图像的质量评价指标为：
[0088]
[0089]
[7]结合α＝1，即可计算待评价图像的质量q
α
为：
[0090][0091]
本发明提供的上述实施例中的方法和装置，可以通过其它多种方式实现。以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅是一种逻辑功能的划分，具体应用场景中会有另外划分方式，例如多个模块或单元可以分离或者集成在一个装置中。另外，模块或单元之间的耦合连接或通信连接可以是接口、电性、机械或其它形式。
[0092]
还需要说明的是，例如第一和第二等之类的关系术语仅仅是用来将一个实体或者操作与另一个实体或操作进行区分。
[0093]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。