基于智能识图盒子性能的验证方法及系统与流程

1.本发明涉及智慧安检技术领域，具体涉及基于智能识图盒子性能的验证方法及系统。


背景技术：

2.安检在保障飞机、火车、地铁等交通工具安全运行和乘客人身安全中起到至关重要的作用，安检的目的是检查乘客及其携带物品中是否包含枪支、管制刀具、易燃易爆等危险品。传统的以人工的方式实现的违禁品判定手段，因效率低且需要投入大量人力而不适用于目前安检识别。因此，通过采集大量安检包裹相关数据用于数据建模，通过大数据构建的数据模型进行违禁品控制和违禁品提示，相比传统的人工经验风险控制方式更科学，效率更高。
3.然而现有的现有安检识别模型评估方法，采用标注框和识别框在单一交并比(iou)阈值下的平均精度(ap)作为模型好坏的评估标准。然后现有安检识别模型存在无法针对因遮挡、角度、光线、模糊等特殊因素下的判定，使得部分标注信息难以判定是否是违禁品，从而无法有效利用评估方法对安检识别模型进行循环训练，以增加特殊因素下违禁品的识别率，从而减少包裹漏检率。


技术实现要素：

4.本发明的目的在于提供基于智能识图盒子性能的验证方法及系统，通过每一次模型评估，获得未识别成功的类别标签及对应的标签数量，从而在样本数据集合中增加对应的类别标签的测试图片，有效地克服了现有技术在复杂场景下违禁品检测率低、误检率高等缺点，增强了检测模型的鲁棒性，提升该模型在复杂场景下的违禁品检测性能。
5.基于智能识图盒子性能的验证方法，具体包括以下步骤：
6.s1、获得由样本数据集合训练后的目标识别模型以及测试图片，所述测试图片包括标注框及每个标注框的类别标签；
7.s2、将所述测试图片输入至所述目标识别模型中，以得到识别后的测试图片，所述识别后的测试图片还包括识别框以及每个识别框的类别标签；
8.s3、根据所述标注框及每个标注框的类别标签、以及识别框以及每个识别框的类别标签，计算每个对应的类别标签的识别参数值；
9.s4、根据每个类别标签的识别参数值，判断所述每个类别标签的识别参数值是否大于预设阈值；及
10.如果存在类别标签的识别参数值小于所述预设阈值，则在样本数据集合中增加对应的该类别标签的样本图片，并循环步骤s1。
11.进一步地，所述样本数据集合，通过以下步骤得到:
12.根据预设的多个类别标签，从目标数据库中分别提取对应于每个类别标签的原始图片集合；
13.对每个类别标签的原始图片集合分别进行增强与合成处理，获得分别对应于每个类别标签的样本图片集合，将所有类别标签的样本图片集合归集为样本数据集合。
14.进一步地，所述增强与合成处理具体包括以下步骤：
15.启动计数器index，重复执行以下步骤，直至得到当前类别标签对应的预设数量d的样本图片，将所述预设数量d的样本图片归集为当前类别标签的样本图片集合：
16.遍历当前类别标签的原始图片集合，每遍历一张原始图片计数器index＝index+1，将所述index与可调参量a进行整除运算，若index能被可调参量a整除，则从业务场景背景图片库中随机读取一张场景背景图片，所述可调参量a为与场景背景图片进行合成的原始图片的最大数值；
17.根据所述场景背景图片分辨率的大小，将场景背景图片进行水平方向和垂直方向的n等分操作，划分得到n*n个等大小的区域块，每个区域块i以xi行yi列进行标识，其中a＝n*n；
18.将当前遍历的原始图片进行增强处理，获得增强原始图片；
19.将所述增强原始图片粘贴至区域块i，所示i为index与a进行取余运算得到的余数值，将合成有a张增强原始图片的场景背景图片确定为当前类别标签的的一张样本图片。
20.进一步地，将所述增强原始图片粘贴至区域块i，具体包括以下步骤：
21.判断所述增强原始图片与区域块i的大小；
22.若所述增强原始图片与区域块i的大小不匹配，则将增强原始图片按照适配比率进行缩放处理，以获得与区域块i大小匹配的增强原始图片，将大小匹配的增强原始图片粘贴至区域块i。
23.进一步地，所述增强原始图片大小为w*h，所述区域块i的大小为k*k，则所述适配比率具体包括以下几种情形：
24.情形一：当w*hr》k时，所述适配比率为wr；
25.情形二：当h*wr》k时，所述适配比率为hr；
26.其中，wr为长变换比率：wr＝k/w；
27.hr为高变换比率：hr＝k/h；
28.若所述增强原始图片的大小大于区域块i，则将所述增强原始图片按照适配比率进行缩小处理，以获得与区域块i大小匹配的图片。
29.进一步地，所述增强处理包括以下步骤：根据所述预设的图像数据增强处理集合按照预设规则对所述当前遍历的原始图片进行图像数据增强处理，所述图像数据增强处理集合包括：平移，旋转，亮度变换，翻转，添加高斯噪声，所述预设规则为随机抽取一个图像数据增强处理或对所述图像数据增强处理集合进行类别标签加载，所述类别标签加载是将图像数据增强处理按照特定的顺序集进行加载构成图像数据增强处理模型。
30.进一步地，所述识别参数值包括识别率，所述预设阈值包括识别率阈值，所述识别率通过以下步骤获得：
31.遍历所述标注框的类别标签，以当前遍历的类别标签为基准类别标签，在所有识别框的类别标签中进行匹配判定，判定是否存在与当前遍历的类别标签相同的类别标签；
32.若存在，则获取基准类别标签对应的一张或多张测试图片，分别计算所述测试图片中基准类别标签对应的标注框与基准类别标签对应的标注框之间的iou值，并判定所述
iou值是否大于预设标准值：
33.若大于，则将所述测试图片标记为识别成功的测试图片；
34.若小于，则将所述测试图片标记为未识别成功的测试图片，将当前遍历的类别标签记录为未识别成功的类别标签；
35.计算基准类别标签对应的识别成功的测试图片数量与对应的测试图片数量的比值，所述比值为当前遍历的类别标签对应的识别率。
36.进一步地，从所述测试图片中提取出所有未识别成功的测试图片，统计所述未识别成功的类别标签信息，所述类别标签信息包括：未识别成功的类别标签及对应的标签数量；
37.根据所述未识别成功的类别标签及对应的数量，生成对应的参数信息列表；
38.根据所述参数信息列表，从目标数据库中分别提取对应于每个未识别成功的类别标签的原始图片集合；
39.对每个未识别成功的类别标签的原始图片集合分别进行增强与合成处理，获得分别对应于每个未识别成功的类别标签的的样本图片集合，将所有未识别成功的类别标签的的样本图片集合添加至样本数据集合。
40.基于智能识图盒子性能的验证系统，包括：
41.一个或多个处理器；
42.存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的基于智能识图盒子性能的验证方法，所述一个或多个程序包括：
43.获取模块，用于获得由样本数据集合训练后的目标识别模型以及测试图片，所述测试图片包括标注框及每个标注框的类别标签；
44.识别模块，用于将所述测试图片输入至所述目标识别模型中，以得到识别后的测试图片，所述识别后的测试图片还包括识别框以及每个识别框的类别标签；
45.计算模块，用于根据所述标注框及每个标注框的类别标签、以及识别框以及每个识别框的类别标签，计算每个对应的类别标签的识别参数值；
46.增加模块，用于根据每个类别标签的识别参数值，判断所述每个类别标签的识别参数值是否大于预设阈值；及
47.如果存在类别标签的识别参数值小于所述预设阈值，则在样本数据集合中增加对应的该类别标签的样本图片，并执行获取模块。
48.本发明具有的有益效果：
49.1、通过图像数据增强与合成处理，获得当前类别标签对应的样本图片，从而生成类别标签对应的多个样本图片结合，进而获得所有类别标签的样本数据结合，通过丰富样本集、均衡样本数量，基于该多个样本集对检测模型进行训练，进一步优化检测模型，降低漏检、误检的概率；
50.2、通过每一次模型评估，获得未识别成功的类别标签及对应的标签数量，从而在样本数据集合中增加对应的类别标签的测试图片，不但解决了特殊情况下违禁品无法识别和判断的问题，并且还不会过多的占用计算机运算和存储资源，可有效降低计算机运算及存储设备的配置成本；
51.3、根据要求自动获取样本进行训练；根据自动化验证结果，重新平衡训练样本，自动触发再次训练，直至满足条件；优化自动化验证算法，减少算法的时间复杂度，提升算法执行效率。
附图说明
52.图1为本发明的方法流程示意图；
53.图2为本发明的样本图片集合流程示意图；
54.图3为本发明的样本图片示意图；
55.图4为本发明的系统结构示意图；
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
58.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
59.另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。
60.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
61.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
62.实施例1
63.基于智能识图盒子性能的验证方法，具体包括以下步骤：
64.s1、获得由样本数据集合训练后的目标识别模型以及测试图片，所述测试图片包括标注框及每个标注框的类别标签；
65.具体的，所述样本数据集合，通过以下步骤得到:
66.根据预设的多个类别标签，从目标数据库中分别提取对应于每个类别标签的原始图片集合；
67.对每个类别标签的原始图片集合分别进行增强与合成处理，获得分别对应于每个类别标签的样本图片集合，将所有类别标签的样本图片集合归集为样本数据集合。
68.所述每个类别标签的原始图片集合中原始图片的数量可调，但是远大于生成对应的样本图片集合所需要的数量。
69.所述增强与合成处理具体包括以下步骤：
70.启动计数器index，重复执行以下步骤，直至得到当前类别标签对应的预设数量d的样本图片，将所述预设数量d的样本图片归集为当前类别标签的样本图片集合：
71.遍历当前类别标签的原始图片集合，每遍历一张原始图片计数器index＝index+1，将所述index与可调参量a进行整除运算，若index能被可调参量a整除，则从业务场景背景图片库中随机读取一张场景背景图片，所述可调参量a为与场景背景图片进行合成的原始图片的最大数值；
72.根据所述场景背景图片分辨率的大小，将场景背景图片进行水平方向和垂直方向的n等分操作，划分得到n*n个等大小的区域块，每个区域块i以xi行yi列进行标识，其中a＝n*n；
73.将当前遍历的原始图片进行增强处理，获得增强原始图片；
74.将所述增强原始图片粘贴至区域块i，所示i为index与a进行取余运算得到的余数值，将合成有a张增强原始图片的场景背景图片确定为当前类别标签的的一张样本图片。
75.将所述增强原始图片粘贴至区域块i，具体包括以下步骤：
76.判断所述增强原始图片与区域块i的大小；
77.若所述增强原始图片与区域块i的大小不匹配，则将增强原始图片按照适配比率进行缩放处理，以获得与区域块i大小匹配的增强原始图片，将大小匹配的增强原始图片粘贴至区域块i。
78.具体的，将所述增强原始图片粘贴至区域块i，所述区域块i的标识为(xi,yi),其中：
79.xi为将index与n进行整除运算得到的商值，即xi＝index//n；
80.yi为将index与n进行取余运算得到的余数值，即yi＝index％n。
81.所述适配比率具体包括以下几种情形：
82.情形一：当w*hr》k时，所述适配比率为wr；
83.情形二：当h*wr》k时，所述适配比率为hr；
84.其中，wr为长变换比率：wr＝k/w；
85.hr为高变换比率：hr＝k/h；
86.若所述增强原始图片大于区域块i的大小，则将所述增强原始图片按照适配比率进行缩小处理，以获得与区域块i大小匹配的图片，其中区域块i的大小为k*k，所述增强原始图片大小为w*h。
87.所述增强处理包括以下步骤：根据所述预设的图像数据增强处理集合按照预设规则对所述当前遍历的原始图片进行图像数据增强处理，所述图像数据增强处理集合包括：平移，旋转，亮度变换，翻转，添加高斯噪声，所述预设规则为随机抽取一个图像数据增强处理或对所述图像数据增强处理集合进行类别标签加载，所述类别标签加载是将图像数据增强处理按照特定的顺序集进行加载构成图像数据增强处理模型。
88.在一个实施例中，所述类别标签加载为平移+亮度转换+亮度；
89.在一个实施例中，所述类别标签加载为长宽扭曲+亮度转换+图像翻转。
90.在一种实施例中，本实施例中首先获取了样本数据集合，测试集包含15个场景，共3562张图片、45210个标注框，标注框中目标对象参差不齐。上述目标对象包括但不限于日常物品、违禁品，具体根据实际应用场景需要确定，违禁品包括但不限于枪支、弹药、易燃、
易爆、有毒、放射性等危险物品。
91.具体而言，所述目标数据库为根据安检危险品标准所规定的场景危险品名录，包括危险品的图像、危险品所在位置坐标和危险品标签等。根据所述目标数据库，获得各类危险品的图像数据集，所述场景背景图片为对危险品检测的应用场景，需对危险品图像进行不同角度、尺度、亮度目标的泛化转换。按照所述图像数据增强处理如尺度缩放、长宽扭曲、亮度转换、图像翻转等进行图像转换增强，并通过图像处理算法对所述危险品图像数据集进行数据扩增，获得增强增后的危险品图像数据集。根据所述增强危险品图像数据集，生成样本数据集合，进而提高对不同角度、尺度、亮度目标检测的泛化能力，降低外界因素和目标多样性对评估模型精度的影响的技术效果。
92.安检中的目标识别模型对包裹中的物品进行识别，标注出物品的类别标签及其在行李箱中的位置，包括违禁品，所述违禁品的类别标签包括：枪支、刀具、打火机、管制器具、工具、易燃易爆物、液体、电子设备、充电宝、雨伞，以及生活用品，如衣物、鞋帽等。
93.在一张实施例中，所述测试图片中包括所有标注框以及每个标注框的预测框信息；所述标注框信息包括标注框的坐标、标注框的宽、标注框的高。
94.s2、将所述测试图片输入至所述目标识别模型中，以得到识别后的测试图片，所述识别后的测试图片还包括识别框以及每个识别框的类别标签；
95.在本实施例中，目标识别模型通过非极大值抑制算法获得对应于每一个违禁品的最优是识别框。所述测试图片中还包括所有识别框以及每个识别框的识别框信息；所述识别框信息包括识别框的坐标、识别框的宽、识别框的高。
96.s3、根据所述标注框及每个标注框的类别标签、以及识别框以及每个识别框的类别标签，计算每个对应的类别标签的识别参数值；
97.s4、根据每个类别标签的识别参数值，判断所述每个类别标签的识别参数值是否大于预设阈值；及
98.如果存在类别标签的识别参数值小于所述预设阈值，则在样本数据集合中增加对应的该类别标签的样本图片，并循环步骤s1。
99.在一种实施方式中，所述识别参数值包括识别率，所述预设阈值包括识别率阈值，所述识别率通过以下步骤获得：
100.遍历所述标注框的类别标签，以当前遍历的类别标签为基准类别标签，在所有识别框的类别标签中进行匹配判定，判定是否存在与当前遍历的类别标签相同的类别标签；
101.若存在，则获取基准类别标签对应的一张或多张测试图片，分别计算所述测试图片中基准类别标签对应的标注框与基准类别标签对应的标注框之间的iou值，并判定所述iou值是否大于预设标准值：
102.若大于，则将所述测试图片标记为识别成功的测试图片；
103.若小于，则将所述测试图片标记为未识别成功的测试图片，将当前遍历的类别标签记录为未识别成功的类别标签；
104.计算基准类别标签对应的识别成功的测试图片数量与对应的测试图片数量的比值，所述比值为当前遍历的类别标签对应的识别率。
105.分别判断所有类别标签对应的识别率与识别率阈值的大小，若识别率小于识别率阈值，则在样本数据集合中增加对应的该类别标签的样本图片，并循环步骤s1，具体包括以
下步骤：
106.从所述测试图片中提取出所有未识别成功的测试图片，统计所述未识别成功的类别标签信息，所述类别标签信息包括：未识别成功的类别标签及对应的标签数量；
107.根据所述未识别成功的类别标签及对应的数量，生成对应的参数信息列表；
108.根据所述参数信息列表，从目标数据库中分别提取对应于每个未识别成功的类别标签的原始图片集合；
109.具体的所述参数信息列表包括对象的类别标签、类别标签对应的数量k1、对象对应的图像数据增强处理预设规则、对象对应的可调参量a1以及对象对应的样本图片的预设数量d1。
110.对每个未识别成功的类别标签的原始图片集合分别进行增强与合成处理，获得分别对应于每个未识别成功的类别标签的的样本图片集合，将所有未识别成功的类别标签的的样本图片集合添加至样本数据集合。
111.所述每个未识别成功的类别标签的原始图片集合中原始图片的数量可调，但是远大于生成对应的样本图片集合所需要的数量。
112.在一种实施方式中，所述识别参数值还包括漏检率，所述预设阈值还包括漏检率阈值，所述漏检率通过以下步骤获得：
113.遍历所述标注框的类别标签，以当前遍历的类别标签为基准类别标签，在所有识别框的类别标签中进行匹配判定，判定是否存在与当前遍历的类别标签相同的类别标签；
114.若不存在，则获取基准类别标签对应的一张或多张测试图片视为当前遍历的类别标签的漏检测试图片，统计所述漏检测试图片的数量，将当前遍历的类别标签记录为漏检的类别标签；
115.计算当前遍历的类别标签对应的漏检测试图片数量与对应的测试图片数量的比值，所述比值为当前遍历的类别标签对应的漏检率。
116.分别判断所有类别标签对应的漏检率与漏检率阈值的大小，若漏检率小于漏检率阈值，则在样本数据集合中增加对应的该类别标签的样本图片，并循环步骤s1，具体包括以下步骤：
117.从所述测试图片中提取出所有漏检测试图片，统计所述漏检的类别标签信息，所述类别标签信息包括：漏检的标签及对应的标签数量；
118.根据所述漏检的类别标签及对应的数量，生成对应的参数信息列表；
119.根据所述参数信息列表，从目标数据库中分别提取对应于每个漏检的类别标签的原始图片集合；
120.具体的所述参数信息列表包括对象的类别标签、类别标签对应的数量k2、对象对应的图像数据增强处理预设规则、对象对应的可调参量a2以及对象对应的样本图片的预设数量d2。
121.对每个漏检的类别标签的原始图片集合分别进行增强与合成处理，获得分别对应于每个漏检的类别标签的样本图片集合，将所有漏检的类别标签的样本图片集合添加至样本数据集合。
122.所述每个漏检的类别标签的原始图片集合中原始图片的数量可调，但是远大于生成对应的样本图片集合所需要的数量。
123.在一种实施例中，还可以根据漏检测试图片、漏检的类别标签与未识别成功的测试图片、未识别成功的类别标签，在样本数据集合中增加对应的该类别标签的样本图片。
124.在一种具体的实施例中：
125.测试集q＝{q1，q2，q3，
…
，qi，
…
qn}，qi表示第i个测试数据，测试数据指的是一张测试图片，里面包含了多个需要识别的类别标签。所以qi＝{qlb1，qlb2，
…
，qlbj
…
，qlbn}，qlbj表示测试数据的第j个需要识别类别标签的信息。qlbj＝{index，id，x0，y0，w，h，x1，y1，status}表示需要识别类别标签的信息包含：id-类别标签id，index-表示序号，x0-类别标签左上顶点的x坐标，y0表示类别标签左上顶点的y坐标，w-表示类别标签的框，h-表示类别标签的高，x1-类别标签右下顶点的x坐标，y1-类别标签右下顶点的坐标，x1＝x0+0.5*w，y1＝y0+0.5*h，status-类别标签是否识别成功的状态，status＝0表示未匹配，status＝1表示匹配成功，status＝2表示匹配错误
126.对于第i个测试数据qi，假设qi中qlbj有m个。用qmi{id，ql}存放测试集，id为类别标签id，ql为类别标签id对应的标注结果qlb。这里的需要的时间复杂度为o(m)。
127.识别结果r＝{r1，r2，
…
，ri，
…
rn}，ri表示对第i个测试数据的识别结果ri＝{rlb1，rlb2，
…
，rlbj，
…
rlbn}，rlbj＝{index，id，x0，y0，x1，y1，status}，index-表示序号，x0-类别标签左上顶点的x坐标，y0表示类别标签左上顶点的y坐标，status-类别标签是否识别成功的状态，status＝0表示未匹配，status＝1表示匹配成功，status＝2表示匹配错误
128.用rmi(id，rl)存放识别结果。id为识别的类别标签，rl存放识别类别标签id对应的识别结果rlb.
129.遍历qmi的id
130.foridinqmi:
131.ql＝qmi[id]
[0132]
ifidnotinrmi:
[0133]
ql的中的所有元素qlbi的status＝0；
[0134]
else:
[0135]
rl＝rmi[id]
[0136]
通过计算ql中元素和rl中元素的iou，当iou满足设置的阈值时，则匹配成功，status设置为1。
[0137]
计算测试集q和识别结果r中每个类别标签的识别率。
[0138]
自动训练
[0139]
根据步骤二中最后的识别率，对样本进行重新分配。
[0140]
1、如果识别率都不够理想，则类别标签增加样本数据和样本多样性，然后自动重新训练。
[0141]
2、如果部分类别标签识别率不够理想，则保持识别率通过的样本不变，增加识别率不够立项的样本的多样性和样本数目，然后再重新训练。
[0142]
3、如果识别率通过，则可以停止。
[0143]
实施例2
[0144]
基于智能识图盒子性能的验证系统，包括：
[0145]
一个或多个处理器；
[0146]
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的基于智能识图盒子性能的验证方法，所述一个或多个程序包括：
[0147]
获取模块，用于获得由样本数据集合训练后的目标识别模型以及测试图片，所述测试图片包括标注框及每个标注框的类别标签；
[0148]
识别模块，用于将所述测试图片输入至所述目标识别模型中，以得到识别后的测试图片，所述识别后的测试图片还包括识别框以及每个识别框的类别标签；
[0149]
计算模块，用于根据所述标注框及每个标注框的类别标签、以及识别框以及每个识别框的类别标签，计算每个对应的类别标签的识别参数值；
[0150]
增加模块，用于根据每个类别标签的识别参数值，判断所述每个类别标签的识别参数值是否大于预设阈值；及
[0151]
如果存在类别标签的识别参数值小于所述预设阈值，则在样本数据集合中增加对应的该类别标签的样本图片，并执行获取模块。
[0152]
实施例3，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现所述的基于智能识图盒子性能的验证方法。
[0153]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。