一种基于软正交辅助空间的零标签危险品标签生成方法

1.本发明涉及危险品检测技术领域，具体涉及危险品标签生成方法，尤其涉及一种基于软正交辅助空间的零标签危险品标签生成方法。


背景技术：

2.危险品识别在我们的日常生活中具有十分重要的作用，针对危险品的识别，现有的大多数物体识别方法都是基于有监督学习展开的，即危险品的图片已经具有一系列的相关标签信息，如：种类、位置等。但是，该方法大多是依靠人力来完成贴标签，具有很大的局限性，很难针对规模很大的无标签图片进行识别。
3.基于此，利用无监督学习识别无标签图片成为一种趋势，其对无标签的图片进行聚类或者将其他已完成标签的数据集转到自己的学习模型中。
4.例如：专利cn109948776a提出了一种基于lbp的对抗网络模型的标签生成方法，该方法是直接针对于图片本身的信息、纹理来操作的，本质上是获取图片的视觉信息，对于视觉相似但是本质不同的物品很难区分，生成的标签准确率上限受到了很大限制。
5.专利cn109657726a提出了一种图片多标签分类方法，其解决的是多标签分类的问题，每个样本需要具有多个属性，但是对于危险品的识别来说，只需要判断出危险品种类这一个属性即可，功能不适应。同时，该方法适用于样品规模比较大的情况，规模越大准确率越高，但是对于危险品来说，较难获得如此大规模的样品；该方法的目的是预测图片的标签，待考察物品应该是在样本范围中包含的，需要对很多非危险品物品进行取样，成本较高。
6.专利cn109816023a提出了用于生成图片标签模型的方法和装置，其采用的是多标签分类方法，每个维度代表一种标签，由它们的组合得到图片的标签信息，但是该方法对于每个维度都是采用二分法，即0/1两种，由于一些处于阈值的细小差异可能会导致错误的出现。而且，对于危险品来说，不同视角可能会导致判断错误，该方法没有针对不同视角统一性进行修正，误差较大，准确性待进一步提升。
7.因此，有必要提供一种针对无标签信息的危险品标签生成方法，其能显著提高危险品识别的准确率。


技术实现要素：

8.为了克服上述问题，本发明人进行了锐意研究，设计出一种基于软正交辅助空间的零标签危险品标签生成方法，该方法把一定量已有标签信息的图片作为基，把无标签信息图片与这组基进行比较，得到的似然向量作为在这个软正交辅助空间下的标签信息，能够有效区分视觉相似但实际不同的危险品；同时，对图片不同视角的统一性和辅助域进行了修正，减少了不同视角带来的判断误差，使得比较得到的标签更加准确和高效，从而完成了本发明。
9.具体来说，本发明的目的在于提供以下方面：
10.第一方面，提供了一种基于软正交辅助空间的零标签危险品标签生成方法，所述方法包括以下步骤：
11.步骤1，建立辅助域；
12.步骤2，训练获得危险品标签生成模型；
13.步骤3，利用上述获得的危险品标签生成模型，为待测危险品赋予标签。
14.第二方面，提供了一种用于生成危险品标签的装置，所述装置包括辅助域建立单元、标签获得单元和训练单元；
15.其中，所述辅助域建立单元用于选取部分有标签的图片形成辅助空间；
16.标签获得单元用于将无标签图片与辅助域中图片进行比较，获得辅助空间中的比较信息，作为标签信息；
17.训练单元用于训练获得危险品的标签生成模型。
18.第三方面，提供了一种计算机可读存储介质，该介质中存储有基于软正交辅助空间的零标签危险品标签生成程序，所述程序被处理器执行时，使得处理器执行上述基于软正交辅助空间的零标签危险品标签生成方法的步骤。
19.第四方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有基于软正交辅助空间的零标签危险品标签生成程序，所述程序被处理器执行时，使得处理器执行上述基于软正交辅助空间的零标签危险品标签生成方法的步骤。
20.本发明所具有的有益效果包括：
21.(1)本发明提供的基于软正交辅助空间的零标签危险品标签生成方法，把一定量已有标签信息的图片作为基，把无标签信息图片与这组基进行比较，得到的似然向量作为在这个软正交辅助空间下的标签信息，该标签信息描述的是某一危险品的相对特性，而不是绝对的视觉特性，能够有效区分视觉相似但实际不同的危险品，提高识别准确率；
22.(2)本发明提供的基于软正交辅助空间的零标签危险品标签生成方法，增加了图片不同视角的统一性学习和辅助域学习两个方面，减少了不同视角带来的判断误差，使得比较得到的标签更加准确和高效；
23.(3)本发明提供的用于生成危险品标签的装置，能够准确、高效的生成危险品的标签。
附图说明
24.图1示出根据本发明一种优选实施方式的基于软正交辅助空间的零标签危险品标签生成方法的流程图；
25.图2示出本发明实施例的检测结果图。
具体实施方式
26.下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。其中，尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
27.本发明的第一方面，提供了一种基于软正交辅助空间的零标签危险品标签生成方法，如图1所示，所述方法包括以下步骤：
28.步骤1，建立辅助域；
29.步骤2，训练获得危险品标签生成模型；
30.步骤3，利用上述获得的危险品标签生成模型，为待测危险品赋予标签。
31.以下进一步描述本发明所述的危险品标签生成方法：
32.步骤1，建立辅助域。
33.其中，步骤1包括以下子步骤：
34.步骤1-1，利用已有标签信息的图片，建立辅助域。
35.在本发明中，可以根据实际需要，选取部分图片进行标签，使其形成辅助空间，即辅助域。
36.根据本发明一种优选的实施方式，选取的图片数量为需要识别的危险品种类的两倍左右，且图片需要覆盖所有需要识别出来的危险品种类和一定量日常用品的种类。
37.例如：应该选择刀、斧、枪等需要进行识别和标签的物品，并且还需要选择一些比较特殊的刀、斧等物品来增加鲁棒性。
38.所述危险品种类指的是特殊的小种类，以刀为例：瑞士军刀、普通水果刀、菜刀等形状相差较大的各类道具当成小种类。
39.在进一步优选的实施方式中，辅助空间中的图片相差较大，以便可以尽可能多的涵盖同种危险品的不同特征，例如：对于刀具来说，不同视角看到的图片可能相差较大，应该选择一些典型角度加入辅助空间，以能够在训练模型时提升模型本身的准确率。
40.其中，所述典型角度为能够明确识别物体特征的角度。
41.步骤1-2，将无标签图片与辅助域中图片进行比较，获得无标签图片的标签信息。
42.其中，步骤1-2包括以下子步骤：
43.步骤1-2-1，获取无标签图片的信息。
44.在本发明中，所述无标签图片的信息包括颜色、形状、位置，可以根据具体的目标，采用现有技术中常用的方法获得相应的信息。例如：对于x光拍照得到的危险品图片来说，没有颜色信息，则需要提取图片灰度信息获得物品形状。
45.优选采用常用函数获得无标签图片的信息，使其能够与辅助域内的已知标签图片进行数学比较。
46.例如：首先计算图片灰度信息，然后按照灰度信息将其中的形状保存成向量，其中，对于不同大小的物品需要进行归一化处理，以保证最终得到的向量维度一致。
47.步骤1-2-2，获得无标签图片与辅助域中图片的比较值。
48.本发明中，为了在危险品识别过程中找出一些正常情况下无法发现的易错情况，优选获得无标签待标注图片与辅助域图片的比较信息，使得待标注图片的标签是在辅助域中的样本作为基底的情况下，在新的空间中对应的比较信息。
49.本发明中利用似然向量，初始化无标签图片在软正交空间下的标签，即辅助空间下的标签信息。其中，似然向量是一个用来表征和基底每一维度的相似程度的向量。由若干维度构成的一个向量，每一个维度都代表着和当前那个已有标签图片的相似程度，相似程度构成了一个向量之后正交归一，得到了似然向量。
50.根据本发明一种优选的实施方式，采用下式获得待标注无标签图片与辅助域中图片的比较值：
[0051][0052]
其中，yk表示无标签图片与辅助空间(即辅助域)第k个图片信息归一化后的相似度；f(x)表示提取图片信息的函数；x表示无标签图片；表示辅助空间中的图片信息；i表示辅助空间的第i个维度；n
p
表示辅助空间的总维度，即其中图片信息个数；k表示辅助空间中当前进行比较的维度；表示辅助空间中第k个图片信息；表示辅助空间中第i个图片信息。
[0053]
采用上式，可以获得能够衡量两个图片距离的值。
[0054]
在本发明中，优选对于每一个待标注无标签图片，都将其与辅助域中的所有图片进行比较计算，生成每一个辅助域内图片数量维度的向量，作为比较向量，然后进行归一化保证每一个维度都小于1，各维度相加总和为1。
[0055]
在进一步优选的实施方式中，为了增加待标注无标签图片与辅助域中图片比较的准确性，将待标注无标签图片按照一定角度进行旋转的方式，获得不同角度下的图片，然后将这些不同角度的图片和辅助域中图片进行比较，获得其中比较的最小值作为最终的距离，这样可以避免不同角度导致的误差问题。
[0056]
优选地，所述旋转角度为10～20
°
，如10
°
。
[0057]
其中，通过建立完成的辅助域能够初始化生成无标签图片的标签。
[0058]
步骤2，训练获得危险品标签生成模型。
[0059]
在本发明中，不对训练的网络模型进行特别限定，可以采用本领域常用的模型进行。
[0060]
例如，可以利用resnet-50、desnet等进行网络模型的训练。例如，采用10000张已有标签的数据，从中随机选取一半的图片作为无标签图片在数据集x中，一半图片作为辅助域图片在z中，然后利用这两个图片数据集对模型进行训练。
[0061]
本发明人在研究的过程中发现，某些“图片对”会存在视觉具有很大相似性、但是在辅助空间下的比较信息差异很大的问题，为了解决这一问题，本发明优选首先构造两个域，即：
[0062]
p＝{(i,j)|f(xi)
t
f(xj)≥s,a(yi,yj)≥t}
[0063]
n＝{(k,l)|f(xk)
t
f(x
l
)≥s,a(yk,y
l
)＜t}
[0064]
其中，定义了两张图片的比较值的相似性，s和t是设定的两个阈值，取值范围均为0～1，其具体取值可以根据训练结果进行调整，f(xi)
t
f(xj)≥s代表两张图片的视觉相似性大于s时，认为它们两个是视觉相似的图片；a(yi,yj)≥t代表在两张图片视觉相似时，如果比较值的相似性大于t，就认为完全相似，否则是属于易错的图片对，即通过视觉信息比较结果认为相似，但是实际属于不同类别。
[0065]
其中，i表示无标签图片中第i个图片；j表示无标签图片中第j个图片，k表示无标签图片中第k个图片；l表示无标签图片中第l个图片；x表示无标签图片；f(xi)、f(xj)、f(xk)、f(x
l
)表示利用提取图片信息的函数针对对应无标签图片提取出的图片信息。
[0066]
进一步地，为了解决视觉相似性大且比较差异大的问题，根据本发明一种优选的实施方式，采用剔除难识别图片的损失函数l
mdl
对模型进行训练，
[0067]
所述损失函数l
mdl
如下式所述：
[0068][0069][0070][0071]
其中，z表示辅助空间中的图片；f(zi)、f(zj)、f(zk)、f(z
l
)表示利用提取图片信息的函数针对对应辅助空间图片提取出的图片信息。
[0072]
本发明人研究发现，由于识别物体时，不能事先知晓物体的角度，需要对于物体的不同角度进行修正，使得结果满足不同角度下同一物体的统一性，因此，本发明中优选对不同视角的统一性问题进行学习，以提高危险品标签的准确性。
[0073]
根据本发明一种优选的实施方式，采用下式所述的统一视角的损失函数l
cml
对模型进行训练：
[0074][0075]
其中，μ表示图片在辅助空间下的标签值取对数后的平均值，σ代表了方差；μv和σv分别代表第v个角度下的平均值和方差。
[0076]
为了进一步提高比较得到的标签的准确性，本发明还对辅助域进行了学习，以对辅助空间进行选取和修正，使其偏向于正交空间。
[0077]
根据本发明一种优选的实施方式，采用下式所述的正交化辅助空间的损失函数l
ral
对模型进行训练：
[0078]
l
ral
＝l
al
+βl
rj
[0079][0080][0081]
其中，mi＝{j|||a
i-f(xj)||2＜m}代表无标签数据与辅助空间图片的距离，m作为一个阈值，可以自主设定，一般取1；wi＝{k|wk＝i}，w表示辅助空间中图片的编号。
[0082]
在本发明中，为了综合考虑图片的视觉信息、待标注图片和辅助域图片的比较信息、图片不同视角统一性及辅助域正交性等问题，优选采用下式所述的损失函数对模型进行训练：
[0083]
l＝l
mdl
+λ1l
cml
+λ2l
ral
；
[0084]
其中，l
mdl
表示利用辅助域比较结果中正确分类占比的损失函数，l
cml
表示相同图
片不同视角结果差异的损失函数，l
ral
表示辅助空间正交程度的损失函数，λ1表示l
cml
的权重；λ2表示l
ral
的权重。
[0085]
在训练模型的过程中，采用梯度下降法，调整模型参数，将每次调整参数后的模型作为下次训练的初始模型，并在满足预设的结束条件的情况下，结束每一个图片集的训练。
[0086]
其中，所述预设的训练结束条件包括以下至少一项：训练时间超过预设时长；训练次数超过预设次数；利用预设的损失函数计算所得的损失值小于预设损失值阈值。
[0087]
通过上述训练，获得最优的λ1和λ2，最终获得训练完成的危险品标签生成模型。
[0088]
步骤3，利用上述获得的危险品标签生成模型，为待测危险品赋予标签。
[0089]
在本发明中，在获得待测危险品的图片后，优选采用上述训练完成的模型，即可得到最终危险品的相关标签。
[0090]
本发明的第二方面，提供了一种用于生成危险品标签的装置，所述装置包括辅助域建立单元、标签获得单元和训练单元。
[0091]
其中，所述辅助域建立单元用于选取部分有标签的图片形成辅助空间；
[0092]
标签获得单元用于将无标签图片与辅助域中图片进行比较，获得辅助空间中的比较信息，作为标签信息；
[0093]
训练单元用于训练获得危险品的标签生成模型。
[0094]
优选地，所述辅助域建立单元选取的图片数量为需要识别的危险品种类的两倍左右，且图片需要覆盖所有需要识别出来的危险品种类和一定量日常用品的种类；
[0095]
所述标签获得单元采用下式获得待标注无标签图片与辅助域中图片的比较值：
[0096][0097]
所述训练单元采用下式所述的损失函数对模型进行训练：
[0098]
l＝l
mdl
+λ1l
cml
+λ2l
ral
。
[0099]
本发明的第三方面，提供了一种计算机可读存储介质，该介质中存储有基于软正交辅助空间的零标签危险品标签生成程序，所述程序被处理器执行时，使得处理器执行所述基于软正交辅助空间的零标签危险品标签生成方法的步骤。
[0100]
本发明所述的基于软正交辅助空间的零标签危险品标签生成方法可借助软件加必需的通用硬件平台的方式来实现，所述软件存储在计算机可读存储介质(包括rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机、计算机、服务器、网络设备等)执行本发明所述方法。
[0101]
本发明的第四方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有基于软正交辅助空间的零标签危险品标签生成程序，所述程序被处理器执行时，使得处理器执行所述基于软正交辅助空间的零标签危险品标签生成方法的步骤。
[0102]
实施例
[0103]
以下通过具体实例进一步描述本发明，不过这些实例仅仅是范例性的，并不对本发明的保护范围构成任何限制。
[0104]
实施例1
[0105]
1、建立辅助域
[0106]
辅助域中包括有标签的x光拍摄图片共10000张，其中包含的图片内危险品种类有：管制刀具、斧头、枪、叉子、镊子、钳子、锤子、打火机。从10000张图片中选择5000张图片作为辅助域，其中需要包含各个种类、各个角度一定数量的图片。
[0107]
2、获得无标签图片的标签信息
[0108]
由于本身采用的是x光拍摄图片，因此只需要利用读取图片的灰度信息即可，灰度信息中包含了图片的位置和形状信息。计算待标注图片与辅助空间图片的特征余弦相似度，这就完成了利用已有图片来标注无标签图片的过程。
[0109]
3、训练危险品标签生成模型
[0110]
采用resne进行训练，用下述公式作为损失函数，其中初始值可将λ1设置为0.0002，λ2设置为50。将图片原有标签与计算得到的对应余弦相似度作为数据输入网络，进行训练即可。
[0111]
l＝l
mdl
+λ1l
cml
+λ2l
ral
[0112][0113][0114][0115][0116]
l
ral
＝l
al
+βl
rj
[0117][0118][0119]
4、获得待测危险品的标签信息
[0120]
对于待测危险品来说，应该包含其对应的不同视角的x光照片，然后利用上面训练好的网络将不同视角图片投入网络进行预测，单一图片的预测结果应包含0-7中的数字，选择最多的作为该物品种类，数字对应顺序为：管制刀具、斧头、枪、叉子、镊子、钳子、锤子、打火机。
[0121]
5、检测结果与分析
[0122]
示例图片见图2，利用上面过程进行标注，得到一个5000维的结果向量，每个数字代表与该维辅助域图片归一化后的相似度，选择前30个最大的准确度后进行处理，如果属于同一类则将准确度相加，最终得到一个8维的代表类别的准确度向量，示例图片处理后的结果为(0.063,0,0,0.106,0.273,0.365,0,0)，从结果可以看出，其为钳子的概率最大，因此利用该方法对其最终标注为钳子。
[0123]
以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。