图像数据的交叉标注方法、装置、设备及存储介质与流程

1.本发明涉及图像数据处理技术领域，尤其涉及图像数据的交叉标注方法、装置、设备及存储介质。


背景技术：

2.人工智能（artificial intelligence，ai）技术作为近几年较为前沿的算法，被广泛应用在不同的领域，例如：人脸识别、智能语音识别以及工业领域的缺陷检测等，具体是通过给ai算法训练应对不同场景的模型，在实际使用的过程中往往会出现训练的模型未达到预期的效果，模型在使用中会出现或多或少的错误，例如，ok品和ng品混淆、不同缺陷类别间的判定混淆等。通过数据分析可知，造成上述问题的原因是模型训练集中的数据标注存在异常，例如，不同缺陷类别间标注的混淆，缺陷不同程度间标注的混淆等，而常用的标注图像数据的现有技术为单一设备的识别和标注，使得相似性较高的图像数据无法准确地区别，造成标注图像数据的准确性较低。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种图像数据的交叉标注方法、装置、设备及存储介质，旨在解决现有技术标注图像数据的准确性较低的技术问题。
5.为实现上述目的，本发明提供了一种图像数据的交叉标注方法，所述图像数据的交叉标注方法包括以下步骤：获取待标注图像数据，接收第一标注设备对所述待标注图像数据进行的标注，得到含有第一标签的已标注图像数据；将所述已标注图像数据中的第一标签进行隐藏；接收第二标注设备对隐藏第一标签的已标注图像数据进行的标注，得到含有第二标签的已标注图像数据，所述含有第二标签的已标注图像数据同时包括已隐藏的第一标签；在所述第一标签与所述第二标签一致时，将所述含有第一标签的已标注图像数据和/或所述含有第二标签的已标注图像数据进行归档。
6.可选地，所述接收第二标注设备对隐藏第一标签的已标注图像数据进行的标注，得到含有第二标签的已标注图像数据之后，还包括：在所述第一标签与所述第二标签不一致时，将所述已标注图像数据中的第一标签进行隐藏；接收第三标注设备根据识别的图像特征对隐藏第一标签的已标注图像数据进行的标注，得到含有第三标签的已标注图像数据；判断所述第三标签是否与所述第一标签一致，或是否与所述第二标签一致；
在所述第三标签与所述第一标签一致时，将所述含有第一标签的已标注图像数据和/或含有第三标签的已标注图像数据进行归档，同时通过标准标注规则对所述第二标注设备的标注策略进行重新设置。
7.可选地，所述判断所述第三标签是否与第一标签一致，或是否与所述第二标签一致之后，还包括：在所述第三标签与所述第二标签一致时，将所述含有第二标签的已标注图像数据和/或含有第三标签的已标注图像数据进行归档，同时通过标准标注规则对所述第一标注设备的标注策略进行重新设置。
8.可选地，所述判断所述第三标签是否与第一标签一致，或是否与所述第二标签一致之后，还包括：在所述第三标签与所述第一标签、所述第二标签均不一致时，通过目标标准标注评判系统对所述含有第一标签的已标注图像数据、含有第二标签的已标注图像数据以及含有第三标签的已标注图像数据进行评判；根据评判结果得到无关图像数据集。
9.可选地，所述在所述第一标签与所述第二标签一致时，将所述含有第一标签的已标注图像数据和/或所述含有第二标签的已标注图像数据进行归档之后，还包括：从归档后的标注图像数据库中读取目标图像数据，并根据所述目标图像数据的标签确定所属的图像类别；根据所述目标图像数据和所述图像类别生成得到模型训练数据集；通过人工智能算法根据所述模型训练数据集训练目标图像识别模型；获取待测试图像数据和所述待测试图像数据所属的图像类别；通过所述目标图像识别模型对所述待测试图像数据进行识别，得到当前图像类别；在所述当前图像类别与所述待测试图像数据所属的图像类别一致时，通过所述目标图像识别模型对其他待测试图像数据进行识别。
10.可选地，所述通过人工智能算法根据所述模型训练数据集训练目标图像识别模型之后，还包括：通过所述目标图像识别模型对无关图像数据集中的各个图像数据进行识别，得到当前图像数据识别结果；在所述当前图像数据识别结果与预设识别结果一致时，将所述无关图像数据集进行舍弃。
11.可选地，所述获取待标注图像数据，接收第一标注设备对所述待标注图像数据进行的标注，得到含有第一标签的已标注图像数据之前，还包括：获取标准标注规则；通过所述标准标注规则设置第一标注设备、第二标注设备以及第三标注设备的标注策略；根据测试标注图像数据对所述第一标注设备、第二标注设备以及第三标注设备的标注策略进行测试，得到测试准确率；在所述测试准确率大于预设准确率阈值时，执行获取待标注图像数据的步骤。
12.此外，为实现上述目的，本发明还提出一种图像数据的交叉标注装置，所述图像数据的交叉标注装置包括：获取模块，用于获取待标注图像数据，接收第一标注设备对所述待标注图像数据进行的标注，得到含有第一标签的已标注图像数据；隐藏模块，用于将所述已标注图像数据中的第一标签进行隐藏；标注模块，用于接收第二标注设备对隐藏第一标签的已标注图像数据进行的标注，得到含有第二标签的已标注图像数据，所述含有第二标签的已标注图像数据同时包括已隐藏的第一标签；归档模块，用于在所述第一标签与所述第二标签一致时，将所述含有第一标签的已标注图像数据和/或所述含有第二标签的已标注图像数据进行归档。
13.此外，为实现上述目的，本发明还提出一种图像数据的交叉标注设备，所述图像数据的交叉标注设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像数据的交叉标注程序，所述图像数据的交叉标注程序配置为实现如上文所述的图像数据的交叉标注方法。
14.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像数据的交叉标注程序，所述图像数据的交叉标注程序被处理器执行时实现如上文所述的图像数据的交叉标注方法。
15.本发明提出的图像数据的交叉标注方法，通过获取待标注图像数据，接收第一标注设备对所述待标注图像数据进行的标注，得到含有第一标签的已标注图像数据；将所述已标注图像数据中的第一标签进行隐藏；接收第二标注设备对隐藏第一标签的已标注图像数据进行的标注，得到含有第二标签的已标注图像数据，所述含有第二标签的已标注图像数据同时包括已隐藏的第一标签；在所述第一标签与所述第二标签一致时，将所述含有第一标签的已标注图像数据和/或所述含有第二标签的已标注图像数据进行归档；通过上述方式，使用多个标注设备分别对待标注图像数据进行交叉标注，从而能够有效提高标注图像数据的准确性，进而提高训练模型的准确性。
附图说明
16.图1是本发明实施例方案涉及的硬件运行环境的图像数据的交叉标注设备的结构示意图；图2为本发明图像数据的交叉标注方法第一实施例的流程示意图；图3为本发明图像数据的交叉标注方法第二实施例的流程示意图；图4为本发明图像数据的交叉标注方法一实施例的整体流程示意图；图5为本发明图像数据的交叉标注装置第一实施例的功能模块示意图。
17.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
18.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
19.参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像数据的交叉标注设备结构示意图。
20.如图1所示，该图像数据的交叉标注设备可以包括：处理器1001，例如中央处理器（central processing unit，cpu），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器1005可以是高速的随机存取存储器（random access memory，ram）存储器，也可以是稳定的非易失性存储器（non-volatile memory，nvm），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
21.本领域技术人员可以理解，图1中示出的结构并不构成对图像数据的交叉标注设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
22.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像数据的交叉标注程序。
23.在图1所示的图像数据的交叉标注设备中，网络接口1004主要用于与网络一体化平台工作站进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明图像数据的交叉标注设备中的处理器1001、存储器1005可以设置在图像数据的交叉标注设备中，所述图像数据的交叉标注设备通过处理器1001调用存储器1005中存储的图像数据的交叉标注程序，并执行本发明实施例提供的图像数据的交叉标注方法。
24.基于上述硬件结构，提出本发明图像数据的交叉标注方法实施例。
25.参照图2，图2为本发明图像数据的交叉标注方法第一实施例的流程示意图。
26.在第一实施例中，所述图像数据的交叉标注方法包括以下步骤：步骤s10，获取待标注图像数据，接收第一标注设备对所述待标注图像数据进行的标注，得到含有第一标签的已标注图像数据。
27.需要说明的是，本实施例的执行主体为图像数据的交叉标注设备，还可为其他可实现相同或相似功能的设备，例如交叉标注控制器等，本实施例对此不作限制，在本实施例中，以交叉标注控制器为例进行说明。
28.应当理解的是，待标注图像数据指的是需要进行标注的图像数据，含有第一标签的已标注图像数据指的是由第一标注设备进行标注后的图像数据，具体是将待标注图像数据发送给第一标注设备，由第一标注设备对待标注图像数据进行标注，以得到含有第一标签的已标注图像数据。
29.进一步地，步骤s10之前，还包括：获取标准标注规则；通过所述标准标注规则设置第一标注设备、第二标注设备以及第三标注设备的标注策略；根据测试标注图像数据对所述第一标注设备、第二标注设备以及第三标注设备的标注策略进行测试，得到测试准确率；在所述测试准确率大于预设准确率阈值时，执行获取待标注图像数据的步骤。
30.可以理解的是，标准标注规则指的是对图像数据的各形态缺陷进行清楚、细致的标注规则，然后通过标准标注规则分别设置第一标注设备、第二标注设备以及第三标注设备的标注策略，也就是使得第一标注设备、第二标注设备以及第三标注设备采用同样的标注策略对图像数据进行标注，在设置完成后，通过测试标注图像数据测试第一标注设备、第二标注设备以及第三标注设备的标注策略的准确率，然后判断测试准确率是否大于预设准确率阈值，若是，则第一标注设备、第二标注设备以及第三标注设备才能对图像数据进行标
注，否则，需重新设置标注策略。
31.步骤s20，将所述已标注图像数据中的第一标签进行隐藏。
32.可以理解的是，在得到含有第一标签的已标注图像数据后，会将已标注图像数据中的第一标签进行隐藏，使得其他标注设备无法知晓第一标注设备标注的第一标签，从而实现对隐藏第一标签的已标注图像数据进行盲标。
33.步骤s30，接收第二标注设备对隐藏第一标签的已标注图像数据进行的标注，得到含有第二标签的已标注图像数据，所述含有第二标签的已标注图像数据同时包括已隐藏的第一标签。
34.应当理解的是，在得到隐藏第一标签的已标注图像数据后，将隐藏第一标签的已标注图像数据发送给第二标注设备，由第二标注设备对隐藏第一标签的已标注图像数据进行标注，在标注完成后，得到含有第二标签的已标注图像数据，此时的已标注图像数据包括第一标签和第二标签。
35.步骤s40，在所述第一标签与所述第二标签一致时，将所述含有第一标签的已标注图像数据和/或所述含有第二标签的已标注图像数据进行归档。
36.可以理解的是，在得到含有第一标签和第二标签的已标注图像数据后，判断第一标签与第二标签是否一致，若是，则表明标注该图像数据的准确性极高，此时可以将含有第一标签的已标注图像数据和/或含有第二标签的已标注图像数据进行归档，例如，第一标注设备标注的准确率为85%，第二标注设备标注的准确率为85%，则此时交叉标注的准确率为（0.85*0.85）/(0.85*0.85+0.15*0.15)=0.969799，因此，能够有效提高标注图像数据的准确性。
37.进一步地，步骤s40之后，还包括：从归档后的标注图像数据库中读取目标图像数据，并根据所述目标图像数据的标签确定所属的图像类别；根据所述目标图像数据和所述图像类别生成得到模型训练数据集；通过人工智能算法根据所述模型训练数据集训练目标图像识别模型；获取待测试图像数据和所述待测试图像数据所属的图像类别；通过所述目标图像识别模型对所述待测试图像数据进行识别，得到当前图像类别；在所述当前图像类别与所述待测试图像数据所属的图像类别一致时，通过所述目标图像识别模型对其他待测试图像数据进行识别。
38.应当理解的是，目标图像数据指的是存储在标注图像数据库中的图像数据，图像类别指的是目标图像数据所属的类别，该图像类别是根据目标图像数据的标签确定，然后根据目标图像数据和图像类别生成得到模型训练数据集，再通过人工智能算法根据模型训练数据集训练目标图像识别模型，该目标图像识别模型可以用于识别不同图像数据的类别，在识别出当前图像类别后，判断当前图像类别是否与待测试图像数据所属的图像类别一致，若是，则表明目标图像识别模型识别图像类别的性能优，此时可以通过目标图像识别模型对其他待测试图像数据进行识别。
39.进一步地，所述通过人工智能算法根据所述模型训练数据集训练目标图像识别模型之后，还包括：通过所述目标图像识别模型对无关图像数据集中的各个图像数据进行识别，得到当前图像数据识别结果；在所述当前图像数据识别结果与预设识别结果一致时，将所述无关图像数据集进行舍弃。
40.可以理解的是，在得到无关图像数据后，通过目标图像识别模型对无关图像数据
集中的各个图像数据进行识别，在当前图像数据识别结果与预设识别结果一致时，表明无关图像数据集中的数据无漏失，此时将无关图像数据集舍弃。
41.本实施例通过获取待标注图像数据，接收第一标注设备对所述待标注图像数据进行的标注，得到含有第一标签的已标注图像数据；将所述已标注图像数据中的第一标签进行隐藏；接收第二标注设备对隐藏第一标签的已标注图像数据进行的标注，得到含有第二标签的已标注图像数据，所述含有第二标签的已标注图像数据同时包括已隐藏的第一标签；在所述第一标签与所述第二标签一致时，将所述含有第一标签的已标注图像数据和/或所述含有第二标签的已标注图像数据进行归档；通过上述方式，使用多个标注设备分别对待标注图像数据进行交叉标注，从而能够有效提高标注图像数据的准确性，进而提高训练模型的准确性。
42.在一实施例中，如图3所述，基于第一实施例提出本发明图像数据的交叉标注方法第二实施例，所述步骤s30之后，还包括：步骤s401，在所述第一标签与所述第二标签不一致时，将所述已标注图像数据中的第一标签进行隐藏。
43.应当理解的是，在判定第一标签和第二标签不一致时，表明第一标注设备和第二标注设备标注图像数据出现分歧，此时需要由第三标注设备介入，并对第一标签的已标注图像数据进行标注。
44.步骤s402，接收第三标注设备根据识别的图像特征对隐藏第一标签的已标注图像数据进行的标注，得到含有第三标签的已标注图像数据。
45.可以理解的是，图像特征指的是已标注图像数据的特征，在得到识别后的图像特征后，由第三标注设备对隐藏第一标签的已标注图像数据进行标注，以得到含有第三标签的已标注图像数据。
46.步骤s403，判断所述第三标签是否与所述第一标签一致，或是否与所述第二标签一致。
47.应当理解的是，在得到含有第三标签的已标注图像数据后，判断第三标签是否与第一标签一致，或者第三标签是否与第二标签一致。
48.进一步地，步骤s403之后，还包括：在所述第三标签与所述第二标签一致时，将所述含有第二标签的已标注图像数据和/或含有第三标签的已标注图像数据进行归档，同时通过标准标注规则对所述第一标注设备的标注策略进行重新设置。
49.可以理解的是，在判定第三标签与第二标签一致时，表明第三标注设备和第二标注设备的标注策略合格，且第一标注设备的标注策略不合格，此时将含有第二标签的已标注图像数据和/或含有第三标签的已标注图像数据进行归档，同时通过标准标注规则对第一标注设备的标注策略进行重新设置。
50.进一步地，步骤s403之后，还包括：在所述第三标签与所述第一标签、所述第二标签均不一致时，通过目标标准标注评判系统对所述含有第一标签的已标注图像数据、含有第二标签的已标注图像数据以及含有第三标签的已标注图像数据进行评判；根据评判结果得到无关图像数据集。
51.应当理解的是，无关图像数据集指的是由各个无关的图像数据构成的集合，在第三标签、第二标签以及第一标签均不一致时，表明三台标注设备标注的结果均不相同，此时
可以通过系统进行决策，即通过目标标准标注评判系统对含有第一标签的已标注图像数据、含有第二标签的已标注图像数据以及含有第三标签的已标注图像数据进行评判，若评判结果为确实不一致，则将已标注图像数据确认为无关数据，然后由至少两个无关数据构成无关图像数据集。
52.步骤s404，在所述第三标签与所述第一标签一致时，将所述含有第一标签的已标注图像数据和/或含有第三标签的已标注图像数据进行归档，同时通过标准标注规则对所述第二标注设备的标注策略进行重新设置。
53.可以理解的是，在第三标签与第一标签一致时，则表明第三标注设备和第一标注设备的标注策略合格，且第二标注设备的标注策略不合格，此时将含有第一标签的已标注图像数据和/或含有第三标签的已标注图像数据进行归档，同时通过标准标注规则对第二标注设备的标注策略进行重新设置。
54.应当理解的是，参考图4，图4为整体流程示意图，具体为：通过标准标注规则设置各个标注设备的标注策略，然后通过测试标注图像数据对各个标注设备的标注策略进行测试，若通过测试，则由第一标注设备对待标注图像进行标注，然后将第一标签隐藏，由第二标注设备对隐藏第一标签的已标注图像数据进行标注，并判定第一标签与第二标签是否一致，若是，则将含有第一标签的已标注图像数据和/或含有第三标签的已标注图像数据进行归档，并通过人工智能算法根据模型训练数据集训练目标图像识别模型，然后由目标图像识别模型对无关图像数据集进行测试，以确保无关图像数据集中的数据无漏失，若否，则由第三标注设备继续对隐藏第一标签的已标注图像数据进行标注，然后判断第三标签是否与第一标签一致，或是否与第二标签一致，若与第一标签一致，则将含有第三标签和/或第而标签的已标注图像数据归档，若与第二标签一致，则将含有第二标签的已标注图像数据和/或含有第三标签的已标注图像数据归档，若均不一致，则迭代标准标注策略。
55.本实施例通过在所述第一标签与所述第二标签不一致时，将所述已标注图像数据中的第一标签进行隐藏；接收第三标注设备根据识别的图像特征对隐藏第一标签的已标注图像数据进行的标注，得到含有第三标签的已标注图像数据；判断所述第三标签是否与所述第一标签一致，或是否与所述第二标签一致；在所述第三标签与所述第一标签一致时，将所述含有第一标签的已标注图像数据和/或含有第三标签的已标注图像数据进行归档，同时通过标准标注规则对所述第二标注设备的标注策略进行重新设置；通过上述方式，在判定第一标签与第二标签不一致时，由第三标注设备继续对隐藏第一标签的已标注图像数据进行标注，然后判断第三标签与第二标签，或第一标签是否一致，若与第一标签一致，则归档含有第三标签和/或第而标签的已标注图像数据，同时设置第二标注设备的标注策略，从而能够有效提高归档已标注图像数据的准确性。
56.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像数据的交叉标注程序，所述图像数据的交叉标注程序被处理器执行时实现如上文所述的图像数据的交叉标注方法的步骤。
57.由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
58.此外，参照图5，本发明实施例还提出一种图像数据的交叉标注装置，所述图像数据的交叉标注装置包括：
获取模块10，用于获取待标注图像数据，接收第一标注设备对所述待标注图像数据进行的标注，得到含有第一标签的已标注图像数据。
59.隐藏模块20，用于将所述已标注图像数据中的第一标签进行隐藏。
60.标注模块30，用于接收第二标注设备对隐藏第一标签的已标注图像数据进行的标注，得到含有第二标签的已标注图像数据，所述含有第二标签的已标注图像数据同时包括已隐藏的第一标签。
61.归档模块40，用于在所述第一标签与所述第二标签一致时，将所述含有第一标签的已标注图像数据和/或所述含有第二标签的已标注图像数据进行归档。
62.本实施例通过获取待标注图像数据，接收第一标注设备对所述待标注图像数据进行的标注，得到含有第一标签的已标注图像数据；将所述已标注图像数据中的第一标签进行隐藏；接收第二标注设备对隐藏第一标签的已标注图像数据进行的标注，得到含有第二标签的已标注图像数据，所述含有第二标签的已标注图像数据同时包括已隐藏的第一标签；在所述第一标签与所述第二标签一致时，将所述含有第一标签的已标注图像数据和/或所述含有第二标签的已标注图像数据进行归档；通过上述方式，使用多个标注设备分别对待标注图像数据进行交叉标注，从而能够有效提高标注图像数据的准确性，进而提高训练模型的准确性。
63.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
64.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的图像数据的交叉标注方法，此处不再赘述。
65.本发明所述图像数据的交叉标注装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘余。
66.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
67.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
68.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（read only memory，rom）/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，一体化平台工作站，或者网络设备等）执行本发明各个实施例所述的方法。
69.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。