一种样本噪声识别方法、装置、电子设备及存储介质与流程

1.本技术涉及机器学习技术领域，特别涉及一种样本噪声识别方法、装置、电子设备及存储介质。


背景技术：

2.深度神经网络的训练通常需要大量的正确标注样本(干净样本)，但在实际应用场景下，获取大规模、高质量的干净标签面临着标记成本高、时间开销大、标注质量低等问题。
3.例如，在众包场景下，公司通常会请数名标注者对海量的未标记样本进行标注，但由于不同标注者的标注能力参差不齐以及错误标注等，导致在大量的标注花费、时间开销下得到一个带噪声标记的数据集。此外，通过在互联网上进行关键词搜索获取样本是一个低成本的方式，但得到的数据集同样包含着大量的噪声样本。
4.因此，噪声识别成为实际应用场景下越来越重要的值得研究的课题，其中，噪声样本的检测效率亟需提高。


技术实现要素：

5.为了解决现有技术中噪声样本的检测效率低的问题，本技术提供了一种样本噪声识别方法、装置、电子设备及存储介质：
6.根据本技术的第一方面，提供了一种样本噪声识别方法，包括：
7.获取待检测样本集合；待检测样本集合包括多个待检测样本和多个待检测样本对应的类别集；类别集中包括多个待检测样本中各待检测样本的类别；
8.获取类别集中每个类别对应的参考显著特征通道；每个类别对应的参考显著特征通道是基于每个类别对应的干净样本的特征向量确定的；
9.确定各待检测样本的特征向量；
10.基于各待检测样本的特征向量和各待检测样本的类别对应的参考显著特征通道，确定各待检测样本的可信度指标；
11.基于各待检测样本的可信度指标，从多个待检测样本中确定错误样本。
12.根据本技术的第二方面，提供了一种样本噪声识别装置，包括：
13.第一获取模块，用于获取待检测样本集合；待检测样本集合包括多个待检测样本和多个待检测样本对应的类别集；类别集中包括多个待检测样本中各待检测样本的类别；
14.第二获取模块，用于获取类别集中每个类别对应的参考显著特征通道；每个类别对应的参考显著特征通道是基于每个类别对应的干净样本的特征向量确定的；
15.第一确定模块，用于确定各待检测样本的特征向量；
16.第二确定模块，用于基于各待检测样本的特征向量和各待检测样本的类别对应的参考显著特征通道，确定各待检测样本的可信度指标；
17.第三确定模块，用于基于各待检测样本的可信度指标，从多个待检测样本中确定错误样本。
18.根据本技术的第三方面，提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现本技术第一方面的样本噪声识别方法。
19.根据本技术的第四方面，提供了一种计算机存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现本技术第一方面的样本噪声识别方法。
20.根据本技术的第五方面，提供了一种计算机程序产品，计算机程序产品包括至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现本技术第一方面的样本噪声识别方法。
21.本技术提供的一种样本噪声识别方法、装置、电子设备及存储介质，具有如下技术效果：
22.通过获取待检测样本集合；待检测样本集合包括多个待检测样本和多个待检测样本对应的类别集；类别集中包括多个待检测样本中各待检测样本的类别；获取类别集中每个类别对应的参考显著特征通道；每个类别对应的参考显著特征通道是基于每个类别对应的干净样本的特征向量确定的；确定各待检测样本的特征向量；基于各待检测样本的特征向量和各待检测样本的类别对应的参考显著特征通道，确定各待检测样本的可信度指标；基于各待检测样本的可信度指标，从多个待检测样本中确定错误样本。本技术适用于图像或视频形式的样本，利用同类的样本具有类似的特征来筛选待检测样本中的噪声样本，且在对比时只考虑待检测样本和对应类别最为显著的部分特征，如此，可以在有效地在降低特征维度的同时，保留对于噪声检测的有用信息，从而不仅可以提高噪声样本的识别速度，也可以提升识别的准确率。
附图说明
23.为了更清楚地说明本技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
24.图1是本技术实施例提供的一种应用环境的示意图；
25.图2是本技术实施例提供的一种样本噪声识别方法的流程示意图；
26.图3是本技术实施例提供的获取类别集中每个类别对应的参考显著特征通道的一种流程示意图；
27.图4是本技术实施例提供的一种确定各干净样本的显著特征通道的流程示意图；
28.图5是本技术实施例提供的一种确定各干净样本的显著特征通道的具体流程示意图；
29.图6是本技术实施例提供的一种确定每个类别对应的参考显著特征通道的流程示意图；
30.图7是本技术实施例提供的一种确定各待检测样本的比对显著特征通道的流程示意图；
31.图8是本技术实施例提供的一种确定各待检测样本的可信度指标的流程示意图；
32.图9是本技术实施例提供的一种确定各待检测样本的可信度指标的流程示意图；
33.图10是本技术实施例提供的一种确定各待检测样本的可信度指标的流程示意图；
34.图11是本技术实施例提供的一种确定各待检测样本的可信度指标的流程示意图；
35.图12是本技术实施例提供的一种确定错误样本的流程示意图；
36.图13是本技术实施例提供的一种确定错误样本的流程示意图；
37.图14是本技术实施例提供的一种样本噪声识别装置的组成框图；
38.图15是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
39.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
40.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
41.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
42.噪声样本：在训练数据集中被错误标记的样本。
43.带噪学习：在包含错误样本(噪声样本)的数据集上，学得一个高性能的模型。
44.解决带噪学习问题的方法可大致分为两类。一类是在噪声标签存在的情况下直接训练鲁棒模型，这类方法通常通过设计对标签噪声鲁棒的网络结构或引入对噪声鲁棒的损失函数来减少对噪声样本过拟合所带来的负面影响；另一类方法是检测数据集中的潜在噪声样本，它首先会检测出训练集中的潜在噪声样本并将其从训练集移除，随后使用筛选后的训练集进行模型训练。在实际应用情况下，后者在工业界更有实际意义，因为它不仅学得了一个鲁棒的深度学习模型，更提供了一个相对干净的数据集。
45.本技术实施例提供了一种样本噪声识别方法，利用已有的干净样本数据集，为每一个类别选出干净样本最显著的特征通道，被筛选出来的显著特征通道具有较强的干净噪声样本区分能力。然后，将待检测样本的显著特征集合与其对应类别的显著特征通道进行对比，将差别比较大的样本归为噪声样本。此种方法利用同类的样本具有类似的特征来筛选待检测样本中的噪声样本，且在对比时只考虑待检测样本和对应类别最为显著的部分特征，可以在有效地在降低特征维度的同时，保留对于噪声检测的有用信息，从而不仅可以提高噪声样本的识别速度，也可以提升识别的准确率。
46.请参阅图1，图1是本技术实施例提供的一种应用环境的示意图，该应用环境中可以包括客户端10和服务器20。客户端10与服务器20可以通过有线或无线通信方式进行直接或间接地连接。
47.在一些可能的实施例中，客户端10通过摄像头采集图像或视频，客户端10通过网络将大量采集得到的图像或视频传输至服务器20。在图像或视频经过类别标注后，可以作
为待检测样本集合。服务器20提供样本噪声识别服务，即对待检测样本集合中各待检测样本是否属于被标注的类别进行检测，将被错误标注的样本识别出来。
48.本技术实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。在应用于智慧交通领域时，待检测样本可以是通过路端感知设备采集的道路环境信息，比如道路环境图像或道路环境视频；或者，在应用于辅助驾驶领域时，待检测样本可以是通过车端感知设备采集的车辆周围环境信息，比如车辆周围环境图像或车辆周围环境视频。
49.客户端10可以是智能手机、电脑(如台式电脑、平板电脑、笔记本电脑)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、数字助理、智能语音交互设备(如智能音箱)、智能可穿戴设备、智能家电、车载终端等类型的实体设备，也可以是运行于实体设备中的软体，比如计算机程序。客户端所对应的操作系统可以是安卓系统(android系统)、ios系统(是由苹果公司开发的移动操作系统)、linux系统(一种操作系统)、microsoft windows系统(微软视窗操作系统)等。
50.服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。其中服务器可以包括有网络通信单元、处理器和存储器等等。服务器可以为对应的客户端提供后台服务。
51.需要说明的是，图1仅仅是一种示例，例如另一种应用场景中也可以仅包括服务器20，服务器20从数据库中获取待检测样本集合，识别待检测样本集合中的错误样本。
52.以下介绍本技术一种样本噪声识别方法的具体实施例，图2是本技术实施例提供的一种样本噪声识别方法的流程示意图，本技术提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，方法可以包括：
53.s201：获取待检测样本集合。
54.其中，待检测样本集合包括多个待检测样本和多个待检测样本对应的类别集；类别集中包括多个待检测样本中各待检测样本的类别。
55.本技术实施例中，各待检测样本可以是任意形式的样本，比如图像样本、视频样本等。上述的各待检测样本的类别为标注类别，即经人工标注的类别，由于不同标注者的标注能力参差不齐以及错误标注等，待检测样本集合中各待检测样本的标注类别可能并不是实际类别。从而，本技术通过步骤s201～s209来识别待检测样本集合中被标注错误的样本，被标注错误的样本即待检测样本集合中的噪声。在识别出噪声并将其删除后，样本集合可用于模型训练。
56.s203：获取类别集中每个类别对应的参考显著特征通道。
57.其中，每个类别对应的参考显著特征通道是基于每个类别对应的干净样本的特征向量确定的。
58.本技术实施例中，特征向量是对样本进行特征提取后得到的。特征向量记录了样
本的特征信息，该特征信息可以用来对样本进行分类识别。本技术中将特征向量用于对样本是否被错误标记进行识别。由于同类的样本具有类似的特征，本技术基于每个类别对应的干净样本的特征向量对待检测样本集合中对应的待检测样本进行识别。
59.相关技术中，样本经过深度神经网络模型中的特征提取层后得到的特征向量，通常具有较高的特征维度，而较高的特征维度容易导致在高维的特征空间中样本过于稀疏(这也被称为维度灾难)，这导致在基于与干净样本的相似度来识别错误样本的方式下，所有的样本点在高维空间中与基于干净样本确定的类别中心特征值的距离都很遥远，即所有样本与干净样本的相似度都比较低，使得正确样本容易被误判，导致噪声样本的准确率较低。
60.基于此，本技术针对类别集中每个类别，从每个类别对应的特征向量中，选取较显著的特征通道，作为每个类别对应的参考显著特征通道，基于每个类别对应的参考显著特征通道对待检测样本集合中对应的待检测样本进行识别。如此，可以实现特征的降维，同时可以保留对于噪声识别的有用信息，有利于样本噪声识别速度、准确度的提升。
61.其中，特征向量中每个特征通道表征样本在该特征上的表现，比如，某图像特征通道表征某图像样本在色彩饱和度上的表现；较显著的特征通道指的是样本在对应特征上的表现较明显，可以通过通道幅值来量化不同样本在该特征上的表现程度。
62.在一些可能的实施例中，上述的获取类别集中每个类别对应的参考显著特征通道，可以包括如图3所示的以下步骤：
63.s301：获取类别集中每个类别对应的多个干净样本。
64.其中，干净样本指的是被正确标注的样本。
65.在一个具体的实施例中，每个类别对应的多个干净样本可以是不同于待检测样本集合另一个样本集合，该样本集合中每个样本的类别是被正确标注的。
66.或者，在另一个具体的实施例中，每个类别对应的多个干净样本也可以来自于上一轮噪声筛选后的待检测样本集合；即，待检测样本集合可以经过多轮噪声识别和删除后得到相对干净的样本集合，在每轮噪声识别时执行步骤s201～s209；则，每轮识别时，将上一轮识别出的错误样本进行删除得到新的待检测样本集合，从该新的待检测样本集合中确定每个类别对应的多个干净样本。在第一轮识别时，待检测样本集合中各待检测样本可以被认为是干净样本。
67.s303：确定多个干净样本中各干净样本的特征向量。
68.其中，各干净样本的特征向量是对干净样本经进行特征提取后得到的。
69.请参阅图4，图4是本技术实施例提供的一种确定各干净样本的显著特征通道的流程示意图。在一个具体的实施例中，将干净样本输入深度神经网络模型，得到特征提取层输出的特征向量。各干净样本的特征向量经后续步骤s305得到各干净样本的显著特征通道。
70.上述的深度神经网络模型可以是未完成训练的深度神经网络模型，本技术可以基于待检测样本集合对该深度神经网络模型进行训练，即可以在模型训练过程中，完成对待检测样本集合的噪声识别。
71.s305：从各干净样本的特征向量中确定各干净样本的显著特征通道。
72.在一个具体的实施例中，该步骤可以包括：获取各干净样本的特征向量中各特征通道的幅值；对各特征通道进行幅值排序，将排序前第一预设位数的特征通道，作为各干净
样本的显著特征通道。
73.如上文提到的，较显著的特征通道指的是样本在对应特征上的表现较明显，不同样本在该特征上的表现程度可以通过通道幅值来量化。从而，在该具体的实施例中，对于各干净样本，根据其特征向量中各特征通道的幅值，对各特征通道进行幅值排序，将排序前第一预设位数的特征通道，作为各干净样本的显著特征通道；其中，第一预设位数可以根据实际应用中特征通道的数量确定。比如，在特征通道为2048个的情况下，对应的第一预设位数可以是200。
74.在另一个具体的实施例中，在样本形式为视频形式的情况下，各干净样本可以包括多帧视频图像，相应的，各干净样本的特征向量可以包括多帧视频图像中每帧视频图像的特征向量；
75.对应的，上述的从各干净样本的特征向量中确定各干净样本的显著特征通道，可以包括以下步骤：
76.s3051：对多帧视频图像对应的多个特征向量进行特征聚合，得到第一聚合特征向量。
77.请参阅图5，图5是本技术实施例提供的一种确定各干净样本的显著特征通道的具体流程示意图。如图5所示，多帧视频图像中每帧视频图像可以经深度神经网络模型的特征提取层得到对应的特征向量，而对于视频形式的样本，在特征提取层提取完视频中每帧图像的特征后，深度神经网络模型还会通过特征聚合函数，将每帧视频图像对应的特征向量进行聚合，得到聚合后的特征向量，即第一聚合特征向量，该第一聚合特征向量用于表征视频的特征。
78.s3053：基于每帧视频图像的特征向量进行帧间方差计算，得到第一方差向量。
79.s3055：从第一聚合特征向量中确定出第一关键通道信息对应的特征通道，将第一关键通道信息对应的特征通道作为多帧视频图像的显著特征通道。
80.本技术考虑到视频中不同帧之间的时序关系也包含对噪声检测有利的信息，因此，如图5所示，本技术基于每帧视频图像的特征向量计算帧间方差，得到第一方差向量；第一方差向量中包含有第一关键通道信息；然后，根据该第一关键通道信息对表征视频特征的第一聚合特征向量进行筛选，即从第一聚合特征向量中确定出第一关键通道信息对应的特征通道，将第一关键通道信息对应的特征通道作为视频样本的显著特征通道。如此，在对视频特征进行降维过程中，利用帧间特征可以得到更具有代表性的显著特征通道。
81.s307：基于各干净样本的显著特征通道，确定每个类别对应的参考显著特征通道。
82.请参阅图6，图6是本技术实施例提供的一种确定每个类别对应的参考显著特征通道的流程示意图。在一个具体的实施例中，该步骤可以包括：将多个干净样本对应的多个显著特征通道按照出现次数进行排序，将排序前第二预设位数的显著特征通道，作为每个类别对应的参考显著特征通道。
83.该具体的实施例中，针对每个类别，统计该类别下各干净样本的各显著特征通道的出现次数，然后按照出现次数，对所有显著特征通道进行排序，将将序前第二预设位数的显著特征通道，作为每个类别对应的参考显著特征通道。比如，各干净样本的显著特征通道数量为200个，假设某类别下有10个干净样本，那么将该10个干净样本对应的2000个显著特征通道，而2000个显著特征通道中存在重复的显著特征通道，从而确定存在重复的显著特
征通道的重复次数，即出现次数；显著特征通道出现次数越多，表示该类别下不同的干净样本均在该显著特征通道上表现突出，则该显著特征通道对于该类别而言，是具有代表性的，从而可以将其作为该类别对应的参考显著特征通道。其中，第二预设位数可以根据实际应用中特征通道的数量和各干净样本的显著特征通道的数量确定，比如，在特征通道为2048个、显著特征通道为200个的情况下，第二预设位数可以是200。
84.s205：确定各待检测样本的特征向量。
85.本技术实施例中，可以通过深度神经网络模型中的特征提取层，对待检测样本集合中各待检测样本进行特征提取，得到各待检测样本的特征向量。
86.s207：基于各待检测样本的特征向量和各待检测样本的类别对应的参考显著特征通道，确定各待检测样本的可信度指标。
87.本技术实施例中，各待检测样本的可信度指标，指的是各待检测样本为被标注的类别的干净样本的置信程度；可信度指标可以基于各待检测样本的特征向量和各待检测样本的类别对应的参考显著特征通道进行计算得到。
88.下面具体介绍步骤s207的两种实施例。首先，介绍步骤s207的第一种实施例。
89.在一些可能的实施例中，上述s207：基于各待检测样本的特征向量和各待检测样本的类别对应的参考显著特征通道，确定各待检测样本的可信度指标，可以包括：
90.s2071：根据各待检测样本的类别对应的参考显著特征通道，从各待检测样本的特征向量中确定各待检测样本的比对显著特征通道；
91.在一个具体的实施例中，该步骤s2071可以包括如图7所示的以下步骤：
92.s701：确定各待检测样本的类别对应的参考显著特征通道的通道标识。
93.s703：根据通道标识，从各待检测样本的特征向量中确定对应的特征通道。
94.s705：将对应的特征通道作为各待检测样本的比对显著特征通道。
95.该具体的实施例中，各待检测样本和对应的干净样本的数据维度相同，各待检测样本的特征向量和对应的干净样本的特征向量的数据维度也相同；从而，如图8所示，图8是本技术提供的一种确定各待检测样本的可信度指标的流程示意图；针对每个待检测样本，可以根据其类别对应的参考显著特征通道的通道标识，直接从其特征向量中确定通道标识对应的特征通道，得到比对显著特征通道。
96.s2073：根据各待检测样本的比对显著特征通道确定各待检测样本的可信度指标。
97.在一个具体的实施例中，该步骤s2073可以包括如图9所示的以下步骤：
98.s901：确定每个类别对应的待检测样本数量。
99.首先，针对类别集中每个类别，确定待检测样本集合中该类别下的待检测样本的数量。
100.s903：根据各待检测样本的比对显著特征通道和每个类别对应的待检测样本数量，确定每个类别对应的类别中心特征值。
101.其次，针对每个类别，可以使用下述公式(1)确定每个类别对应的类别中心特征值：
[0102][0103]
其中，ck表示类别k对应的类别中心特征值；mk表示待检测样本集合中类别k对应的
待检测样本数量；表示标注为类别k的待检测样本i的比对显著特征通道。
[0104]
s905：将各待检测样本的比对显著特征通道与各待检测样本的类别对应的类别中心特征值进行内积，得到各待检测样本的可信度指标。
[0105]
其次，针对各待检测样本，如图8所示，将各待检测样本的比对显著特征通道与各待检测样本的类别对应的类别中心特征值进行内积，得到各待检测样本的可信度指标；可以使用下述公式(2)确定各待检测样本的可信度指标：
[0106][0107]
其中，表示标注为类别k的待检测样本i的可信度指标；ck表示类别k对应的类别中心特征值；表示标注为类别k的待检测样本i的比对显著特征通道；
·
表示内积计算。
[0108]
下面介绍步骤s207的第二种实施例。
[0109]
在一些可能的实施例中，上述s207：基于各待检测样本的特征向量和各待检测样本的类别对应的参考显著特征通道，确定各待检测样本的可信度指标，还可以包括：
[0110]
s2071’：从各待检测样本的特征向量中确定各待检测样本的比对显著特征通道。
[0111]
在一个具体的实施例中，该步骤s2071’可以包括：获取各待检测样本的特征向量中各特征通道的幅值；对各特征通道进行幅值排序，将排序前第三预设位数的特征通道，作为各待检测样本的比对显著特征通道。
[0112]
该具体实施例中，基于各待检测样本的各特征通道的幅值选取各待检测样本的比对显著特征通道，可以参照上文步骤s305中基于各干净样本的各特征通道的幅值选取各干净样本的显著特征通道的实施例；其中，由于后续步骤中需要将各待检测样本的比对显著特征通道与各待检测样本的类别对应的参考显著特征通道进行比对，因此，第三预设位数与上文中的第二预设位数数值相等。该具体实施例适用于不同形式的待检测样本，包括待检测图像样本和待检测视频样本。
[0113]
在另一个具体的实施例中，在样本形式为视频形式的情况下，各待检测样本可以包括多帧待检测视频图像；相应的，各待检测样本的特征向量可以包括多帧待检测视频图像中每帧待检测视频图像的特征向量；
[0114]
对应的，上述步骤s2071’可以包括：对多帧待检测视频视频图像对应的多个特征向量进行特征聚合，得到第二聚合特征向量；基于每帧待检测视频视频图像的特征向量进行帧间方差计算，得到第二方差向量；第二方差向量包括第二关键通道信息；根据第二关键通道信息，从第二聚合特征向量中确定出各待检测样本的比对显著特征通道。
[0115]
该具体实施例中，针对视频形式的待检测样本确定其比对显著特征通道，可以参照上文步骤s3051～s3055中针对视频形式的干净样本确定其显著特征通道的实施例；此处不再赘述。
[0116]
s2073’：根据各待检测样本的比对显著特征通道和各待检测样本的类别对应的参考显著特征通道，确定各待检测样本的可信度指标。
[0117]
在一个具体的实施例中，该步骤s2073’可以包括如图10所示的以下步骤：
[0118]
s1001：确定各待检测样本的比对显著特征通道与各待检测样本的类别对应的参考显著特征通道之间相同特征通道的数量。
[0119]
s1003：将相同特征通道的数量作为各待检测样本的可信度指标。
[0120]
如图11所示，图11是本技术实施例提供的另一种确定各待检测样本的可信度指标的流程示意图；求解各待检测样本的比对显著特征通道与各待检测样本的类别对应的参考显著特征通道之间的交集，即相同特征通道的数量，将相同特征通道的数量作为各待检测样本的可信度指标。可以根据下述公式(3)确定各待检测样本的可信度指标：
[0121][0122]
其中，表示标注为类别k的待检测样本i的可信度指标；card(
·
)表示计算集合里元素的个数；表示标注为类别k的待检测样本i的比对显著特征通道；lk表示类别k对应的参考显著特征通道。
[0123]
s209：基于各待检测样本的可信度指标，从多个待检测样本中确定错误样本。
[0124]
本技术实施例中，在确定出每个待检测样本的可信度指标后，基于各待检测样本的可信度指标，确定出待检测样本集合中的错误样本。后续删除错误样本进行删除，得到相对干净的样本集合，可以重复执行上述步骤s201～s209，直至得到干净样本集合，干净样本集合可用于后续的模型训练。
[0125]
在一些可能的实施例中，为了平衡类别集中不同类别下待检测样本的可信度指标的差异，该步骤中，本技术可以对各类别中待检测样本的可信度指标进行归一化处理。
[0126]
从而，上述的基于各待检测样本的可信度指标，从多个待检测样本中确定错误样本，可以包括如图12所示的以下步骤：
[0127]
s1201：基于各待检测样本的可信度指标，确定待检测样本集合中各类别对应的平均可信度指标。
[0128]
s1203：基于各类别对应的平均可信度指标对各待检测样本的可信度指标进行归一化处理，得到处理后的各待检测样本的可信度指标。
[0129]
该步骤中，处理后的各待检测样本的可信度指标可以根据下述公式(4)得到：
[0130][0131]
其中，表示处理后的各待检测样本的可信度指标；表示类别k对应的平均可信度指标。
[0132]
s1205：基于处理后的各待检测样本的可信度指标进行高斯混合模型的拟合，得到各待检测样本的类别偏差指标。
[0133]
s1207：将多个待检测样本中类别偏差指标大于等于预设指标的待检测样本确定为确定错误样本。
[0134]
该步骤中，如图13所示，图13是本技术实施例提供的一种确定错误样本的流程示意图。利用待检测样本集合中所有待检测样本的可信度指标拟合一个双成分的高斯混合模型π(
·
)，定义待检测样本的类别偏差指标)，定义待检测样本的类别偏差指标从而根据拟合结果，可以得到每个待检测样本的类别偏差指标，类别偏差指标即待检测样本为噪声的可能性。类
别偏差指标越大，则待检测样本为噪声的可能性越大，因此，将多个待检测样本中类别偏差指标大于等于预设指标的待检测样本确定为确定错误样本；其中，预设指标为最大可容忍的类别偏差指标，具体可以是0.5；从而，在类别偏差指标小于0.5时，待检测样本为被正确标注的干净样本；在类别偏差指标大于等于0.5时，待检测样本为被错误标注的错误样本。
[0135]
本技术实施例中，分别基于图像数据集和视频数据集，对上述的样本噪声识别方法进行了实验测试。
[0136]
首先，针对图像数据集，采用上文实施例中步骤s2071’中基于幅值确定比对显著特征通道以及步骤s1001～s1003基于交集确定可信度指标的样本噪声识别方式，对图像数据集中的噪声进行识别。实验过程中，选择preact-resnet18作为实验的模型网络结构，在cifar10和cifar100图像分类数据集上进行了实验。该两个数据集中的噪声是人为可控生成的，因此本实验中，人为构建两种噪声：对称噪声和非对称噪声。
[0137]
对称噪声是由于样本集中的每个样本均独立分配给随机标签，而不是其真实标签产生的，且对称噪声的概率均匀分布。在本实验中，在cifar10、cifar100均定义了对称噪声，噪声比例被分配为20％、50％、80％和90％。
[0138]
非对称噪声是由于一个类别中的所有样本只能分配给除真实标签之外的特定类别而产生的。在本实验中，在cifar10上定义了非对称噪声，样本错误贴标签的概率被设置为40％。
[0139]
本实验中，基于cifar10和cifar100数据集，对本技术实施例的样本噪声识别方法与现有的噪声识别算法分别进行了验证，验证得到的测试分类准确率如下表1所示：
[0140][0141][0142]
表1 cifar数据集噪声识别实验的测试准确率
[0143]
上表1中记录的是在训练期间所有轮中，方法在数据集上取得的最优准确率，其中a表示非对称噪声，s表示对称噪声，-表示没有此实验结果。
[0144]
由上述表1的结果可见，在本技术实施例提供的样本噪声识别方法下，得到的模型精度最高，胜于现有的噪声识别算法，这证明本技术实施例提供的样本噪声识别方法，应用
于视图像样本时，可以有效识别出待检测图像样本集合中的噪声，从而在后续图像分类模型训练过程中，有助于提升图像分类模型的准确度。
[0145]
针对视频数据集，本技术基于上文选取了三种实施例1～3，实施例1：有干净样本引导的基于步骤s2071’中幅值确定比对显著特征通道以及基于步骤s1001～s1003中交集确定可信度指标的样本噪声识别方式；实施例2：无干净样本引导的基于步骤s2071’中幅值确定比对显著特征通道以及基于步骤s901～s905内积确定可信度指标的样本噪声识别方式；实施例3：无干净样本引导的基于步骤步骤s2071’中帧间方差确定比对显著特征通道以及基于步骤s901～s905内积确定可信度指标的样本噪声识别方式；
[0146]
本实验中，选择tsm-resnet50作为基础结构。在三个大尺度的视频分类数据集上进行了实验，分别为mini-kinetics(k200)、kinetics(k400)和something-something-v1(sthv1)。本实验中构建了两种噪声：对称噪声和非对称噪声。其中，对称噪声中，噪声比例被分配为20％、40％、60％和80％；非对称噪声中，样本错误贴标签的概率被设置为10％、20％、40％。
[0147]
本实验中，基于k200、k400和sthv1数据集，对本技术实施例的样本噪声识别方法与现有的噪声识别算法分别进行了验证，现有的噪声识别算法包括co-teaching、topofilter、m-correction；验证得到的测试分类准确率如下表2～4所示：
[0148][0149]
表2 k200数据集的测试准确率
[0150][0151]
表3 k400数据集的测试准确率
[0152][0153][0154]
表4 sthv1数据集的测试准确率
[0155]
上表2～4中记录的是在训练期间所有轮中，方法在数据集上取得的最优准确率。由上表2～4可以看到，在本技术实施例提供的样本噪声识别方法下，得到的模型精度最高，胜于现有的噪声识别算法，这证明本技术实施例提供的样本噪声识别方法，应用于视频样本时，可以有效识别出待检测视频样本集合中的噪声，从而在后续视频分类模型训练过程中，有助于提升视频分类模型的准确度。
[0156]
综上，本技术实施例提供的一种样本噪声识别方法，适用于图像或视频形式的样本，利用同类的样本具有类似的特征来筛选待检测样本中的噪声样本，且在对比时只考虑待检测样本和对应类别最为显著的部分特征，如此，可以在有效地在降低特征维度的同时，保留对于噪声检测的有用信息，从而不仅可以提高噪声样本的识别速度，也可以提升识别的准确率。
[0157]
本技术实施例还提供了一种样本噪声识别装置，如图14所示，该样本噪声识别装置140包括：
[0158]
第一获取模块1401，用于获取待检测样本集合；待检测样本集合包括多个待检测样本和多个待检测样本对应的类别集；类别集中包括多个待检测样本中各待检测样本的类别；
[0159]
第二获取模块1402，用于获取类别集中每个类别对应的参考显著特征通道；每个类别对应的参考显著特征通道是基于每个类别对应的干净样本的特征向量确定的；
[0160]
第一确定模块1403，用于确定各待检测样本的特征向量；
[0161]
第二确定模块1404，用于基于各待检测样本的特征向量和各待检测样本的类别对应的参考显著特征通道，确定各待检测样本的可信度指标；
[0162]
第三确定模块1405，用于基于各待检测样本的可信度指标，从多个待检测样本中确定错误样本。
[0163]
在一些可能的实施例中，第二获取模块1402，还用于获取类别集中每个类别对应的多个干净样本；确定多个干净样本中各干净样本的特征向量；从各干净样本的特征向量中确定各干净样本的显著特征通道；基于各干净样本的显著特征通道，确定每个类别对应的参考显著特征通道。
[0164]
在一些可能的实施例中，第二获取模块1402，还用于获取各干净样本的特征向量中各特征通道的幅值；对各特征通道进行幅值排序，将排序前第一预设位数的特征通道，作为各干净样本的显著特征通道。
[0165]
在一些可能的实施例中，各干净样本包括多帧视频图像；各干净样本的特征向量包括多帧视频图像中每帧视频图像的特征向量；
[0166]
第二获取模块1402，还用于对多帧视频图像对应的多个特征向量进行特征聚合，得到第一聚合特征向量；基于每帧视频图像的特征向量进行帧间方差计算，得到第一方差向量；第一方差向量包括第一关键通道信息；从第一聚合特征向量中确定出第一关键通道信息对应的特征通道，将第一关键通道信息对应的特征通道作为多帧视频图像的显著特征通道。
[0167]
在一些可能的实施例中，第二获取模块1402，还用于将多个干净样本对应的多个显著特征通道按照出现次数进行排序，将排序前第二预设位数的显著特征通道，作为每个类别对应的参考显著特征通道。
[0168]
在一些可能的实施例中，第二确定模块1404，还用于确定各待检测样本的类别对应的参考显著特征通道的通道标识；根据通道标识，从各待检测样本的特征向量中确定对应的特征通道；将对应的特征通道作为各待检测样本的比对显著特征通道；根据各待检测样本的比对显著特征通道确定各待检测样本的可信度指标。
[0169]
在一些可能的实施例中，第二确定模块1404，还用于确定每个类别对应的待检测样本数量；根据各待检测样本的比对显著特征通道和每个类别对应的待检测样本数量，确定每个类别对应的类别中心特征值；将各待检测样本的比对显著特征通道与各待检测样本的类别对应的类别中心特征值进行内积，得到各待检测样本的可信度指标。
[0170]
在一些可能的实施例中，第二确定模块1404，还用于从各待检测样本的特征向量中确定各待检测样本的比对显著特征通道；确定各待检测样本的比对显著特征通道与各待检测样本的类别对应的参考显著特征通道之间相同特征通道的数量；将相同特征通道的数量作为各待检测样本的可信度指标。
[0171]
在一些可能的实施例中，第二确定模块1404，还用于获取各待检测样本的特征向量中各特征通道的幅值；对各特征通道进行幅值排序，将排序前第三预设位数的特征通道，作为各待检测样本的比对显著特征通道。
[0172]
在一些可能的实施例中，各待检测样本包括多帧待检测视频图像；各待检测样本的特征向量包括多帧待检测视频图像中每帧待检测视频图像的特征向量；
[0173]
第二确定模块1404，还用于对多帧待检测视频视频图像对应的多个特征向量进行特征聚合，得到第二聚合特征向量；基于每帧待检测视频视频图像的特征向量进行帧间方差计算，得到第二方差向量；第二方差向量包括第二关键通道信息；根据第二关键通道信息，从第二聚合特征向量中确定出各待检测样本的比对显著特征通道。
[0174]
在一些可能的实施例中，第三确定模块1405，还用于基于各待检测样本的可信度指标，确定待检测样本集合中各类别对应的平均可信度指标；基于各类别对应的平均可信度指标对各待检测样本的可信度指标进行归一化处理，得到处理后的各待检测样本的可信度指标；基于处理后的各待检测样本的可信度指标进行高斯混合模型的拟合，得到各待检测样本的类别偏差指标；将多个待检测样本中类别偏差指标大于等于预设指标的待检测样本确定为确定错误样本。
[0175]
在一些可能的实施例中，第一确定模块1403，还用于对待检测样本集合中各待检测样本进行特征提取，得到各待检测样本的特征向量。
[0176]
需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。
[0177]
本技术实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的样本噪声识别方法。
[0178]
进一步地，图15示出了一种用于实现本技术实施例所提供的样本噪声识别方法的电子设备的硬件结构示意图，所述电子设备可以参与构成或包含本技术实施例所提供的样本噪声识别装置。如图15所示，电子设备100可以包括一个或多个(图中采用1002a、1002b，
……
，1002n来示出)处理器1002(处理器1002可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图15所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备100还可包括比图15中所示更多或者更少的组件，或者具有与图15所示不同的配置。
[0179]
应当注意到的是上述一个或多个处理器1002和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到电子设备100(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
[0180]
存储器1004可用于存储应用软件的软件程序以及模块，如本技术实施例中所述的样本噪声识别方法对应的程序指令/数据存储装置，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种样本噪声识别方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至电子设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0181]
传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备100的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实施例中，传输装置1006可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。
[0182]
显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与电子设备100(或移动设备)的用户界面进行交互。
[0183]
本技术的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于电子设备之中以保存用于实现方法实施例中一种样本噪声识别方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的样本噪声识别方法。
[0184]
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中
的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0185]
需要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0186]
本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0187]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0188]
以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。