一种光学字符识别处理方法、装置、设备及存储介质与流程

1.本公开涉及人工智能领域，尤其涉及深度学习、图像处理、计算机视觉技术领域，可应用于光学字符识别等场景。


背景技术：

2.近些年，现有的强监督深度学习算法模型的使用效果大多依赖于训练集的标注质量。当训练集中出现较多的标注脏样本时，会使得模型训练不收敛或者脏样本过拟合的情况。以上情况均会不同程度影响到模型的泛化效果。
3.例如在光学字符识别(optical character recognition，ocr)的场景下，情况也类似。对于ocr场景下的文本识别模型而言，训练数据一般当标注人员完成一次标注后，开发人员会对标注结果进行一次验收。但实际情况是，由于标注数量过于庞大，很难做到逐个验收。例如数据量一般会达到几十万。因此，目前大部分采用抽样的方式对训练数据的标注情况进行验收。


技术实现要素：

4.本公开提供了一种光学字符识别处理方法、装置、设备及存储介质。
5.根据本公开的第一方面，提供了一种光学字符识别处理方法，该方法包括：获取待清洗样本集。其中，待清洗样本集中包括携带标注信息的文本识别图像。在待清洗样本集中确定标注脏样本。其中，标注脏样本为携带错误标注信息的文本识别图像。之后，在待清洗样本集中清洗标注脏样本，得到清洗后样本集。然后，可以利用清洗后样本集进行ocr处理。本公开通过自动对待清洗样本集进行清洗，去除标注错误的标注脏样本。使得利用去除标注脏样本后的样本集进行ocr处理时，提升ocr识别准确率。
6.根据本公开的第二方面，提供了一种光学字符识别处理装置，包括：获取模块，用于获取待清洗样本集，所述待清洗样本集中包括携带标注信息的文本识别图像；确定模块，用于在所述待清洗样本集中确定标注脏样本，其中，所述标注脏样本为携带错误标注信息的文本识别图像；清洗模块，用于在所述待清洗样本集中清洗所述标注脏样本，得到清洗后样本集；处理模块，用于利用所述清洗后样本集进行光学字符识别ocr处理。本公开通过自动对待清洗样本集进行清洗，去除标注错误的标注脏样本。使得利用去除标注脏样本后的样本集进行ocr处理时，提升ocr识别准确率。
7.根据本公开的第三方面，提供了一种光学字符识别处理设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面中的任意一项方法。
8.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述第一方面中的任意一项方法。
9.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程
序在被处理器执行时实现上述第一方面中的任意一项方法。
10.本公开提供的一种光学字符识别处理方法、装置、设备以及存储介质，通过自动对待清洗样本集进行清洗，去除标注错误的标注脏样本。使得利用去除标注脏样本后的样本集进行ocr处理时，提升ocr识别准确率。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1是本公开实施例的一种光学字符识别处理方法流程图；
14.图2是本公开实施例的另一种光学字符识别处理方法流程图；
15.图3是本公开实施例的一种动态损失曲线示意图；
16.图4是本公开实施例的又一种光学字符识别处理方法流程图；
17.图5是本公开实施例的一种标注脏样本筛选流程图；
18.图6是本公开实施例的一种光学字符识别处理装置示意图；
19.图7是本公开实施例的一种光学字符识别处理设备示意图。
具体实施方式
20.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
21.本公开主要应用的场景，例如可以是ocr场景。在该场景下，用户可以利用具有文本识别功能的设备对图像中进行识别，以获取到图像中的文本信息。通常情况下，可以应用预先配置在设备上的文本识别模型对图像进行文本识别。对于文本识别模型，在训练阶段若采用的训练数据集中存在一定程度的错误标注样本，这将导致最终训练的文本识别模型无法准确进行文本识别。导致ocr识别准确率较差，进而影响到用户的使用体验。
22.显然，为了尽可能减少错误标注的样本在整个训练数据集中的占比，亟需一种可以对数据集进行自动化清洗的机制。以将标注错误样本挑选出来，以便进行相应处理。
23.在相关技术中，由于目前学术界公开的数据集合大多是经过反复检查的，通常认为不会存在较大比例的标注脏样本情况。因此，业内目前也没有针对例如文本识别图像等数据的数据清洗方式。通常会采用模型识别结果与标注进行对比的方式，或者人工检查的方式来挑选出潜在的标注脏样本。
24.但显然，上述方式采用人工检查需要逐张清点，包括对标注正确的样本进行检查，其检查效率十分低下。同时会带来大量的人工成本。而对于利用模型识别结果与标注进行对比的方式，由于模型是经过训练集训练并完全收敛的。因此，对于一些标注脏样本会极易出现模型过拟合现象。也就是说模型会对标注脏样本预测得到相对应的错误结果，该错误结果与错误标注相一致，使得无法挑选出标注脏样本。
25.因此，本公开通过自动对待清洗样本集进行清洗，去除标注错误的标注脏样本。使
得利用去除标注脏样本后的样本集进行ocr处理时，提升ocr识别准确率。
26.接下来将结合附图对本公开进行详细阐述。
27.图1是本公开实施例的一种光学字符识别处理方法流程图。该方法可以应用于任意设备上，例如终端设备或网络设备等。在一些例子中，终端设备例如可以包括但不限于手机、可穿戴设备、平板电脑、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digitalassistant，pda)、膝上型计算机(laptop)、移动电脑、增强现实(augmented reality，ar)设备、虚拟现实(virtual reality，vr)设备、人工智能(artificial intelligence，ai)设备和/或车载设备等任意终端设备或便携式终端设备。另一些例子中，网络设备例如可以是服务器或者服务器集群，当然可以是运行在虚拟机上的服务器或服务器集群。本公开对设备的具体形态不作限定。
28.本公开所涉及的方法可以包括以下步骤：
29.s101，获取待清洗样本集。
30.在一些例子中，设备可以获取到未经过数据清洗，或者需要进行数据清洗的训练数据集。该训练数据集可以称为待清洗样本集。其中，待清洗样本集中包括有携带标注信息的文本识别图像。在一些例子中，每个携带标注信息的文本识别图像可以称为一个待清洗样本。
31.可以理解，待清洗样本集中可以包括标注信息正确的文本识别图像，也可以包括标注信息错误的文本识别图像。
32.s102，在待清洗样本集中确定标注脏样本。
33.在一些例子中，设备自动从待清洗样本集中确定出标注脏样本。其中，标注脏样本为携带错误标注信息的文本识别图像。
34.可以理解，此过程无需人工参与，设备自动独立完成标注脏样本的筛选。
35.s103，在待清洗样本集中清洗标注脏样本，得到清洗后样本集。
36.在一些例子中，设备在通过s102中确定标注脏样本之后，可以将待清洗样本集中的标注脏样本进行清洗，例如删除，或者按照预设规则进行修正。从而得到清洗后的样本集。
37.可以理解的是，清洗后的样本集中将不再包括s102中确定的标注脏样本。在一些例子中，上述标注脏样本可以从待清洗样本中删除。而在另一些例子中，可以按照预设规则对标注脏样本进行修正，以使得标注信息修改正确，并重新添加至待清洗样本集中。
38.s104，利用清洗后样本集进行ocr处理。
39.在一些例子中，设备可以利用清洗后的样本集进行ocr处理。例如，设备可以直接利用文本识别模型对清洗后的样本集进行识别，以确定出识别结果。设备可以基于识别结果与标注信息进行比较，确定出标注脏样本，以实现对样本集中标注脏样本的第二次筛选。
40.当然，在另一些例子中，设备还可以基于清洗后的样本集对文本预测模型进行训练，从而提升模型识别文本的准确度，即提高训练完成后模型的ocr识别准确率。
41.本公开通过自动对待清洗样本集进行清洗，去除标注错误的标注脏样本。使得利用去除标注脏样本后的样本集进行ocr处理时，提升ocr识别准确率。
42.在一些实施例中，图2是本公开实施例的另一种光学字符识别处理方法流程图。如
图2所示出的，s102中在待清洗样本集中确定标注脏样本，还可以包括以下步骤：
43.s201，获取基于待清洗样本集进行多次迭代训练所对应的多个损失值。
44.在一些例子中，设备可以获取待清洗样本集在进行多次迭代训练过程中，多次迭代所对应的损失值。
45.例如，设备可以记录模型训练过程中，待清洗样本集中多个待清洗样本的动态损失值。例如，待清洗样本可以是携带标注信息的文本识别图像。相应的，模型可以采用文本预测模型。应当理解，当文本预测模型训练完成后，可以得到文本识别模型，以便利用该文本识别模型进行ocr处理。在一些例子中，在对文本预测模型进行训练的过程中，可以采用随机梯度下降(stochastic gradient descent，sdg)或者自适应矩估计(adaptive moment estimation，adam)等方式对文本预测模型进行方向传播调整参数。
46.在一些例子中，若采用adam的方式，则可以预先为adam优化器配置训练所需的学习率。当然，还可以一并设置训练过程需要的迭代次数(epoch)。之后，在对文本预测模型进行训练过程中，则可以记录多个待清洗样本在进行多次迭代次数的训练时所对应的损失值。在一个例子中，迭代次数例如可以设置为20个epoch。
47.在一些例子中，文本预测模型可以采用基于连接主义时间分类的文字识别(connectionist temporal classification-base，ctc-base)模型。因此，对于文本预测模型训练后得到的文本识别模型，也可以采用ctc-base模型。
48.如图3所示出的，图3是本公开实施例的一种动态损失曲线示意图。可以看出，该示意图将不同样本在不同迭代训练时对应的损失值投影到二维坐标系中进行展示。其中，该坐标系的横坐标为迭代(iteration)，纵坐标为损失值。损失值也可以称为损失梯度(gradient)。可以理解的是，iteration与epoch是不同的。1个epoch表示在模型训练时，整个训练数据集完整训练一次，即训练数据集中的所有数据完成一次正向传播和一次反向传播。而往往训练数据集中的数据流过于庞大，在实际应用阶段，可以通过设置不同的批大小(batchsize)，将整个训练数据集划分为多个小批次的数据进行训练。因此，1个iteration则表示在模型训练时，1个batchsize的训练数据完整训练一次，即训练数据集中的1个batchsize的训练数据完成一次正向传播和一次反向传播。图3中，不同灰度的曲线可以表示不同的batchsize在对应iteration时损失值的连线。例如，假设70000个iteration对应20个epoch，则1个epoch对应3500个iteration。则第1个iteration、第3501个iteration、第7001个iteration、第10501个iteration
……
，对应同一batchsize的训练数据。而第2个iteration、第3502个iteration、第7002个iteration、第10502个iteration
……
，对应另外的同一batchsize的训练数据。通过图3则可以清楚看出训练数据在多次迭代训练时，相应迭代时对应的损失值。
49.s202，根据多个损失值确定标注脏样本。
50.在一些例子中，设备可以根据s201中获取到的多个损失值，确定出标注脏样本。
51.本公开通过待清洗样本集在训练过程中的损失值，确定出标注脏样本。实现了设备自动化筛选出标注脏样本，提升了数据清洗效率，同时降低了标注脏样本筛选的成本。
52.在一些实施例中，图4是本公开实施例的又一种光学字符识别处理方法流程图。如图4所示，s202根据多个损失值确定标注脏样本，还可以包括以下步骤：
53.s401，在多个损失值中筛选损失值满足预设条件的文本识别图像。
54.在一些例子中，设备可以根据获取到的多个损失值，确定出损失值满足预设条件的文本识别图像。
55.例如，可以针对待清洗样本集合中的多个待清洗样本所对应的多个损失值，确定损失值满足预设条件的文本识别图像，即确定出相应的待清洗样本。
56.当然，在另一些例子中，还可以针对待清洗样本集合中的各个待清洗样本所对应的多个损失值，确定损失值满足预设条件的文本识别图像。
57.在一些例子中，损失值满足预设条件例如可以包括针对某一个待清洗样本，计算该待清洗样本的多个损失值对应的损失均值、损失方差和/或损失标准差。当然，在其它例子中，还可以基于该待清洗样本的多个损失值计算任意等效的统计参考数据。
58.例如，若确定出多个损失对应的损失均值，则预设条件可以为该损失均值是否大于预先设定的均值阈值；又例如，若确定出多个损失对应的损失方差，则预设条件可以为该损失方差是否大于预先设定的方差阈值；再例如，若确定出多个损失对应的损失标准差，则预设条件可以为该损失标准差是否大于预先设定的标准差阈值。当然，若确定出多个损失对应的其它统计参考数据，则预设条件可以根据相应的统计参考数据进行适应性调整，本公开不作限定。
59.之后，可以确定出满足预设条件的文本识别图像(即待清洗样本)。
60.在一些例子中，为了方便用户进行查阅，可以将相应待清洗样本对应的损失均值、损失方差和/或损失标准差等统计参考数据可视化到一个二维坐标系中。其中，横坐标可以设置为待清洗样本，纵坐标可以设置为损失均值、损失方差和/或损失标准差等统计参考数据。当然在其它例子中，还可以根据实际情况设置二维坐标系中横纵坐标的含义，本公开不作限定。
61.s402，将损失值满足预设条件的文本识别图像作为标注脏样本。
62.在一些例子中，设备可以将s401中确定出满足预设条件的文本识别图像(即待清洗样本)作为标注脏样本。
63.本公开通过利用各样本在多次迭代训练中损失值的变化情况，确定出可能的标注脏样本，保证了标注脏样本的准确识别，有利于对标注脏样本的清洗。
64.在一些实施例中，基于待清洗样本进行多次迭代训练所配置的学习率大于或等于预设学习率。在一些例子中，考虑到在文本预测模型训练的过程中，对于标注信息正确的文本识别图像，文本预测模型通常可以较快拟合收敛。模型的损失值通常在经过3个epoch之后会趋于平稳，且收敛到一个比较小的数值。而对于标注信息错误的文本识别图像，文本识别模型在利用此类样本进行训练时，往往无法拟合收敛，相对应的模型的损失值通常会呈现出一种波动状态，即反复变化。为了避免文本预测模型在训练时对标注脏样本出现过拟合情况。在模型训练开始之前，可以将模型训练时的学习率设置为大于或等于预设学习率。
65.在一些例子中，预设学习率可以设置为0.001。可以理解，若模型训练时的学习率大于或等于预设学习率，则可以认为模型训练过程中，不会出现针对部分样本过拟合的情况。也就是说，对于标注脏样本的损失均值、损失方差和/或损失标准差等统计参考数据，均会远远大于标注信息正确的样本所对应的损失均值、损失方差和/或损失标准差等统计参考数据。若模型训练时的学习率小于预设学习率，则可以认为模型训练过程中会出现针对部分样本过拟合的情况。显然不利于标注脏样本的筛选。
66.当然，可以理解的是，预设学习率还可以根据实际需求进行任意设定，本公开不作限定。
67.本公开通过对模型训练时的学习率进行配置，使得模型不会出现过拟合现象，有利于对标注脏样本进行筛选，从而提升标注脏样本筛选的准确率。
68.在一些实施例中，s104中利用清洗后样本进行光学字符识别ocr处理，还可以包括：采用基于清洗后样本预先训练得到的文本识别模型，进行ocr处理。在一些例子中，当设备对待清洗样本集进行数据清洗后，可以利用清洗后的数据集对文本检测模型进行训练。得到训练好的文本识别模型。之后，可以利用训练好的文本识别模型进行相应的ocr处理，例如对图像进行ocr文本识别，从而识别出相应的文本数据。
69.可以理解，本公开通过利用清洗后的样本训练得到文本识别模型，保证了该文本识别模型在进行ocr处理时的准确率更高。
70.图5是本公开实施例的一种标注脏样本筛选流程图。如图5所示，本公开提供了一种标注脏样本的筛选流程。该流程可以运行任意一种设备上，例如终端设备或网络设备，该流程可以包括以下步骤：
71.s501，获取待清洗样本集。
72.在一些例子中，设备获取待清洗样本集。该待清洗样本集可以是未经过数据清洗或者需要进行数据清洗的数据集。待清洗样本集中可以包括多个待清洗样本，每个待清洗样本可以认为是具有标注信息的文本识别图像。
73.s502，利用待清洗样本集对文本预测模型进行训练。
74.在一些例子中，设备可以利用s501中获取到的待清洗样本集对文本预测模型进行训练。可以理解，该过程即训练文本预测模型的过程。当训练完成后，可以得到文本识别模型，以便用于进行ocr处理。
75.s503，记录各待清洗样本对应的损失值。
76.在一些例子中，设备可以在s502进行训练的过程中，记录待清洗样本集中各待清洗样本在相应迭代训练时的损失值。
77.s504，确定各待清洗样本对应的统计参考数据。
78.在一些例子中，设备可以基于s503中记录的各待清洗样本对应的损失值，确定出相应待清洗样本对应的统计参考数据。
79.在一些例子中，统计参考数据可以是损失均值、损失方差、损失标准等。
80.s505，根据统计参考数据确定标注脏样本。
81.在一些例子中，设备可以根据504中确定出的各待清洗样本对应的统计参考数据，将统计参考数据满足预设条件的待清洗样本，确定为标注脏样本。
82.在一些例子中，统计参考数据满足预设条件，例如可以是损失均值是否大于预先设定的均值阈值、损失方差是否大于预先设定的方差阈值、损失标准差是否大于预先设定的标准差阈值等等。可以理解的是，预设条件可以根据具体的统计参考数据进行相应调整，本公开不作限定。
83.可以理解，上述图5所示出的方法具体执行过程可以参考图1至图4中相应步骤的描述，本公开不再赘述。
84.在一些场景下，采用本公开所描述的方案，标注脏样本的有效挑选率达到90％以
上。
85.基于相同的构思，本公开实施例还提供一种光学字符识别处理装置。
86.可以理解的是，本公开实施例提供的一种光学字符识别处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
87.作为一示例性实施方式，图6是根据本公开一示例性实施方式中示出的一种光学字符识别处理装置示意图。参阅图6所示，提供了一种光学字符识别处理装置600，该装置600可以实现上述图1至图5中所涉及的任意一种方法。该装置600可以包括：获取模块601，用于获取待清洗样本集，待清洗样本集中包括携带标注信息的文本识别图像；确定模块602，用于在待清洗样本集中确定标注脏样本，其中，标注脏样本为携带错误标注信息的文本识别图像；清洗模块603，用于在待清洗样本集中清洗标注脏样本，得到清洗后样本集；处理模块604，用于利用清洗后样本集进行光学字符识别ocr处理。
88.本公开通过自动对待清洗样本集进行清洗，去除标注错误的标注脏样本。使得利用去除标注脏样本后的样本集进行ocr处理时，提升ocr识别准确率。
89.在一个可能的实施方式中，确定模块602还用于：获取基于待清洗样本集进行多次迭代训练所对应的多个损失值；根据多个损失值确定标注脏样本。
90.本公开通过待清洗样本集在训练过程中的损失值，确定出标注脏样本。实现了设备自动化筛选出标注脏样本，提升了数据清洗效率，同时降低了标注脏样本筛选的成本。
91.在一个可能的实施方式中，确定模块602还用于：在多个损失值中筛选损失值满足预设条件的文本识别图像；将损失值满足预设条件的文本识别图像作为标注脏样本。
92.本公开通过利用各样本在多次迭代训练中损失值的变化情况，确定出可能的标注脏样本，保证了标注脏样本的准确识别，有利于对标注脏样本的清洗。
93.在一个可能的实施方式中，基于待清洗样本集进行多次迭代训练所配置的学习率大于或等于预设学习率。
94.本公开通过对模型训练时的学习率进行配置，使得模型不会出现过拟合现象，有利于对标注脏样本进行筛选，从而提升标注脏样本筛选的准确率。
95.在一个可能的实施方式中，处理模块604还用于：采用基于清洗后样本集预先训练得到的文本识别模型，进行ocr处理。
96.本公开通过利用清洗后的样本训练得到文本识别模型，保证了该文本识别模型在进行ocr处理时的准确率更高。
97.关于本公开上述涉及的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
98.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
99.根据本公开的实施例，本公开还提供了一种检测设备性能的设备、一种可读存储介质和一种计算机程序产品。
100.图7示出了可以用来实施本公开的实施例的一种光学字符识别处理设备700的示意性框图。该设备700旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、服务器集群和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
101.如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
102.设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
103.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图1至图5所描述的任意一种方法。例如，在一些实施例中，图1至图5所描述的任意一种方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的任意方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述图1至图5所描述的任意一种方法。
104.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
105.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
106.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供
指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
107.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
108.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
109.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。当然，在一些例子中，服务器还可以指代服务器集群。
110.本公开通过记录少量训练迭代的损失值，分析标注脏样本和干净样本之间的损失值差异，来分离得到标注脏样本。可以实现高效的标注脏样本清洗。
111.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
112.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。