一种标注文本质量评估方法、装置、电子设备及存储介质与流程

1.本发明涉及自然语言处理领域，特别涉及一种标注文本质量评估方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着人工智能技术在日常生活中的应用越来越多，像语音助手、智能音箱、智能客服等对话交互类应用和产品也迎来了爆发式的增长。智能问答技术是该类应用的最核心组成部件，该项技术目前主流的解决方案都是依赖于以监督学习为主的深度学习技术，且高度依赖充足且正确的训练数据。换而言之，使用人工进行大量的文本数据标注成为了构建对话问答类应用的关键步骤之一。然而标注人员之间的标注能力存在差异，进而导致人工标注的文本数据通常是充满噪声甚至存在错误。因此，如何对标注文本进行质量评估，以筛选出高质量的标注文本，对构建对话问答类应用具有重要作用。
3.相关技术中，解决上述问题方法是利用人工审核对标注文本进行再次抽样审核。然而该方法不仅费时费力，同时受不同审核人员主观观点和背景知识的影响，二次审核也难以提升标注文本质量。
4.因此，如何对标注文本进行质量评估，以筛选出高质量的标注文本，是本领域技术人员所需面对的技术问题。


技术实现要素：

5.本发明的目的是提供一种标注文本质量评估方法、装置、电子设备及计算机可读存储介质，可综合标注质量、文本质量及任务要求对标注文本自动进行全方位评估，进而可提升标注文本的筛选质量。
6.为解决上述技术问题，本发明提供一种标注文本质量评估方法，包括：
7.获取标注文本，并从所述标注文本中提取标注信息；
8.对所述标注信息进行标注质量评估得到标注评估值，并对所述标注文本的语句和/或词汇进行文本质量评估得到文本评估值；
9.根据所述标注文本对应的任务类型对所述标注评估值及所述文本评估值进行加权处理，得到所述标注文本对应的综合评估值。
10.可选地，所述对所述标注信息进行标注质量评估得到标注评估值，包括：
11.判断所述标注文本对应的所有标注信息是否能够完整覆盖预设标注类别；
12.若是，则生成表示标注完整的完整性评估值；
13.若否，则生成表示标注不完整的完整性评估值；
14.将所述完整性评估值添加至所述标注评估值中。
15.可选地，所述对所述标注信息进行标注质量评估得到标注评估值，包括：
16.获取预设标记规则，并统计所述预设标记规则中能够被所述标注信息满足的满足条数；
17.利用所述满足条数及所述预设标记规则的总条数生成所述标注文本对应的标注合规评估值，并将所述标注合规评估值添加至所述标注评估值中。
18.可选地，所述对所述标注文本的词汇进行文本质量评估得到文本评估值，包括：
19.对所述词汇进行词性分析得到所述词汇对应的词性，并从所述词汇中提取指定词性对应的目标词汇；
20.获取预设词汇集，并利用相似度模型对所述目标词汇与所述预设词汇集中的每一词汇进行相似度比较，得到所述目标词汇对应的相似度；
21.统计所述相似度大于预设阈值的目标词汇的词汇数量，利用所述词汇数量生成有效性评估值；
22.将所述有效性评估值添加至所述文本评估值中。
23.可选地，对所述标注文本的语句和词汇进行文本质量评估得到文本评估值，包括：
24.对所述词汇进行拼写检查，并统计存在拼写错误的错误词汇数量；
25.对所述语句进行语法检查，判断所述语句是否存在语法错误；
26.若是，则生成表示存在语法错误的语法评估值；
27.若否，则生成表示不存在语法错误的语法评估值；
28.利用所述错误词汇数量及所述语法评估值生成所述标注文本对应的正确性评估值，并将所述正确性评估值添加至所述文本评估值中。
29.可选地，所述标注文本来自同一标注人员，在获取标注文本之后，还包括：
30.将所述标注文本转换为句法树，并利用所述句法树确定所述标注文本中出现的不同句式；
31.在所述标注文本中统计每种所述句式对应的句子数量，并根据所述句式及所述句子数量生成所有所述标注文本对应的多样性评估值；
32.相应的，在得到所述标注文本对应的综合评估值之后，还包括：
33.利用所述多样性数据及每一所述标注文本对应的综合评估值生成所述标注人员的标注人员评估值。
34.可选地，所述利用所述句法树确定所述标注文本中出现的不同句式，包括：
35.获取一组目标句法树，并判断所述目标句法树中指定部位的结构是否相同；
36.若是，则判定所述目标句法树对应的句式相同；
37.若否，则判定所述目标句法树对应的句法不同。
38.本发明还提供一种标注文本质量评估装置，包括：
39.获取模块，用于获取标注文本，并从所述标注文本中提取标注信息；
40.第一评估模块，用于对所述标注信息进行标注质量评估得到标注评估值，并对所述标注文本的语句和/或词汇进行文本质量评估得到文本评估值；
41.第二评估模块，用于根据所述标注文本对应的任务类型对所述标注评估值及所述文本评估值进行加权处理，得到所述标注文本对应的综合评估值。
42.本发明还提供一种电子设备，包括：
43.存储器，用于存储计算机程序；
44.处理器，用于执行所述计算机程序时实现如上所述的标注文本质量评估方法。
45.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算
机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上所述的标注文本质量评估方法。
46.本发明提供一种标注文本质量评估方法，包括：获取标注文本，并从所述标注文本中提取标注信息；对所述标注信息进行标注质量评估得到标注评估值，并对所述标注文本的语句和/或词汇进行文本质量评估得到文本评估值；根据所述标注文本对应的任务类型对所述标注评估值及所述文本评估值进行加权处理，得到所述标注文本对应的综合评估值。
47.可见，本发明在获取到标注文本时，会从标注文本中提取对应的标注信息；随后，本发明将可对标注信息自动进行标注质量评估，以从有效性及完整性方面对标注信息进行自动评估，得到标注信息对应的标注评估值；此外，本发明还对标注文本自身的语句及词汇进行文本质量评估，以从语法、词语拼写、语义信息等方面对标注文本自身进行评估，得到标注文本对应的文本评估值；最后，本发明将结合标注文本对应的任务类型对标注评估值及文本评估值进行加权处理，生成标注文本对应的综合评估值，不仅能够从标注质量及文本质量方向对标注文本进行量化评估，同时还能确保综合评估值更加贴合任务类型的需求，进而可通过综合评估值提升标注文本的筛选质量。本发明还提供一种标注文本质量评估装置、电子设备及计算机可读存储介质，具有上述有益效果。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
49.图1为本发明实施例所提供的一种标注文本质量评估方法的流程图；
50.图2为本发明实施例所提供的一种句法树的结构示意图；
51.图3为本发明实施例所提供的另一种句法树的结构示意图；
52.图4为本发明实施例所提供的一种标注文本质量评估装置的结构框图。
具体实施方式
53.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.相关技术中，为解决标注文本质量不佳的问题，常用的方法是利用人工审核对标注文本进行再次抽样审核。然而该方法不仅费时费力，同时受不同审核人员主观观点和背景知识的影响，二次审核也难以提升标注文本质量。有鉴于此，本发明提供一种标注文本质量评估方法，可综合标注质量、文本质量及任务要求对标注文本自动进行全方位评估，进而可提升标注文本的筛选质量。请参考图1，图1为本发明实施例所提供的一种标注文本质量评估方法的流程图，该方法可以包括：
55.s101、获取标注文本，并从标注文本中提取标注信息。
56.在自然语言处理领域中，标注文本用于训练神经网络，以使神经网络可对接收到的待识别语句进行特征提取及识别，并预测待识别语句对应的标签，而该文本中通常包含语句及对应的标注信息，其中后者即为人工标注的标签。需要说明的是，本发明实施例并不限定具体的标注信息，也不限定单个标注文本可对应的标注信息数量，可根据实际任务需求进行设定。本发明实施例也不限定标注文本的数量，可根据实际应用需求进行设定。在批量获取标注文本时，本发明实施例也不限定这批标注文本是否来自同一标注人员，当仅对文本本身的质量进行评估时，这批标注文本可来自不同标注人员；当还需对某个特定标注人员的标注质量进行评估时，这些标注文本也可以来自同一标注人员。换而言之，多个标注文本的评估结果事实上也可进一步用于评估标注人员的标注质量，以帮助后者及时发现标注工作中的不足，并提升标注能力。
57.s102、对标注信息进行标注质量评估得到标注评估值，并对标注文本的语句和/或词汇进行文本质量评估得到文本评估值。
58.本发明实施例将从两个方面对标注文本质量进行评估，即可从标注质量的角度及文本质量的角度进行评估。首先，本发明实施例将对获取得到的标注信息进行标注质量评估，以生成标注文本对应的标注评估值。标注质量评估可从标注信息的完整性及完成度方面展开。对于完整性而言，在执行标注工作时，标注人员通常被要求为文本标注指定的内容，因此可首先判定标注信息中是否完整包含了指定的预设标注类型。例如，在视觉问答任务中，标注文本中应当包含问题(question)、答案(answer)及图像选择框(bounding box)，此时，假若标注信息中包含以上三项，则可判定标注完整，反之则可判定标注不完整。在完成完整性判定后，可生成对应的完整性评估值，并将该值添加至标注评估值中。
59.在一种可能的情况中，对标注信息进行标注质量评估得到标注评估值，可以包括：
60.步骤11：判断标注文本对应的所有标注信息是否能够完整覆盖预设标注类别；若是，则进入步骤12；若否，则进入步骤13；
61.步骤12：生成表示标注完整的完整性评估值；
62.步骤13：生成表示标注不完整的完整性评估值；
63.步骤14：将完整性评估值添加至标注评估值中。
64.需要说明的是，本发明实施例并不限定完整性评估值的具体数值，例如当确定标注文本的标注完整时，完整性评估值可以为1，反之则为0。当然，完整性评估值的具体数值可以设置为其他值，只要能够区分标注完整及标注不完整即可。
65.进一步，对于完成度而言，在执行标注工作时，标注人员通常还要求标注信息尽可能满足指定的标注规则，因此还可获取预设的标记规则，并在这些规则中确定可被标注信息满足的规则数量，进而依照该数量确定标注文本对应的标注合规评估值，以评价标注文本对预设标记规则的满足程度。
66.在一种可能的情况中，对标注信息进行标注质量评估得到标注评估值，可以包括：
67.步骤21：获取预设标记规则，并统计预设标记规则中能够被标注信息满足的满足条数；
68.步骤22：利用满足条数及预设标记规则的总条数生成标注文本对应的标注合规评估值，并将标注合规评估值添加至标注评估值中。
69.需要说明的是，本发明实施例并不限定具体的预设标记规则，可根据实际应用需
求进行设定。具体的，标注合规评估值可记为rc∈[0,10]，设一共有l条标注规则，满足的条数为l，则标注合规评估值可表示为：
[0070][0071]
当然，标注合规评估值也可采用其他方式计算，可根据实际应用需求进行设定。
[0072]
进一步，本发明实施例还可从文本质量的角度对标注文本的语句和词汇进行文本质量评估。具体的，可首先对标注文本中各语句的语法及各词汇的拼写准确性进行检测。可以理解的是，包含语法错误或词汇拼写错误的文本通常比不存在这些错误的文本质量差，因此语法检查及拼写检查能够有效评估标注文本自身的质量。需要说明的是，本发明实施例并不限定语法检查及拼写检查的具体方式，可参考自然语言处理的相关技术。在本发明实施例中，为方便起见，可通过调用现有语法检查工具的api接口(application programming interface，应用程序接口)来实现语法检查及拼写检查，例如可调用grammaly工具的api接口。
[0073]
在一种可能的情况中，对标注文本的语句和词汇进行文本质量评估得到文本评估值，包括：
[0074]
步骤31：对词汇进行拼写检查，并统计存在拼写错误的错误词汇数量；
[0075]
步骤32：对语句进行语法检查，判断语句是否存在语法错误；若是，则进入步骤33；若否，则进入步骤34；
[0076]
步骤33：生成表示存在语法错误的语法评估值；
[0077]
步骤34：生成表示不存在语法错误的语法评估值；
[0078]
步骤35：利用错误词汇数量及语法评估值生成标注文本对应的正确性评估值，并将正确性评估值添加至文本评估值中。
[0079]
具体的，正确性评估值可记为rg∈[0,10]，其中语法正确占5分，若标注文本中出现语法错误，则语法部分的评估值为0，反之则为5；词汇正确度占5分，出现一个单词拼写错误扣1分，超过5个单词错误则词汇部分的评估值为0。
[0080]
进一步，还可对标注文本所包含的语义信息进行评估。具体的，在进行特定任务训练时，标注文本通常会被要求包含特定语义的词汇，因此可获取包含这些特殊词汇的词汇集，并确定标注文本中每一词汇与词汇集中每一词汇之间的相似值，进而根据该相似值确定标注文本包含特定语义词汇的数量，最后根据该数量确定标注文本对应的有效性评估值，以评估标注文本包含特定语义的程度。需要说明的是，本发明实施例并不限定确定词汇间相似度的具体方式，例如可利用sentence-bert模型进行处理，其中sentence-bert模型是一种文本相似度模型。进一步，可以理解的是，名词及动词所包含的语义信息较为丰富，因此在进行词汇相似度计算之前，为提升相似度计算效率，可首先对标注文本中的各词汇进行词性分析，确定各词汇对应的词性，进而从词汇中提取指定词性(如名词和动词)对应的目标词汇，最后利用目标词汇与词汇集中的特定词汇进行相似度计算。需要说明的是，本发明实施例并不限定词性分析的具体方式，可参考自然语言处理的相关技术，例如可采用hannlp模型进行词性分析。
[0081]
在一种可能的情况中，对标注文本的词汇进行文本质量评估得到文本评估值，包
括：
[0082]
步骤41：对词汇进行词性分析得到词汇对应的词性，并从词汇中提取指定词性对应的目标词汇；
[0083]
步骤42：获取预设词汇集，并利用相似度模型对目标词汇与预设词汇集中的每一词汇进行相似度比较，得到目标词汇对应的相似度；
[0084]
步骤43：统计相似度大于预设阈值的目标词汇的词汇数量，利用词汇数量生成有效性评估值；
[0085]
步骤44：将有效性评估值添加至文本评估值中。
[0086]
需要说明的是，本发明实施例并不限定预设阈值的具体数值，可根据实际应用需求进行设定，例如可以为0.9。进一步，有效性评估值可记为rv∈[0,10]，设包含指定词语的个数为k，则有效性评估值可表示为：
[0087]rv
＝(-2-k
+1)
·
10
[0088]
当然，标注合规评估值也可采用其他方式计算，可根据实际应用需求进行设定。
[0089]
s103、根据标注文本对应的任务类型对标注评估值及文本评估值进行加权处理，得到标注文本对应的综合评估值。
[0090]
具体的，对于第j个标注文本，其综合评估值可通过如下公式进行计算：
[0091][0092]
其中及分别表示第j个标注文本的完整性评估值、有效性评估值、正确性评估值及标注合规评估值，wv、wg及wc均表示该任务类型对应的权值。由于本发明实施例依照任务类型对上述评估值进行加权，因此能够从任务的角度对标注文本质量进行评估，进而在依照综合评估值对标注文本进行筛选时，更能筛选出适合任务需求的标注文本。需要说明的是，本发明实施例并不限定筛选文本时所设置的预设阈值，可根据实际应有需求进行设定。
[0093]
基于上述实施例，本发明在获取到标注文本时，会从标注文本中提取对应的标注信息；随后，本发明将可对标注信息自动进行标注质量评估，以从有效性及完整性方面对标注信息进行自动评估，得到标注信息对应的标注评估值；此外，本发明还对标注文本自身的语句及词汇进行文本质量评估，以从语法、词语拼写、语义信息等方面对标注文本自身进行评估，得到标注文本对应的文本评估值；最后，本发明将结合标注文本对应的任务类型对标注评估值及文本评估值进行加权处理，生成标注文本对应的综合评估值，不仅能够从标注质量及文本质量方向对标注文本进行量化评估，同时还能确保综合评估值更加贴合任务类型的需求，进而可通过综合评估值提升标注文本的筛选质量。
[0094]
基于上述实施例，本发明还可利用标注文本对应的综合评估值，对标注人员的标注质量进行评估。在一种可能的情况中，标注文本来自同一标注人员，在获取标注文本之后，还可以包括：
[0095]
s201、将标注文本转换为句法树，并利用句法树确定标注文本中出现的不同句式。
[0096]
对于包含相同语义的多个句子，若它们对应的句式不同，则能够提升神经网络的训练效果。因此在进行标注工作时，标注人员若能够提升标注文本的句式丰富度，则能够提升标注文本的整体质量。因此，句式丰富程度也是评判标注人员标注质量的一个指标。在本
发明实施例中，可采用标注文本对应的句法树来确定多个标注文本中出现的不同句式，其中句法树是表示句法分析结果的树形图。具体的，可判断一组句法树中的指定部位的结构是否相同，如判断该组句法树从根节点开始前4层节点的形状是否相同，若相同则判定句式相同，反之则可判定句式不同。为便于理解，请参考图2和图3，其中“can you tell me what this dog is related to the boy in red？”和“what is the relationship between this dog and the boy in red？”表示具有相同语义的两个标注文本，图右侧为句法树，其中图2中的根节点为“sq”，而图3中的根节点为“sbarq”，可见图2和图3所示的句法树从根节点开始前4层节点的形状并不相同，因此这两个句子具有不同的句式。当然，上述指定部位还可设置为句法树中的其他部位，可根据实际应用需求进行设定。
[0097]
在一种可能的情况中，利用句法树确定标注文本中出现的不同句式，可以包括：
[0098]
步骤51：获取一组目标句法树，并判断目标句法树中指定部位的结构是否相同；若是，则进入步骤52；若否，则进入步骤53；
[0099]
步骤52：判定目标句法树对应的句式相同；
[0100]
步骤53：判定目标句法树对应的句法不同。
[0101]
进一步，需要说明的是，本发明实施例并不限定句法树的生成方式，同样可参考自然语言处理的相关技术。在本发明实施例中，为方便起见，可使用现有的句法树生成模型生成句法树，例如可采用hannlp进行生成。
[0102]
s202、在标注文本中统计每种句式对应的句子数量，并根据句式及句子数量生成所有标注文本对应的多样性评估值。
[0103]
具体的，多样性评估值可该得分记为rd，设一共n条标注数据，其中重复句式种类为i＝1,2
…
s，ni为每种句式的个数，则多样性可表示为：
[0104][0105]
相应的，在得到标注文本对应的综合评估值之后，还可以包括：
[0106]
s203、利用多样性数据及每一标注文本对应的综合评估值生成标注人员的标注人员评估值。
[0107]
具体的，标注人员评估值可由如下公式计算：
[0108][0109]
基于上述实施例，本发明还可利用标注文本对应的综合评估值对标注人员的标注质量进行评估，以帮助标注人员及时发现标注工作中的不足，并提升标注能力。
[0110]
下面对本发明实施例提供的标注文本质量评估装置、电子设备及计算机可读存储介质进行介绍，下文描述的标注文本质量评估装置、电子设备及计算机可读存储介质与上文描述的标注文本质量评估方法可相互对应参照。
[0111]
请参考图4，图4为本发明实施例所提供的一种标注文本质量评估装置的结构框图，该装置可以包括：
[0112]
获取模块401，用于获取标注文本，并从标注文本中提取标注信息；
[0113]
第一评估模块402，用于对标注信息进行标注质量评估得到标注评估值，并对标注文本的语句和/或词汇进行文本质量评估得到文本评估值；
[0114]
第二评估模块403，用于根据标注文本对应的任务类型对标注评估值及文本评估值进行加权处理，得到标注文本对应的综合评估值。
[0115]
可选地，第一评估模块402，可以包括：
[0116]
完整性判断子模块，用于判断标注文本对应的所有标注信息是否能够完整覆盖预设标注类别；若是，则生成表示标注完整的完整性评估值；若否，则生成表示标注不完整的完整性评估值；
[0117]
第一添加子模块，用于将完整性评估值添加至标注评估值中。
[0118]
可选地，第一评估模块402，可以包括：
[0119]
统计子模块，用于获取预设标记规则，并统计预设标记规则中能够被标注信息满足的满足条数；
[0120]
标注合规评估值生成子模块，用于利用满足条数及预设标记规则的总条数生成标注文本对应的标注合规评估值，并将标注合规评估值添加至标注评估值中。
[0121]
可选地，第一评估模块402，可以包括：
[0122]
词性分析子模块，用于对词汇进行词性分析得到词汇对应的词性，并从词汇中提取指定词性对应的目标词汇；
[0123]
比较子模块，用于获取预设词汇集，并利用相似度模型对目标词汇与预设词汇集中的每一词汇进行相似度比较，得到目标词汇对应的相似度；
[0124]
有效性评估值生成子模块，用于统计相似度大于预设阈值的目标词汇的词汇数量，利用词汇数量生成有效性评估值；
[0125]
第二添加子模块，用于将有效性评估值添加至文本评估值中。
[0126]
可选地，第一评估模块402，可以包括：
[0127]
拼写检查子模块，用于对词汇进行拼写检查，并统计存在拼写错误的错误词汇数量；
[0128]
语法检查子模块，用于对语句进行语法检查，判断语句是否存在语法错误；若是，则生成表示存在语法错误的语法评估值；若否，则生成表示不存在语法错误的语法评估值；
[0129]
正确性评估值生成子模块，用于利用错误词汇数量及语法评估值生成标注文本对应的正确性评估值，并将正确性评估值添加至文本评估值中。
[0130]
可选地，标注文本来自同一标注人员，该装置还可以包括：
[0131]
句式统计模块，用于将标注文本转换为句法树，并利用句法树确定标注文本中出现的不同句式；
[0132]
多样性评估值生成模块，用于在标注文本中统计每种句式对应的句子数量，并根据句式及句子数量生成所有标注文本对应的多样性评估值；
[0133]
相应的，在得到标注文本对应的综合评估值之后，还包括：
[0134]
标注人员评估模块，用于利用多样性数据及每一标注文本对应的综合评估值生成标注人员的标注人员评估值。
[0135]
可选地，句式统计模块，可以包括：
[0136]
结构判断子模块，用于获取一组目标句法树，并判断目标句法树中指定部位的结
构是否相同；若是，则判定目标句法树对应的句式相同；若否，则判定目标句法树对应的句法不同。
[0137]
本发明实施例还提供一种电子设备，包括：
[0138]
存储器，用于存储计算机程序；
[0139]
处理器，用于执行计算机程序时实现如上述的标注文本质量评估方法的步骤。
[0140]
由于电子设备部分的实施例与标注文本质量评估方法部分的实施例相互对应，因此电子设备部分的实施例请参见标注文本质量评估方法部分的实施例的描述，这里不再赘述。
[0141]
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的标注文本质量评估方法的步骤。
[0142]
由于计算机可读存储介质部分的实施例与标注文本质量评估方法部分的实施例相互对应，因此存储介质部分的实施例请参见标注文本质量评估方法部分的实施例的描述，这里不再赘述。
[0143]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0144]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0145]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0146]
以上对本发明所提供的一种标注文本质量评估方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。