技术特征：
1.一种标注文本质量评估方法，其特征在于，包括：获取标注文本，并从所述标注文本中提取标注信息；对所述标注信息进行标注质量评估得到标注评估值，并对所述标注文本的语句和/或词汇进行文本质量评估得到文本评估值；根据所述标注文本对应的任务类型对所述标注评估值及所述文本评估值进行加权处理，得到所述标注文本对应的综合评估值。2.根据权利要求1所述的标注文本质量评估方法，其特征在于，所述对所述标注信息进行标注质量评估得到标注评估值，包括：判断所述标注文本对应的所有标注信息是否能够完整覆盖预设标注类别；若是，则生成表示标注完整的完整性评估值；若否，则生成表示标注不完整的完整性评估值；将所述完整性评估值添加至所述标注评估值中。3.根据权利要求1所述的标注文本质量评估方法，其特征在于，所述对所述标注信息进行标注质量评估得到标注评估值，包括：获取预设标记规则，并统计所述预设标记规则中能够被所述标注信息满足的满足条数；利用所述满足条数及所述预设标记规则的总条数生成所述标注文本对应的标注合规评估值，并将所述标注合规评估值添加至所述标注评估值中。4.根据权利要求1所述的标注文本质量评估方法，其特征在于，所述对所述标注文本的词汇进行文本质量评估得到文本评估值，包括：对所述词汇进行词性分析得到所述词汇对应的词性，并从所述词汇中提取指定词性对应的目标词汇；获取预设词汇集，并利用相似度模型对所述目标词汇与所述预设词汇集中的每一词汇进行相似度比较，得到所述目标词汇对应的相似度；统计所述相似度大于预设阈值的目标词汇的词汇数量，利用所述词汇数量生成有效性评估值；将所述有效性评估值添加至所述文本评估值中。5.根据权利要求1所述的标注文本质量评估方法，其特征在于，对所述标注文本的语句和词汇进行文本质量评估得到文本评估值，包括：对所述词汇进行拼写检查，并统计存在拼写错误的错误词汇数量；对所述语句进行语法检查，判断所述语句是否存在语法错误；若是，则生成表示存在语法错误的语法评估值；若否，则生成表示不存在语法错误的语法评估值；利用所述错误词汇数量及所述语法评估值生成所述标注文本对应的正确性评估值，并将所述正确性评估值添加至所述文本评估值中。6.根据权利要求1至5所述的标注文本质量评估方法，其特征在于，所述标注文本来自同一标注人员，在获取标注文本之后，还包括：将所述标注文本转换为句法树，并利用所述句法树确定所述标注文本中出现的不同句式；
在所述标注文本中统计每种所述句式对应的句子数量，并根据所述句式及所述句子数量生成所有所述标注文本对应的多样性评估值；相应的，在得到所述标注文本对应的综合评估值之后，还包括：利用所述多样性数据及每一所述标注文本对应的综合评估值生成所述标注人员的标注人员评估值。7.根据权利要求6所述的标注文本质量评估方法，其特征在于，所述利用所述句法树确定所述标注文本中出现的不同句式，包括：获取一组目标句法树，并判断所述目标句法树中指定部位的结构是否相同；若是，则判定所述目标句法树对应的句式相同；若否，则判定所述目标句法树对应的句法不同。8.一种标注文本质量评估装置，其特征在于，包括：获取模块，用于获取标注文本，并从所述标注文本中提取标注信息；第一评估模块，用于对所述标注信息进行标注质量评估得到标注评估值，并对所述标注文本的语句和/或词汇进行文本质量评估得到文本评估值；第二评估模块，用于根据所述标注文本对应的任务类型对所述标注评估值及所述文本评估值进行加权处理，得到所述标注文本对应的综合评估值。9.一种电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的标注文本质量评估方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的标注文本质量评估方法。
技术总结
本发明提供一种标注文本质量评估方法、装置、电子设备及存储介质，涉及自然语言处理领域，方法包括：获取标注文本，并从标注文本中提取标注信息；对标注信息进行标注质量评估得到标注评估值，并对标注文本的语句和/或词汇进行文本质量评估得到文本评估值；根据标注文本对应的任务类型对标注评估值及文本评估值进行加权处理，得到标注文本对应的综合评估值；可从标注有效性方面对标注文本的标注信息进行评估，还可从语法、词语拼写、语义信息等文本质量方面对标注文本自身进行评估，最后还结合任务类型对标注评估值及文本评估值进行加权处理，以综合标注质量、文本质量及任务要求对标注文本进行全方位评估，进而可提升标注文本的筛选质量。的筛选质量。的筛选质量。
技术研发人员：李仁刚 徐聪 郭振华 范宝余 贾麒 刘璐 金良
受保护的技术使用者：浪潮电子信息产业股份有限公司
技术研发日：2022.04.29
技术公布日：2022/8/1