文本集生成方法、装置、电子设备和介质与流程

文档序号:24619046发布日期:2021-04-09 20:23阅读:125来源:国知局
文本集生成方法、装置、电子设备和介质与流程

本公开的实施例涉及计算机技术领域,具体涉及文本集生成方法、装置、电子设备和计算机可读介质。



背景技术:

随着电子书、电子报纸、电子邮件、办公文件等文本电子出版物不断涌现,如何保证这些文本的正确性,显得越来越重要。汉语文本自动校对的研究已成为一项亟待解决的紧迫课题。通常采用的方式为:基于文法规则的方法依赖于人工建立的形近、音近的字典库,对匹配的错误模式进行字符串替换。

然而,当采用上述方式来进行文本校正,经常会存在如下技术问题:人工构建成本高、覆盖率差、无法识别语义级的错误等问题。



技术实现要素:

本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了文本集生成方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面,本公开的一些实施例提供了一种文本集生成方法,包括:对预先获取的、待校正的目标文本进行错误预标注,得到标注后的目标文本;构建与上述标注后的目标文本相关的混淆文本集,其中,上述混淆文本集中每个混淆文本为对标注后的目标文本进行错误修改后的文本;根据上述混淆文本集,构建与上述目标文本相关联的有向无环图,其中,上述有向无环图中每条路径表征对上述目标文本进行文字处理后的文本;确定上述有向无环图中每条路径的各个指标信息,其中,上述各个指标信息中每个指标信息表征上述每条路径对应文本的属性特征信息;基于上述各个指标信息,对上述混淆文本集进行筛选,得到筛选后的文本集作为上述目标文本的校正集。

第二方面,本公开的一些实施例提供了一种文本集生成装置,包括:标注单元,被配置成对预先获取的、待校正的目标文本进行错误预标注,得到标注后的目标文本对预先获取的目标文本进行错误预标注,得到标注后的目标文本;第一构建单元,被配置成构建与上述标注后的目标文本相关的混淆文本集,其中,上述混淆文本集中每个混淆文本为对标注后的目标文本进行错误修改后的文本构建与上述标注后的目标文本相关的混淆文本集;第二构建单元,被配置成根据上述混淆文本集,构建与上述目标文本相关联的有向无环图,其中,上述有向无环图中每条路径表征对上述目标文本进行文字处理后的文本;确定单元,被配置成确定上述有向无环图中每条路径的各个指标信息,其中,上述各个指标信息中每个指标信息表征上述每条路径对应文本的属性特征信息确定上述有向无环图中每条路径的各个指标信息;筛选单元,被配置成基于上述各个指标信息,对上述混淆文本集进行筛选,得到筛选后的文本集作为上述目标文本的校正集。

第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

本公开的上述各个实施例中具有如下有益效果:通过本公开的一些实施例的文本集生成方法可以准确、高效的生成与该目标文本相关的校正文本集。具体来说,常常存在基于文法规则的方法依赖于人工建立的形近、音近的字典库,对匹配的错误模式进行字符串替换。基于此,本公开的一些实施例的文本集生成方法可以首先对预先获取的、待校正的目标文本进行错误预标注,得到标注后的目标文本。这种错误预标注的方法可以更为全面的确定出目标文本中可能出现错误的字或词,大大提高了后续目标文本的校正集的延展性。然后,构建与上述标注后的目标文本相关的混淆文本集,其中,上述混淆文本集中每个混淆文本为对标注后的目标文本进行错误修改后的文本。进而,根据上述混淆文本集,构建与上述目标文本相关联的有向无环图。其中,上述有向无环图中每条路径表征对上述目标文本进行文字处理后的文本。在这里,通过有向无环图可以将混淆文本集可视化以及用于后续确定混淆文本集中每个混淆文本的各项指标信息。进而,确定上述有向无环图中每条路径的各个指标信息,其中,上述各个指标信息中每个指标信息表征上述每条路径对应文本的属性特征信息。最后,根据上述各个指标信息,对上述混淆文本集进行筛选以筛选出较为优质的混淆文本,得到筛选后的文本集作为上述目标文本的校正集。可以得到,上述文本集生成方法可以准确、高效的生成与该目标文本相关的校正文本集。

附图说明

结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。

图1是根据本公开的一些实施例的文本集生成方法的一个应用场景的示意图;

图2是根据本公开的文本集生成方法的一些实施例的流程图;

图3是根据本公开的文本集生成方法的另一些实施例的流程图;

图4-6是根据本公开的一些实施例的文本集生成方法中生成混淆文本集的示意图;

图7是根据本公开的文本集生成装置的一些实施例的结构示意图;

图8是适于用来实现本公开的一些实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。

另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。

需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本公开。

图1是根据本公开一些实施例的文本集生成方法的一个应用场景的示意图。

在图1的应用场景中,首先,电子设备101可以对预先获取的、待校正的目标文本102进行错误预标注,得到标注后的目标文本103。在本应用场景中,上述目标文本102可以是“二氧碳排放量巨增”。上述标注后的目标文本可以是“ttftttft”。然后,构建与上述标注后的目标文本103相关的混淆文本集104。其中,上述混淆文本集104中每个混淆文本为对标注后的目标文本103进行错误修改后的文本。在本应用场景中,上述混淆文本集104包括:混淆文本1041、混淆文本1042、混淆文本1043、混淆文本1044、混淆文本1045、混淆文本1046。其中,上述混淆文本1041可以是“二氧化碳排放量巨增”。上述混淆文本1042可以是“二氧碳水排放量巨增”。上述混淆文本1043可以是:“二氧碳排放量剧增”。上述混淆文本1044可以是“二氧碳排放量增”。上述混淆文本1045可以是“二氧排放量巨增”。上述混淆文本1046可以是“二氧碳排放量据增”。进而,根据上述混淆文本集104,构建与上述目标文本102相关联的有向无环图105,其中,上述有向无环图105中每条路径表征对上述目标文本102进行文字处理后的文本。进而,确定上述有向无环图105中每条路径的各个指标信息。其中,上述各个指标信息中每个指标信息表征上述每条路径对应文本的属性特征信息。在本应用场景中,有向无环图105中路径为“二氧碳水排放量巨增”的各个指标信息可以是“困惑度:0.8,编辑距离:1次,路径对应的概率:0.82”。有向无环图105中路径为“二氧碳水排放量巨增”的各个指标信息可以是“困惑度:0.7,编辑距离:1次,路径对应的概率:0.72”。有向无环图105中路径为“二氧碳排放量剧增”的各个指标信息可以是“困惑度:0.5,编辑距离:1次,路径对应的概率:0.48”。有向无环图105中路径为“二氧碳排放量增”的各个指标信息可以是“困惑度:0.6,编辑距离:1次,路径对应的概率:0.7”。有向无环图105中路径为“二氧排放量巨增”的各个指标信息可以是“困惑度:0.82,编辑距离:1次,路径对应的概率:0.79”。有向无环图105中路径为“二氧碳排放量据增”的各个指标信息可以是“困惑度:0.3,编辑距离:1次,路径对应的概率:0.42”。最后,根据上述各个指标信息,对上述混淆文本集105进行筛选,得到筛选后的文本集作为上述目标文本102的校正集107。在本应用场景中,上述校正集107包括:校正集1071、校正集1072、校正集1073、校正集1074。上述校正集1071与上述混淆文本1041的内容相同。上述校正集1072与上述混淆文本1042的内容相同。上述校正集1073与上述混淆文本1044的内容相同。上述校正集1074与上述混淆文本1045的内容相同。

需要说明的是,上述电子设备101可以是硬件,也可以是软件。当电子设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当电子设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解,图1中的电子设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的电子设备。

继续参考图2,示出了根据本公开的文本集生成方法的一些实施例的流程200。该文本集生成方法,包括以下步骤:

步骤201,对预先获取的、待校正的目标文本进行错误预标注,得到标注后的目标文本。

在一些实施例中,文本集生成方法的执行主体(例如图1所示的电子设备)可以对预先获取的、待校正的目标文本进行错误预标注,得到标注后的目标文本。其中,上述目标文本可以是预先选定的、可能存在文字错误的文本。对上述目标文本进行错误预标注可以是对目标文本可能出现错误的字或词语进行标注。作为示例,目标文本可以是“二氧碳排放量巨增”。首先确定上述目标文本可能出现的文字错误在“碳”和“巨”两个字。然后对目标文本进行标注。在这里,标注的方式可以是:将可能出现错误的字或词用“f”替换,目标文本的其余字或词用“t”替换。进而,可以得到标注后的目标文本为:“ttftttft”。

作为示例,接收相关技术人员可依据收集到的文本库或词库对目标文本进行人工错误预标注的信息来对预先获取的目标文本进行错误预标注。

在一些实施例的一些可选的实现方式中,将上述目标文本输入至预先训练的目标文本预处理模型,得到上述标注后的目标文本。其中,上述目标文本预处理模型用于对上述目标文本中每个字或词语进行错误预估和标注。上述目标文本预处理模型可以是文本编码器(electra,efficientlylearninganencoderthatclassifiestokenreplacementsaccurately)的预训练模型的判别(discriminator)网络。

需要说明的是,上述目标文本预处理模型可以快速准确地定位错误位置,具有较强的领域迁移性和可扩展性。

步骤202,构建与上述标注后的目标文本相关的混淆文本集。

在一些实施例中,上述执行主体可以构建与上述标注后的目标文本相关的混淆文本集。其中,上述混淆文本集中每个混淆文本为对标注后的目标文本进行错误修改后的文本。

作为示例,上述执行主体可以对目标文本随机替换预定数目的字或词语来得到上述混淆文本集。

作为又一个示例,上述混淆文本集还可以是对目标文本随机添加和/或删除预定数目的字或词语来得到上述混淆文本集。

步骤203,根据上述混淆文本集,构建与上述目标文本相关联的有向无环图。

在一些实施例中,上述执行主体可以根据上述混淆文本集,构建与上述目标文本相关联的有向无环图。其中,上述有向无环图中每条路径表征对上述目标文本进行文字处理后的文本。

作为示例,上述执行主体可以首先将混淆样本中每个字或词作为节点。然后,根据上下文语境,确定上述字或词可能出现的概率的负对数作为该字或词对应的权值,即-ln(p(w|context(w)))。依据权值构建具有先后逻辑关联的有向无环图。其中,p表征上述字或词可能出现的概率。context(w)表征目标文本中w对应的字或词的上下文环境信息。其中,上述上下文环境信息表征w对应的字或词在上下文中的关联关系。w表征字或词。需要说明的是,可以通过隐马尔可夫模型(hiddenmarkovmodel,hmm)来根据上下文语境,确定上述字或词可能出现的概率。

需要说明的是,构建有向无环图根据上述混淆文本集来生成更多的对上述目标文本进行文字处理后的文本作为候选目标文本的校正集。

步骤204,确定上述有向无环图中每条路径的各个指标信息。

在一些实施例中,上述执行主体可以接收相关技术人员图中每条路径的各个指标信息。其中,上述各个指标信息中每个指标信息表征上述每条路径对应文本的属性特征信息。作为示例,上述文本的属性特征信息可以是文本的通顺程度信息。

作为示例,相关技术人员可以利用相关脚本来确定有向无环图中每条路径的各个指标信息。进而,上述执行主体可以接收上述相关技术人员传入的有向无环图中每条路径的各个指标信息。

在一些实施例的一些可选的实现方式中,确定上述有向无环图中每条路径的困惑度、编辑距离和上述路径对应的概率。其中,上述编辑距离可以衡量错误文本通过增加、删除、修改单字符的操作转化为目标文本所需要操作次数。编辑距离越小,表示错误文本和目标文本越相似。上述路径对应的概率可以是最短路径对应的概率信息。上述最短路径可以表征文本出现概率的最大似然估计。上述困惑度可以是衡量文本的流畅程度。困惑度越小,文本越流畅。计算公式如下所示:

其中,n表征与目标文本相关的字或词的个数。contextbi(wi)表示wi的上下文环境信息,wi表征句子w中第i个字或词。p(wi|contextbi(wi))表征wi在上下文环境中可能出现的概率。ppl(w)表征目标文本的困惑度。

步骤205,基于上述各个指标信息,对上述混淆文本集进行筛选,得到筛选后的文本集作为上述目标文本的校正集。

在一些实施例中,上述执行主体可以根据上述各个指标信息,通过各种方式对上述混淆文本集进行筛选,得到筛选后的文本集作为上述目标文本的校正集。

在一些实施例的一些可选的实现方式中,从上述混淆文本集中选择各个指标信息分别满足预定条件的混淆文本,得到上述目标文本的校正集。

在一些实施例的一些可选的实现方式中,根据上述目标文本的校正集,对上述目标文本进行校正。作为示例,可以首先上述目标文本的校正集中选择各个指标信息最为优质的文本。然后,将上述目标文本调整为与上述最为优质的文本相同的文本。

本公开的上述各个实施例中具有如下有益效果:通过本公开的一些实施例的文本集生成方法可以准确、高效的生成与该目标文本相关的校正文本集。具体来说,常常存在基于文法规则的方法依赖于人工建立的形近、音近的字典库,对匹配的错误模式进行字符串替换。基于此,本公开的一些实施例的文本集生成方法可以首先对预先获取的、待校正的目标文本进行错误预标注,得到标注后的目标文本。这种错误预标注的方法可以更为全面的确定出目标文本中可能出现错误的字或词,大大提高了后续目标文本的校正集的延展性。然后,构建与上述标注后的目标文本相关的混淆文本集,其中,上述混淆文本集中每个混淆文本为对标注后的目标文本进行错误修改后的文本。进而,根据上述混淆文本集,构建与上述目标文本相关联的有向无环图。其中,上述有向无环图中每条路径表征对上述目标文本进行文字处理后的文本。在这里,通过有向无环图可以将混淆文本集可视化以及用于后续确定混淆文本集中每个混淆文本的各项指标信息。进而,确定上述有向无环图中每条路径的各个指标信息,其中,上述各个指标信息中每个指标信息表征上述每条路径对应文本的属性特征信息。最后,根据上述各个指标信息,对上述混淆文本集进行筛选以筛选出较为优质的混淆文本,得到筛选后的文本集作为上述目标文本的校正集。可以得到,上述文本集生成方法可以准确、高效的生成与该目标文本相关的校正文本集。

进一步参考图3,示出了根据本公开的文本集生成方法的另一些实施例的流程300。该文本集生成方法,包括以下步骤:

步骤301,对预先获取的、待校正的目标文本进行错误预标注,得到标注后的目标文本。

步骤302,对上述标注后的目标文本中标注错误的每个字或词语的关联位置添加第一数目个掩饰字符以生成添加文本,得到添加文本集。

在一些实施例中,执行主体(例如图1所示的电子设备)可以对上述标注后的目标文本中标注错误的每个字或词语的关联位置添加第一数目个掩饰字符以生成添加文本,得到添加文本集。其中,上述标注后的目标文本中标注错误的每个字或词语的关联位置可以是字或词语在目标文本中左边或后边的位置。

作为示例,如图4所示,可以对上述标注后的目标文本402中标注错误的“家”的左右位置分别添加一个掩饰字符“[m]”以生成添加文本,得到添加文本集。其中,上述目标文本401为“我的家乡在中国”。上述标注后的目标文本402可以是“ttftttt”。上述添加文本集包括:第一添加文本403,第二添加文本404。上述第一添加文本403可以是“我的[m]家乡在中国”。上述第二添加文本404可以是“我的家乡[m]在中国”。

步骤303,将上述标注后的目标文本中标注错误的每个字或词语替换为上述第一数目个掩饰字符以生成替换文本,得到替换文本集。

在一些实施例中,上述执行主体可以将上述标注后的目标文本中标注错误的每个字或词语替换为上述第一数目个掩饰字符以生成替换文本,得到替换文本集。

作为示例,如图5所示,可以将上述标注后的目标文本502中标注错误的“家”和“国”分别为掩饰字符“[m]”以生成替换文本,得到替换文本集。其中,上述目标文本501为“我的家乡在中国”。上述标注后的目标文本502可以是“ttftttf”。上述替换文本集包括:第一替换文本503,第二替换文本504。上述第一替换文本503可以是“我的[m]乡在中国”。上述第二替换文本504可以是“我的家乡在中[m]”。

步骤304,对上述标注后的目标文本中标注错误的每个字或词语进行删除以生成删除文本,得到删除文本集。

在一些实施例中,上述执行主体可以对上述标注后的目标文本中标注错误的每个字或词语进行删除以生成删除文本,得到删除文本集。

作为示例,如图6所示,可以将上述标注后的目标文本602中标注错误的“的”和“乡”进行删除以生成删除文本,得到删除文本集。其中,上述目标文本601为“我的家乡在中国”。上述标注后的目标文本602可以是“tftfttt”。上述删除文本集包括:第一删除文本603,第二删除文本604。上述第一删除文本603可以是“我家乡在中国”。上述第二删除文本604可以是“我的家在中国”。

步骤305,将上述添加文本集合和上述替换文本集输入至预先训练的掩码语言模型,得到子混淆文本集。

在一些实施例中,上述执行主体可以将上述添加文本集合和上述替换文本集输入至预先训练的掩码语言模型,得到子混淆文本集。其中,上述掩码语言模型用于预测上述添加文本集合和上述替换文本集中的每个文本中掩饰字对应的字或词语。作为示例,上述掩码语言模型可以是bert模型中的掩码语言模型(maskedlanguagemodel,mlm)。

步骤306,将上述子混淆文本集合和上述删除文本集确定为上述混淆文本集。

在一些实施例中,上述执行主体可以将上述子混淆文本集合和上述删除文本集确定为上述混淆文本集。

步骤307,根据上述混淆文本集,构建与上述目标文本相关联的有向无环图。

步骤308,确定上述有向无环图中每条路径的各个指标信息。

步骤309,基于上述各个指标信息,对上述混淆文本集进行筛选,得到筛选后的文本集作为上述目标文本的校正集。

在一些实施例中,步骤301、307-309的具体实现及其所带来的技术效果,可以参考图2对应的实施例中的步骤201、203-205,在此不再赘述。

本公开的实施例侧面提高了混淆文本集的多样性和全面性,使得到的上述目标文本的校正集更为精准、可靠。导致混淆文本集不够多样和全面的因素往往如下:现有混淆文本集的构建常常有相关技术人员人为构建,人为生成混淆文本集常常不能全面、多样化考虑各种因素。因此,本公开的实施例通过对标注后的目标文本中标注错误的每个字或词语进行删除,增加或替换来快捷的构建更为多样、全面的混淆文本集。除此之外,多样、全面的混淆文本集保障了后续有向无环图的构建。

进一步参考图7,作为对上述各图所示方法的实现,本公开提供了一种文本集生成装置的一些实施例,这些装置实施例与图2所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图7所示,一种文本集生成装置700包括:标注单元701、第一构建单元702、第二构建单元703、确定单元704和筛选单元705。其中,标注单元701被配置成:对预先获取的、待校正的目标文本进行错误预标注,得到标注后的目标文本。第一构建单元702被配置成:构建与上述标注后的目标文本相关的混淆文本集,其中,上述混淆文本集中每个混淆文本为对标注后的目标文本进行错误修改后的文本。第二构建单元703被配置成:根据上述混淆文本集,构建与上述目标文本相关联的有向无环图,其中,上述有向无环图中每条路径表征对上述目标文本进行文字处理后的文本。确定单元704被配置成:确定上述有向无环图中每条路径的各个指标信息,其中,上述各个指标信息中每个指标信息表征上述每条路径对应文本的属性特征信息。筛选单元705被配置成:基于上述各个指标信息,对上述混淆文本集进行筛选,得到筛选后的文本集作为上述目标文本的校正集。

在一些实施例的一些可选的实现方式中,装置700还可以包括:校正单元(图中未示出)。其中,校正单元被配置成:根据上述目标文本的校正集,对上述目标文本进行校正。

在一些实施例的一些可选的实现方式中,装置700中的标注单元701可以进一步被配置成:将上述目标文本输入至预先训练的目标文本预处理模型,得到上述标注后的目标文本,其中,上述目标文本预处理模型用于对上述目标文本中每个字或词语进行错误预估和标注。

在一些实施例的一些可选的实现方式中,装置700中的第一构建单元702可以进一步被配置成:对上述标注后的目标文本中标注错误的每个字或词语的关联位置添加第一数目个掩饰字符以生成添加文本,得到添加文本集;将上述标注后的目标文本中标注错误的每个字或词语替换为上述第一数目个掩饰字符以生成替换文本,得到替换文本集;对上述标注后的目标文本中标注错误的每个字或词语进行删除以生成删除文本,得到删除文本集;将上述添加文本集合和上述替换文本集输入至预先训练的掩码语言模型,得到子混淆文本集,其中,上述掩码语言模型用于预测上述添加文本集合和上述替换文本集中的每个文本中掩饰字对应的字或词语;将上述子混淆文本集合和上述删除文本集确定为上述混淆文本集。

在一些实施例的一些可选的实现方式中,装置700中的确定单元704可以进一步被配置成:确定上述有向无环图中每条路径的困惑度、编辑距离和上述路径对应的概率。

在一些实施例的一些可选的实现方式中,装置700中的筛选单元705可以进一步被配置成:从上述混淆文本集中选择各个指标信息分别满足预定条件的混淆文本,得到上述目标文本的校正集。

可以理解的是,该装置700中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置700及其中包含的单元,在此不再赘述。

下面参考图8,其示出了适于用来实现本公开的一些实施例的电子设备(例如图1中的电子设备)800的结构示意图。图8示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。

如图8所示,电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801,其可以根据存储在只读存储器(rom)802中的程序或者从存储装置808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram803中,还存储有电子设备800操作所需的各种程序和数据。处理装置801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。

通常,以下装置可以连接至i/o接口805:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置807;包括例如磁带、硬盘等的存储装置808;以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图8中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。

特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置809从网络上被下载和安装,或者从存储装置808被安装,或者从rom802被安装。在该计算机程序被处理装置801执行时,执行本公开的一些实施例的方法中限定的上述功能。

需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。

在一些实施方式中,客户端、服务器可以利用诸如http(hypertexttransferprotocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“lan”),广域网(“wan”),网际网(例如,互联网)以及端对端网络(例如,adhoc端对端网络),以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:对预先获取的、待校正的目标文本进行错误预标注,得到标注后的目标文本;构建与上述标注后的目标文本相关的混淆文本集,其中,上述混淆文本集中每个混淆文本为对标注后的目标文本进行错误修改后的文本;根据上述混淆文本集,构建与上述目标文本相关联的有向无环图,其中,上述有向无环图中每条路径表征对上述目标文本进行文字处理后的文本;确定上述有向无环图中每条路径的各个指标信息,其中,上述各个指标信息中每个指标信息表征上述每条路径对应文本的属性特征信息;基于上述各个指标信息,对上述混淆文本集进行筛选,得到筛选后的文本集作为上述目标文本的校正集。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括标注单元、第一构建单元、第二构建单元、确定单元和筛选单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,标注单元还可以被描述为“对预先获取的目标文本进行错误预标注,得到标注后的目标文本的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。

以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1