文本输入法以及相关装置的制作方法

文档序号:29697857发布日期:2022-04-16 13:33阅读:91来源:国知局
文本输入法以及相关装置的制作方法

1.本技术属于人工智能技术领域,具体涉及一种文本输入法以及相关装置。


背景技术:

2.随着电子设备在人们的生活工作中越来越高的普及率,输入法作为人与电子设备的交互入口,发挥着越来越重要的作用,极大地方便了人们的输入过程。但是,人名输入作为日常输入中的一个常见场景,由于与通用输入差异较大,除极少数常用人名外,难以直接获取想要的人名解码候选结果,进而给人名输入造成了极大不便。
3.目前,当前输入法中输入人名主要还是基于通用引擎解码,当相应人名在词典中,则可解码出相应人名;如果不在词典中,则用户只能通过单字过滤,逐字输入人名。主要存在以下几种缺陷:(1)直接使用通用引擎解码,解码出人名结果数量太少,除少数在词典中的高频人名外,几乎都要用户自主选字组合而成,严重影响输入效率;(2)分别构建通用解码引擎与人名解码引擎,需要进行两次解码,效率低下,且需用户进行手动切换,输入体验不够智能;(3)判断人名输入概率依赖通用解码引擎人名解码能力或上下文文本内容;(4)直接使用常用姓、名等资源匹配解码不充分,解码结果严重依赖姓、名等资源丰富度,且依赖音节切分等解码前置步骤效果。因此,有必要提出一种新的方法来解决上述问题。


技术实现要素:

4.本技术主要解决的技术问题是提供一种文本输入法以及相关装置,可以实现通用输入与人名输入的统一建模协同解码。
5.为解决上述技术问题,本技术采用的一个技术方案是:提供一种文本输入法,包括:获取字符串和融合候选词向量库;其中,所述字符串包括按键序列、语言序列及笔画序列;将所述字符串输入解码模型,得到所述字符串的解码词;其中,所述解码模型用于获取所述字符串的语义特征,利用所述字符串的语义特征和所述融合候选词向量库,得到所述字符串的解码词;所述融合候选词向量库中包括多个候选语义特征,所述候选语义特征是候选字的融合语义特征,所述候选字的融合语义特征是候选字的通用语义特征与候选字的人名语义特征的加权融合,所述解码词为所述字符串中各字符的候选字的组合。
6.其中,所述解码模型还用于获取所述字符串为人名字符串的概率值,将所述概率值作为候选字的人名语义特征的权重系数,以加权融合候选字的通用语义特征与候选字的人名语义特征,候选字的通用语义特征的权重系数与候选字的人名语义特征的权重系数的和为1。
7.其中,所述解码模型包括端到端神经网络结构,所述端到端神经网络结构包括预测模块,所述预测模块包括编码器以及与所述编码器连接的分类网络,所述编码器用于对所述字符串进行编码得到所述字符串的语义特征,所述分类网络用于获取所述字符串为人名字符串的概率值。
8.其中,所述端到端神经网络结构还包括解码模块;所述解码模块用于逐字符地从
所述融合候选词向量库中获取匹配当前字符的候选语义特征,匹配当前字符的候选语义特征为多个;融合前一字符的解码信息计算匹配当前字符的各个候选语义特征的概率。
9.其中,所述编码器的网络结构为bilstm或压缩的预训练语言表征训练模型bert;所述分类网络的网络结构为包括全连接层的分类网络;所述解码模块的网络结构为长短期记忆网络lstm或transformer模型。
10.其中,所述文本输入法还包括:获取样本语料,所述样本语料为拼音串,所述拼音串携带文本标签和概率标签,所述文本标签用于标识所述拼音串对应的文本,所述概率标签用于标识所述拼音串对应的文本是通用文本还是人名文本;将所述样本语料输入初始端到端神经网络,计算端到端神经网络的损失,所述损失为概率损失与文本损失的加权融合;基于所述损失,迭代更新端到端神经网络的参数,直至满足训练截止条件。
11.其中,所述文本输入法还包括:构建基础候选词向量库,所述基础候选词向量库包括通用词库和人名词库,所述通用词库中包括多个通用语义特征,所述人名词库中包括多个人名语义特征;所述获取融合候选词向量库包括:从所述基础候选词向量库中获取所述字符串中各字符的候选字的通用语义特征和人名语义特征;加权融合候选字的通用语义特征与候选字的人名语义特征,得到候选字的融合语义特征,构成所述融合候选词向量库。
12.其中,所述构建基础候选词向量库包括:获取通用文本语料和人名文本语料;将所述通用文本语料输入第一语言模型获取所述通用文本语料中各个字的通用语义特征,将所述人名文本语料输入第二语言模型获取所述人名文本语料中各个字的人名语义特征,形成所述基础候选词向量库。
13.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种文本输入装置,包括:获取模块,用于获取字符串和融合候选词向量库;解码词模块,与所述获取模块连接,用于将所述字符串输入解码模型,得到所述字符串的解码词;其中,所述解码模型用于获取所述字符串的语义特征,利用所述字符串的语义特征和所述融合候选词向量库,得到所述字符串的解码词;所述融合候选词向量库中包括多个候选语义特征,所述候选语义特征是候选字的融合语义特征,所述候选字的融合语义特征是候选字的通用语义特征与候选字的人名语义特征的加权融合,所述解码词为所述字符串中各字符的候选字的组合。
14.为解决上述技术问题,本技术采用的又一个技术方案是:提供一种电子设备,包括相互耦接的存储器和处理器,所述存储器中存储有程序指令,所述处理器用于执行所述程序指令以实现上述任一实施例所提及的文本输入法。
15.为解决上述技术问题,本技术采用的又一个技术方案是:提供一种存储装置,存储有能够被处理器运行的程序指令,所述程序指令用于实现上述任一实施例所提及的文本输入法。
16.区别于现有技术的情况,本技术的有益效果是:本技术提供的文本输入法包括:先获取字符串和融合候选词向量库,再将字符串输入解码模型,得到字符串的解码词;其中,解码模型用于获取字符串的语义特征,利用字符串的语义特征和融合候选词向量库,得到字符串的解码词;融合候选词向量库中包括多个候选语义特征,候选语义特征是候选字的融合语义特征,候选字的融合语义特征是候选字的通用语义特征与候选字的人名语义特征的加权融合,解码词为字符串中各字符的候选字的组合。通过这种设计方式,基于神经网络一体化建模,实现通用输入与人名输入的统一建模协同解码,达到一个模型完成通用输入
解码与人名输入解码,更智能的选择展示更多合理结构,并且在保障解码效果的同时,避免给用户引入更多操作成本,从而改善人名解码效果,提升人名输入效率。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
18.图1是本技术文本输入法一实施方式的流程示意图;
19.图2是图1中步骤s1对应的一实施方式的流程示意图;
20.图3是构建基础候选词向量库一实施方式的流程示意图;
21.图4是深度神经网络人名解码模型的结构示意图;
22.图5是本技术文本输入装置一实施方式的框架示意图;
23.图6是本技术电子设备一实施方式的框架示意图;
24.图7是本技术存储装置一实施方式的结构示意图。
具体实施方式
25.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术的一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。
26.当前输入法中输入人名主要还是基于通用引擎解码,当相应人名在词典中,则可解码出相应人名;如果不在词典中,则用户只能通过单字过滤,逐字输入人名。针对人名输入问题,有人提出以下几种方案:通过对比人名候选项与普通词条候选项交集排序关系,推断人名输入概率,从而展示人名候选项;通过将姓与名分开展示,从而解决人名展示中可能的组合爆炸问题;通过一些预设条件(音节数量及通用候选项中包含人名)触发人名模式,增加姓、常用名、常用全名等资源,在单独的人名面板展示匹配到的人名。而针对人名识别,有人提出以下几种方案:使用ngram模型对分词后的文本序列进行人名识别;使用类似于命名实体识别的方式,训练人名标注模型,识别文本中的人名。此外,还有人提出根据已输入上文内容预测下文是否为人名,并根据上文内容以及用户账号社交关系推荐人名。以上这些方案通常存在以下几种缺陷:(1)直接使用通用引擎解码,解码出人名结果数量太少,除少数在词典中的高频人名外,几乎都要用户自主选字组合而成,严重影响输入效率;(2)分别构建通用解码引擎与人名解码引擎,需要进行两次解码,效率低下,且需用户进行手动切换,输入体验不够智能;(3)判断人名输入概率依赖通用解码引擎人名解码能力或上下文文本内容;(4)直接使用常用姓、名等资源匹配解码不充分,解码结果严重依赖姓、名等资源丰富度,且依赖音节切分等解码前置步骤效果。
27.下面开始详细介绍本技术所提供的文本输入法。
28.请参阅图1,图1是本技术文本输入法一实施方式的流程示意图。上述文本输入法具体包括:
29.s1:获取字符串和融合候选词向量库。
30.具体而言,字符串包括按键序列、语言序列及笔画序列。用户的输入内容为字符串,该字符串可以为拼音串等,在此不作限定。另外,该字符串可以包含一个或多个字符,例如,该字符串可以为“wang”一个字符,也可以为字符串“wangjunkai”,包括“wang”、“jun”、“kai”等多个字符,在此不作限定。在本实施例中,融合候选词向量库中包括多个候选语义特征,候选语义特征是候选字的融合语义特征,候选字的融合语义特征是候选字的通用语义特征与候选字的人名语义特征的加权融合。
31.请参阅图2,图2是图1中步骤s1对应的一实施方式的流程示意图。步骤s1中获取融合候选词向量库包括:
32.s10:从基础候选词向量库中获取字符串中各字符的候选字的通用语义特征和人名语义特征。
33.具体而言,若字符串为“wangjun kai”,则从基础候选词向量库中分别获取各个字符“wang”、“jun”、“kai”的候选字的通用语义特征vg和人名语义特征vr。例如,“wang”的候选字可能为“王”、“汪”、“旺”等,“jun”的候选字可能为“俊”、“军”、“君”等,“kai”的候选字可能为“凯”、“恺”、“楷”等,从基础候选词向量库中分别获取这些候选字的通用语义特征vg和人名语义特征vr。
34.当前通用引擎解码人名效果较差的关键在于人名与通用文本特点存在较大差异,存在语义空间不一致的问题。例如,在通用文本中“婷,丹”等出现的概率比“听,但”等出现的概率低,但是在人名中出现的概率则明显更高;“亡,忘”等常用字在人名中则很少出现,“梓,鑫”等非常用字则在人名中频繁使用;“文”在通用文本中通常与“学,案,件”等一起使用,而在人名中则与“杰,涛,彬”等共同出现的情况较多。所以针对通用文本与人名,为各字符分别训练不同的语义表示,根据情况选择不同的表示能够实现更智能的解码。在本实施例中,可以首先基于语言模型任务,分别使用通用文本语料和人名文本语料对模型进行训练,获取通用词向量表示与人名词向量表示。对此,可以使用简单的word2vec、lstm模型或更复杂的bert模型进行字级语言模型进行训练,或者基于现有的预训练语言模型获取通用词向量表示,再使用人名文本物料进行微调以获取人名词向量表示,本技术在此不作具体限定。
35.较佳地,在本实施例中,在步骤s1之前,所述方法还包括:构建基础候选词向量库。具体而言,基础候选词向量库包括通用词库和人名词库,通用词库中包括多个通用语义特征vg,人名词库中包括多个人名语义特征vr。
36.请参与图3,图3是构建基础候选词向量库一实施方式的流程示意图。具体地,构建基础候选词向量库的步骤包括:
37.s20:获取通用文本语料和人名文本语料。
38.s21:将通用文本语料输入第一语言模型获取通用文本语料中各个字的通用语义特征,将人名文本语料输入第二语言模型获取人名文本语料中各个字的人名语义特征,形成基础候选词向量库。
39.具体而言,第一语言模型和第二语言模型为类似于语义识别的网络结构,具体结构在此不作限定。将通用文本语料输入第一语言模型获取通用文本语料中各个字的通用语义特征vg,以形成通用词库;将人名文本语料输入第二语言模型获取人名文本语料中各个
字的人名语义特征vr,以形成人名词库。最后将通用词库和人名词库合并起来形成基础候选词向量库。例如,对于“王”这个字,在通用词库中会存在“王”的语义向量,即通用语义特征vg,在人名词库中也会存在“王”的语义向量,即人名语义特征vr。
40.s11:加权融合候选字的通用语义特征与候选字的人名语义特征,得到候选字的融合语义特征,构成融合候选词向量库。
41.具体地,在本实施例中,针对每个候选字,将上述步骤s10中获取的该候选字的通用语义特征vg和人名语义特征vr进行加权融合,计算获得该候选字的融合语义特征v,最后把所有候选字的融合语义特征v构成融合候选词向量库。
42.举例而言,输入的字符串会有对应的汉字,例如,“wangjunkai”有三个字符:“wang”、“jun”、“kai”,他们会分别对应多个候选字,如“wang”可以是“王”、“汪”、“旺”等;即要去基础候选词向量库里找到拼音是“wang”的所有字,因为基础候选词向量库包括通用词库和人名词库,分别从这两个库中找出两个“王”的语义向量,然后把它俩融合,使“王”对应一个融合语义特征v。在融合候选词向量库里,只包括拼音是“wang”“jun”“kai”对应的候选字的融合语义特征v,且每个候选字都对应一个融合后的融合语义特征v,所以这个融合候选词向量库即可作为解码字符串“wangjunkai”的向量库,且该向量库的融合不是神经网络做的,而是独立的数据库,神经网络可以调用并获取里面的数据。可选地,在本实施例中,用于执行步骤s11的融合模块可以是一个单独的模块,与执行步骤s10的模块相互连接即可。
43.s2:将字符串输入解码模型,得到字符串的解码词。
44.具体地,在本实施例中,上述解码模型用于获取字符串的语义特征h,利用该字符串的语义特征h和融合候选词向量库,得到该字符串的解码词。此外,在本实施例中,解码词为字符串中各字符的候选字的组合。
45.此外,在本实施例中,解码模型还用于获取字符串为人名字符串的概率值p,将该概率值p作为候选字的人名语义特征vr的权重系数,以加权融合候选字的通用语义特征vg与候选字的人名语义特征vr,在本实施例中,候选字的通用语义特征vg的权重系数与候选字的人名语义特征vr的权重系数的和为1,因此,字符串为通用字符串的概率值即为1-p。
46.在本实施例中,请参阅图4,图4是深度神经网络人名解码模型的结构示意图。解码模型包括端到端神经网络结构(图未示),端到端神经网络结构包括预测模块10,预测模块10包括编码器100以及与编码器100连接的分类网络102,编码器100用于对字符串进行编码得到字符串的语义特征h,分类网络102用于对获取该字符串为人名字符串的概率值p。总的来说,在利用解码模型解码时,输入字符串,利用编码器100编码出该字符串整体的语义特征h,接着会计算该字符串属于人名字符串的概率值p,概率值p是用分类网络102计算出来的,该分类网络102是一个概率分布网络结构,用于输出该字符串属于人名字符串的概率值p。
47.此外,在本实施例中,端到端神经网络结构还包括解码模块12,解码模块12可以通过解码器来执行流程。具体地,解码模块12用于逐字符地从融合候选词向量库中获取匹配当前字符的候选语义特征,其中,匹配当前字符的候选语义特征为多个。另外,融合前一字符的解码信息计算匹配当前字符的各个候选语义特征的概率。具体而言,在对当前字符串进行解码时,将编码器100输出的当前字符串对应的候选语义特征h输入解码模块12,解码模块12同时从融合候选词向量库里获取当前字符串对应的候选语义特征h,且获取到的候
选语义特征h为多个。对于一个字符串,构建一次融合候选词向量库,然后后面分字符解码时直接调用这个融合候选词向量库就可以了;等新的字符串进来时,再构建一次对应新字符串的融合候选词向量库。在进行解码的时候是对当前字符串中的多个字符逐个进行解码的,在解码每个字符时,会参考前一字符的信息。如图4所示,在解码第一个字符“wang”的时候,因为前面没有字符,所以输入了一个空的值《s》。请继续参阅图4,从最左侧分支开始,在解码第一个字符“wang”时,通过编码器100获取该字符串的语义特征h,获取“wang”的向量数据v0,其中,上述向量数据v0可以是多个,获取前一字符的数据,前一字符的数据为《s》(即空的值),结合语义特征h、向量数据v0、《s》来计算匹配当前字符的各个候选语义特征的概率u,进一步计算当前字符属于人名字符的概率值p,并输出各个候选字及其概率值,具体地,可以按概率值的大小进行排序,然后再解码第二个字符,第三个字符,直至最后一个字符,如图4所示,直到最右侧分支即算是一个结束。在实际应用过程中,解码器实质就一个分支,结构包括图中从下往上的所有结构;图4中从左侧到右侧的分支,仅是标识分步的逐字符解码,为了更清晰的解释表达各字符之间有关联,要参考前一字符信息,因此在图4中画了四个步,分别代表这个分支的四个时刻,而不是包括独立的四个分支,分别来解不同的字符。
48.解码模型的结构如图4所示,其执行的步骤总体为:对输入内容进行人名语义特征vr的提取并预测其人名概率;根据预测的人名概率按比例选择通用语义特征vg与候选字的人名语义特征vr进行融合;最终结合语义特征h与融合语义特征v进行解码。
49.具体地,如图4所示,用户输入内容实例为拼音串“wangjunkai”,先将该拼音串转换为对应的特征向量e,经过编码器100之后获得该拼音串的语义特征h,即:
50.h=encoder(e)(1)
51.其中,编码器100的具体结构在这里不作具体限定,可以使用bilstm或压缩的预训练语言表征训练模型bert等,其中,bilstm是由前向的长短期记忆网络lstm与后向的长短期记忆网络lstm结合而成。当然,在其他实施例中,编码器100的网络结构也可以为其他网络模型,本技术在此不作限定。在编码器100之后连接一层分类网络102进行分类,以获得在人名空间解码的概率值p,即人名语义特征vr的概率值为p,其中,分类网络102的网络结构为包括全连接层的分类网络等。由于预测通用词语义特征vg的权重系数与人名语义特征vr的权重系数的和为1,那么对应的在通用空间解码的概率值则为1-p,即通用语义特征vg的概率值为1-p,具体地,人名语义特征vr的概率值p的计算公式如下:
52.p=σ(w*h+b)(2)
53.其中,为sigmod激活函数,为可学习权重,为可学习偏置。
54.根据上述人名语义特征vr的概率值p分别从通用语义特征vg与人名语义特征vr中选取字符语义表示向量,从而得到融合语义特征v。具体计算方法如公式(3)所示:
55.v=(1-p)*vg+p*vr(3)
56.其中,v表示融合语义特征,p表示人名语义特征vr的概率值,表示通用语义特征,表示人名语义特征。在极端情况下,当p为1时,即根据输入的拼音串可以直接确定为用户希望输入人名,则,直接使用人名语义特征,在人名语义空间解码;反之,当p为0,则完全在通用语义空间解码。这样可以实现通用输入与人名输入的协同解码统一建模,达到一个模型完成通用输入解码与人名输入解码,避免了一个通用解码引擎解码人名效果不佳的问题,
而且通过分别学习字符在通用文本与人名文本中的语义分布,使得在通用文本与人名文本一体化解码的同时,能够精确建模通用文本与人名文本各自的特点。
57.接着利用上面步骤中获得的语义特征h以及融合语义特征v,通过解码模块12逐步解码出最终文本,即上述字符串的解码词。具体的解码步骤为:首先根据当前步信息有侧重的结合不同输入信息生成当前步信息表示,具体的计算方法如公式(4)所示:
58.ui=decoder(attention(h,vi),vi)(4)
59.其中,表示第i个输入的字符串对应的融合语义特征;表示根据不同解码模块的网络结构确定的计算公式,此处不作具体限定,此外,解码模块12的网络结构可以为长短期记忆网络lstm或transformer模型,当然,在其他实施例中,解码模块12的网络结构也可以为其他网络模型,本技术在此不作限定。在本实施例中,表示attention机制,可以根据不同解码步侧重注意使用不同的输入信息,如解码“俊”时,模型可根据attention机制计算,将更多的注意力放在输入“jun”上,则对应的,得到的可以为“俊”、“君”、“军”等。
60.最后,通过softmax函数由当前步信息表示计算当前步各字符概率,从而生成最终解码预测结果中各字符概率,具体计算如公式(5)所示:
[0061][0062]
其中,表示位置i处的字符预测结果,x表示输入的字符串内容。这样可以根据用户的输入内容直接预测出人名输入概率,避免了对其他信息的依赖,不受输入场景及其他解码结果限制;同时根据人名输入概率融合通用词向量与人名词向量,从而得到融合的字符语义表示向量,实现两者解码状态的自动选择与融合,避免了两个引擎解码效率低下与手动切换的问题。
[0063]
利用训练语料输入网络对目标函数进行优化调整模型参数。通过目标函数比较预测结果与真实标签差距,由优化算法迭代更新网络模型参数,如随机梯度下降算法,此处不做具体限定。因此,在本实施例中,所述方法还包括:a、获取样本语料。具体而言,样本语料为拼音串,拼音串携带文本标签和概率标签。在本实施例中,文本标签用于标识拼音串对应的文本,概率标签用于标识拼音串对应的文本是通用文本还是人名文本。具体而言,分别取通用文本语料与人名文本语料并对它们进行注音,获取拼音串并将拼音串作为输入,对应通用文本或人名文本为解码输出概率标签。在本实施例中,人名语料的概率标签可以用“1”标记,通用语料的概率标签可以用“0”标记。当然,在其他实施例中,标记的方式可以为其他,在此不作限定。b、将样本语料输入初始端到端神经网络,计算端到端神经网络的损失。具体地,在本实施例中,损失为概率损失与文本损失的加权融合。c、基于损失,迭代更新端到端神经网络的参数,直至满足训练截止条件。具体地,在本实施例中,训练包括两个优化目标,分别是对应中间人名输入概率预测的与最终解码文本解码对应的,最终联合优化目标为:
[0064]
l=αlr+(1-α)ld(6)
[0065]
其中,表示中间人名输入概率预测任务占比。迭代训练至指定条件,结束优化得到最终的通用输入与人名输入协同解码模型,用于后续的解码任务,即使用样本语料根据目标函数迭代训练优化,生成最终的解码模型。可选地,上述训练模型的步骤可以在步骤s1之前或步骤s2之前执行,本技术在此不作限定。这种整体基于神经网络训练的方式,相对于词库统计方案,建模更加充分,能够解码更多合理的候选字符;同时通用文本与人名的不同特
点。
[0066]
在获得训练后之后的解码模型之后,使用训练好的解码模型进行解码,根据输入串内容自动选择更多在人名空间解码或是在通用空间解码,得到人名或通用文本展示排序,从而实现人名输入与通用输入的一体解码协同排序。实现的步骤顺序为:a、首先经过其中的编码器提取输入信息,并判断人名输入概率;从而按比例分别选择通用词向量与人名词向量融合,得到字符融合语义向量表示,确定后续解码对通用语义空间与人名语义空间的倾向性;最后结合从输入内容中提取的拼音语义特征与字符语义向量表示,逐步解码生成候选及对应概率得分。在解码过程中,通过束搜索保留尽可能多的候选结果及相应得分,同时为了提升解码效率,每一步剪掉明显不可能的路径。b、通过设置得分过滤阈值,对解码结果中得分较差的候选结果进行过滤,仅展示质量较高的解码候选结果,同时根据通用文本与人名的不同特点,人名具有更多组合可能,对解码得分约束更低,可以根据人名预测概率调整阈值,使得在解码人名时,可以展示更多可能结果。当然,在其他实施例中,也可以不设置此步骤,本技术在此不作限定。
[0067]
通过这种设计方式,实现一个引擎同时完成通用输入与人名输入的解码,保障解码效果的同时,避免给用户引入更多操作成本,而且通过分别学习字符在通用文本与人名中的语义分布,使得一个引擎能达到两个引擎分别解码的效果,根据用户输入内容直接计算输入人名概率,避免对其他信息的依赖,并根据概率融合特征,实现两者解码状态的自动选择,基于神经网络一体化建模,实现通用输入与人名输入的统一建模协同解码,达到一个模型完成通用输入解码与人名输入解码,更智能的选择展示更多合理结构,从而改善人名解码效果,提升人名输入效率。
[0068]
请参阅图5,图5是本技术文本输入装置一实施方式的框架示意图。
[0069]
具体地,该文本输入装置包括:
[0070]
获取模块20,用于获取字符串和融合候选词向量库;其中,所述字符串包括按键序列、语言序列及笔画序列。
[0071]
解码词模块22,与获取模块20连接,用于将字符串输入解码模型,得到字符串的解码词。其中,解码模型用于获取字符串的语义特征,利用字符串的语义特征和融合候选词向量库,得到字符串的解码词;融合候选词向量库中包括多个候选语义特征,候选语义特征是候选字的融合语义特征,候选字的融合语义特征是候选字的通用语义特征与候选字的人名语义特征的加权融合,解码词为字符串中各字符的候选字的组合。
[0072]
在一个应用场景中,解码模型还用于获取字符串为人名字符串的概率值,将概率值作为候选字的人名语义特征的权重系数,以加权融合候选字的通用语义特征与候选字的人名语义特征,候选字的通用语义特征的权重系数与候选字的人名语义特征的权重系数的和为1。
[0073]
具体地,在本实施例中,解码模型包括端到端神经网络结构,所述端到端神经网络结构包括预测模块,预测模块包括编码器以及与编码器连接的分类网络,编码器用于对字符串进行编码得到字符串的语义特征,分类网络用于获取字符串为人名字符串的概率值。
[0074]
进一步,端到端神经网络结构还包括解码模块;逐字符地从融合候选词向量库中获取匹配当前字符的候选语义特征,匹配当前字符的候选语义特征为多个;融合前一字符的解码信息计算匹配当前字符的各个候选语义特征的概率。
[0075]
可选地,编码器的网络结构为bilstm或压缩的预训练语言表征模型bert;分类网络的网络结构为包括全连接层的分类网络;解码模块的网络结构为长短期记忆网络lstm或transformer模型。
[0076]
具体地,在本实施例中,该文本输入装置还包括训练模块,其两端分别与获取模块20和解码词模块22连接,具体而言,训练模块包括依次相互连接的第一子获取模块、损失模块和迭代模块,第一子获取模块用于获取样本语料,样本语料为拼音串,拼音串携带文本标签和概率标签,文本标签用于标识拼音串对应的文本,概率标签用于标识拼音串对应的文本是通用文本还是人名文本,损失模块用于将样本语料输入初始端到端神经网络,计算端到端神经网络的损失,损失为概率损失与文本损失的加权融合,迭代模块用于基于损失,迭代更新端到端神经网络的参数,直至满足训练截止条件。
[0077]
具体地,在本实施例中,该文本输入装置还包括构建模块,与获取模块20或解码词模块22连接,用于构建基础候选词向量库,基础候选词向量库包括通用词库和人名词库,通用词库中包括多个通用语义特征,人名词库中包括多个人名语义特征。此外,在本实施例中,解码词模块22还包括第二子获取模块,第二子获取模块包括相互连接的第一获得模块和加权融合模块,第一获得模块用于从基础候选词向量库中获取字符串中各字符的候选字的通用语义特征和人名语义特征,加权融合模块用于加权融合候选字的通用语义特征与候选字的人名语义特征,得到候选字的融合语义特征,构成融合候选词向量库。
[0078]
具体地,在本实施例中,上述构建模块包括相互连接的第二获得模块和形成模块,第二获得模块用于获取通用文本语料和人名文本语料,形成模块用于将通用文本语料输入第一语言模型获取通用文本语料中各个字的通用语义特征,将人名文本语料输入第二语言模型获取人名文本语料中各个字的人名语义特征,形成基础候选词向量库。
[0079]
请参阅图6,图6是本技术电子设备一实施方式的框架示意图。该电子设备包括相互耦接的存储器200和处理器202。具体地,在本实施例中,存储器200内存储有程序指令,处理器202用于执行程序指令以实现上述任一实施例所提及的文本输入法。具体地,电子设备包括但不限于:台式计算机、笔记本电脑、平板电脑、服务器等,在此不做限定。此外,处理器202还可以称为cpu(central processing unit,中央处理单元)。处理器202可能是一种集成电路芯片,具有信号的处理能力。处理器202还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器202可以由多个集成电路芯片共同实现。
[0080]
请参阅图7,图7是本技术存储装置一实施方式的结构示意图,该存储装置30存储有能够被处理器运行的程序指令300,程序指令300用于实现上述任一实施例所提及的文本输入法。
[0081]
在本技术所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨
论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
[0082]
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0083]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0084]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0085]
总而言之,区别于现有技术的情况,本技术提供的文本输入法包括:先获取字符串和融合候选词向量库,再将字符串输入解码模型,得到字符串的解码词;其中,解码模型用于获取字符串的语义特征,利用字符串的语义特征和融合候选词向量库,得到字符串的解码词;融合候选词向量库中包括多个候选语义特征,候选语义特征是候选字的融合语义特征,候选字的融合语义特征是候选字的通用语义特征与候选字的人名语义特征的加权融合,解码词为字符串中各字符的候选字的组合。通过这种设计方式,基于神经网络一体化建模,实现通用输入与人名输入的统一建模协同解码,达到一个模型完成通用输入解码与人名输入解码,更智能的选择展示更多合理结构,并且在保障解码效果的同时,避免给用户引入更多操作成本,从而改善人名解码效果,提升人名输入效率。
[0086]
以上所述仅为本技术的实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本技术的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1