一种基于自注意力机制的自动化拼音转汉字方法

文档序号:30657820发布日期:2022-07-06 01:13阅读:来源:国知局

技术特征:
1.一种基于自注意力机制的自动化拼音转汉字方法,其特征在于,包括如下步骤:s110,预处理输入,输入为一段拼音序列;s120,利用嵌入层获得输入拼音序列的嵌入表示矩阵;s130,在嵌入表示添加位置编码,获得拼音序列的输入表示矩阵;s140,利用拼音序列的输入表示矩阵和自注意力机制获得拼音序列的自注意力输出矩阵;s150,利用全连接层将自注意力输出矩阵变换为输出矩阵;s160,解析输出矩阵,获得汉字序列结果。2.如权利要求1所述的基于自注意力机制的自动化拼音转汉字方法,其特征在于,步骤s110包括:将拼音序列按照声母和韵母拆分成词元;使用事先给定拼音字典,将词元(声母或韵母)映射到数字索引,并以此将拼音序列转换为数字索引序列x=(x1,x2,

,x
n
)。3.如权利要求1所述的基于自注意力机制的自动化拼音转汉字方法,其特征在于,步骤s120包括:嵌入层的权重是一个矩阵,行数是词汇表大小,列数是特征向量的维度;对于任意词元x
i
,嵌入层权重的第i行即为对应的词向量;以此获得输入序列x的嵌入表示矩阵e∈r
n
×
d
,n代表词元数,d代表词向量维度。4.如权利要求1所述的基于自注意力机制的自动化拼音转汉字方法,其特征在于,步骤s130包括:嵌入表示e的第i行、第2h列和2h+1列元素的位置编码为:嵌入表示e的第i行、第2h列和2h+1列元素的位置编码为:计算位置编码矩阵p∈r
n
×
d
;将嵌入表示矩阵e与位置编码矩阵p相加,获得序列的输入表示矩阵q。5.如权利要求1所述的基于自注意力机制的自动化拼音转汉字方法,其特征在于,步骤s140包括:对于输入表示矩阵q∈r
n
×
d
的每一列q∈r
d
,均可计算得一个自注意力输出m
i
=f(q
i
,(q1,q1),

,(q
n
,q
n
))∈r
d
,其中,其中以此可得拼音序列的自注意力输出矩阵m∈r
n
×
d
。6.如权利要求1所述的基于自注意力机制的自动化拼音转汉字方法,其特征在于,步骤s150包括:使用全连接层将将自注意力输出矩阵m∈r
n
×
d
变换为输出矩阵y∈r
n
×
v
,n代表词元数,v代表事先给定的汉字字典长度;7.如权利要求1所述的基于自注意力机制的自动化拼音转汉字方法,其特征在于,步骤s160包括:利用argmax函数处理输出矩阵y,得汉字数字序列y

=(y1,y2,

,y_n);
使用事先给定汉字字典,将数字索引映射到词元(汉字),并以此将汉字数字序列y

=(y1,y2,

,y_n)转换为汉字序列,即最终结果。

技术总结
一种基于自注意力机制的自动化拼音转汉字方法,包括:预处理拼音序列;利用嵌入层获得输入拼音序列的嵌入表示矩阵;在嵌入表示添加位置编码,获得拼音序列的输入表示矩阵;利用拼音序列的输入表示矩阵和自注意力机制获得拼音序列的自注意力输出矩阵;利用全连接层将自注意力输出矩阵变换为输出矩阵;解析输出矩阵,获得汉字序列结果。该发明可在无人工干预的前提下,自动化的将拼音序列转成汉字序列。自动化的将拼音序列转成汉字序列。自动化的将拼音序列转成汉字序列。


技术研发人员:卜佳俊 邵子睿 于智 李承曦 李亮城 林帅浩 谷雨 陈锶皓 戚忠达
受保护的技术使用者:浙江大学
技术研发日:2022.03.18
技术公布日:2022/7/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1