使用基于图的时间分类训练神经网络的制作方法

文档序号:35030707发布日期:2023-08-05 18:22阅读:来源:国知局

技术特征:

1.一种计算机实现的方法,该方法用于使用来自由代表标签和标签之间的转移的边连接的节点的有向图的监督信息,用基于图的时间分类(gtc)目标函数训练神经网络,其中,所述有向图代表由神经网络输出的概率分布序列和标签的可能的对齐路径,其中,所述有向图的结构指定了标签序列和所述概率分布序列之间的非单调对齐以及所述标签序列中对标签重复的约束中的一种或组合,其中所述神经网络的输入是观察序列,并且所述神经网络的输出是在标签的集合中的所有标签上的所述概率分布序列,该方法包括以下步骤:

2.根据权利要求1所述的方法,其中,所述有向图代表所述概率分布序列和所述标签序列的多个可能的对齐路径,使得可能通过所述有向图的结构允许多个唯一标签序列,其是在坍缩标签重复并且从所述多个唯一标签序列去除空白标签之后获得的,从而得到所述标签序列与所述概率分布序列之间的所述非单调对齐。

3.根据权利要求2所述的方法,其中,通过允许从一个标签到多个其它非空白标签的转移、通过允许从一个标签到多个其它空白标签的转移、或两者,将所述非单调对齐编码在所述有向图的结构中。

4.根据权利要求1所述的方法,其中,所述有向图的结构通过使到代表标签的节点的自转移被代表相同标签的已连接节点序列代替,来指定对标签重复的约束。

5.根据权利要求1所述的方法,其中,所述有向图的展开包括根据所述有向图的结构生成不同的标签序列和对齐路径,使得每个所生成的标签序列的长度与所述概率分布序列的长度相匹配。

6.根据权利要求1所述的方法,

7.根据权利要求6所述的方法,其中,所述gtc目标函数通过定义了所述有向图中的所有有效标签对齐路径和所有有效时间对齐路径的展开的有向图,对所有可能的节点和边的序列进行边缘化,以参照这种监督信息来优化所述神经网络输出。

8.根据权利要求1所述的方法,其中,所述有向图是具有与不同权重相关联的至少一些边的加权图,并且其中,所述训练使用所述有向图中相应边的权重和由所述神经网络估计出的所述概率分布,来计算所述节点序列的条件概率。

9.根据权利要求8所述的方法,

10.根据权利要求9所述的方法,其中,对于梯度下降训练,所述gtc目标函数是关于所述神经网络的输出的微分。

11.根据权利要求1所述的方法,该方法还包括以下步骤:

12.根据权利要求11所述的方法,其中,为了构建所述混淆网络,该方法还包括以下步骤:使用动态规划方法将所述多个标签序列彼此对齐,并且其中,所述动态规划方法使所述多个标签序列之间的编辑距离最小化。

13.根据权利要求11所述的方法,其中,为了从所述优化后的混淆网络生成所述有向图,该方法还包括以下步骤:

14.根据权利要求1所述的方法,该方法还包括以下步骤:

15.根据权利要求1所述的方法,该方法还包括以下步骤:

16.一种用于使用来自由代表标签和标签之间的转移的边连接的节点的有向图的监督信息,用基于图的时间分类(gtc)目标函数训练神经网络的系统,其中,所述有向图代表由神经网络输出的概率分布序列和标签的可能的对齐路径,其中,所述有向图的结构指定了标签序列和所述概率分布序列之间的非单调对齐以及所述标签序列中对标签重复的约束中的一种或组合,其中所述神经网络的输入是观察序列,并且所述神经网络的输出是在标签的集合中的所有标签上的所述概率分布序列,该系统包括至少一个处理器;以及其上存储有指令的存储器,当由所述至少一个处理器执行所述指令时使所述系统:

17.根据权利要求16所述的系统,其中,所述有向图代表所述概率分布序列和所述标签序列的多个可能的对齐路径,使得可能通过所述有向图的结构允许多个唯一标签序列,其是在坍缩标签重复并且从所述多个唯一标签序列去除空白标签之后获得的,从而得到所述标签序列与所述概率分布序列之间的所述非单调对齐。

18.根据权利要求16所述的系统,其中,所述有向图的结构通过使到代表标签的节点的自转移被代表相同标签的已连接节点序列代替,来指定对标签重复的约束。

19.一种非暂时性计算机可读存储介质,其上具体实现了用于执行以下方法的由处理器能执行的程序,该方法用于使用来自由代表标签和标签之间的转移的边连接的节点的有向图的监督信息,用基于图的时间分类(gtc)目标函数训练神经网络,其中,所述有向图代表由神经网络输出的概率分布序列和标签的可能的对齐路径,其中,所述有向图的结构指定了标签序列和所述概率分布序列之间的非单调对齐以及所述标签序列中对标签重复的约束中的一种或组合,其中,所述神经网络的输入是观察序列,并且所述神经网络的输出是在标签的集合中的所有标签上的所述概率分布序列,所述方法包括以下操作:


技术总结
提供了一种用于使用由代表标签和标签之间的转移的边连接的节点的有向图,用基于图的时间分类(GTC)目标函数来训练神经网络的方法。有向图指定了标签序列和概率分布序列之间的非单调对齐以及对标签重复的约束中的一种或组合。该方法包括:实施神经网络,以将观察序列变换为概率分布序列;以及基于GTC目标函数更新神经网络的参数,GTC目标函数被配置为使通过将有向图展开到观察序列的长度并将每个展开的节点和边的序列映射到可能的标签序列而生成的所有可能的标签序列的条件概率之和最大化。

技术研发人员:N·莫里茨,堀贵明,J·勒鲁克斯
受保护的技术使用者:三菱电机株式会社
技术研发日:
技术公布日:2024/1/14
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1