一种基于多特征点的连续手语识别方法

1.本发明涉及连续手语识别技术，属于计算机视觉、自然语言处理领域，具体涉及一种基 于多特征点的连续手语识别方法。


背景技术：

2.手语是一种重要的人类肢体语言表达方式，是聋哑人和外界之间沟通的主要方式。手语 识别涉及视频采集和处理、计算机视觉、人机交互、模式识别、自然语言处理等多个研究领 域，是一项具有高难度的挑战性课题。手语识别技术可用于手语翻译、日常交流，促进手语 教学、培训和推广。
3.由于手语语义丰富、动作幅度相比其他人体行为具有局部性和细节性，同时又受到光照、 背景和运动速度等因素的影响，使用传统模式识别或机器学习方法所能达到的精度与鲁棒性 已达到瓶颈期，往往局限于静态手势识别或粗粒度的动态手势识别。因此，随着深度学习方 法的发展，手语识别迎来了新的机遇。
4.连续手语识别是手语识别中重要的任务，虽然孤立词手语识别表现出良好的识别性能， 但连续手语识别是在聋哑人和听力正常人之间建立实时通信系统所需要的。相比于基于孤立 词的手语识别，连续手语识别更加复杂，主要的原因如下：
5.(1)连续手语识别额外挑战包括将句子标记成单独的单词，检测句子的开头和结尾，以 及管理句子中词的缩写和同义词的情况。
6.(2)孤立词的手语识别类似于动作识别领域，而连续手语识别不仅涉及到识别任务，还 涉及到输入视频片段与相应句子级别标签的精确对齐。
7.(3)除此之外，由于手语得益于手形、动作、位置、姿势甚至面部表情等多渠道信息，处 理起来相对复杂。所以头部运动、眨眼、眉毛运动和嘴巴形状等非手动特征还没有应用到汉 语手语识别中。
8.因此，在连续手语识别中加入非手动特征的相关信息，对于手语识别来说具有重要的意 义与发展前景。


技术实现要素：

9.为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于多 特征点的连续手语识别方法，融合手语中所需的手动特征与非手动特征，显著提高了手语特 征表示能力；并利用对齐算法构建特征点与句子之间的映射关系，增强了翻译句子的准确性 与连续性，有利于日常手语的翻译与学习。
10.为达到上述发明创造目的，本发明采用如下技术方案：
11.一种基于多特征点的连续手语识别方法，包括以下操作步骤：
12.(1)将连续手语视频分割为单帧图像，并按照时间顺序进行排列；
13.(2)将每个手语视频对应的句子标签，按照实际中手语的表达方式进行分词处理；
14.(3)对于步骤(1)得到的图像序列，采用人体姿态估计方法提取图像中人物身体、
左 右手、脸部的特征点；按照人体的身体结构将特征点进行自然连接，构成特征点的一阶特征；
15.(4)将相邻关节的坐标分别相减提取骨骼的长度与方向，构成身体、左右手和脸部特征 点的特征点的二阶特征；同时提取手部中心到身体重心的二阶特征，从中获得手部相对于身 体的方向；最后将所述二阶特征和在所述步骤(3)中得到的一阶特征进行特征融合，得到融 合特征；
16.(5)将在所述步骤(4)中得到的融合特征，输入到自适应图卷积网络中，经过多个自 适应图卷积层与时间卷积层处理后，捕捉其中的空间与时间信息，得到每个视频帧对应的多 特征点向量；
17.(6)利用编码网络，对在所述步骤(5)中得到的多特征点向量进行编码，基于自注意 力机制的解码网络，将在所述步骤(2)中得到的单词编码为词向量，并通过分类层，将每个 视频帧的多特征点向量与词向量进行对应，输出每个词向量的分类概率；
18.(7)利用在步骤(6)中得到的词向量的分类概率、输出的句子长度作为输入，经过集 束搜索算法输出每一时刻预测的词向量，并映射为完整的句子，实现连续手语识别；
19.(8)同时，利用在步骤(6)得到的词向量的分类概率、经过单词编码后的句子标签、 输入的视频帧长度、输出的句子长度作为输入，经过连接时序分类算法进行损失函数的计算， 不断迭代优化网络进行模型的训练，从而提高连续手语识别的准确性。
20.优选地，所述步骤(1)根据所设定的帧率，将连续手语视频分割为单帧图像并按照时间 顺序进行排列。
21.优选地，所述步骤(2)利用分词工具将手语视频对应的句子标签进行分词处理，并与真 实手语词汇进行对照，修正其中分割不正确的部分。
22.优选地，所述步骤(3)包括以下步骤：
23.(31)构造人体姿态估计网络，其中包含两个分支，第一分支是置信度图s，第二分支 是亲和度向量l；
24.(32)首先由vgg网络产生一组特征f，作为每个分支第一阶段的输入；
25.在第一阶段，网络利用卷积层ρ产生一组检测置信度图s1＝ρ1(f)，并利用卷积层φ产生 一组亲和度向量l1＝φ1(f)，之后的每一个阶段的输入都来自于前一个阶段的预测结果和原始 图像特征f，以产生更加精确的预测结果；
26.(33)利用所述步骤(31)和步骤(32)的方式提取图像中人物身体的25个关节点，左 手的21个关节点，右手的21个关节点以及脸部的68个关键点，并按照人体结构将特征点进 行自然连接，构建特征点的一阶特征。
27.进一步优选地，在所述步骤(31)中，包含两个分支的人体姿态估计网络，第一分支是 置信度图s＝(s1,s2,...,s
j
)，其中j表示需要检测的关节数目；第二分支是亲和度向量 l＝(l1,l2,...,l
c
)，其中c表示需要检测的关节对数目。
28.进一步优选地，在所述步骤(32)中，产生更加精确的预测结果，第t阶段的结果表示 为：
[0029][0030][0031]
其中s
t
表示t时刻的置信度图；l
t
表示t时刻的亲和度向量；ρ
t
和φ
t
表示t时刻的卷
的词向量，t表示当前时刻，m表示其他时刻到当前时刻的距离；
[0050]
(62)编解码网络的中间层主要包括重置门与更新门，分别有利于捕捉时间序列中的短 期和长期依赖关系，网络向前传播的公式如下：
[0051]
r
t
＝σ(w
r
·
[h
t
‑1,x
t
])
[0052]
z
t
＝σ(w
z
·
[h
t
‑1,x
t
])
[0053][0054][0055]
y
t
＝σ(w0·
h
t
)
[0056]
式中t表示当前时刻；x
t
表示当前时刻的输入；h
t
‑1表示上一时刻的输出；z表示更新门； r表示重置门；表示更新门的激活值；w
r
表示重置门对应的权重矩阵；w
z
表示更新门对 应的权重矩阵；表示更新门激活后对应的权重矩阵；w
o
表示输出门对应的权重矩阵；[] 表示矩阵的连接；*表示矩阵元素相乘；σ表示sigmoid激活函数；tanh表示双曲正切函数； 则z
t
表示当前更新门的输出；r
t
表示当前重置门的输出；表示当前更新门的激活值输出；h
t
表示当前重置门的激活值输出；y
t
表示向前传播的最终输出；
[0057]
(63)本文同时训练两个编解码网络，一个采用正向学习，一个采用反向学习，将两者 连接后得到双向编解码网络，总体公式如下：
[0058][0059]
其中表示t时刻后向网络的输出；表示t时刻前向网络的输出；表示拼接操作；h
i
表示双向编解码网络的输出；
[0060]
(64)在解码网络中引入注意力机制，得到基于词汇级别的注意力机制的句子表示，并 在此基础上引入基于句子级别的注意力机制，最后通过softmax函数构造分类器输出词向量 的分类概率，相关公式如下：
[0061][0062]
其中y表示预测的标签；s表示词向量集合；表示计算得到的隐藏状态；w表示线性 映射的权重矩阵；b表示偏置项。
[0063]
进一步优选地，在所述步骤(63)中，将正向和反向最后一个状态对应的向量连接后得 到的向量作为最终结果，以便模型能同时利用过去和未来的所有信息；所构建的双向编解码 网络通过如下公式表示：
[0064][0065]
其中表示t时刻后向网络的输出；表示t时刻前向网络的输出；表示拼接操作；h
i
表示双向编解码网络的输出。
[0066]
进一步优选地，在所述步骤(64)中，在解码网络中引入注意力机制，得到基于词汇级 别的注意力机制的句子表示，并在此基础上引入基于句子级别的注意力机制，计算得到隐藏 状态如下：
[0067][0068]
其中表示基于词汇级别的注意力机制的句子表示；β
i
表示基于句子级别的注意力机制 的权重。
[0069]
优选地，在解码网络中引入教师机制，监督网络完成视频特征向量到词向量的映射，防 止分类后的结果与真实结果相差较大，进一步保证了翻译句子的准确性。
[0070]
优选地，所述步骤(7)包括以下步骤：
[0071]
设定集束搜索算法的宽度为n，该算法在解码网络每个时间t的输出中寻找概率最高的 n个输出作为下一时刻的输入，并依次进行迭代，最后输出概率最高的n个翻译结果，以此 改善原有编解码网络中在每一时刻只输出概率最大的结果，并将t个词向量进行映射，转变 为完整的句子表示。
[0072]
优选地，所述步骤(8)包括以下步骤：
[0073]
(81)由步骤(6)得到的输入概率分布矩阵为y＝(y1,y2,...,y
t
)，其中t为序列长度， 最后映射为完整句子l的总概率可表示为：
[0074][0075]
其中b(π)代表通过步骤(7)集束搜索算法变换后得到完整句子l的所有路径集合；而π 代表其中的一条路径；
[0076]
(82)连接时序分类算法利用词向量概率y到完整句子l的映射概率，计算概率的负最大 似然函数l，公式如下：
[0077]
l＝
‑
lnp(l|y)
[0078]
将l作为网络的损失函数训练网络使得这个概率最大化，从而提高输出句子的准确性。
[0079]
优选地，在所述步骤(7)中，根据步骤(7)得到的结果，选择其中与真实句子最接近的 结果，并将每个时刻的词向量进行映射，最终转变为完整的句子表示，由此完成手语的翻译。
[0080]
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
[0081]
1.本发明基于多特征点的连续手语识别方法包括预处理模块，用于将手语视频分割为视 频帧并按照时间顺序进行排列，并将手语视频对应的文本编码为单独的词向量；姿态识别模 块，用于提取视频帧中人物身体、双手和脸部的特征点，将根据人体结构自然连接的特征作 为一阶特征，将坐标相减得到的骨骼特征作为二阶特征，并在其中构建双手中心相对于身体 重心的二阶特征，以此捕捉手部相对于身体的方向信息；自适应图卷积模块，将上述特征进 行融合之后，利用自适应图卷积网络捕捉特征在空间维度与时间维度方面的关系；编解码网 络模块，将上述视频特征向量和词向量同时输入基于自注意力机制的编解码网络，获得每个 视频帧所对应的单词概率分布矩阵；集束搜索模块，通过设定的搜索宽度输出每个时刻概率 最高的前n个输出，并作为下一时刻的输入，最后组合输出概率最高的n个句子，与其他方 法在每一时刻直接输出概率最大的词向量相比，该模块能更加灵活地选择合适的结果；连接 主义时间分类模块，利用得到的单词概率分布矩阵，最大化集束搜索模块的搜索路径，并以 此作为损失函数更新网络模型参数，优化视觉特征和单词
特征与句子之间的映射关系；最后 选择错误率最小最接近真实标签的句子作为输出，并将句中词向量对应为相应的文本，得到 最终手语翻译后的句子；
[0082]
2.本发明利用连接主义时间分类算法训练模型，优化视觉特征和单词特征与句子之间的 映射。本发明加入手语识别需要的手动与非手动特征，利用视频特征与句子之间的对齐算法， 增强了手语翻译的准确性与流畅性，对聋哑人和外界沟通具有重要的价值。
附图说明
[0083]
图1为本发明优选实施例的网络框架图。
[0084]
图2为本发明优选实施例所构造的人体关节估计图。
[0085]
图3为本发明优选实施例使用的自适应图卷积网络框架图。
[0086]
图4为本发明优选实施例使用的编解码网络框架图。
[0087]
图5为本发明优选实施例使用的集束搜索算法流程图。
具体实施方式
[0088]
以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：
[0089]
实施例一：
[0090]
在本实施例中，参见图1，一种基于多特征点的连续手语识别方法，包括以下操作步骤：
[0091]
(1)将连续手语视频分割为单帧图像并按照时间顺序进行排列；
[0092]
(2)将每个手语视频对应的句子标签，按照实际中手语的表达方式进行分词处理；
[0093]
(3)对于步骤(1)得到的图像序列，采用人体姿态估计方法提取图像中人物身体、左 右手、脸部的特征点；按照人体的身体结构将特征点进行自然连接，构成特征点的一阶特征；
[0094]
(4)将相邻关节的坐标分别相减提取骨骼的长度与方向，构成身体、左右手和脸部特征 点的特征点的二阶特征；同时提取手部中心到身体重心的二阶特征，从中获得手部相对于身 体的方向；最后将所述二阶特征和在所述步骤(3)中得到的一阶特征进行特征融合，得到融 合特征；
[0095]
(5)将在所述步骤(4)中得到的融合特征，输入到自适应图卷积网络中，经过多个自 适应图卷积层与时间卷积层处理后，捕捉其中的空间与时间信息，得到每个视频帧对应的多 特征点向量；
[0096]
(6)利用编码网络，对在所述步骤(5)中得到的多特征点向量进行编码，基于自注意 力机制的解码网络，将在所述步骤(2)中得到的单词编码为词向量，并通过分类层，将每个 视频帧的多特征点向量与词向量进行对应，输出每个词向量的分类概率；
[0097]
(7)利用在步骤(6)中得到的词向量的分类概率、输出的句子长度作为输入，经过集 束搜索算法输出每一时刻预测的词向量，并映射为完整的句子，实现连续手语识别；
[0098]
(8)或者，利用在步骤(6)得到的词向量的分类概率、经过单词编码后的句子标签、 输入的视频帧长度、输出的句子长度作为输入，经过连接时序分类算法进行损失函数的计算， 不断迭代优化网络进行模型的训练，也从而实现连续手语识别，从而提高连续手语识
用于表示两个节点之间是否存在联系，且能通过训练不断调整关节之间联系的强弱；c
k
表示 高斯嵌入函数，对于每个样本学习一个独有的关系图，用于捕捉关节之间的相似程度。
[0119]
在本实施例中，所述步骤(6)包括以下步骤：
[0120]
(61)利用编解码网络的词嵌入层将得到的词汇映射为词向量，并捕捉当前词汇与前后 词汇的上下文关系，相关公式如下：
[0121]
p(w
t
)＝p(w
t
‑
m
,...,w
t
‑1,w
t+1
,....,w
t+m
|w
t
)
[0122]
其中w
t
表示当前时刻的词向量，w
t
‑
m
,...,w
t
‑1,w
t+1
,....,w
t+m
表示其他不同时刻 的词向量，t表示当前时刻，m表示其他时刻到当前时刻的距离；
[0123]
(62)编解码网络的中间层主要包括重置门与更新门，分别有利于捕捉时间序列中的短 期和长期依赖关系，网络向前传播的公式如下：
[0124]
r
t
＝σ(w
r
·
[h
t
‑1,x
t
])
[0125]
z
t
＝σ(w
z
·
[h
t
‑1,x
t
])
[0126][0127][0128]
y
t
＝σ(w0·
h
t
)
[0129]
式中t表示当前时刻；x
t
表示当前时刻的输入；h
t
‑1表示上一时刻的输出；z表示更新门； r表示重置门；表示更新门的激活值；w
r
表示重置门对应的权重矩阵；w
z
表示更新门对 应的权重矩阵；表示更新门激活后对应的权重矩阵；w
o
表示输出门对应的权重矩阵；[] 表示矩阵的连接；*表示矩阵元素相乘；σ表示sigmoid激活函数；tanh表示双曲正切函数； 则z
t
表示当前更新门的输出；r
t
表示当前重置门的输出；表示当前更新门的激活值输出；h
t
表示当前重置门的激活值输出；y
t
表示向前传播的最终输出；
[0130]
(63)本文同时训练两个编解码网络，一个采用正向学习，一个采用反向学习，将两者 连接后得到双向编解码网络，总体公式如下：
[0131][0132]
其中表示t时刻后向网络的输出；表示t时刻前向网络的输出；表示拼接操作；h
i
表示双向编解码网络的输出；
[0133]
(64)在解码网络中引入注意力机制，得到基于词汇级别的注意力机制的句子表示，并 在此基础上引入基于句子级别的注意力机制，最后通过softmax函数构造分类器输出词向量 的分类概率，相关公式如下：
[0134][0135]
其中y表示预测的标签；s表示词向量集合；表示计算得到的隐藏状态；w表示线性 映射的权重矩阵；b表示偏置项。
[0136]
在本实施例中，所述步骤(7)包括以下步骤：
[0137]
设定集束搜索算法的宽度为n，该算法在解码网络每个时间t的输出中寻找概率最高的 n个输出作为下一时刻的输入，并依次进行迭代，最后输出概率最高的n个翻译结果，并将 t个词向量进行映射，转变为完整的句子表示。
[0138]
在本实施例中，所述步骤(8)包括以下步骤：
[0139]
(81)由步骤(6)得到的输入概率分布矩阵为y＝(y1,y2,...,y
t
)，其中t为序列长度， 最后映射为完整句子l的总概率可表示为：
[0140][0141]
其中b(π)代表通过步骤(7)集束搜索算法变换后得到完整句子l的所有路径集合；而π 代表其中的一条路径；
[0142]
(82)连接时序分类算法利用词向量概率y到完整句子l的映射概率，计算概率的负最大 似然函数l，公式如下：
[0143]
l＝
‑
lnp(l|y)
[0144]
将l作为网络的损失函数训练网络使得这个概率最大化，从而提高输出句子的准确性。
[0145]
在本实施例中，在所述步骤(7)中，根据步骤(7)得到的结果，选择其中与真实句子最 接近的结果，并将每个时刻的词向量进行映射，最终转变为完整的句子表示，由此完成手语 的翻译。
[0146]
本发明基于多特征点的连续手语识别方法，首先将手语视频分割为视频帧，通过人体姿 态识别模型提取视频帧中人物身体、双手、脸部的特征点，利用自适应图卷积网络提取特征 点的特征，将手语视频对应的句子标签编码为单独的词向量；然后将上述视频特征向量和词 向量同时输入基于自注意力机制的编解码网络，获得每个视频帧所对应的单词概率分布矩阵， 再通过集束搜索算法进行搜索得到翻译后的句子；最后利用连接主义时间分类算法训练模型， 优化视觉特征和单词特征与句子之间的映射。本发明加入手语识别需要的手动与非手动特征， 利用视频特征与句子之间的对齐算法，增强了手语翻译的准确性与流畅性，对聋哑人和外界 沟通具有重要的价值。
[0147]
实施例三：
[0148]
本实施例与上述实施例基本相同，特别之处在于：
[0149]
在本实施例中，如图1所示，本发明实例公开的一种基于多特征点的连续手语识别方法， 通过人体姿态识别模型提取视频帧中人物身体、双手和脸部的特征点，通过自然连接和坐标 相减的方式形成一阶特征和二阶特征，其中包括手部相对于身体的二阶特征。将上述特征进 行融合之后，利用自适应图卷积网络捕捉特征在空间维度与时间维度方面的关系，将手语视 频对应的句子标签编码为单独的词向量。然后将上述视频特征向量和词向量同时输入到基于 自注意力机制的编解码网络中，获得每个视频帧所对应的单词概率分布矩阵，再通过集束搜 索算法进行搜索映射得到翻译后的句子。最后利用连接主义时间分类算法训练模型，优化视 觉特征和单词特征与句子之间的映射。本发明加入手语识别需要的手动与非手动特征，并利 用相应算法实现视频特征与句子之间的自动对齐，包括以下步骤：
[0150]
步骤1：设定帧率为24帧每秒，将连续手语视频分割为单帧图像并按照时间顺序进行排 列；
[0151]
步骤2：利用jieba分词工具将手语视频对应的句子标签进行分词处理，并与标准中文手 语词汇进行对照，修改其中分词不正确的部分，有利于后续的进一步处理；
[0152]
步骤3：采用人体姿态估计方法提取图像序列中人物身体的25个特征点、左右手的各21 个特征点和脸部的68个特征点；按照人体的身体结构将特征点进行自然连接，构成每个特征 点的一阶特征，所构造的人体关节估计图如图2所示；
[0153]
步骤3
‑
1：设计包含两个分支的人体姿态估计网络，第一分支是置信度图s＝(s1,s2,...,s
j
)， 其中j表示需要检测的关节数目；第二分支是亲和度向量l＝(l1,l2,...,l
c
)，其中c表示需要 检测的关节对数目；
[0154]
步骤3
‑
2：首先由vgg网络产生一组特征f，作为每个分支第一阶段的输入；在第一阶 段，网络利用卷积层ρ产生一组检测置信度图s1＝ρ1(f)，并利用卷积层φ产生一组亲和度向 量l1＝φ1(f)，之后的每一个阶段的输入都来自于前一个阶段的预测结果和原始图像特征f， 以产生更加精确的预测结果，得出第t阶段的结果可以表示为：
[0155][0156][0157]
其中s
t
表示t时刻的置信度图；l
t
表示t时刻的亲和度向量；ρ
t
和φ
t
表示t时刻的卷积层； f表示输入特征；s
t
‑1表示t
‑
1时刻的置信度图；l
t
‑1表示t
‑
1时刻的亲和度向量；
[0158]
步骤3
‑
3：利用上述方式提取图像中人物身体的25个关节点，左手的21个关节点，右 手的21个关节点以及脸部的68个关键点，并按照人体的身体结构将特征点进行自然连接， 构建多特征点的一阶特征；
[0159]
步骤4：根据步骤3得到的每个关节的坐标，将相邻关节的坐标分别相减提取骨骼的长 度与方向，构成身体、左右手、脸部特征点的二阶特征；同时提取手部中心到身体重心的二 阶特征，从中获得手部相对于身体的方向；最后将步骤3和步骤4得到的一阶特征和二阶特 征进行融合；具体步骤如下：
[0160]
步骤4
‑
1：利用图像中人体点位的重心，即人体胸腔部分作为中心点，把靠近中心点的 关节看做源关节v1＝(x1,y1,z1)，远离中心点的关节看做目标关节v2＝(x2,y2,z2)。骨骼是指从 一个点指向另外一个点的向量，向量的长度就是骨骼的长度，向量的方向就是骨骼的方向； 则多特征点的二阶特征e可表示为
[0161]
步骤4
‑
2：利用上述计算二阶特征的方式计算身体25个关节点、左手21个关节点、右 手21个关节点以及脸部68个关键点的骨骼向量；同时构造手部中心相对于身体重心的骨骼 向量；
[0162]
步骤4
‑
3：由于二阶特征由两个关节组成，并且在人体中没有环状结构，所以关节数比 骨骼数多1个，这里在身体和脸部骨骼中添加值为0的空关节来保持一阶特征与二阶特征的 一致性，而对于手部，由于构造了手部中心点与身体重心的骨骼，则手部起始点不需要进行 补0操作；最后将得到的一阶特征与二阶特征进行融合；
[0163]
步骤5：将步骤4得到的融合特征，输入到自适应图卷积网络中，经过多个自适应图卷 积层与时间卷积层进行卷积，捕捉其中的空间与时间信息，得到每个视频帧对应的每个特征 点的256维特征向量，并对向量的总体维度进行变换，有利于后续进行编解码操作；具体步 骤如下：
[0164]
使用自适应图卷积网络提取上述特征的时间与空间信息，网络框架图如图3所示，相关 公式如下：
[0165][0166]
其中f
in
表示输入的特征；f
out
表示输出的特征向量；k
v
表示输出的特征向量空间维度的 核大小，这里选取k
v
的值为3；k表示特征维度，这里输入的关节数据为三通道特征；w
k
表 示权重；a
k
表示邻接矩阵；b
k
表示一个n
×
n的邻接矩阵，用于表示两个节点之间是否存在 联系，且能通过训练不断调整关节之间联系的强弱，c
k
对于每个样本学习一个独有的图关系， 用于捕捉关节之间的相似程度；
[0167]
使用高斯嵌入函数来计算c
k
，相关公式如下：
[0168][0169]
其中v
i
和v
j
表示两个不同的关节节点；n表示节点的总数，这里使用点积的方式衡量两 个节点的相似性；θ和φ表示两个嵌入函数；最后将节点v
i
经过嵌入函数θ计算得到的转置矩 阵与节点v
j
经过嵌入函数φ计算得到的矩阵相乘，再进行后续运算；
[0170]
将上述计算结果作为softmax函数的输入，得到参数c
k
，相关公式如下：
[0171][0172]
其中f
in
表示经过高斯嵌入函数后的结果；f
int
表示f
in
的转置矩阵；表示高斯嵌入函 数θ的参数；w
φk
表示高斯嵌入函数φ的参数。
[0173]
步骤6：利用编码网络将步骤5得到的多特征点向量进行编码，利用基于自注意力机制 的解码网络将步骤2得到的单词编码为词向量，并通过分类层将每个视频帧的多特征点向量 与词向量进行对应，输出每个词向量的分类概率。编解码网络框架图如图4所示；包括如下 步骤：
[0174]
步骤6
‑
1：利用编解码网络的词嵌入层将得到的词汇映射为词向量，并捕捉当前词汇与 前后词汇的上下文关系，相关公式如下：
[0175]
p(w
t
)＝p(w
t
‑
m
,...,w
t
‑1,w
t+1
,....,w
t+m
|w
t
)。
[0176]
其中w
t
表示当前时刻的词向量，w
t
‑
m
,...,w
t
‑1,w
t+1
,....,w
t+m
表示其他不同时刻的词向量，t 表示当前时刻，m表示其他时刻到当前时刻的距离；
[0177]
步骤6
‑
2：编解码网络的中间层主要包括重置门与更新门，分别有利于捕捉时间序列的 短期和长期依赖关系，网络向前传播的公式如下：
[0178]
r
t
＝σ(w
r
·
[h
t
‑1,x
t
])
[0179]
z
t
＝σ(w
z
·
[h
t
‑1,x
t
])
[0180][0181][0182]
y
t
＝σ(w0·
h
t
)
[0183]
式中t表示当前时刻；x
t
表示当前时刻的输入；h
t
‑1表示上一时刻的输出；z表示更新门； r表示重置门；表示更新门的激活值；w
r
表示重置门对应的权重矩阵；w
z
表示更新门对 应的权重矩阵；表示更新门激活后对应的权重矩阵；w
o
表示输出门对应的权重矩阵；
[] 表示矩阵的连接；*表示矩阵元素相乘；σ表示sigmoid激活函数；tanh表示双曲正切函数； 则z
t
表示当前更新门的输出；r
t
表示当前重置门的输出；表示当前更新门的激活值输出；h
t
表示当前重置门的激活值输出；y
t
表示向前传播的最终输出；
[0184]
步骤6
‑
3：同时训练两个编解码网络，一个采用正向学习，一个采用反向学习，将正向 和反向最后一个状态对应的向量连接后得到的向量作为最终结果，以便模型能同时利用过去 和未来的所有信息；所构建的双向编解码网络通过如下公式表示：
[0185][0186]
其中表示t时刻后向网络的输出；表示t时刻前向网络的输出；表示拼接操作；h
i
表示双向编解码网络的输出；
[0187]
步骤6
‑
4：在解码网络中引入注意力机制，得到基于词汇级别的注意力机制的句子表示， 并在此基础上引入基于句子级别的注意力机制，计算得到隐藏状态如下：
[0188][0189]
其中代表利用双曲正切函数处理句子r后，得到的基于词汇级别的注意力机 制的句子表示；β
i
表示基于句子级别的注意力机制的权重；
[0190]
最后通过softmax函数构造分类器输出词向量的分类概率，相关公式如下：
[0191][0192]
其中y表示预测的标签；s表示词向量集合；表示计算得到的隐藏状态；w表示线性 映射的权重矩阵；b表示偏置项；
[0193]
在解码网络中引入教师机制，监督网络完成视频特征向量到词向量的映射，防止分类后 的结果与真实文本相差较大，进一步保证了翻译句子的准确性。这里设置该参数为0.5，在 保证句子正确性的同时让模型不会过分依赖真实标签，保持较好的泛化能力。
[0194]
步骤7：利用步骤6得到的词向量的分类概率、输出的句子长度作为解码网络的输入， 经过集束搜索算法搜索之后输出预测的完整句子；集束搜索算法流程图如图5所示；
[0195]
设定集束搜索算法的宽度为n，该算法在解码网络每个时间t的输出中寻找概率最高的 n个输出作为下一时刻的输入，并依次进行迭代，最后输出概率最高的n个翻译结果。经过 多次实验验证，这里将宽度n设置为3最为合理。
[0196]
步骤8：利用步骤6得到的词向量的分类概率，经过单词编码后的完整句子，输入的视 频帧长度、输出的句子长度作为输入，经过连接时序分类算法进行损失函数的计算，不断迭 代优化网络进行模型的训练；包括如下步骤：
[0197]
步骤6
‑
1：由步骤6得到的输入概率分布矩阵为y＝(y1,y2,...,y
t
)，其中t为序列长度， 最后映射为完整句子l的总概率为：
[0198][0199]
其中b(π)代表通过步骤7集束搜索算法变换后，可由单词向量组合得到完整句子l的所 有路径集合；而π代表其中的一条路径。
[0200]
步骤6
‑
2：连接时序分类算法利用词向量概率y到完整句子l的映射概率，计算概率
的负 最大似然函数，相关公式如下：
[0201]
l＝
‑
lnp(l|y)
[0202]
将l作为网络的损失函数训练网络使得这个概率最大化，从而提高输出句子的准确性。
[0203]
根据步骤7得到的结果，选择其中与真实句子最接近的结果，并将每个时刻的词向量进 行映射，最终转变为完整的句子表示，由此完成手语的翻译。
[0204]
本发明公开的一种基于多特征点的连续手语识别方法，采用的系统包括：预处理模块， 用于将手语视频分割为视频帧并按照时间顺序进行排列，并将手语视频对应的文本编码为单 独的词向量；姿态识别模块，用于提取视频帧中人物身体、双手和脸部的特征点，将根据人 体结构自然连接的特征作为一阶特征，将坐标相减得到的骨骼特征作为二阶特征，并在其中 构建双手中心相对于身体重心的二阶特征，以此捕捉手部相对于身体的方向信息；自适应图 卷积模块，将上述特征进行融合之后，利用自适应图卷积网络捕捉特征在空间维度与时间维 度方面的关系；编解码网络模块，将上述视频特征向量和词向量同时输入基于自注意力机制 的编解码网络，获得每个视频帧所对应的单词概率分布矩阵；集束搜索模块，通过设定的搜 索宽度输出每个时刻概率最高的前n个输出，并作为下一时刻的输入，最后组合输出概率最 高的n个句子，与其他方法在每一时刻直接输出概率最大的词向量相比，该模块能更加灵活 地选择合适的结果；连接主义时间分类模块，利用得到的单词概率分布矩阵，最大化集束搜 索模块的搜索路径，并以此作为损失函数更新网络模型参数，优化视觉特征和单词特征与句 子之间的映射关系。最后选择错误率最小最接近真实标签的句子作为输出，并将句中词向量 对应为相应的文本，得到最终手语翻译后的句子。本实施例方法加入手语识别需要的手动与 非手动特征，利用视频特征与句子之间的对齐算法，增强了手语翻译的准确性与流畅性，对 聋哑人和外界沟通具有重要的价值。
[0205]
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本 发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、 修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背 离本发明的技术原理和发明构思，都属于本发明的保护范围。