1.一种手语识别方法,其特征在于:包括如下步骤:
2.如权利要求1所述的一种手语识别方法,其特征在于:所述步骤s1中,根据原始手语rgb-d图像生成图像金字塔,通过选择性搜索算法从图像金字塔中获得若干个可能存在目标的感兴趣区域,将感兴趣区域缩放成227*227的大小完成手语图像的采集与归一化。
3.如权利要求2所述的一种手语识别方法,其特征在于:所述步骤s2中,深度相机获取的原始手语手势深度为16位,像素范围为0到65535,对16位深度像素矩阵通过如下公式进行归一化处理:
4.如权利要求1所述的一种手语识别方法,其特征在于:所述步骤s3中,将图像从rgb图像空间转换为hsv颜色空间,所述hsv颜色空间包括色调(h)、饱和度(s)及明度(v),修改h的值以确定待分割颜色,动态调整s、v的值以确定待分割颜色范围。
5.如权利要求1所述的一种手语识别方法,其特征在于:所述步骤s4中,彩色图像的灰度按加权的方法转换,r、g、b比值为3:6:1,定义图像一处颜色为rgb(红:r,绿:g,蓝:b),则计算公式为:
6.如权利要求1所述的一种手语识别方法,其特征在于:所述步骤s5中,特征信息经双通道特征融合网络进行提取,所述双通道特征融合网络包括2个卷积批量激活层、2个反向移动瓶颈层、2个融合移动卷积层以及4个注意力模块,以96×96尺寸的图像为输入提取手语手势纹理特征,最后卷积层生成空间分辨率为3×3的特征图,最后一卷积层与全局平均池化、全连接层和softmax层相连接。
7.如权利要求6所述的一种手语识别方法,其特征在于:所述注意力模块包括通道注意模块、空间注意模块、dpam以及像素关注度模块。
8.如权利要求1所述的一种手语识别方法,其特征在于:所述训练模型中为了加快计算及防止梯度弥散,使用二元交叉熵作为损失函数:
9.如权利要求3所述的一种手语识别方法,其特征在于:所述步骤s3中,感兴趣像素值大小通过如下判别方法进行色彩融合:
10.如权利要求1所述的一种手语识别方法,其特征在于:所述步骤s3中图像分割方法为:根据原始图像尺寸生成掩膜,对hsv图像像素做掩膜运算,将掩膜空间范围内的图像像素值变为白色,其余图像像素值变为黑色,最后将原始图片与根据掩膜处理后的图像做与运算,剔除黑色、保留白色,获取原图掩膜位置区域。