一种手语识别方法与流程

文档序号:37859200发布日期:2024-05-07 19:33阅读:来源:国知局

技术特征:

1.一种手语识别方法,其特征在于:包括如下步骤:

2.如权利要求1所述的一种手语识别方法,其特征在于:所述步骤s1中,根据原始手语rgb-d图像生成图像金字塔,通过选择性搜索算法从图像金字塔中获得若干个可能存在目标的感兴趣区域,将感兴趣区域缩放成227*227的大小完成手语图像的采集与归一化。

3.如权利要求2所述的一种手语识别方法,其特征在于:所述步骤s2中,深度相机获取的原始手语手势深度为16位,像素范围为0到65535,对16位深度像素矩阵通过如下公式进行归一化处理:

4.如权利要求1所述的一种手语识别方法,其特征在于:所述步骤s3中,将图像从rgb图像空间转换为hsv颜色空间,所述hsv颜色空间包括色调(h)、饱和度(s)及明度(v),修改h的值以确定待分割颜色,动态调整s、v的值以确定待分割颜色范围。

5.如权利要求1所述的一种手语识别方法,其特征在于:所述步骤s4中,彩色图像的灰度按加权的方法转换,r、g、b比值为3:6:1,定义图像一处颜色为rgb(红:r,绿:g,蓝:b),则计算公式为:

6.如权利要求1所述的一种手语识别方法,其特征在于:所述步骤s5中,特征信息经双通道特征融合网络进行提取,所述双通道特征融合网络包括2个卷积批量激活层、2个反向移动瓶颈层、2个融合移动卷积层以及4个注意力模块,以96×96尺寸的图像为输入提取手语手势纹理特征,最后卷积层生成空间分辨率为3×3的特征图,最后一卷积层与全局平均池化、全连接层和softmax层相连接。

7.如权利要求6所述的一种手语识别方法,其特征在于:所述注意力模块包括通道注意模块、空间注意模块、dpam以及像素关注度模块。

8.如权利要求1所述的一种手语识别方法,其特征在于:所述训练模型中为了加快计算及防止梯度弥散,使用二元交叉熵作为损失函数:

9.如权利要求3所述的一种手语识别方法,其特征在于:所述步骤s3中,感兴趣像素值大小通过如下判别方法进行色彩融合:

10.如权利要求1所述的一种手语识别方法,其特征在于:所述步骤s3中图像分割方法为:根据原始图像尺寸生成掩膜,对hsv图像像素做掩膜运算,将掩膜空间范围内的图像像素值变为白色,其余图像像素值变为黑色,最后将原始图片与根据掩膜处理后的图像做与运算,剔除黑色、保留白色,获取原图掩膜位置区域。


技术总结
本发明提供了一种手语识别方法,旨在为听障人群提供一种手语识别解决方案。本发明针对图像背景干扰、手势形变以及类间特征相似,通过对深度相机获取到的RGB‑D彩色‑深度图像进行归一化等操作,将16位深度信息转化8位深度信息,将深度像素伪色彩化,通过色域分割法将手语手势从背景中分割,通过像素融合方法将前后跨度较大的手势进行颜色融合,同时对深度图像和彩色图像进行仿射变换,实现像素对齐,最后通过双通道特征融合注意网络(DFANet)训练,并在网络后期进行特征融合,通过softmax分类器进行分类。相对现有技术,本发明的网络特征提取效果更好,手语手势分割精度更高,网络模型参数量更少,训练开销低,运算效率高。

技术研发人员:高奇志
受保护的技术使用者:无锡机电高等职业技术学校
技术研发日:
技术公布日:2024/5/6
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1