一种基于多视角注意力融合的握笔姿势检测方法

本申请涉及计算机视觉，尤其涉及一种基于多视角注意力融合的握笔姿势检测方法。

背景技术：

1、正确的握笔姿势对于培养个人的书写习惯、提高书写水平以及预防手部疲劳至关重要，不正确的握笔姿势可能会导致手部疲劳、肌肉疼痛和手部协调不良等问题。如果长期使用错误的握笔姿势，可能会对手部生长发育造成不良影响，进而影响他们的书写能力和日常生活能力。传统的姿势指导依赖于人工监督，这种方式不仅效率低下，而且无法提供实时反馈，

2、相关技术可以通过主流的深度学习卷积神经网络例如：vgg、resnet和densenet等模型，基于图像进行分析，并指出给定图像中的握笔姿势是否错误。然而，这种方式对学生握笔姿势的检测存在以下挑战：

3、1、不同学习者的手部外观变化程度大，部分图像中存在一定程度的手部遮挡和噪声；2、手部部位之间的相似性；3、不能准确区别手部和书写笔的位置关系。

4、因此，在日常学习生活中，对握笔姿势进行准确地检测识别是当下亟待解决的问题。

技术实现思路

1、本申请实施例提供一种基于多视角注意力融合的握笔姿势检测方法，用以解决上述相关技术的缺陷，所述技术方案如下：

2、第一方面，本申请实施例提供一种基于多视角注意力融合的握笔姿势检测方法，包括：

3、通过红外图像采集装置采集至少一个待检测目标的第一图像数据，通过3d图像采集装置采集所述至少一个待检测目标的第二图像数据；其中，所述红外图像采集装置和所述3d图像采集装置布置在不同位置，且所述红外图像采集装置和所述3d图像采集装置在同一时刻采集的图像帧具有重叠区域；

4、分别对所述第一图像数据中的每一个图像帧和所述第二图像数据中的每一个图像帧依次进行几何变换和数据增强处理，基于所述数据增强处理后的所述第一图像数据中的每一帧图像提取得到第一手部区域图像，基于所述数据增强处理后的所述第二图像数据中的每一帧图像提取得到第二手部区域图像；

5、将所述第一手部区域图像和所述第二手部区域图像输入训练好的握笔姿势识别模型中，以使所述训练好的握笔姿势识别模型根据所述第一手部区域图像和所述第二手部区域图像提取得到所述待检测目标的握笔姿势特征向量，并基于所述握笔姿势特征向量确定所述待检测目标的握笔姿势检测结果。

6、在第一方面的一种可选方案中，所述基于所述握笔姿势特征向量确定所述待检测目标的握笔姿势检测结果，还包括：

7、获取所述待检测目标在预设的检测时段内每个时刻的握笔姿势识别结果；

8、将所述每个时刻的握笔姿势检测结果分别与预设标准握笔姿势进行比较，计算所述握笔姿势检测结果对应的图像帧中每个特征点与所述预设标准握笔姿势中每个特征点的豪斯多夫距离；

9、根据所有特征点的豪斯多夫距离与豪斯多夫距离阈值的比较结果输出所述待检测目标在预设的检测时段内每个时刻的握笔姿势检测结果。

10、在第一方面的一种可选方案中，所述根据所有特征点的豪斯多夫距离与豪斯多夫距离阈值的比较结果输出所述待检测目标在预设的检测时段内每个时刻的握笔姿势检测结果之后，还包括：

11、确定所述所有特征点的豪斯多夫距离大于所述豪斯多夫距离阈值的时段占所述检测时段的比例，根据所述比例的数值确定输出所述待检测目标在预设的检测时段内的握笔姿势检测结果。

12、在第一方面的一种可选方案中，所述根据所述比例的数值确定输出所述待检测目标在预设的检测时段内的握笔姿势检测结果之后，还包括：

13、确定所述所有特征点的豪斯多夫距离大于所述豪斯多夫距离阈值的时段占所述检测时段的比例落入的比例范围，根据所述比例范围与握笔姿势调整方案的映射关系输出对应的握笔姿势调整方案至所述待检测目标的设备端。

14、第二方面，本申请实施例还提供一种基于多视角注意力融合的握笔姿势检测装置，包括：

15、图像采集模块，用于通过红外图像采集装置采集至少一个待检测目标的第一图像数据，通过3d图像采集装置采集所述至少一个待检测目标的第二图像数据；其中，所述红外图像采集装置和所述3d图像采集装置布置在不同位置，且所述红外图像采集装置和所述3d图像采集装置在同一时刻采集的图像帧具有重叠区域；

16、手部区域提取模块，用于分别对所述第一图像数据中的每一个图像帧和所述第二图像数据中的每一个图像帧依次进行几何变换和数据增强处理，基于所述数据增强处理后的所述第一图像数据中的每一帧图像提取得到第一手部区域图像，基于所述数据增强处理后的所述第二图像数据中的每一帧图像提取得到第二手部区域图像；

17、握笔姿势检测模块，用于将所述第一手部区域图像和所述第二手部区域图像输入训练好的握笔姿势识别模型中，以使所述训练好的握笔姿势识别模型根据所述第一手部区域图像和所述第二手部区域图像提取得到所述待检测目标的握笔姿势特征向量，并基于所述握笔姿势特征向量确定所述待检测目标的握笔姿势检测结果。

18、第三方面，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例第一方面或第一方面的任意一种实现方式提供的方法。

19、第四方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面或第一方面的任意一种实现方式提供的方法。

20、本申请一些实施例提供的技术方案带来的有益效果至少包括：

21、本申请实施例提供的一种基于多视角注意力融合的握笔姿势检测方法通过双相机采集数据解决了手部图像数据存在遮挡的问题，利用去噪扩散模型从mobilenetv2特征条件下的图像中学习手部分布。这使本申请能够从图像特征中确定学生握笔时手的3d结构。本申请实施例还通过在提取握笔姿势特征向量中加入运动学约束，通过transformer模块引入关节角度和关节节点的限制，使得检测模型输出的特征向量可以反应更真实、合理的握笔状态下的手部姿势，提高了握笔姿势识别模型估计的3d握姿的准确性。

技术特征：

1.一种基于多视角注意力融合的握笔姿势检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多视角注意力融合的握笔姿势检测方法，其特征在于，所述基于所述握笔姿势特征向量确定所述待检测目标的握笔姿势检测结果，还包括：

3.根据权利要求2所述的一种基于多视角注意力融合的握笔姿势检测方法，其特征在于，所述根据所有特征点的豪斯多夫距离与豪斯多夫距离阈值的比较结果输出所述待检测目标在预设的检测时段内每个时刻的握笔姿势检测结果之后，还包括：

4.根据权利要求3所述的一种基于多视角注意力融合的握笔姿势检测方法，其特征在于，所述根据所述比例的数值确定输出所述待检测目标在预设的检测时段内的握笔姿势检测结果之后，还包括：

5.一种基于多视角注意力融合的握笔姿势检测装置，其特征在于，包括：

6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

技术总结
本申请实施例公开了一种基于多视角注意力融合的握笔姿势检测方法，涉及计算机视觉技术领域，该方法包括：通过红外图像采集装置采集待检测目标的第一图像数据，通过3D图像采集装置采集第二图像数据；基于第一图像数据提取得到第一手部区域图像，基于第二图像数据提取得到第二手部区域图像，输入训练好的握笔姿势识别模型中，提取得到握笔姿势特征向量，并基于握笔姿势特征向量确定握笔姿势检测结果。本申请提供的方法通过在提取握笔姿势特征向量中加入运动学约束，通过transformer模块引入关节角度和关节节点，使得检测模型输出的特征向量可以反应更真实、合理的握笔状态下的手部姿势，提高握笔姿势识别模型估计的握姿的准确性。

技术研发人员：刘海,吴砥,聂紫洁,曾爽,张美沂,钱诗佳,陈强,石也牧,张昭理,刘婷婷,李友福
受保护的技术使用者：华中师范大学
技术研发日：
技术公布日：2025/1/6