一种基于多信息图像的足部压力检测算法

本发明涉及动数据分析，尤其是涉及一种基于多信息图像的足部压力检测算法。

背景技术：

1、足部压力检测技术在医疗康复领域有着广泛的应用，特别是在与步态分析、脚部相关的疾病治疗和康复中。常见的足部压力检测技术包括压力敏感垫、压力传感器等设备。这些设备可以记录使用者在行走、站立或跑步等活动时的足部压力分布，并将数据转换为图形或数字化信息供专业人员分析和评估。传统测量足部的压力通常采用力传感器进行测量，在足套装上柔性材料制作的传感器。这种测量方法能够获得比较精确的数值，但成本较高，校准繁琐，对参与者的舒适性并不友好，且对于难以安装传感器的多类场景并没有可扩展性。

技术实现思路

1、本发明的目的是提供一种基于多信息图像的足部压力检测算法，足部压力预测模型可以应用于医疗、运动科学、体育等领域，具有广泛的应用前景。

2、为实现上述目的，本发明提供了一种基于多信息图像的足部压力检测算法，包括以下步骤：

3、s1、利用摄像头获取足部不同角度、光源、动作状态的rgb图像；

4、s2、将得到的足部rgb图像输入到进行分割的网络模型，获得足部形状的分割图和姿态信息；

5、s3、建立足部运动的动作文本，使用基于图像和文本并行的多模态预训练模型，得到嵌入网络的特征；

6、s4、创建多输入、多分支的神经网络模型架构，将足部rgb图像、分割图、动作文本作为输入，进行网络模型训练；

7、s5、需要预测的足部图像送入训练好的足部压力预测模型，输出得到的压力图。

8、优选的，在步骤s2中，为了得到数据集中的原始rgb图像对应的分割掩码图像，采用了针对足部进行分割的即插即用模型，得到足部的分割图作为辅助分支输入到模型中，帮助模型更容易学习足的位置、姿态和动作，具体地，使用基于视觉变换器的模型来生成足的二值的分割图：

9、mseg＝θseg(irgb)

10、其中，irgb表示rgb输入，mseg表示脚部分割生成。

11、优选的，在步骤s3中，多模态预训练模型通过对比学习同时处理图像和文本信息，将足部动作文本输入和图像输入编码到同一特征空间中，从而建立图像和文本之间的跨模态连接，脚部动作的描述被输入到预先训练的多模态预训练模型中，生成的特征向量会处理成与rgb图像分支、分割图分支得到的特征图相同的维度，便于后续将其嵌入网络模型中，该过程在数学上表示为：

12、xtext＝cliptextg(ttext)

13、其中xtext是输出标记，ttext是输入文本。

14、优选的，在步骤s4中，为了融入文字这些分支在特征提取后，通过交叉注意力机制将特征图进行信息交互，令f1和f2表示来自rgb图像分支和脚部分割的第一个输出特征，交叉注意混合器的作用是实现两个稀疏表示f1和f2的融合，交叉注意力融合计算如下：

15、y1＝fuction1(f1,f2)

16、y2＝fuction2(f1,f2)

17、

18、应用注意力模块来获取rgb图像特征f1的查询特征、键特征和值特征，这些值由q1、k1、v1表示，d1是归一化常数。

19、优选的，在步骤s4中，足部压力预测模型是编码解码结构，采用resnet50作为编码器，fpn作为解码器，多分支编码，多模态输入；

20、解码器采用特征金字塔，用于获得对图像的每个像素点压力值分类，从而获得压力值估计，特征金字塔解码器使用特征金字塔解码器对编码模块中的多尺度隐藏特征进行解码，表示为：

21、f3＝conv(upsample(h(f4rgb,f4seg))+h(f3rgb,f3seg)

22、f2＝conv(upsample(h(f3))+h(f2rgb,f2seg)

23、p＝conv(upsample(f2))+h(f1rgb,f1seg,xtext)

24、其中，h表示串联运算符，p是预测压力图，f1rgb、f2rgb、f3rgb、f4rgb是rgb域的四个尺度的特征图，每个rgb特征图的大小是不同的，xtext是语言提示的表示。

25、优选的，在步骤s4中，在训练过程中，使用交叉熵损失函数，具体如下：

26、

27、优选的，在步骤s5中，经过推理，得到图像上每个像素的压力估计，最终得到整个图像的压力预测图。

28、因此，本发明采用上述一种基于多信息图像的足部压力检测算法，其技术效果如下：

29、(1)非接触式测量：本技术仅使用多视角的rgb图像即可进行足部压力分析，无需传感器直接接触足底，在运动检测中，避免了传统装置可能引起的不适及干扰。

30、(2)易用性强：本技术所使用的设备为常见的rgb摄像头，普及性强，相比于传统装置的高昂成本和复杂操作，本技术降低了使用门槛。

31、(3)细化足部压力分布：基于传感器的足部压力检测方案，受制于传感器的尺寸，只能提供特定区域的压力值，利提出的足部压力检测技术，基于图像智能算法，能够提供像素级别的压力分布。

32、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

技术特征：

1.一种基于多信息图像的足部压力检测算法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多信息图像的足部压力检测算法，其特征在于，在步骤s2中，为了得到数据集中的原始rgb图像对应的分割掩码图像，采用了针对足部进行分割的即插即用模型，得到足部的分割图作为辅助分支输入到模型中，帮助模型更容易学习足的位置、姿态和动作，具体地，使用基于视觉变换器的模型来生成足的二值的分割图：

3.根据权利要求1所述的一种基于多信息图像的足部压力检测算法，其特征在于，在步骤s3中，多模态预训练模型通过对比学习同时处理图像和文本信息，将足部动作文本输入和图像输入编码到同一特征空间中，从而建立图像和文本之间的跨模态连接，脚部动作的描述被输入到预先训练的多模态预训练模型中，生成的特征向量会处理成与rgb图像分支、分割图分支得到的特征图相同的维度，便于后续将其嵌入网络模型中，该过程在数学上表示为：

4.根据权利要求1所述的一种基于多信息图像的足部压力检测算法，其特征在于，在步骤s4中，为了融入文字这些分支在特征提取后，通过交叉注意力机制将特征图进行信息交互，令f1和f2表示来自rgb图像分支和脚部分割的第一个输出特征，交叉注意混合器的作用是实现两个稀疏表示f1和f2的融合，交叉注意力融合计算如下：

5.根据权利要求1所述的一种基于多信息图像的足部压力检测算法，其特征在于，在步骤s4中，足部压力预测模型是编码解码结构，采用resnet50作为编码器，fpn作为解码器，多分支编码，多模态输入；

6.根据权利要求1所述的一种基于多信息图像的足部压力检测算法，其特征在于，在步骤s4中，在训练过程中，使用交叉熵损失函数，具体如下：

7.根据权利要求1所述的一种基于多信息图像的足部压力检测算法，其特征在于，在步骤s5中，经过推理，得到图像上每个像素的压力估计，最终得到整个图像的压力预测图。

技术总结
本发明公开了一种基于多信息图像的足部压力检测算法，设计的足部压力预测网络模型采用了一个多输入、多分支的架构，包括三个输入：原始RGB图像、脚的分割图和脚的动作文本提示，输入的图片使用图卷积进行特征提取。模型编码器为ResNet50,解码器为FPN，模型中还引入了CLIP模型用于建立足部动作文本与图像之间的关系，再引入交叉注意力机制用于不同输入信息的交互，得到特征送入解码器；在训练过程中，使用交叉熵损失函数，经过推理，得到图像上每个像素的压力估计，最终得到整个图像的压力预测图，足部压力预测模型可以应用于医疗、运动科学、体育等领域，具有广泛的应用前景。

技术研发人员：陈欣荣,汤薇,戴晓坤,邵良靖
受保护的技术使用者：复旦大学
技术研发日：
技术公布日：2024/1/16