一种基于多类特征融合的动态足迹检索方法

本发明属于足迹检索领域，具体是一种基于多类特征融合的动态足迹检索方法。

背景技术：

1、早期，身份识别识别技术不够成熟。随着科技的兴起，dna检测技术以及指纹识别技术得到了快速的发展并很快投入使用。这使得刑侦人员能够在犯罪现场获得更多信息，从而可以快速锁定嫌疑人。自2012年alexnet卷积神经网络的发表，计算机视觉技术也迎来了快速发展，这给身份识别带来了新的技术——人脸识别技术。但是上述技术都有一个缺陷，那就是可以伪造。然而，足迹却不一样，它反应的是一个人的行为信息。这种信息反应着人的生理活动，无法隐藏。正是这一点，使得越来越多的人开始进行足迹研究。

2、目前对于静态足迹图像的研究已经有了很大的进步，但是静态足迹图像有着几个缺点：1.静态足迹图像只含有脚底整体的压力信息，无法反映行为信息；2.对于图像的质量要求较高，如果足迹存在残缺部分，则无法准确识别。

3、为此，本发明提出了一种基于多类特征融合的动态足迹检索方法。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于多类特征融合的动态足迹检索方法，该种基于多类特征融合的动态足迹检索方法解决了如何基于足迹图像挖掘图像与图像之间的内在联系以及足迹更深层次的信息，以此来提高足迹检索结果的问题。

2、为实现上述目的，根据本发明的第一方面的实施例提出一种基于多类特征融合的动态足迹检索方法，包括：

3、采集动态足迹数据，构建检索网络的训练集和测试集；

4、将获取的训练集数据输入至多类特征融合网络模型进行训练；

5、将获取的测试集输入至训练好的多类特征融合网络模型进行测试。

6、进一步地，对采集获取的初始的数据集d1进行预处理，过程如下：

7、去噪；以按列的方式查看图像每列中的像素值，判断噪声并去除；

8、切割；先在成趟足迹图像中确定每枚足迹的足跟和足尖的位置，分别标记为p1和p2；再根据p1和p2计算出一个矩形框，通过矩形框对成趟足迹图像进行切割；

9、中心化；确定成趟足迹图像中足迹的上、下、左、右的外侧关键点，分别为p1、p2、p3和p4；四个外侧关键点同时向外侧移动，当p1与p2之间、p3与p4之间的距离为预设数量像素点时，则停止移动；将此时的p1、p2、p3和p4作为成趟足迹图像的四个边界，获取到预处理后的数据集d2；

10、将经过预处理的数据集d2按照3：1的比例分为训练集和测试集，将测试集按照2:1的比例分为底库和检索库。

11、进一步地，所述多类特征融合网络模型包括卷积神经网络、表观特征融合模块以及分帧特征聚合模块；卷积神经网络提取输入的信息获取分帧特征，再经过表观特征融合模块后获取全局表观特征，之后通过分帧特征聚合模块的时间聚合支路构建长距离时间关系，长短距离融合支路将短距离特征代入计算，求得含有长短距离时间信息的时空特征，最后将表观特征和时空特征融合进行检索任务。

12、进一步地，对训练集中的每个动态足迹按照顺序读取n帧图像，在将数据输入至卷积神经网络之前进行归一化预处理操作，将经过归一化预处理后的数据输入至卷积神经网络，输入的数据input大小为(b,n,3,224,224)，输出f1的大小为(b,n,h)；其中b为批次，3表示图像的通道数，224表示图像的高或宽；h表示将特征图拉伸后的一维向量长度。

13、进一步地，通过表观特征融合模块获取全局表观特征，过程如下：

14、将卷积神经网络提取的图像特征xi进行拼接，形成一个特征向量x∈nb*h′，即x＝(x1,x2,…,xi,…,xn)，其中xi为第i帧图像的特征，h′表示拼接后特征长度；

15、设置一个可训练的权重矩阵p，将特征向量x与权重矩阵p相乘得到最终的整合向量x1，即x1＝p·x。

16、进一步地，通过分帧特征聚合模块建立帧与帧之间的联系，过程如下：

17、时间聚合支路构建分帧图像之间的长距离时间关系，将神经网络提取的图像特征f1送入时间聚合支路，即f2＝maxpool(rule(conv3*3(f1))·f1，其中f1由n分帧特征组成；f2表示分帧特征经时间聚合支路计算后的长距离时间特征，其大小为(b,4096)；conv3*3表示大小为3*3的卷积层；rule(·)为线性激活；maxpool是核大小为8的最大池化层；

18、构建长短距离融合支路；将长短距离时间信息融合，即s＝其中s表示长短距离时间特征融合后的时空特征，其大小为(b,4096)，[·]表示向量内积运算，||·||表示向量求模运算，cat(·)为向量拼接操作。

19、进一步地，多类特征融合网络模型的训练过程如下：

20、对特征计算后进行损失函数计算，然后通过反向传播优化网络的各个参数，训练出检索效果最佳的多类特征融合网络模型；公式如下：

21、

22、

23、l＝λ*lcenter+lcross

24、其中lcenter表示中心损失，lcross为交叉熵损失，xj表示网络的输出特征，表示第pj类的中心特征，y(i)表示当前样本的真实标签，代表当前样本的预测标签，根据经验将λ的值设置为千分之一。

25、进一步地，多类特征融合网络模型测试过程如下：

26、利用训练好的网络对检索库中的图像提取特征，再与底库的特征进行距离计算；将计算出的距离按照从小到大进行排序，如果检索出的图像的id在底库中有与之对应的id，则表示检索成功；否则检索失败。

27、与现有技术相比，本发明的有益效果是：

28、本发明采用动态足迹数据进行研究，构建了一个基于多类特征融合的动态足迹检索模型，使得对于足迹的检索不仅仅只限于足迹图像的内容信息，将关注点聚焦于足底压力变化信息。

29、本发明设计的表观特征融合模块采用一个可训练的权重矩阵，特征融合时的权重由网络训练时不断优化，以此来得到一个合适的权重，使得融合后的表观特征具有更强的表现力。

30、本发明设计的分帧特征聚合模块构建分帧足迹图像之间的时空信息，通过时间聚合支路计算长距离时间信息；同时，利用长短距离融合支路将长短时间信息融合，使计算后的特征既包含足迹的长短时间信息，也解决了融合过程中空间信息冗余的问题。

技术特征：

1.一种基于多类特征融合的动态足迹检索方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多类特征融合的动态足迹检索方法，其特征在于，对采集获取的初始的数据集d1进行预处理，过程如下：

3.根据权利要求1所述的一种基于多类特征融合的动态足迹检索方法，其特征在于，所述多类特征融合网络模型包括卷积神经网络、表观特征融合模块以及分帧特征聚合模块；卷积神经网络提取输入的信息获取分帧特征，再经过表观特征融合模块后获取全局表观特征，之后通过分帧特征聚合模块的时间聚合支路构建长距离时间关系，长短距离融合支路将短距离特征代入计算，求得含有长短距离时间信息的时空特征，最后将表观特征和时空特征融合进行检索任务。

4.根据权利要求3所述的一种基于多类特征融合的动态足迹检索方法，其特征在于，对训练集中的每个动态足迹按照顺序读取n帧图像，在将数据输入至卷积神经网络之前进行归一化预处理操作，将经过归一化预处理后的数据输入至卷积神经网络，输入的数据input大小为(b,n,3,224,224)，输出f1的大小为(b,n,h)；其中b为批次，3表示图像的通道数，224表示图像的高或宽；h表示将特征图拉伸后的一维向量长度。

5.根据权利要求1所述的一种基于多类特征融合的动态足迹检索方法，其特征在于，通过表观特征融合模块获取全局表观特征，过程如下：

6.根据权利要求1所述的一种基于多类特征融合的动态足迹检索方法，其特征在于，通过分帧特征聚合模块建立帧与帧之间的联系，过程如下：

7.根据权利要求1所述的一种基于多类特征融合的动态足迹检索方法，其特征在于，多类特征融合网络模型的训练过程如下：

8.根据权利要求1所述的一种基于多类特征融合的动态足迹检索方法，其特征在于，多类特征融合网络模型测试过程如下：

技术总结
本发明公开了一种基于多类特征融合的动态足迹检索方法，属于足迹检索领域，解决了如何基于足迹图像挖掘图像与图像之间的内在联系以及足迹更深层次的信息，以此来提高足迹检索结果的问题；步骤一：采集动态足迹数据，构建检索网络的训练集和测试集；步骤二：将获取的训练集数据输入至多类特征融合网络模型进行训练；卷积神经网络提取输入的信息获取分帧特征，经过表观特征融合模块获取全局表观特征，通过分帧特征聚合模块的时间聚合支路构建长距离时间关系，长短距离融合支路将短距离特征代入计算，求得含有长短距离时间信息的时空特征，将表观特征和时空特征融合进行检索任务；步骤三：将测试集输入至训练好的多类特征融合网络模型进行测试。

技术研发人员：朱明,骆刚,蔺智挺,王年,唐俊,张艳,鲍文霞
受保护的技术使用者：安徽大学
技术研发日：
技术公布日：2024/1/12