基于运动模拟的行为识别方法、装置及电子设备与流程

本发明涉及行为识别，尤其涉及一种基于运动模拟的行为识别方法、装置及电子设备。

背景技术：

1、目前，现有的双流网络中的光流分支的输入为光流图片，光流的提取过程计算量大，且送入网络中训练所需时间也比较长。因此，光流的使用对设备要求较高，且对在线识别环境不友好。

2、因此，如何减少行为识别过程的运算量和运算时间，节约运算成本，提升识别速度，是当前需要解决的技术问题。

技术实现思路

1、本发明提供一种基于运动模拟的行为识别方法、装置及电子设备，用以解决现有技术中上述存在的缺陷，实现减少行为识别过程的运算量和运算时间，节约运算成本，提升识别速度。

2、本发明提供一种基于运动模拟的行为识别方法，包括：

3、获取rgb图片；

4、基于训练完成的运动模拟网络的外观分支子网络对所述rgb图片进行外观识别，得到外观信息，基于所述运动模拟网络的运动分支子网络对所述rgb图片进行运动识别，得到运动信息；

5、对所述外观信息和运动信息进行融合，得到融合信息，基于所述融合信息进行行为识别；

6、其中，所述外观分支子网络是基于rgb样本和所述rgb样本对应的外观标签进行训练得到的，所述运动分支子网络是对rgb样本进行特征识别并基于所述rgb样本对应的运动标签进行训练得到的。

7、在一些实施例中，所述运动分支子网络包括运动模拟模块和特征识别模块；

8、所述基于所述运动模拟网络的运动分支子网络对所述rgb图片进行运动识别，得到运动信息，包括：

9、基于所述运动模拟模块对所述rgb图片进行运动特征提取，得到运动特征；

10、基于所述特征识别模块对所述运动特征进行行为识别，得到所述运动信息。

11、在一些实施例中，所述基于所述运动模拟模块对所述rgb图片进行运动特征提取，得到运动特征，包括：

12、基于所述运动模拟模块的卷积层对所述rgb图片进行卷积操作，得到低层特征图；

13、对所述低层特征图进行平均池化操作和最大池化操作，得到各帧对应的平均池化特征图和最大池化特征图；

14、基于所述平均池化特征图得到时序特征差，基于所述最大池化特征图得到坐标特征差；

15、将相邻帧之间的所述时序特征差和坐标特征差进行特征拼接，得到所述运动特征。

16、在一些实施例中，所述基于所述平均池化特征图得到时序特征差，包括：

17、基于所述平均池化特征图的时间维度确定每一帧的平均池化特征图的时序特征，将相邻帧的时序特征相减，得到时序特征差。

18、在一些实施例中，所述基于所述最大池化特征图得到坐标特征差，包括：

19、确定各帧对应的最大池化特征图取最大池化处的位置信息，将相邻帧的位置信息进行相减，得到所述坐标特征差。

20、在一些实施例中，将相邻帧的时序特征相减，得到时序特征差，如以下公式所示：

21、msm_fea(δt)＝avgpooling(ft+1)-avgpooling(ft+1)；

22、其中，ft+1表示第t+1帧的特征图，ft表示第t帧的特征图。

23、在一些实施例中，所述确定各帧对应的最大池化特征图取最大池化处的位置信息，将相邻帧的位置信息进行相减，得到所述坐标特征差，如以下公式所示：

24、msm_xy(δt)＝maxpooling(ft+1)index-maxpooling(ft)index；

25、其中，(ft+1)index表示第t+1帧的位置信息，(ft)index表示第t帧的位置信息。

26、本发明还提供一种基于运动模拟的行为识别装置，包括：

27、获取单元，用于获取rgb图片；

28、识别单元，用于基于训练完成的运动模拟网络的外观分支子网络对所述rgb图片进行外观识别，得到外观信息，基于所述运动模拟网络的运动分支子网络对所述rgb图片进行运动识别，得到运动信息；

29、融合单元，用于对所述外观信息和运动信息进行融合，得到融合信息，基于所述融合信息进行行为识别；

30、其中，所述外观分支子网络是基于rgb样本和所述rgb样本对应的外观标签进行训练得到的，所述运动分支子网络是对rgb样本进行特征识别并基于所述rgb样本对应的运动标签进行训练得到的。

31、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于运动模拟的行为识别方法。

32、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于运动模拟的行为识别方法。

33、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于运动模拟的行为识别方法。

34、本发明提供的基于运动模拟的行为识别方法、装置及电子设备，将rgb图片分别通过运动模拟网络的外观分支子网络和运动分支子网络进行识别，得到外观信息和运动信息，再将两者进行融合以进行行为识别，运动分支子的运动模拟模块，可对rgb图片进行运动特征提取，在识别过程中科代替双流网络中的光流分支，实现减少行为识别过程的运算量和运算时间，节约运算成本，提升识别速度。

技术特征：

1.一种基于运动模拟的行为识别方法，其特征在于，包括：

2.根据权利要求1所述的基于运动模拟的行为识别方法，其特征在于，所述运动分支子网络包括运动模拟模块和特征识别模块；

3.根据权利要求2所述的基于运动模拟的行为识别方法，其特征在于，所述基于所述运动模拟模块对所述rgb图片进行运动特征提取，得到运动特征，包括：

4.根据权利要求3所述的基于运动模拟的行为识别方法，其特征在于，所述基于所述平均池化特征图得到时序特征差，包括：

5.根据权利要求4所述的基于运动模拟的行为识别方法，其特征在于，所述基于所述最大池化特征图得到坐标特征差，包括：

6.根据权利要求5所述的基于运动模拟的行为识别方法，其特征在于，将相邻帧的时序特征相减，得到时序特征差，如以下公式所示：

7.根据权利要求6所述的基于运动模拟的行为识别方法，其特征在于，所述确定各帧对应的最大池化特征图取最大池化处的位置信息，将相邻帧的位置信息进行相减，得到所述坐标特征差，如以下公式所示：

8.一种基于运动模拟的行为识别装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于运动模拟的行为识别方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于运动模拟的行为识别方法。

技术总结
本发明提供一种基于运动模拟的行为识别方法、装置及电子设备，方法包括：获取RGB图片；基于训练完成的运动模拟网络的外观分支子网络对所述RGB图片进行外观识别，得到外观信息，基于所述运动模拟网络的运动分支子网络对所述RGB图片进行运动识别，得到运动信息；对所述外观信息和运动信息进行融合，得到融合信息，基于所述融合信息进行行为识别；其中，所述外观分支子网络是基于RGB样本和所述RGB样本对应的外观标签进行训练得到的，所述运动分支子网络是对RGB样本进行特征识别并基于所述RGB样本对应的运动标签进行训练得到的。本发明可减少行为识别过程的运算量和运算时间，节约运算成本，提升识别速度。

技术研发人员：王陈燕
受保护的技术使用者：中银金融科技有限公司
技术研发日：
技术公布日：2024/1/15