基于图像预融合的跨域行为识别方法及装置与流程

本申请涉及计算机视觉和模式识别，尤其涉及一种基于图像预融合的跨域行为识别方法及装置。

背景技术：

1、行为识别领域包括多种不同深度架构的方法，例如：双流网络架构，用两个2d卷积块对rgb和光流信息进行联合训练，建模时间信息；时间关系网络深度模型，采用特殊的池化层来建模视频帧之间的时间关系；集成了膨胀的二维卷积滤波器，以利用大规模预训练的二维模型的深度网络等。然而，上述方法是在相同分布的训练数据集和测试数据集上训练的，即所有样本都来自同一数据集，无法直接运用在跨域行为识别领域。

2、跨域识别的关键是源域和目标域之间的域差异，因为不同域之间存在着数据分布的差异，包括外观、光照、背景等方面的差异，对于跨域识别任务，其训练和测试的样本往往来自不同的数据集，即样本的分布是不同的。这会导致一些行为识别方法在跨域情况下，不能很好的消除样本的数据分布差异，从而导致模型的分类效果大幅下降，进而影响跨域识别的准确性。

技术实现思路

1、本申请提供一种基于图像预融合的跨域行为识别方法及装置，以解决跨域识别的准确性低的问题。

2、第一方面，本申请提供一种基于图像预融合的跨域行为识别方法，包括：

3、构造行为识别数据集，所述行为识别数据集包括源域数据集和目标域数据集；

4、对所述源域数据集中的数据进行归一化处理，以得到源域数据，所述源域数据的图像形状相同，所述源域数据的像素值取值范围相同；

5、使用所述源域数据训练神经网络模型，以得到预训练模型；

6、对所述目标域数据集中的数据进行归一化处理，以得到目标域数据；

7、将所述目标域数据输入所述预训练模型，以得到预测输出标签以及所述预测输出标签的预测置信度；

8、将所述预测输出标签和所述预测置信度作为所述目标域数据的伪标签；

9、根据所述伪标签构造虚拟样本；

10、获取所述虚拟样本中的数据的融合标签，利用所述虚拟样本中的数据以及所述融合标签构造融合数据集；

11、对所述融合数据集中的数据进行归一化处理，以得到处理后融合数据；

12、使用所述处理后融合数据训练所述预训练模型，以得到跨域行为识别模型；

13、将所述目标域数据输入所述跨域行为识别模型，以得到跨域行为识别结果。

14、可选的，所述源域数据集中的源域数据与所述目标域数据集中的目标域数据的行为类别相同。

15、可选的，所述神经网络模型包括多层卷积层、全连接层以及残差结构。

16、可选的，所述使用所述源域数据训练神经网络模型，以得到预训练模型包括：

17、基于交叉熵损失函数获取第一损失函数值；

18、采用反向传播算法和随机梯度下降法来减小所述第一损失函数值；

19、在所述第一损失函数值小于或等于第一损失阈值时，输出所述神经网络模型的模型参数，以得到所述预训练模型。

20、可选的，所述根据所述伪标签构造虚拟样本包括：

21、将所述预测置信度高于置信度阈值的目标域数据以及目标域数据的所述预测输出标签取出，以得到取出数据；

22、将所述取出数据与所述源域数据集中的随机数据进行融合，以构造虚拟样本，所述随机数据为标签相同的数据。

23、可选的，其特征在于，将所述取出数据与所述源域数据集中的随机数据按照下式进行融合：

24、

25、其中，λ为融合比例系数，λ∈[0,1]，为融合数据，xi为取出数据，xj为随机数据。

26、可选的，所述目标域数据的所述图像形状与所述源域数据的所述图像形状相同，所述目标域数据的所述像素值取值范围与所述源域数据的所述像素值取值范围相同；所述处理后融合数据的所述图像形状与所述源域数据的所述图像形状相同，所述处理后融合数据的所述像素值取值范围与所述源域数据的所述像素值取值范围相同。

27、可选的，所述使用所述融合数据训练所述预训练模型，以得到跨域行为识别模型包括：

28、基于交叉熵损失函数获取第二损失函数值；

29、采用反向传播算法和随机梯度下降法来减少所述第二损失函数值；

30、在所述第二损失函数值小于或等于第二损失阈值时，输出所述预训练模型的模型参数，以得到所述跨域行为识别模型。

31、可选的，还包括：

32、获取所述目标域数据集的真实标签；

33、对比所述跨域行为识别结果与所述目标域数据集的所述真实标签，以评估所述跨域行为识别模型的跨域识别性能。

34、第二方面，本申请提供一种基于图像预融合的跨域行为识别装置，应用于上述第一方面所提供的识别方法，所述装置包括：

35、采集模块，用于从数据集中采集数据；

36、处理模块，用于对源域数据集、目标域数据集和融合数据集中的数据进行处理；

37、融合模块，用于将所述目标域数据集中的取出数据与所述源域数据集中的随机数据进行融合；

38、构造模块，用于构造数据集和虚拟样本；

39、训练模块，用于对神经网络模型和预训练模型进行训练；

40、对比模块，用于对跨域识别模型的跨域识别性能进行评估。

41、由上述技术方案可知，本申请提供一种基于图像预融合的跨域行为识别方法及装置，所述方法包括：构造行为识别数据集，包括源域数据集和目标域数据集；使用归一化处理后的源域数据训练神经网络模型以得到预训练模型；将归一化处理后的目标域数据输入预训练模型以得到预测输出标签以及相应的预测置信度；将预测输出标签和预测置信度作为目标域数据的伪标签；根据伪标签构造虚拟样本；获取虚拟样本中数据的融合标签，并利用虚拟样本中的数据构造融合数据集；使用归一化后的融合数据训练预训练模型以得到跨域行为识别模型；将目标域数据输入跨域行为识别模型以得到跨域行为识别结果。本申请的识别方法可减少源域与目标域之间的差异，使模型能够将从一个域中学习到的知识迁移到其他域中，从而提高模型的泛化能力和鲁棒性，可解决跨域识别时准确性低的问题。

技术特征：

1.一种基于图像预融合的跨域行为识别方法，其特征在于，包括：

2.根据权利要求1所述的基于图像预融合的跨域行为识别方法，其特征在于，所述源域数据集中的源域数据与所述目标域数据集中的目标域数据的行为类别相同。

3.根据权利要求1所述的基于图像预融合的跨域行为识别方法，其特征在于，所述神经网络模型包括多层卷积层、全连接层以及残差结构。

4.根据权利要求1所述的基于图像预融合的跨域行为识别方法，其特征在于，所述使用所述源域数据训练神经网络模型，以得到预训练模型包括：

5.根据权利要求1所述的基于图像预融合的跨域行为识别方法，其特征在于，所述根据所述伪标签构造虚拟样本包括：

6.根据权利要求5所述的基于图像预融合的跨域行为识别方法，其特征在于，将所述取出数据与所述源域数据集中的随机数据按照下式进行融合：

7.根据权利要求1所述的基于图像预融合的跨域行为识别方法，其特征在于，所述目标域数据的所述图像形状与所述源域数据的所述图像形状相同，所述目标域数据的所述像素值取值范围与所述源域数据的所述像素值取值范围相同；所述处理后融合数据的所述图像形状与所述源域数据的所述图像形状相同，所述处理后融合数据的所述像素值取值范围与所述源域数据的所述像素值取值范围相同。

8.根据权利要求1所述的基于图像预融合的跨域行为识别方法，其特征在于，所述使用所述融合数据训练所述预训练模型，以得到跨域行为识别模型包括：

9.根据权利要求1所述的基于图像预融合的跨域行为识别方法，其特征在于，还包括：

10.一种基于图像预融合的跨域行为识别装置，其特征在于，应用于权利要求1-9任一项所述的识别方法，所述装置包括：

技术总结
本申请提供一种基于图像预融合的跨域行为识别方法及装置，方法包括：构造行为识别数据集，包括源域数据集和目标域数据集；使用处理后的源域数据训练神经网络模型以得到预训练模型；将处理后的目标域数据输入预训练模型以得到预测输出标签以及相应的预测置信度；将预测输出标签和预测置信度作为目标域数据的伪标签；根据伪标签构造虚拟样本；获取虚拟样本中数据的融合标签，构造融合数据集；使用处理后融合数据训练预训练模型以得到跨域行为识别模型；将目标域数据输入跨域行为识别模型以得到跨域行为识别结果。所述方法使模型能够将从一个域中学习到的知识迁移到其他域中，从而提高模型的泛化能力和鲁棒性，可解决跨域识别时准确性低的问题。

技术研发人员：赵正平,宋登峰,杨永森,普碧才,田永军,霍智锋,赵丹,佘有明,李振弘,刘镇,苏慧,代礼琴,陈乐,陆建锋,金春仙,党璐璐,马文亮,张颖,李均宏,杨征鸿,张玉梅,杨向娟,蒋孝敬,宋明明,和正美,杨杰,徐正国,杨永平,和春元,杜海燕,耿怀旭,唐智能,秦建明,王啸虎,冯建辉,陈铸亮,孔碧光,英自才,刘绍正,耿座学,李圣,刘凡波,张铁斌
受保护的技术使用者：云南电网有限责任公司怒江供电局
技术研发日：
技术公布日：2024/1/16