1.一种基于多源数据融合的智能视频监控方法,其特征在于,包括以下步骤:
2.如权利要求1所述的一种基于多源数据融合的智能视频监控方法,其特征在于:所述s1中多源视频数据包括可见光行人视频数据和红外光行人视频数据,对多源视频数据进行标准化、去噪,并对空间分辨率和亮度进行统一调整,获得预处理后的多源视频数据。
3.如权利要求1所述的一种基于多源数据融合的智能视频监控方法,其特征在于:所述s2中的时空特征编解码网络包括3d编码模块、2d解码模块、重采样模块、时域降采样模块和时空一致性判别器,将可见光视频数据和红外视频数据输入时空特征编解码网络获得异常行为检测初步结果的具体步骤如下:
4.如权利要求1所述的一种基于多源数据融合的智能视频监控方法,其特征在于:所述时空特征编解码网络通过时空一致性训练策略进行优化训练,时空一致性训练策略的代价函数由像素级的误差平方函数和对抗损失函数组成;
5.如权利要求1所述的一种基于多源数据融合的智能视频监控方法,其特征在于:所述s4中的特征识别网络包括特征学习模块和特征映射模块,所述特征学习模块由卷积神经网络、全连接层、批归一化层组成;所述特征映射模块由随机失活层、全连接层、二范数归一化层构成;特征识别网络实现行人异常行为图像的特征提取的具体步骤如下:
6.如权利要求5所述的一种基于多源数据融合的智能视频监控方法,其特征在于:所述s4中特征识别网络基于超球面流形和kl散度的度量学习策略进行训练,具体为:
7.如权利要求1所述的一种基于多源数据融合的智能视频监控方法,其特征在于:所述s5中基于双对齐特征嵌入的跨模态行人特征配准网络的具体处理过程为:
8.如权利要求7所述的一种基于多源数据融合的智能视频监控方法,其特征在于:所述基于双对齐特征嵌入的跨模态行人特征配准网络通过模态一致性度量学习策略进行训练,包括类内分布约束损失函数和类间相关性约束损失函数,具体如下:
9.一种基于多源数据融合的智能视频监控系统,应用于如权利要求1至8任意一项所述的智能视频监控方法,其特征在于,包括:视频获取模块和后端服务器;