一种红外图像数据增强的方法、装置与流程

本发明涉及电子围网系统，更具体地说，涉及一种红外图像数据增强的方法、装置。

背景技术：

1、目前的电子围网系统通常利用可见光成像实现目标检测，但处于较为恶劣天气时可见光成像所用传感器难以有效地对环境进行监控，而红外成像得益于其成像机理优势，可穿透浓雾、强降水等能见度低的气象条件，实施全天时、全天候的监控监测任务。

2、如将红外成像应用于电子围网系统的目标检测，则需要充分标注的红外样本来实现目标检测模型的训练，但实际很难实现；发明人在此基础上深入研究基于生成对抗网络（gan）的红外图像数据增强来解决实际标注的红外样本不充分的挑战，但是发现由于gan的训练需要实现判别器和生成器的纳什均衡，其训练稳定性和难度被广泛诟病，进而导致无法有效实现图像数据增强，更无法满足电子围网系统的目标检测需求。

技术实现思路

1、本发明的目的是提供一种红外图像数据增强的方法、装置，能够有效提高生成对抗网络训练的稳定性及高效性，进而有效实现红外图像数据增强，满足电子围网系统的目标检测需求。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种红外图像数据增强的方法，基于智能计算平台实现，所述红外图像数据增强的方法包括：

4、依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络；

5、从预先创建的模型库中随机选取若干预训练模型为目标模型；其中，所述模型库包含多个预设最优的预训练模型；

6、在每相邻的两个所述目标模型的网络顶层衔接分类器，得到包含有全部目标模型及相应分类器的组合模型，将所述组合模型与所述目标网络并联得到待训练网络，并基于预先获取的红外图像数据对所述待训练网络进行训练；

7、对所述判别器及所述生成器均训练完成后，利用所述生成对抗网络进行红外图像数据增强，并基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测；

8、其中，所述智能计算平台提供所述预训练模型及所述红外图像数据的存储功能，同时提供在不同计算节点同步训练所述待训练网络的功能。

9、优选的，预先获取所述红外图像数据，包括：

10、在所述电子围网系统的覆盖区域内选取测试巡航位置，并在指定时间段及指定拍摄角度，利用拍摄装置在所述测试巡航位置进行拍摄得到相应的红外图像数据；

11、收集互联网上的开源数据集或者网络数据库，得到相应的红外图像数据。

12、优选的，基于预先获取的红外图像数据对所述待训练网络进行训练之前，还包括：

13、确定部分所述红外图像数据的标签，并将该部分所述标签的值分别修改为相应的较小值或较大值；其中，所述较小值为小于所述标签的值且与所述标签值的差值在预设范围内的值，所述较大值为大于所述标签的值且与所述标签的值的差值在预设范围内的值。

14、优选的，基于预先获取的红外图像数据对所述待训练网络进行训练，包括：

15、如果所述待训练网络包含所述判别器，则在对所述待训练网络进行训练的过程中，将所述待训练网络的指定中间层的输出作为n维特征，按照下列公式计算n维特征每个维度的标准差的均值o，并将所述均值o作为特征图与n维特征拼接后，输入至所述指定中间层的下一层；

16、；

17、；

18、其中，i为表示维度的变量，j为表示数据的变量，m为；所述指定中间层输出的数据的数量，f（xj）i表示所述指定中间层输出的在第i个维度的第j个数据，表示所述指定中间层输出的在第i个维度的数据平均值。

19、优选的，基于预先获取的红外图像数据对所述待训练网络进行训练包括：

20、如果所述待训练网络包含所述判别器，则在对所述待训练网络进行训练的过程中，每经过预设时间间隔，则将所述待训练网络学习过的判断结果为假的红外图像数据再次输入至所述待训练网络进行训练。

21、优选的，基于预先获取的红外图像数据对所述待训练网络进行训练包括：

22、在对所述待训练网络进行训练的过程中，每次训练完成后，确定训练所述待训练网络的进程速度是否达到预设需求，如果是，则对所述待训练网络中全部模型及网络的权重进行求和或者求积运算，以固定所述待训练网络。

23、优选的，基于全部的红外图像数据实现电子围网系统的红外目标检测，包括：

24、基于全部的红外图像数据对所述电子围网系统的目标检测模型进行调整，并将调整后的所述目标检测模型应用于所述电子围网系统，以使得所述电子围网系统基于所述目标检测模型实现红外目标检测。

25、一种红外图像数据增强的装置，基于智能计算平台实现，所述红外图像数据增强的装置包括：

26、确定模块，用于：依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络；

27、选取模块，用于：从预先创建的模型库中随机选取若干预训练模型为目标模型；其中，所述模型库包含多个预设最优的预训练模型；

28、构建模块，用于：在每相邻的两个所述目标模型的网络顶层衔接分类器，得到包含有全部目标模型及相应分类器的组合模型，将所述组合模型与所述目标网络并联得到待训练网络，并基于预先获取的红外图像数据对所述待训练网络进行训练；

29、检测模块，用于：对所述判别器及所述生成器均训练完成后，利用所述生成对抗网络进行红外图像数据增强，并基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测；

30、其中，所述智能计算平台提供所述预训练模型及所述红外图像数据的存储功能，同时提供在不同计算节点同步训练所述待训练网络的功能。

31、一种红外图像数据增强的设备，所述设备包括存储器及处理器，所述存储器上存储的程序在被所述处理器运行时可实现如上任一项所述红外图像数据增强的方法的步骤。

32、一种计算机可读存储介质，所述计算机可读存储介质上存储的程序被处理器执行时实现如上任一项所述红外图像数据增强的方法的步骤。

33、本发明提供一种红外图像数据增强的方法、装置，基于智能计算平台实现；该方法包括：依次或同时确定生成对抗网络中的判别器及生成器分别为目标网络；从预先创建的模型库中随机选取若干预训练模型为目标模型，所述模型库包含多个预设最优的预训练模型；在每相邻的两个所述目标模型的网络顶层衔接分类器，得到包含有全部目标模型及相应分类器的组合模型，将所述组合模型与所述目标网络并联得到待训练网络，并基于预先获取的红外图像数据对所述待训练网络进行训练；对所述判别器及所述生成器均训练完成后，利用所述生成对抗网络进行红外图像数据增强，并基于进行红外图像数据增强的结果实现电子围网系统的红外目标检测；其中，所述智能计算平台提供所述预训练模型及所述红外图像数据的存储功能，同时提供在不同计算节点同步训练所述待训练网络的功能。本发明在训练生成对抗网络时，利用最优预训练模型与生成对抗网络中的生成器或判别器并联构建新的网络，对该新的网络进行训练从而实现对相应生成器或判别器的训练，利用训练完成的生成对抗网络实现红外图像数据增强，进而基于红外图像数据增强的结果实现电子围网系统的目标检测。可见，本发明能够充分利用已确定最优的预训练模型实现生成对抗网络的训练，且通过生成对抗网络及预训练模型联合训练的方式避免梯度消失，从而能够有效提高生成对抗网络训练的稳定性及高效性，进而有效实现红外图像数据增强，满足电子围网系统的目标检测需求。