基于卷积神经网络的轻量化图像超分辨率重建方法和装置与流程

本技术涉及图像处理，具体涉及一种基于卷积神经网络的轻量化图像超分辨率重建方法和装置。

背景技术：

1、热成像对光照条件不敏感，因此在智能城市、森林防火、气体泄漏和农业生产等方面有着广泛的应用。然而，由于传感器的尺寸限制，在广泛应用热成像的无人机云台相机上，获取高分辨率的热红外图像非常困难。

2、目前，基于深度学习的图像超分辨率算法，可以有效通过低分辨率图像来重建高分辨率图像，提升图像质量。申请号为202311713718.0的中国专利公开了一种图像超分辨率增强方法及装置、训练方法、设备及介质，其应用的超分图像模型为对抗生成网络模型，包括第一生成器、第二生成器和判别器。其中第一生成器为超分生成网络，负责将低分辨率图像通过超分生成分支网络生成为高质量的高分辨率图像；第二生成器为退化参数生成网络，负责生成退化过程中所需要的控制参数，使高分辨率图像能够通过该退化流程将图像退化为与低分辨率图像质量相近的低分辨率图像；而判别器则用于负责判断图像是否为真实采集的低分辨率图像/高分辨率图像，还是超分生成/退化过程生成的图像数据，从而可使用高质量的高分辨率图像进行正向循环、待超分的低质量的低分辨率图像进行逆向循环来同步训练超分生成网络和退化参数生成网络。

3、上述现有技术方案中的超分图像模型能够适配不同场景类型图像自适应退化以提升超分增强质量，泛化能力好、模型移植效率高。然而，该方案中，超分图像模型需要使用高质量的高分辨率图像进行正向循环、待超分的低质量的低分辨率图像进行逆向循环来同步训练超分生成网络和退化参数生成网络，模型的复杂度高，参数量和计算量大，对于芯片/处理器的算力有着极大的要求，通常仅适用于固定设备端，而对于无人机应用领域，无人机云台相机通常只能搭载嵌入式设备，其搭载的芯片/处理器的算力较低，完全无法满足要求。

4、有鉴于此，提供一种在保证图像超分性能、运行速度提升的前提下，降低了模型参数量和复杂度，符合部署在移动端或嵌入式设备的要求的轻量化图像超分辨率重建方法，就显得尤为重要。

技术实现思路

1、为了解决现有技术中的基于深度学习的图像超分辨率算法对算力要求较高，无法满足无人机低算力要求的技术问题，本技术提出了一种基于卷积神经网络的轻量化图像超分辨率重建方法和装置。

2、根据本技术的第一方面，提出了一种基于卷积神经网络的轻量化图像超分辨率重建方法，包括：

3、获取待重建图像；

4、将所述待重建图像输入到预训练好的超分生成网络，输出得到对应的超分辨率图像；

5、其中，所述超分生成网络包括多个卷积层、dts层、resize层和输出层，多个所述卷积层用于对所述待重建图像进行特征提取，得到特征图像的深度信息；所述dts层用于通过通道转平面操作将所述特征图像的深度信息转换为平面信息，生成预设超分倍数的第一放大图像；所述resize层使用最邻近插值得到，用于对所述待重建图像进行放大，生成所述预设超分倍数的第二放大图像；所述输出层用于对所述第一放大图像和所述第二放大图像进行融合相加，映射得到所述超分辨率图像。

6、优选的，所述特征图像的深度信息转换为平面信息的过程如下：

7、[n，k*k*c，h，w]→[n，c，k*h，k*w]

8、其中，n为特征图像数量，c为特征图像的通道数量，h为特征图像的像素高度值，w为特征图像的像素宽度值，k为预设超分倍数。

9、优选的，所述超分生成网络通过双核异构处理器部署，所述双核异构处理器包括第一处理器和第二处理器，其中，多个所述卷积层和所述resize层并行部署于所述第一处理器，所述dts层和所述输出层部署于所述第二处理器，所述第一处理器的卷积运行效率高于所述第二处理器的卷积运行效率。

10、优选的，在重建单帧所述待重建图像过程中，所述第一处理器的运行耗时为第一耗时，所述第二处理器的运行耗时为第二耗时，所述超分生成网络被配置为：所述第一耗时大于所述第二耗时。

11、优选的，所述卷积层的卷积核大小为3x3、输出通道为64、跨度为1，所述卷积层的数量配置为13层，所述第一耗时为50ms。

12、优选的，所述超分生成网络的训练过程包括：

13、构建训练集，所述训练集包括包含多张低分辨率图像的第一训练样本和包含多张高分辨率图像的第二训练样本；

14、构建所述超分生成网络，将所述第一训练样本作为所述超分生成网络的输入，并输出所述超分辨率图像；

15、构建对抗网络，所述对抗网络包括第一判断网络和第二判断网络；

16、其中，所述第一判断网络以所述超分辨率图像为输入，用于判断所述超分辨率图像中的每个像素点相对于原始高分辨率图像的真假值；所述第二判断网络以所述第二训练样本为输入，用于判断所述高分辨率图像中的每个像素点相对于原始高分辨率图像的真假值；所述对抗网络基于所述第一判断网络和所述第二判断网络的判断结果对自身的权重参数进行调整以迭代训练，直至所述对抗网络和所述超分生成网络的损失函数收敛，从而得到预训练好的所述超分生成网络。

17、优选的，所述超分生成网络的训练过程还包括：

18、构建退化生成网络，所述退化生成网络以所述第二训练样本为输入，用于对所述高分辨率图像进行退化处理，得到退化后的低分辨率图像，并作为所述第一训练样本。

19、根据本技术的第二方面，提出了一种基于卷积神经网络的轻量化图像超分辨率重建装置，包括：

20、获取模块，配置用于获取待重建图像；

21、超分生成模块，配置用于将所述待重建图像输入到预训练好的超分生成网络，输出得到对应的超分辨率图像；

22、其中，所述超分生成网络包括多个卷积层、dts层、resize层和输出层，多个所述卷积层用于对所述待重建图像进行特征提取，得到特征图像的深度信息；所述dts层用于通过通道转平面操作将所述特征图像的深度信息转换为平面信息，生成预设超分倍数的第一放大图像；所述resize层使用最邻近插值得到，用于对所述待重建图像进行放大，生成所述预设超分倍数的第二放大图像；所述输出层用于对所述第一放大图像和所述第二放大图像进行融合相加，映射得到所述超分辨率图像。

23、根据本技术的第三方面，提出了一种云台相机，包括：

24、一个或多个处理器；

25、存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述云台相机实现如上述第一方面任一实施方式提供的基于卷积神经网络的轻量化图像超分辨率重建方法。

26、根据本技术的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面任一实施方式提供的基于卷积神经网络的轻量化图像超分辨率重建方法。

27、本技术提出了一种基于卷积神经网络的轻量化图像超分辨率重建方法和装置，超分生成网络基于轻量化卷积神经网络搭建，包括13个3x3的卷积层、dts层、resize层和输出层，其中13个卷积层提取待重建图像的特征图像的深度信息，dts层通过通道转平面操作将特征图像的深度信息转换为平面信息，从而生成预设超分倍数的第一放大图像，同时使用最邻近插值得到resize层并对待重建图像按照预设超分倍数进行放大，得到第二放大图像，如此一来，输出层对第一放大图像和第二放大图像进行融合做加法计算，输出得到的超分辨率图像更接近原始高分辨率图像，保证了超分图像的质量。

28、同时，针对目前市面上的npu处理器的特性，即npu处理器不能兼并高效卷积运行效率和支持通道转平面操作这两种特性，本技术的超分生成网络部署在双核异构处理器上，包括第一处理器和第二处理器，其中第一处理器具有高效的卷积运行效率但不支持通道转平面操作，第二处理器支持通道转平面操作但卷积运行效率较低，因此将13个3x3的卷积层和resize层部署在第一处理器上，dts层和输出层部署在第二处理器上，第一处理器和第二处理器并行运行，从而提升了超分生成网络的运行速度。

29、进一步的，将超分生成网络配置为第一处理器运行的第一耗时大于第二处理器运行的第二耗时，从而超分生成网络重建连续多帧图像的最终运行耗时取决于第一处理器的第一耗时，而通过增加或删减卷积层的数量，可以线性调整第一处理器的第一耗时，从而可以适应性的调整超分辨率视频的显示帧率。

30、综上，本技术提供的一种基于卷积神经网络的轻量化图像超分辨率重建方法和装置，基于轻量化卷积神经网络搭建超分生成网络，同时超分生成网络部署在双核异构处理器上，在保证图像超分性能、运行速度提升的前提下，降低了网络的参数量和复杂度，符合部署在移动端或嵌入式设备的要求。