图像重建方法、装置、设备和介质与流程

本公开涉及人工智能领域，更具体地，涉及一种图像重建方法、装置、设备、介质和程序产品。

背景技术：

1、图像分辨率是指单位英寸内包含像素的个数，作为评价图像质量的指标，数值越高，图像质量越优。图像识别技术是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，例如车牌识别、人脸识别和医学影像分析等应用场景中使用。图像识别效果与待识别图像的分辨率有关联，于低分辨率图像的识别结果并不准确。

2、相关技术中，可以基于卷积神经网络实现图像超分辨率重建，有效提高了重建图像的质量，具有更高分辨率。

3、在实现本公开发明构思的过程中，发明人发现，当前图像超分辨率重建技术，由于数据集的局限性，导致训练后的模型仅局限于某一类特定图像，适用场景有限。

技术实现思路

1、鉴于上述问题，本公开提供了图像重建方法、装置、设备、介质和程序产品。

2、本公开实施例的一个方面，提供了一种图像重建方法，包括：将待重建图像输入至经训练的解码器；获得经训练的所述解码器输出的超分辨率图像；其中，经训练的所述解码器被配置为预先根据如下操作训练得到：将第一图像输入至第一编码器，生成具有更低分辨率的n张第二图像，其中第n个第二图像由所述第一编码器根据与第n-1个第二图像相关联的随机因子生成，n大于或等于2，且小于或等于n；将所述n张第二图像输入至所述解码器，生成超分辨率重建后的n张第三图像；根据所述第一图像和所述n张第三图像中各图像之间的损失函数值，更新所述第一编码器和所述解码器。

3、根据本公开的实施例，在更新所述第一编码器和所述解码器之后，还包括执行如下操作继续训练：将所述n张第三图像输入至第二编码器，生成具有更低分辨率的n张第四图像，所述第一编码器与所述第二编码器相同或不同；根据所述n张第二图像和所述n张第四图像之间一一对应的损失函数值，继续更新所述解码器和所述第二编码器。

4、根据本公开的实施例，所述生成具有更低分辨率的n张第四图像包括：由所述第二编码器根据第n张第三图像，以及与第n-1个第四图像相关联的随机因子生成第n个第四图像。

5、根据本公开的实施例，所述第一编码器包括随机因子层，在生成第n个第二图像之前，获得与第n-1个第二图像相关联的随机因子包括：获取所述第n-1个第二图像的图像特征信息；利用所述随机因子层对所述图像特征信息进行采样，获得所述随机因子。

6、根据本公开的实施例，所述随机因子层包括全卷积组和第一卷积层，利用所述随机因子层对所述图像特征信息进行采样包括：将所述图像特征信息输入至所述全卷积组进行处理；将所述全卷积组的输出作为所述第一卷积层的输入，获得所述第一卷积层输出的随机因子。

7、根据本公开的实施例，所述第一编码器还包括m个卷积组，m大于或等于2，当所述第n-1个第二图像为首张第二图像时，获取所述第n-1个第二图像的图像特征信息包括：对所述第一图像进行下采样处理；将所述下采样处理得到的图像特征依次经过所述m个卷积组处理，得到所述第n-1个第二图像的图像特征信息。

8、根据本公开的实施例，所述随机因子包括m-1个随机值，由所述第一编码器根据与第n-1个第二图像相关联的随机因子生成第n个第二图像包括：将所述下采样处理得到的图像特征依次经过所述m个卷积组中前m-1个卷积组处理，其中包括利用所述m-1个随机值一一对应地对所述前m-1个卷积组的输出进行加权处理；将经加权处理后的所述第m-1个卷积组的输出作为第m个卷积组的输入；获得基于所述第m个卷积组生成的所述第n个第二图像。

9、本公开实施例的另一方面提供了一种图像重建装置，包括：第一输入模块，用于将待重建图像输入至经训练的解码器；第一输出模块，用于获得经训练的所述解码器输出的超分辨率图像；其中，经训练的所述解码器被配置为预先根据如下操作训练得到：将第一图像输入至第一编码器，生成具有更低分辨率的n张第二图像，其中第n个第二图像由所述第一编码器根据与第n-1个第二图像相关联的随机因子生成，n大于或等于2，且小于或等于n；将所述n张第二图像输入至所述解码器，生成超分辨率重建后的n张第三图像；根据所述第一图像和所述n张第三图像中各图像之间的损失函数值，更新所述第一编码器和所述解码器。

10、所述装置包括分别用于执行如上所述任意一项所述的方法的各个步骤的模块。

11、本公开实施例的另一方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行如上所述的方法。

12、本公开实施例的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。

13、本公开实施例的另一方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的方法。

14、上述一个或多个实施例具有如下有益效果：利用经训练的解码器处理待重建图像，输出超分辨率图像。在预先训练过程中，将训练图像，经过第一编码器与解码器实现重建步骤，并在第一编码器中设置随机因子生成不同的低分辨率图像，从而得到不同的超分辨率图像，利用第一图像和各张第三图像之间的对比，提高模型重建质量，强化了解码器重建图像的泛化能力，适用场景更广泛。

技术特征：

1.一种图像重建方法，包括：

2.根据权利要求1所述的方法，其中，在更新所述第一编码器和所述解码器之后，还包括执行如下操作继续训练：

3.根据权利要求2所述的方法，其中，所述生成具有更低分辨率的n张第四图像包括：

4.根据权利要求1所述的方法，其中，所述第一编码器包括随机因子层，在生成第n个第二图像之前，获得与第n-1个第二图像相关联的随机因子包括：

5.根据权利要求4所述的方法，其中，所述随机因子层包括全卷积组和第一卷积层，利用所述随机因子层对所述图像特征信息进行采样包括：

6.根据权利要求5所述的方法，其中，所述第一编码器还包括m个卷积组，m大于或等于2，当所述第n-1个第二图像为首张第二图像时，获取所述第n-1个第二图像的图像特征信息包括：

7.根据权利要求6所述的方法，其中，所述随机因子包括m-1个随机值，由所述第一编码器根据与第n-1个第二图像相关联的随机因子生成第n个第二图像包括：

8.一种图像重建装置，包括：

9.一种电子设备，包括：

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～7中任一项所述的方法。

技术总结
本公开提供了一种图像重建方法，涉及人工智能领域。该方法包括：将待重建图像输入至经训练的解码器；获得经训练的所述解码器输出的超分辨率图像；其中，经训练的所述解码器被配置为预先根据如下操作训练得到：将第一图像输入至第一编码器，生成具有更低分辨率的N张第二图像，其中第n个第二图像由所述第一编码器根据与第n‑1个第二图像相关联的随机因子生成，n大于或等于2，且小于或等于N；将所述N张第二图像输入至所述解码器，生成超分辨率重建后的N张第三图像；根据所述第一图像和所述N张第三图像中各图像之间的损失函数值，更新所述第一编码器和所述解码器。本公开还提供了一种图像重建装置、设备、存储介质和程序产品。

技术研发人员：李金新
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/14