图像重建方法和设备，及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像重建方法和设备，及存储介质。


背景技术：

2.智能手机、平板等便携式电子设备在使用摄像头进行图像拍摄时，受限于图像传感器的性能，拍出的图像经常存在清晰度较低、分辨率较低的问题，图像质量较差，难以满足用户要求。
3.为了获得清晰的高分辨率图像，目前多采用超分辨率图像重建方法，以实现从不清晰的低分辨率图像中重建出清晰度较高的高分辨率图像，以提高图像质量。然而，相关技术中采用的超分辨率图像重建方法重建效果普遍不理想，从而使得重建获得的高分辨图像质量较差。


技术实现要素：

4.本申请实施例提供了一种图像重建方法和设备，及存储介质，重建效果更佳，能够获得高质量的高分辨率图像。
5.本申请实施例的技术方案是这样实现的：
6.第一方面，本申请实施例提供了一种图像重建方法，所述方法包括：
7.在第一工作模式下，通过图像传感器对目标位置处的目标对象进行采集处理，获得所述目标对象对应的第一图像；
8.在第二工作模式下，通过所述图像传感器对所述目标位置处的所述目标对象进行采集处理，获得所述目标对象对应的第二图像；其中，所述第一图像的分辨率小于所述第二图像的分辨率；
9.基于所述第一图像和所述第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型；
10.根据所述超分辨率图像重建模型对待测图像进行重建处理，获得所述待测图像对应的目标高分辨率图像。
11.第二方面，本申请实施例提供了一种图像重建设备，所述图像重建设备包括：第一采集单元，训练单元、重建单元，
12.所述第一采集单元，用于在第一工作模式下，通过图像传感器对目标位置处的目标对象进行图像采集处理，获得所述目标对象对应的第一图像；
13.所述第一采集单元，还用于在第二工作模式下，通过所述图像传感器对所述目标位置处的所述目标对象进行图像采集处理，获得所述目标对象对应的第二图像；其中，所述第一图像的分辨率小于所述第二图像的分辨率；
14.所述训练单元，用于基于所述第一图像和所述第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型；
15.所述重建单元，用于根据所述超分辨率图像重建模型对待测图像进行重建处理，
获得所述待测图像对应的目标高分辨率图像。
16.第三方面，本申请实施例提供了一种图像重建设备，所述图像重建设备包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如上所述的图像重建方法。
17.第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于图像重建设备中，所述程序被处理器执行时，实现如上所述的图像重建方法。
18.本申请实施例提供了一种图像重建方法和设备，及存储介质，图像重建设备可以在第一工作模式下，通过图像传感器对目标位置处的目标对象进行采集处理，获得目标对象对应的第一图像；在第二工作模式下，通过图像传感器对目标位置处的目标对象进行采集处理，获得目标对象对应的第二图像；其中，第一图像的分辨率小于第二图像的分辨率；基于第一图像和第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型；根据超分辨率图像重建模型对待测图像进行重建处理，获得待测图像对应的目标高分辨率图像。也就是说，在本申请的实施例中，终端通过同一图像传感器，在不同的工作模式下对同一位置处的同一目标对象进行图像采集处理，以获得该目标对象的低分辨率的第一图像和高分辨率的第二图像；进而基于深度学习的方式，利用该第一图像和第二图像进行模型训练处理，获得能够实现从低分辨率图像中重建出清晰度较高的高分辨率图像的超分辨率图像重建模型。可见，在本申请中，图像重建设备获取到的模型训练样本数据，是同一图像传感器在同等拍摄位置以及同等拍摄环境下，通过切换不同的相机出图模式对真实世界存在的同一目标对象进行图像采集，进而获得的低分辨率
‑
高分辨率图像对，训练样本数据质量更高，进而基于该训练样本数据获得的超分辨率图像重建模型重建效果更加，能够获得清晰度更高的高质量的高分辨率图像。
附图说明
19.图1a为binning的原理示意图；
20.图1b为remosaic的原理示意图；
21.图2为本申请实施例提出的图像重建方法的实现流程示意图一；
22.图3为本申请实施例提出的图像重建模型的网络结构示意图；
23.图4为本申请实施例提出的图像重建方法的实现流程示意图二；
24.图5为本申请实施例提出的超分辨率图像重建模型的效果示意图；
25.图6为本申请实施例提出的图像重建方法的实现流程示意图三；
26.图7为本申请实施例提出的图像重建方法的流程示意图四；
27.图8为本申请实施例提出的图像重建方法的实现流程示意图五；
28.图9为本申请提出的图像重建设备的组成结构示意图一；
29.图10为本申请提出的图像重建设备的组成结构示意图二。
具体实施方式
30.下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
31.对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
32.1)像素四合一(binning)：指针对每个像素进行四合一操作，将初始图像中相邻的四个像素合并为一个像素块，以生成分辨率为12mp的结果图像。
33.具体的，图1a为binning的原理示意图，左斜线填充的方格代表像素g，右斜线填充的方格代表像素r，交叉斜线填充的方格代表像素b，如图1a所示，4个g像素会合成为一个g像素，r和b同理，分辨率降为原来的1/4，这样做的目的是将48m图像传感器sensor的出图输出为12m，使后续算法处理更具时间和内存友好性。
34.另外，通过binning模式得到的结果图像虽然信噪比较高、噪点小，但是图像清晰度不足，细节分辨能力差。
35.2)像素重排(remosaic)：将初始图像通过重新马赛克算法转换为bayer格式，以得到分辨率为48m的结果图像。
36.具体的，图1b为remosaic的原理示意图，左斜线填充的方格代表绿色像素gree，右斜线填充的方格代表红色像素red，交叉斜线填充的方格代表蓝色像素blue，如图1b所示，将原来相同的四个g/r/b像素进行重排，并在对应位置处进行插值操作。由于remosaic模式对分辨率没有损失，因此，通过remosaic模式得到的结果图像较binning模式清晰度高、细节分辨能力强，但是由于没有进行四合一的操作，单像素尺寸较小、感光能力弱，而导致结果图像信噪比较低、噪点偏大。
37.3)超分辨率(super
‑
resolution)：通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。
38.4)超分辨率降质模型
39.超分任务是一个综合任务，可以看成是去模糊，去噪和上采样的一个结合体，用数学表达式可表示为：
40.y＝downsample(kx+n)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
41.其中，公式(1)中，x为高分辨率图像，k为模糊核，而n为噪声，y为低分辨率图像，downsample为图像下采样。在进行基于深度学习的超分辨率重建算法时，需要真实的超分数据，而要获取真实的超分数据对则需要有一张高分辨率图像x和满足真实图像噪声分布n和真实放大模糊k的低分辨率图像。
42.目前，随着便携式电子设备的大规模使用，越来越多的人普遍使用智能手机、平板等便携式电子设备进行拍照，但是，智能手机、平板等便携式电子设备在使用摄像头进行图像拍摄时，受限于图像传感器的性能，拍出的图像经常存在清晰度较低、分辨率较低的问题，图像质量较差，难以满足用户要求。
43.为了获得清晰的高分辨率图像，目前多采用超分辨率图像重建方法，以实现从不清晰的低分辨率图像中重建出清晰度较高的高分辨率图像，以提高图像质量。
44.现有的基于深度学习的超分辨率重建算法包括两种，一种是直接基于公开数据集的超分辨率网络模型的构建，如div2k，但是由于div2k中低分辨率图像(low resolution，lr)直接由高分辨率图像(high resolution，hr)下采样而来，参考公式(1)，只考虑到downsample这一个降质过程，并未考虑真实世界的lr通常还包含模糊降质k和噪声降质n。进而基于公开数据集构建的超分辨率网络模型只对公开数据集效果很好，而在真实图像
中，网络模型效果通常比较差甚至于没有效果。
45.由于基于深度学习的超分辨率重建算法对于数据的依赖程度较高，数据的质量直接决定了超分辨率效果的上限，因此，为了解决上述公开数据集造成的问题，camerasr提出了一个基于远近拍摄的数据采集方案。首先将目标图像打印出来放在远处，第一次拍摄将手机放置于远离目标的a位置，这时候拍摄出来的图像作为lr；第二次拍摄将手机放置于离目标较近的位置b，拍摄出来的图像作为hr。由于两次拍摄位置和环境都有所变化，因此需要对lr和hr进行位置的对齐和颜色的校准。参考公式(1)，此时lr拍摄由于是真实拍摄环境，因此本身的噪声和模糊就是跟真实世界相符的。至于下采样downsample是通过两次拍摄距离不一致来模拟。
46.然而，在通过远近拍摄进行数据采集以进行网络模型的构建时，主要存在一下几个缺陷：
47.(1)由于要保证周围环境变化较小，必须要把真实世界的图像用相机打印出来放到挡板上拍摄，这种图跟真实世界的成像是由比较大的差距的，这种差距可能导致训练数据集和真实测试集数据分布不一致而导致超分效果不佳。
48.(2)该方案对装置的精确度有相当严格的要求，不仅每次移动的位置需要精确测量，还需要锁定手机的3a保证两张图像的亮度色彩尽可能相似，另外需要在实验室环境去拍摄保证两次拍摄的室内环境一致，
49.(3)针对两次拍摄出来的图像由于位置的偏差还需要进一步做像素的对齐和色彩的校正，而由于两次拍摄位置不一致，对齐压力依然还是比较大。
50.综上所述，相关技术中采用的超分辨率图像重建方法重建效果普遍不理想，从而使得重建获得的高分辨图像质量较差。
51.鉴于此，为了解决现有超分变率算法所存在的问题，本申请实施例提供了一种图像重建方法和设备，及存储介质，具体地，终端通过同一图像传感器，在不同的工作模式下对同一位置处的同一目标对象进行图像采集处理，以获得该目标对象的低分辨率的第一图像和高分辨率的第二图像；进而基于深度学习的方式，利用该第一图像和第二图像进行模型训练处理，获得能够实现从低分辨率图像中重建出清晰度较高的高分辨率图像的超分辨率图像重建模型。可见，在本申请中，图像重建设备获取到的模型训练样本数据，是同一图像传感器在同等拍摄位置以及同等拍摄环境下，通过切换不同的相机出图模式对真实世界存在的同一目标对象进行图像采集，进而获得的低分辨率
‑
高分辨率图像对，训练样本数据质量更高，进而基于该训练样本数据获得的超分辨率图像重建模型重建效果更加，能够获得清晰度更高的高质量的高分辨率图像。
52.下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
53.本申请一实施例提供了一种压力场的计算方法，图2为本申请实施例提出的图像重建方法的实现流程示意图一，如图2所示，在本申请的实施例中，图像重建设备执行图像重建的方法可以包括以下步骤：
54.步骤101、在第一工作模式下，通过图像传感器对目标位置处的目标对象进行图像采集处理，获得目标对象对应的第一图像。
55.在本申请的实施例中，图像重建设备可以在第一工作模式下，先通过图像传感器
对目标位置处的目标对象进行图像采集处理，进而得到该目标对象对应的第一图像。
56.应理解，在本申请的实施例中，图像重建设备可以为移动电子设备，也可以为非移动电子设备。移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、超级移动个人计算机(ultra
‑
mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等；非移动电子设备可以为个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等；本申请实施例不作具体限定。
57.需要说明的是，在本申请的实施例中，本申请提供的图像重建方法，执行主体可以为图像重建设备，或者，该图像重建设备的中央处理器(central processing unit，cpu)，或者该图像重建设备中的用于执行图像重建方法的控制模块。
58.这里，本申请实施例中以图像重建设备执行图像重建方法为例，说明本申请实施例提供的图像处理方法。
59.需要说明的是，在本申请的实施例中，图像重建设备可以为具有操作系统的电子设备。该操作系统可以为安卓(android)操作系统，可以为苹果ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
60.需要说明的是，在本申请的实施例中，第一工作模式指图像重建设备中图像传感器的出图模式。具体的，该第一工作模式可以为获取到的图像的分辨率较低的出图模式。如binning模式。
61.应理解，图像传感器指图像重建设备中用于进行图像采集的功能模块，即摄像头。可选的，该图像传感器可以为设备中的长焦摄像头，也可为设备中的主摄像头。
62.应理解，目标对象指进行图像采集的目标物。可选的，该目标物可以为现实世界中存在的可动态活动的人和动物；也可以为静态伫立的建筑或者树木。
63.应理解，目标位置用于表征目标对象与图像重建设备中图像传感器的距离。
64.具体的，在本申请的实施例中，图像重建设备中的图像传感器，在选择获得图像分辨率较低的第一工作模式之后，对相聚目标距离出的目标对象进行图像采集处理，进而获得分辨率较低的第一图像。例如，手机摄像头在binning模式对相聚10米远处的建筑物进行拍摄，获得分辨率较低的建筑物的照片。
65.进一步的，在本申请的实施例中，图像重建设备在第一工作模式下，对目标对象进行图像采集处理获得第一图像之后，可以进一步切换至第二工作模式下，继续进行目标对象的图像采集处理。
66.步骤102、在第二工作模式下，通过图像传感器对目标位置处的目标对象进行图像采集处理，获得目标对象对应的第二图像；其中，第一图像的分辨率小于第二图像的分辨率。
67.在本申请的实施例中，图像重建设备在第一工作模式获得目标对象的第一图像之后，可以继续在第二工作模式下，通过同一图像传感器对同一位置处的同一目标对象进行图像采集处理，以获得目标对象对应的第二图像。
68.需要说明的是，在本申请的实施例中，第二工作模式指区分于第一工作模式，图像重建设备中图像传感器所采用的另外一种出图模式。具体的，该第二工作模式可以为获取到的图像的分辨率高的出图模式。如remosaic模式。
69.需要说明的是，图像重建设备在第二工作模式下继续进行图像采集处理时，图像传感器、目标对象、能够表征目标对象距图像传感器的距离的目标位置均与第一工作模式下图像采集的参数相同。也就是说，图像重建设备在相同的拍摄位置以及拍摄环境下，通过切换工作模式以获取目标对象的分辨率不同的两张图像。
70.可以理解的是，如果图像传感器通过切换工作模式进行图像采集处理时，第一工作模式与第二工作模式切换的时间越长，目标对象状态可能发生变化，那么会导致拍摄的图像之间差异。因此，在本申请的实施例中，图像传感器在第一工作模式进行图像采集获得第一图像之后，需要在很短的时间内切换至第二工作模式继续进行图像采集获得第二图像，即迅速切换工作模式实现连拍两张图像。
71.需要说明的是，在本申请的实施例中，第一工作模式下获得目标对象的低分辨率图像，第二工作模式下获得同一目标对象的高分辨率图像。
72.可以理解的是，在本申请的实施例中，终端也可以先在第二工作模式下，对目标对象进行图像采集处理获得高分辨率图像；然后切换至第二工作模式进行获得目标对象的低分辨率图像。也就是说，对图像传感器工作时的出图模式顺序不进行限定，即步骤102可以在步骤101之前，步骤102也可以在步骤101之后。
73.进一步的，在本申请的实施例中，图像重建设备可以对各种各样的目标对象利用上述图像采集方式进行图像采集，以获得各种各样目标对象对应的低分辨图像以及高分辨率图像，即低分辨率
‑
高分辨率图像对。
74.可选的，图像传感器可以为quad bayer图像传感器。即电子设备中可以设置quad bayer图像传感器，该quad bayer图像传感器采用quad bayer彩色滤光片阵列采集图像。
75.需要说明的是，在本申请的实施例中，第一图像和第二图像均为彩色yuv格式的图像文件。
76.这里，yuv格式是一种颜色编码方法。yuv是编译true
‑
color颜色空间(color space)的种类，y'uv，yuv，ycbcr，ypbpr等专有名词都可以称为yuv，彼此有重叠。“y”表示明亮度(luminance或luma)，也就是灰阶值；“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述图像色彩及饱和度，用于指定像素的颜色。
77.进一步的，在本申请的实施例中，图像重建设备在获得同一目标对象低分辨率的第一图像、高分辨率的第二图像之后，图像重建设备可以基于该图像数据进行模型的训练处理。
78.步骤103、基于第一图像和第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型。
79.在本申请的实施例中，图像重建设备在获得同一目标对象的低分辨率的第一图像、高分辨率的第二图像之后，图像重建设备可以进一步基于该图像数据对初始图像重建模型进行训练处理，从而得到超分辨率图像重建模型。
80.具体的，在本申请的实施例中，图像重建设备可以将第一图像和第二图像作为模型训练数据，具体的，将低分辨的第一图像作为初始模型输入，而将高分辨率的第二图像作为参考图进行监督学习，进而获得超分辨率图像重建模型。
81.可以理解的是，基于深度学习算法，为了获得超分辨率图像重建模型，研究人员需要通过大量的低分辨率
‑
高分辨率图像对其进行训练处理，训练数据越佳，模型效果越佳。
82.由于本申请采用的训练数据是同一摄像头出图，拍摄位置、拍摄环境都相同，并且目标对象为真实环境中存在的人或静物，更加符合真实图像数据。因此，利用该训练数据进一步获得的超分辨率图像重建模型效果更佳。
83.需要说明的是，在本申请的实施例中，网络模型的结构采用u形网络结构，也就是类似于u
‑
net的网络结构。具体的，先通过卷积层进行路径压缩操作进行降采样，即对输入的图像进行图像分辨率逐级降低，然后在再通过反卷积层进行路径扩展操作，以获得降采样后的低分辨率图像进行分辨率的逐级递增，进而获得对应的高分辨率图像。
84.需要说明的是，在本申请的实施例中，初始图像重建模型的神经网络结构除了传统的卷积层、反卷积层之外，新增加了信息多重蒸馏模块(information multi
‑
distillation block，imdb)模块和s2db模块
85.具体的，图3为本申请实施例提出的图像重建模型的网络结构示意图，如图3所示，输入的lr图像先进行上采样upscale，并将上采样后的lr图像输入卷积层conv3，即3
×
3的卷积层进行特征提取等处理，将通道数由1变为4。然后，经s2db模块进行空间分辨率至通道数的转换，图像size变小，通道数由4变为64。进一步的，继续通过imdb模块对经s2db模块获得的图像进行封装，通道数不变。紧接着通过第二个s2db模块以及第二个imdb模块进行图片下采样以及封装，图像size更小，通道数由64变为256；接着通过d2s模块对图像进行通道数至空间分辨率的转换还原操作，然后再通过第三个imdb模块再次进行封装。进一步的，继续通过concat模块进行通道数的叠加，包括经第一个imdb模块对应的通道数64，以及第三个imdb模块对应的通道数64，进而进行叠加处理，得到通道数为128。紧接着接续通过卷积层conv1进行通道数的缩小，通过第三个s2d模块进行空间分辨率至通道数的转换，以及将第三个s2d模块输出的结果与第一个卷积层conv3的输出结果进行叠加，并再次将叠加后的结果通过第二个卷积层conv3进行特征提取以及通道数的缩减，由通道数64变为4，然后进一步获得该lr图像对应的通道数为1的hr图像。
86.可以理解的是，由于在通过不同的相机出图模式获得同一目标对象的低分辨率图像和高分辨图像时，不仅避免的存在细微抖动，因此，在本申请的实施例中，为了解决两次拍摄因为细微抖动造成的影响，图像重建设备在获得目标对象的第一图像和第二图像之后，可以先对第一图像和第二图像进行图像对齐处理。
87.具体的，图4为本申请实施例提出的图像重建方法的实现流程示意图二，如图4所示，在本申请的实施例中，基于第一图像和第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型的方法可以包括以下步骤：
88.步骤103a、对第一图像和第二图像进行对齐处理，获得对齐后第一图像和对齐后第二图像。
89.步骤103b、基于对齐后第一图像和对齐后第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型。
90.具体的，为了获得较佳的训练数据吗，以保证图像重建模型的效果更佳，图像重建设备可以先对低分辨率的第一图像和高分辨率的第二图像进行像素对齐处理，进而得到低分辨率的对齐后第一图像和高分辨率的对齐后第二图像，从而通过对齐后第一图像和对齐后第二图像进行模型训练。即将对齐后第一图像作为初始模型输入，而将对齐后第二图像作为参考图进行监督学习，以获得效果更佳的超分辨率图像重建模型。
91.另一方面，图像重建设备还可以在进行图像对齐的基础上对两张图像进行颜色矫正处理，进而通过处理后的两张图像进行模型训练处理。
92.进一步的，在本申请的实施例中，图像重建设备在获得超分辨率图像重建模型之后，可以进一步通过该图像重建模型对低分辨图像进行重建处理。
93.步骤104、根据超分辨率图像重建模型对待测图像进行重建处理，获得待测图像对应的目标高分辨率图像。
94.在本申请的实施例中，图像重建设备获得超分辨率图像重建模型之后，可以通过该模型对待测图像进行图像重建处理，进而获得该待测图像对应的高分辨率图像。
95.具体的，图像重建设备可以将待测图像作为模型输入，进而输出获得其对应的高分辨率图像。
96.可以理解的是，由于基于深度学习算法获得的超分辨率图像重建模型是使用binning模式获得低分辨率图像做输入，使用remosaic模式获得的高分辨率图像作为参考图进行监督学习，因此，模型最终输出的高分辨率图实际上是remosaic出图模式获得的图像。
97.由于在该模型的使用过程中，可能存在待测图像是利用binning模式获得的图像，也可能是利用remosaic模式获得的图像。如果待测图像是binning模式获得的图像，那么将该待测图像输入输入超分辨率图像重建模型，便可获得分辨率大于待测图像的高分辨率图像；如果待测图像是binning模式获得的图像，那么将该待测图像输入输入超分辨率图像重建模型，获得的高分辨率图像与待测图像的分辨率基本相同。
98.也就是说，无论待测图像是何种图像，只要是将待测图像输入超分辨率待测模型，便可获得高分辨率的目标图像。
99.示例性的，图5为本申请实施例提出的超分辨率图像重建模型的效果示意图，其中，图5(a)为模型输入的待测图像，图5(b)为模型输出图像，可见，图5(a)输入图像清晰度较差较模糊，在进行超分辨率图像重建之后，图5(b)的图像清晰度更高。
100.可见，本申请通过采用改进的类似于u
‑
net的网络结构去完成超分辨率图像重建，得到了比较线性的超分效果。这种简单高效的数据采集方式和网络模型结构使得基于深度学习的超分辨率图像重建算法在手机上的部署成为可能。
101.本申请实施例提供了一种图像重建方法，图像重建设备通过同一图像传感器，在不同的工作模式下对同一位置处的同一目标对象进行图像采集处理，以获得该目标对象的低分辨率的第一图像和高分辨率的第二图像；进而基于深度学习的方式，利用该第一图像和第二图像进行模型训练处理，获得能够实现从低分辨率图像中重建出清晰度较高的高分辨率图像的超分辨率图像重建模型。可见，在本申请中，图像重建设备获取到的模型训练样本数据，是同一图像传感器在同等拍摄位置以及同等拍摄环境下，通过切换不同的相机出图模式对真实世界存在的同一目标对象进行图像采集，进而获得的低分辨率
‑
高分辨率图像对，训练样本数据质量更高，进而基于该训练样本数据获得的超分辨率图像重建模型重建效果更加，能够获得清晰度更高的高质量的高分辨率图像。
102.基于上述实施例，在本申请的在一实施例中，图6为本申请实施例提出的图像重建方法的实现流程示意图三，如图6所示，图像重建设备基于第一图像和第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型的方法包括以下步骤：
103.步骤103c、将第一图像输入初始图像重建模型，输出超分辨率图像预测结果。
104.步骤103d、基于预设目标损失函数、超分辨率图像预测结果以及第二图像进行训练处理，获得超分辨率图像重建模型。
105.可以理解的是，本申请最终获得的超分辨率图像重建模型的模型输入端对应的是低分辨率图像，输出端对应的是高分辨率图像。
106.具体的，在本申请的实施例中，图像重建设备在基于低分辨率的第一图像和高分辨率的第二图像进行图形重建模型的训练处理时，可以将低分辨率的第一图像作为模型输入数据，输入至初始图像重建模型，进而得到模型输出的初始高分辨率图像，即超分辨率预测图像。
107.进一步的，在将低分辨率的第一图像输入至初始图像重建模型进行机器学习以对模型进行训练处理的过程中，图像重建设备可以引入目标损失函数，如设置损失函数为一范数损失，进而基于该目标损失函数、作为参考图像的第二图像以及模型训练结果超分辨率预测图像进行模型训练处理，以获得超分辨率图像重建模型。
108.这里，图像重建设备可以利用目标损失函数，对作为参考图像的第二图像与每次模型训练结果超分辨率预测图像进行比较，进而基于比较结果确定当前模型训练结果是否满足预期要求。
109.具体的，图7为本申请实施例提出的图像重建方法的流程示意图四，如图7所示，在本申请的实施例中，图像重建设备基于预设目标损失函数、超分辨率预测图像以及第二图像进行所述训练处理，获得超分辨率图像重建模型的方法包括以下步骤：
110.步骤103d1、通过目标损失函数计算超分辨率预测图像和第二图像的差异值。
111.步骤103d2、根据差异值进行训练处理，获得超分辨率图像重建模型。
112.这里，图像重建设备可以读取目标损失函数，然后结合训练过程中模型的输出结果、参考图像进行模型训练处理，直至训练结果满足一定条件，便可获得超分辨率图像重建模型。
113.具体的，图像重建设备预先设置于一损失阈值，如最小绝对值误差阈值。利用目标损失函数，图像重建设备可以计算超分辨率预测图像与第二图像的差异值，然后将差异值与预设损失阈值进行比较，直至比较结果为差异值小于或者等于预设损失阈值，如差异值的绝对值小于最小绝对值误差阈值。
114.进一步的，图像重建设备便可以确定当前模型输出的超分辨率预测图像与作为参考图像的第二图像基本相同，即当前训练获得的模型为满足条件的超分辨率图像重建模型。
115.本申请实施例提供了一种图像重建方法，图像重建设备获取到的模型训练样本数据，是同一图像传感器在同等拍摄位置以及同等拍摄环境下，通过切换不同的相机出图模式对真实世界存在的同一目标对象进行图像采集，进而获得的低分辨率
‑
高分辨率图像对，训练样本数据质量更高，进而基于该训练样本数据获得的超分辨率图像重建模型重建效果更加，能够获得清晰度更高的高质量的高分辨率图像。
116.基于上述实施例，在本申请的在一实施例中，图8为本申请实施例提出的图像重建方法的实现流程示意图五，如图8所示，在根据超分辨率图像重建模型对待测图像进行重建处理，获得待测图像对应的目标高分辨率图像之前，即步骤104之前，图像重建设备进行图
像重建的方法还包括以下步骤：
117.步骤105、通过第一图像传感器对目标位置处的目标对象进行图像采集处理，获得目标对象对应的第三图像。
118.步骤106、通过第二图像传感器对目标位置处的目标对象进行图像采集处理，获得目标对象对应的第四图像；其中，第三图像的分辨率小于第四图像的分辨率。
119.步骤107、基于第三图像和第四图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型。
120.这里，除了步骤101
‑
102这一通过切换工作模式获得图像重建模型的训练样本数据低分辨率
‑
高分辨率图像对之外，在本申请的实施例中，图像重建设备还可以采用切换图像传感器的方式获得低分辨率
‑
高分辨率图像对。
121.需要说明的是，与通过切换工作模式获得低分辨率
‑
高分辨率图像对相比，通过切换图像传感器的方式获取低分辨率
‑
高分辨率图像对方法的共同点为：仍然是针对同一拍摄位置、同一拍摄环境下的同一目标对象进行图像采集处理；不同点为：需要改变图像传感器，但是不再需要改变图像传感器的出图模式，即两个图像传感器的出图模式是相同的。
122.具体的，与步骤101
‑
102原理类似，图像重建设备可以通过成像效果较差的第一图像传感器对目标拍摄位置处的目标对象进行图像采集处理，获得低分辨率的第三图像；进一步的，图像重建设备可以进行图像传感器的切换，通过成像效果较好的第二图像传感器对同一拍摄位置处的同一目标对象进行图像采集处理，进而获得高分辨率的第四图像。
123.可以理解的是，以手机为例，手机通常含有2
‑
4颗摄像头，对于比较远的场景，长焦摄像头的成像效果明显好于主摄像头，因此，图像重建设备可以通过主摄像头拍摄一张图像作为lr，然后对同一拍摄位置、同一拍摄环境下的同一拍摄对象，通过长焦摄像头拍摄一张图像作为hr。
124.进一步的，图像重建设备便可利用获得的第三图像和第四图像对初始图像重建模型进行训练处理，以获得超分辨率图像重建模型。
125.这里，为了解决两次拍摄因为细微抖动造成的影响，图像重建设备也可以先对第三图像和第四图像进行像素对齐和颜色矫正等处理，进而基于处理后的第三图像和第四图像进行模型训练处理。
126.本申请实施例提供了一种图像重建方法，图像重建设备获取到的模型训练样本数据，是成效效果不同的图像传感器在同等拍摄位置以及同等拍摄环境下，对真实世界存在的同一目标对象进行图像采集，进而获得的低分辨率
‑
高分辨率图像对，训练样本数据质量更高，进而基于该训练样本数据获得的超分辨率图像重建模型重建效果更加，能够获得清晰度更高的高质量的高分辨率图像。
127.基于上述实施例，在本申请的另一实施例中，图9为本申请提出的图像重建设备的组成结构示意图一，如图9所示，本申请实施例提出的图像重建设备10可以包括第一采集单元11，训练单元12、重建单元13以及第二采集单元14，
128.所述第一采集单元11，用于在第一工作模式下，通过图像传感器对目标位置处的目标对象进行图像采集处理，获得所述目标对象对应的第一图像；
129.所述第一采集单元11，还用于在第二工作模式下，通过所述图像传感器对所述目标位置处的所述目标对象进行图像采集处理，获得所述目标对象对应的第二图像；其中，所
述第一图像的分辨率小于所述第二图像的分辨率；
130.所述训练单元12，用于基于所述第一图像和所述第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型；
131.所述重建单元13，用于根据所述超分辨率图像重建模型对待测图像进行重建处理，获得所述待测图像对应的目标高分辨率图像。
132.进一步地，在本申请的实施例中，所述第一工作模式为binning模式；所述第二工作模式为remosaic模式。
133.进一步地，在本申请的实施例中，所述超分辨率图像重建模型采用u形神经网络结构。
134.进一步地，在本申请的实施例中，所述训练单元12，具体用于对所述第一图像和所述第二图像进行对齐处理，获得对齐后第一图像和对齐后第二图像；以及基于所述对齐后第一图像和所述对齐后第二图像对所述初始图像重建模型进行训练处理，获得所述超分辨率图像重建模型。
135.进一步地，在本申请的实施例中，所述训练单元12，还具体用于将所述第一图像输入所述初始图像重建模型，输出超分辨率预测图像；以及基于预设目标损失函数、所述超分辨率预测图像以及所述第二图像进行所述训练处理，获得所述超分辨率图像重建模型。
136.进一步地，在本申请的实施例中，所述训练单元12，还具体用于通过所述目标损失函数计算所述超分辨率预测图像和所述第二图像的差异值；以及根据所述差异值进行所述训练处理，获得所述超分辨率图像重建模型。
137.进一步地，在本申请的实施例中，所述第二采集单元14，用于在根据所述超分辨率图像重建模型对待测图像进行重建处理，获得所述待测图像对应的目标高分辨率图像之前，通过第一图像传感器对所述目标位置处的所述目标对象进行图像采集处理，获得所述目标对象对应的第三图像。
138.进一步地，在本申请的实施例中，所述第二采集单元14，还用于通过第二图像传感器对所述目标位置处的所述目标对象进行图像采集处理，获得所述目标对象对应的第四图像；其中，所述第三图像的分辨率小于所述第四图像的分辨率。
139.进一步地，在本申请的实施例中，所述训练单元12，还用于基于所述第三图像和所述第四图像对所述初始图像重建模型进行训练处理，获得所述超分辨率图像重建模型。
140.进一步地，在本申请的实施例中，所述第二图像、所述第三图像以及所述第四图像均为yuv格式图像文件。
141.在本申请的实施例中，进一步地，图10为本申请提出的图像重建设备的组成结构示意图二，如图10所示，本申请实施例提出的图像重建设备10还可以包括处理器15、存储有处理器15可执行指令的存储器16，进一步地，图像重建设备10还可以包括通信接口17，和用于连接处理器15、存储器16以及通信接口17的总线18。
142.在本申请的实施例中，上述处理器15可以为特定用途集成电路(application specific integrated circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器
中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。压力场的计算设备10还可以包括存储器16，该存储器16可以与处理器15连接，其中，存储器16用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器16可能包含高速ram存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
143.在本申请的实施例中，总线18用于连接通信接口17、处理器15以及存储器16以及这些器件之间的相互通信。
144.在本申请的实施例中，存储器16，用于存储指令和数据。
145.进一步地，在本申请的实施例中，上述处理器15，用于在第一工作模式下，通过图像传感器对目标位置处的目标对象进行图像采集处理，获得所述目标对象对应的第一图像；在第二工作模式下，通过所述图像传感器对所述目标位置处的所述目标对象进行图像采集处理，获得所述目标对象对应的第二图像；其中，所述第一图像的分辨率小于所述第二图像的分辨率；基于所述第一图像和所述第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型；根据所述超分辨率图像重建模型对待测图像进行重建处理，获得所述待测图像对应的目标高分辨率图像。
146.在实际应用中，上述存储器16可以是易失性存储器(volatile memory)，例如随机存取存储器(random
‑
access memory，ram)；或者非易失性存储器(non
‑
volatile memory)，例如只读存储器(read
‑
only memory，rom)，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid
‑
state drive，ssd)；或者上述种类的存储器的组合，并向处理器15提供指令和数据。
147.另外，在本实施例中的各功能模块可以集成在一个推荐单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
148.集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
149.本申请实施例提供了一种图像重建设备，该图像重建设备可以在第一工作模式下，通过图像传感器对目标位置处的目标对象进行采集处理，获得目标对象对应的第一图像；在第二工作模式下，通过图像传感器对目标位置处的目标对象进行采集处理，获得目标对象对应的第二图像；其中，第一图像的分辨率小于第二图像的分辨率；基于第一图像和第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型；根据超分辨率图像重建模型对待测图像进行重建处理，获得待测图像对应的目标高分辨率图像。也就是说，在本申请的实施例中，终端通过同一图像传感器，在不同的工作模式下对同一位置处的同一目标对象进行图像采集处理，以获得该目标对象的低分辨率的第一图像和高分辨率的第
二图像；进而基于深度学习的方式，利用该第一图像和第二图像进行模型训练处理，获得能够实现从低分辨率图像中重建出清晰度较高的高分辨率图像的超分辨率图像重建模型。可见，在本申请中，图像重建设备获取到的模型训练样本数据，是同一图像传感器在同等拍摄位置以及同等拍摄环境下，通过切换不同的相机出图模式对真实世界存在的同一目标对象进行图像采集，进而获得的低分辨率
‑
高分辨率图像对，训练样本数据质量更高，进而基于该训练样本数据获得的超分辨率图像重建模型重建效果更加，能够获得清晰度更高的高质量的高分辨率图像。
150.本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的图像重建方法。
151.具体来讲，本实施例中的一种图像重建方法对应的程序指令可以被存储在光盘，硬盘，u盘等存储介质上，当存储介质中的与一种图像重建方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
152.在第一工作模式下，通过图像传感器对目标位置处的目标对象进行图像采集处理，获得所述目标对象对应的第一图像；
153.在第二工作模式下，通过所述图像传感器对所述目标位置处的所述目标对象进行图像采集处理，获得所述目标对象对应的第二图像；其中，所述第一图像的分辨率小于所述第二图像的分辨率；
154.基于所述第一图像和所述第二图像对初始图像重建模型进行训练处理，获得超分辨率图像重建模型；
155.根据所述超分辨率图像重建模型对待测图像进行重建处理，获得所述待测图像对应的目标高分辨率图像。
156.本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
157.本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
158.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
159.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或
方框图一个方框或多个方框中指定的功能的步骤。以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。