一种影像高分辨率重建方法及装置

1.本技术涉及图像处理技术领域，特别涉及一种基于传感器误差修正和时空数据融合的影像高分辨率重建方法、装置、电子设备和存储介质。


背景技术：

2.遥感影像时间序列在农业遥感监测以及实现农业农村信息化等领域有重要应用，对同一农业区域的农业遥感监测或信息化处理时，往往是基于不同时间掠过该区域的遥感卫星影像进行综合分析，然而常用的遥感数据时间和空间分辨率存在着不可调和的矛盾。例如，landsat数据虽然空间分辨率较高，但时间分辨率相对较低，容易受云和阴雨天气等的影响，造成作物检测的关键时期却不能获取到有效数据，而modis 数据虽然时间分辨率较高，但空间分辨率相对较低，致使在进行作物分类时存在混合像素的问题，因此不适宜于种植结构复杂或者景观破碎、异质性较强的区域。现有技术期望通过融合来自两个传感器的卫星图像的时空数据的方式来进行不同遥感数据的处理，传感器一具有非常高的时间分辨率但空间分辨率粗糙，而传感器二具有非常高的空间分辨率但时间分辨率较低，时空数据融合后的输出是传感器一的时间分辨率和传感器二的空间分辨率的合成图像序列。
3.然而，现有的时空融合方法存在以下问题：（1）现有的时空融合方法通常在假设图像变化能够从一个传感器直接传递到另一个传感器的情况下重建高分辨率图像，这一假设没有考虑到不同传感器表征变化的能力有差异，这种差异会导致重建图像的光谱和空间失真；（2）现有的时空融合方法通常采用线性加权的方法直接融合时间特征，线性加权的方法没有充分考虑全像素的变化特征，图像特征的表征能力有限。
4.因此，亟需要一种新的影像高分辨率重建方法来解决上述问题。


技术实现要素：

5.本技术提供一种影像高分辨率重建方法、装置、电子设备和存储介质，基于传感器误差修正和时空数据融合，能够有效提升影像高分辨率重建视觉效果。
6.根据第一方面，本发明提供一种影像高分辨率重建方法，包括以下步骤：获取第一时相低分辨率影像、第二时相低分辨率影像和第三时相低分辨率影像，第一时相、第二时相和第三时相按时间顺序依次排列，其中，所述第一时相低分辨率影像有配对的同一区域同一时相的第一时相高分辨率影像，所述第三时相低分辨率影像有配对的同一区域同一时相的第三时相高分辨率影像；将所述第一时相低分辨率影像和第二时相低分辨率影像输入超分辨率卷积神经网络，获得第一二时相过渡残差影像，将所述第二时相低分辨率影像和第三时相低分辨率影像输入超分辨率卷积神经网络，获得第二三时相过渡残差影像；将所述第一二时相过渡残差影像输入偏置特征提取卷积神经网络，获得第一二时相传感器偏差，将所述第二三时相过渡残差影像输入偏置特征提取卷积神经网络，获得第二三时相传感器偏差；
将所述第一时相高分辨影像、第一二时相过渡残差影像和第一二时相传感器偏差相加，获得第二时相前向过渡高分辨率影像，将所述第三时相高分辨率影像、第二三时相过渡残差影像和第二三时相传感器偏差相加，获得第二时相后向过渡高分辨率影像；将所述第二时相前向过渡高分辨率影像和第二时相后向过渡高分辨率影像输入时间融合卷积神经网络，获得第二时相高分辨率重建影像。
7.可选的，所述将所述第一时相低分辨率影像和第二时相低分辨率影像输入超分辨率卷积神经网络，获得第一二时相过渡残差影像，将所述第二时相低分辨率影像和第三时相低分辨率影像输入超分辨率卷积神经网络，获得第二三时相过渡残差影像具体为：使用损失函数公式训练所述超分辨率卷积神经网络，式中，表示超分辨率卷积神经网络的映射函数，表示该映射函数的训练权重参数，为训练集中第时相高分辨率影像与第时相高分辨率影像的差，为训练集中第时相低分辨率影像与第时相低分辨率影像的差，，其中表示欧氏模长，为、影像长度上的分辨率，为、影像宽度上的分辨率；计算第一时相低分辨率影像和第二时相低分辨率影像的影像差，将该影像差输入已训练好的超分辨率卷积神经网络得到获得第一二时相过渡残差影像；计算第二时相低分辨率影像和第三时相低分辨率影像的影像差，将该影像差输入已训练好的超分辨率卷积神经网络得到获得第二三时相过渡残差影像。
8.可选的，所述将所述第一二时相过渡残差影像输入偏置特征提取卷积神经网络，获得第一二时相传感器偏差，将所述第二三时相过渡残差影像输入偏置特征提取卷积神经网络，获得第二三时相传感器偏差具体为：使用损失函数训练所述偏置特征提取卷积神经网络，式中，表示偏置特征提取卷积神经网络的映射函数，表示偏置特征提取卷积神经网络映射函数的训练权重参数，为训练集中第时相高分辨率影像与第时相高分辨率影像的差，为第i，j时相过渡残差影像；将所述第一二时相过渡残差影像输入已训练好的所述偏置特征提取卷积神经网络，获得第一二时相传感器偏差；将所述第二三时相过渡残差影像输入已训练好的所述偏置特征提取卷积神经网
络，获得第二三时相传感器偏差。
9.可选的，所述偏置特征提取卷积神经网络包括输入层、三个卷积隐藏层和输出层，三个卷积隐藏层分别对应于提取特征操作，非线性映射操作和重建操作。
10.可选的，所述将所述第二时相前向过渡高分辨率影像和第二时相后向过渡高分辨率影像输入时间融合卷积神经网络，获得第二时相高分辨率重建影像具体为：使用bicubic插值法对第一时相低分辨率影像、第二时相低分辨率影像和第三时相低分辨率影像进行上采样，得到第一时相上采样影像、第二时相上采样影像和第三时相上采样影像，其中上采样比例与高分辨率重建后的图像采样比例相同；将第一时相上采样影像与第二时相上采样影像做差，获得第一二时相上采样残差影像，将第二时相上采样影像与第三时相上采样影像做差，获得第二三时相上采样残差影像；使用损失函数训练所述时间融合卷积神经网络，式中，表示时间融合卷积神经网络的映射函数，表示该映射函数的训练权重参数，表示训练集中的第时相，为第j时相高分辨率影像，为第j时相来自第i时相的前向过渡高分辨率影像，为第j时相来自第k时相的后向过渡高分辨率影像，为第i,j时相上采样残差影像，为第j,k时相上采样残差影像，分别为对第i,j,k时相低分辨率影像进行上采样得到的第i,j,k时相上采样影像，为图片结构相似性函数，其中分别表示影像中所有元素的均值，分别表示影像中所有元素的标准差，表示影像中元素的协方差，为两个很小的常数，防止分母为0；将所述第二时相前向过渡高分辨率影像、第二时相后向过渡高分辨率影像、第一二时相上采样残差影像和二三时相上采样残差影像输入已训练好的时间融合卷积神经网络得到第二时相高分辨率重建影像。
11.可选的，所述时间融合卷积神经网络包括输入层、三个卷积隐藏层和输出层；所述输入层用于将所述第一二时相上采样残差影像、第二三时相上采样残差影像、第二时相前向过渡高分辨率影像和第二时相后向过渡高分辨率影像叠放在一起，形成一个四通道数据输入模型；三个所述隐藏层分别对应于特征提取操作、非线性映射操作和权重提取操作，对应权重提取的隐藏层输出一个的张量，其中为高分辨率影像长和宽分辨
率；所述输出层输出公式为，式中，为第二时相高分辨率重建影像，为第二时相前向过渡高分辨率影像，为第二时相后向过渡高分辨率影像，表示所有元素都为1的张量，为上一层输出的一个的张量，
“”
表示对应位置的元素相乘。
12.根据第二方面，本发明提供一种影像高分辨率重建装置，包括：影像获取模块，用于获取第一时相低分辨率影像、第二时相低分辨率影像和第三时相低分辨率影像，第一时相、第二时相和第三时相按时间顺序依次排列，其中，所述第一时相低分辨率影像有配对的同一区域同一时相的第一时相高分辨率影像，所述第三时相低分辨率影像有配对的同一区域同一时相的第三时相高分辨率影像；过渡残差影像数据处理模块，用于将所述第一时相低分辨率影像和第二时相低分辨率影像输入超分辨率卷积神经网络，获得第一二时相过渡残差影像，以及将所述第二时相低分辨率影像和第三时相低分辨率影像输入超分辨率卷积神经网络，获得第二三时相过渡残差影像；传感器偏差数据处理模块，用于将所述第一二时相过渡残差影像输入偏置特征提取卷积神经网络，获得第一二时相传感器偏差，以及将所述第二三时相过渡残差影像输入偏置特征提取卷积神经网络，获得第二三时相传感器偏差；过渡高分辨率影像数据处理模块，用于将所述第一时相高分辨影像、第一二时相过渡残差影像和第一二时相传感器偏差相加，获得第二时相前向过渡高分辨率影像，以及将所述第三时相高分辨率影像、第二三时相过渡残差影像和第二三时相传感器偏差相加，获得第二时相后向过渡高分辨率影像；高分辨率重建影像数据处理模块，用于将所述第二时相前向过渡高分辨率影像和第二时相后向过渡高分辨率影像输入时间融合卷积神经网络，获得第二时相高分辨率重建影像。
13.可选的，所述高分辨率重建影像数据处理模块包括：上采样影像数据处理子模块，用于使用bicubic插值法对第一时相低分辨率影像、第二时相低分辨率影像和第三时相低分辨率影像进行上采样，得到第一时相上采样影像、第二时相上采样影像和第三时相上采样影像，其中上采样比例与高分辨率重建后的图像采样比例相同；上采样残差影像数据处理子模块，用于将第一时相上采样影像与第二时相上采样影像做差，获得第一二时相上采样残差影像，以及将第二时相上采样影像与第三时相上采样影像做差，获得第二三时相上采样残差影像；时间融合卷积神经网络训练子模块，用于使用损失函数
训练所述时间融合卷积神经网络，式中，表示时间融合卷积神经网络的映射函数，表示该映射函数的训练权重参数，表示训练集中的第时相，为第j时相高分辨率影像，为第j时相来自第i时相的前向过渡高分辨率影像，为第j时相来自第k时相的后向过渡高分辨率影像，为第i,j时相上采样残差影像，为第j,k时相上采样残差影像，分别为对第i,j,k时相低分辨率影像进行上采样得到的第i,j,k时相上采样影像，为图片结构相似性函数，其中分别表示影像中所有元素的均值，分别表示影像中所有元素的标准差，表示影像中元素的协方差，为两个很小的常数，防止分母为0；高分辨率重建影像数据输出子模块，用于将所述第二时相前向过渡高分辨率影像、第二时相后向过渡高分辨率影像、第一二时相上采样残差影像和二三时相上采样残差影像输入已训练好的时间融合卷积神经网络得到第二时相高分辨率重建影像。
14.根据第三方面，本发明提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如第一方面所述的一种影像高分辨率重建方法。
15.根据第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如第一方面所述的一种影像高分辨率重建方法。
16.本发明的有益效果：本发明充分考虑到不同传感器的差异，通过训练偏置特征卷积神经网络，学习两个传感器的误差，提升影像高分辨率重建的精度。本发明还充分考虑到待重建的影像是一个时序数据，不同的时间长度变化对重构日期影像的影响有差异，一方面通过训练时间融合卷积神经网络，学习每一个像素点处时间变化造成的影像差异对重构日期影像的影响程度，以此作为该相素点的时间融合权重，比传统直接使用残差图像数值用线性函数计算权重表达力更强，更准确；另一方面，在模型损失函数中除了经典的mse损失函数，还加入了ssim结构相似性函数，ssim值越接近1，表示两幅影像结构相似度越高，可以保证优化后的模型不仅最小二乘损失小，而且和真实图片保持很好的结构相似度，视觉效果更好。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
18.其中：图1为一个实施例中一种影像高分辨率重建方法的流程图；图2为一个实施例中一种影像高分辨率重建方法逻辑框架示意图；图3为一个实施例中通过时间融合卷积神经网络获得高分辨率重建影像流程图；图4为一个实施例中一种影像高分辨率重建方法实际预测效果图；图5为另一个实施例中一种影像高分辨率重建装置架构图。
具体实施方式
19.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
20.下面将结合本技术的实施例中的附图，对本技术的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本技术的权利要求书、说明书以及说明书附图中的术语，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。
22.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
23.图1为根据本技术实施例提供的一种影像高分辨率重建方法的流程图。图2为根据本技术实施例提供的一种影像高分辨率重建方法逻辑框架示意图。
24.参考图1、图2所示，在一个实施例中，提出了一种影像高分辨率重建方法，包括：步骤100，获取第一时相低分辨率影像、第二时相低分辨率影像和第三时相低分辨率影像，第一时相、第二时相和第三时相按时间顺序依次排列，其中，第一时相低分辨率影像有配对的同一区域同一时相的第一时相高分辨率影像，第三时相低分辨率影像有配对的同一区域同一时相的第三时相高分辨率影像。
25.需要说明的是，作为一个示例，本发明实施例首先获取两个传感器针对特定种植结构区域的遥感影像，其中传感器一的影像为高分辨率影像，影像序列为，传感器二的影像为与之配对的低分辨率影像序列，把成对的高低分辨率影像序列构成训练样本集，将使用该训练样本集对本发明自行设计的神经网络进行训
练。
26.除了有配对高分辨率影像的低分辨率影像外，低分辨率影像序列中仍然有大量影像无配对的高分辨率影像，本发明的方法将为它们重建出配对的高分辨率影像。为了清楚简要地介绍本发明的实施例，下面的实施例中，重建部分仅仅以用不同时相的三张低分辨率影像序列和配对的两张高分辨率影像序列来重建与配对的高空间分辨率影像为例说明基于传感器误差修正和时空数据融合的影像高分辨率重建方法。依此类推，即可以重建出低分辨率影像序列中无配对的高空间分辨率影像，从而获得高时间、高空间分辨率影像序列。并且，为了对各种物理量含义的一致性理解，各步骤神经网络的训练阶段训练集参量表示和基于该神经网络的预测、识别、重建的步骤中的参量表示均使用相同的参量表示方式。对于本领域普通技术人员来讲，这是可以理解的简要说明方式。
27.步骤200，将第一时相低分辨率影像和第二时相低分辨率影像输入超分辨率卷积神经网络，获得第一二时相过渡残差影像，将第二时相低分辨率影像和第三时相低分辨率影像输入超分辨率卷积神经网络，获得第二三时相过渡残差影像。
28.在一个实施例中，步骤200具体还包括：步骤201，使用损失函数公式训练超分辨率卷积神经网络，式中，表示超分辨率卷积神经网络的映射函数，表示该映射函数的训练权重参数，为训练集中第时相高分辨率影像与第时相高分辨率影像的差，为训练集中第时相低分辨率影像与第时相低分辨率影像的差，，其中表示欧氏模长，为、影像长度上的分辨率，为、影像宽度上的分辨率；步骤202，计算第一时相低分辨率影像和第二时相低分辨率影像的影像差，将该影像差输入已训练好的超分辨率卷积神经网络得到获得第一二时相过渡残差影像,式中表示已训练好的超分辨率卷积神经网络的权重参数；计算第二时相低分辨率影像和第三时相低分辨率
影像的影像差，将该影像差输入已训练好的超分辨率卷积神经网络得到获得第二三时相过渡残差影像。
29.需要说明的是，本实施例采用的超分辨率卷积神经网络（super-resolution convolutional neural network，srcnn）属于现有技术，详见文献dong, c. , et al.image super-resolution using deep convolutional networks." ieee trans pattern anal mach intell 38.2(2016):295-307。
30.步骤300，将第一二时相过渡残差影像输入偏置特征提取卷积神经网络，获得第一二时相传感器偏差，将第二三时相过渡残差影像输入偏置特征提取卷积神经网络，获得第二三时相传感器偏差。
31.在一个实施例中，步骤300具体还包括：步骤301，使用损失函数训练偏置特征提取卷积神经网络，式中，表示偏置特征提取卷积神经网络的映射函数，表示偏置特征提取卷积神经网络映射函数的训练权重参数，为训练集中第时相高分辨率影像与第时相高分辨率影像的差，为第i，j时相过渡残差影像；步骤302，将第一二时相过渡残差影像输入已训练好的偏置特征提取卷积神经网络，获得第一二时相传感器偏差，式中，表示已训练好的偏置特征提取卷积神经网络的权重参数；将第二三时相过渡残差影像输入已训练好的偏置特征提取卷积神经网络，获得第二三时相传感器偏差。
32.需要说明的是，在对偏置特征提取卷积神经网络的训练过程中，按照步骤200及步骤202利用训练好的超分辨率卷积神经网络计算得出。
33.在一个实施例中，偏置特征提取卷积神经网络包括输入层、三个卷积隐藏层和输出层，三个卷积隐藏层分别对应于提取特征操作，非线性映射操作和重建操作。
34.步骤400，将第一时相高分辨影像、第一二时相过渡残差影像和第一二时相传感器偏差相加，获得第二时相前向过渡高分辨率影像，将第三时相高分辨率影像、第二三时相过渡残差影像和第二三时相传感器偏差相加，获得第二时相后向过渡高分辨率影像。
35.步骤500，将第二时相前向过渡高分辨率影像和第二时相后向过渡高分辨率影像输入时间融合卷积神经网络，获得第二时相高分辨率重建影像。
36.图2为根据本技术实施例提供的一种影像高分辨率重建方法中逻辑框架示意图。
37.参考图3，在一个实施例中，步骤500具体还包括：步骤501，使用bicubic插值法对第一时相低分辨率影像、第二时相低分辨率影像和第三时相低分辨率影像进行上采样，得到第一时相上采样影像、第二时相上采样影像和第三时相上采样影像，其中上采样比例与高分辨率重建后的图像采样比例相同；步骤502，将第一时相上采样影像与第二时相上采样影像做差，获得第一二时相上采样残差影像，将第二时相上采样影像与第三时相上采样影像做差，获得第二三时相上采样残差影像 ；步骤503，使用损失函数训练时间融合卷积神经网络，式中，表示时间融合卷积神经网络的映射函数，表示该映射函数的训练权重参数，表示训练集中的第时相，为第j时相高分辨率影像，为第j时相来自第i时相的前向过渡高分辨率影像，为第j时相来自第k时相的后向过渡高分辨率影像，为第i,j时相上采样残差影像，为第j,k时相上采样残差影像，分别为对第i,j,k时相低分辨率影像进行上采样得到的第i,j,k时相上采样影像，为图片结构相似性函数，其中分别表示影像中所有元素的均值，分别表示影像中所有元素的标准差，表示影像中元素的协方差，为两个很小的常数，防止分母为0；步骤504，将第二时相前向过渡高分辨率影像、第二时相后向过渡高分辨率影像、第一二时相上采样残差影像和二三时相上采样残差影像输入已训练好的时间融合卷积神经网络得到第二时相高分辨率重建影像。
38.需要说明的是，在对时间融合卷积神经网络的训练过程中，、按照步骤400计算得出。
39.需要说明的是，上述在一种影像高分辨率重建方法的描述中，只使用了一、二、三时相，但在对三个卷积神经网络的训练中，图像集中的任意三张可以组成三个时相的组合，i、j、k分别对应于一、二、三时相。
40.在一个实施例中，时间融合卷积神经网络包括输入层、三个卷积隐藏层和输出层；输入层用于将第一二时相上采样残差影像、第二三时相上采样残差影像、第二时相前向过渡高分辨率影像和第二时相后向过渡高分辨率影像叠放在一起，形成一个四通道数据输入模型；三个隐藏层分别对应于特征提取操作、非线性映射操作和权重提取操作，对应权重提取的隐藏层输出一个的张量，其中为高分辨率影像长和宽分辨率；输出层输出公式为，式中，为第二时相高分辨率重建影像，为第二时相前向过渡高分辨率影像，为第二时相后向过渡高分辨率影像，表示所有元素都为1的张量，为上一层输出的一个的张量，
“”
表示对应位置的元素相乘。
41.参考图4所示，其中为根据两个不同传感器获取的低分辨率影像序列和高分辨率影像序列重建的与配对的高分辨率影像，其既保证了和高分辨率影像序列相同的分辨率，又保持了低分辨率时序影像随时间的变化信息；依此类推，即可以重建出低分辨率影像序列中无配对的高空间分辨率影像，从而获得高时间、高空间分辨率影像序列。
42.参考图5所示，在一个实施例中，提出了一种影像高分辨率重建装置，包括：影像获取模块，用于获取第一时相低分辨率影像、第二时相低分辨率影像和第三时相低分辨率影像第一时相、第二时相和第三时相按时间顺序依次排列，其中，第一时相低分辨率影像有配对的同一区域同一时相的第一时相高分辨率影像，第三时相低分辨率影像有配对的同一区域同一时相的第三时相高分辨率影像；过渡残差影像数据处理模块，用于将第一时相低分辨率影像和第二时相低分辨率影像输入超分辨率卷积神经网络，获得第一二时相过渡残差影像，以及将第二时相低分辨率影像和第三时相低分辨率影像输入超分辨率卷积神经网络，获得第二三时相过渡残差影像；
传感器偏差数据处理模块，用于将第一二时相过渡残差影像输入偏置特征提取卷积神经网络，获得第一二时相传感器偏差，以及将第二三时相过渡残差影像输入偏置特征提取卷积神经网络，获得第二三时相传感器偏差；过渡高分辨率影像数据处理模块，用于将第一时相高分辨影像、第一二时相过渡残差影像和第一二时相传感器偏差相加，获得第二时相前向过渡高分辨率影像，以及将第三时相高分辨率影像、第二三时相过渡残差影像和第二三时相传感器偏差相加，获得第二时相后向过渡高分辨率影像；高分辨率重建影像数据处理模块，用于将第二时相前向过渡高分辨率影像和第二时相后向过渡高分辨率影像输入时间融合卷积神经网络，获得第二时相高分辨率重建影像。
43.在一个实施例中，过渡残差影像数据处理模块用于实施：使用损失函数公式训练超分辨率卷积神经网络，式中，表示超分辨率卷积神经网络的映射函数，表示该映射函数的训练权重参数，为训练集中第时相高分辨率影像与第时相高分辨率影像的差，为训练集中第时相低分辨率影像与第时相低分辨率影像的差，，其中表示欧氏模长，为、影像长度上的分辨率，为、影像宽度上的分辨率；计算第一时相低分辨率影像和第二时相低分辨率影像的影像差，将该影像差输入已训练好的超分辨率卷积神经网络得到获得第一二时相过渡残差影像，式中表示已训练好的超分辨率卷积神经网络的权重参数；计算第二时相低分辨率影像和第三时相低分辨率影像的影像差，将该影像差输入已训练好的超分辨率卷积神经网络得到获得第二三时相过渡残差影像。
44.在一个实施例中，传感器偏差数据处理模块用于实施：使用损失函数训练偏置特征提取卷积神经网络，式中，表示偏置特征提取卷积神经网络的映射函数，表示偏置特征提取卷积神经网络映射函数的训练权重参数，为训练集中第时相高分辨率影像与第时相高分辨率影像的差，为第i，j时相过渡残差影像；将第一二时相过渡残差影像输入已训练好的偏置特征提取卷积神经网络，获得第一二时相传感器偏差，式中，表示已训练好的偏置特征提取卷积神经网络的权重参数；将第二三时相过渡残差影像输入已训练好的偏置特征提取卷积神经网络，获得第二三时相传感器偏差。
45.需要说明的是，在对偏置特征提取卷积神经网络的训练中，由训练集数据利用训练好的超分辨率卷积神经网络计算得出。
46.在一个实施例中，偏置特征提取卷积神经网络包括输入层、三个卷积隐藏层和输出层，三个卷积隐藏层分别对应于提取特征操作，非线性映射操作和重建操作。
47.在一个实施例中，高分辨率重建影像数据处理模块包括：上采样影像数据处理子模块，用于使用bicubic插值法对第一时相低分辨率影像、第二时相低分辨率影像和第三时相低分辨率影像进行上采样，得到第一时相上采样影像、第二时相上采样影像和第三时相上采样影像，其中上采样比例与高分辨率重建后的图像采样比例相同；上采样残差影像数据处理子模块，用于将第一时相上采样影像与第二时相上采样影像做差，获得第一二时相上采样残差影像，以及将第二时相上采样影像与第三时相上采样影像做差，获得第二三时相上采样残差影像；时间融合卷积神经网络训练子模块，用于使用损失函数训练时间融合卷积神经网络，式中，表示时间融合卷积神经网络的
映射函数，表示该映射函数的训练权重参数，表示训练集中的第时相，为第j时相高分辨率影像，为第j时相来自第i时相的前向过渡高分辨率影像，为第j时相来自第k时相的后向过渡高分辨率影像，为第i,j时相上采样残差影像，为第j,k时相上采样残差影像，分别为对第i,j,k时相低分辨率影像进行上采样得到的第i,j,k时相上采样影像，为图片结构相似性函数，其中分别表示影像中所有元素的均值，分别表示影像中所有元素的标准差，表示影像中元素的协方差，为两个很小的常数，防止分母为0；高分辨率重建影像数据输出子模块，用于将第二时相前向过渡高分辨率影像、第二时相后向过渡高分辨率影像、第一二时相上采样残差影像和二三时相上采样残差影像输入已训练好的时间融合卷积神经网络得到第二时相高分辨率重建影像。
48.需要说明的是，在对时间融合卷积神经网络的训练中，、由过渡高分辨率影像数据处理模块处理训练集数据计算得出。
49.需要说明的是，上述在一种影像高分辨率重建装置的描述中，只使用了一、二、三时相，但在对三个卷积神经网络的训练中，图像集中任意三张可以组成三个时相的组合，i、j、k分别对应于一、二、三时相。
50.在一个实施例中，时间融合卷积神经网络包括输入层、三个卷积隐藏层和输出层；输入层用于将第一二时相上采样残差影像、第二三时相上采样残差影像、第二时相前向过渡高分辨率影像和第二时相后向过渡高分辨率影像叠放在一起，形成一个四通道数据输入模型；三个隐藏层分别对应于特征提取操作、非线性映射操作和权重提取操作，对应权重提取的隐藏层输出一个的张量，其中为高分辨率影像长和宽分辨率；输出层输出公式为，式中，为第二时相高分辨率重建影像，为第二时相前向过渡高分辨率影像，为第二时相后向过渡高分辨率影像，表示所有元素都为1的张量，
为上一层输出的一个的张量，
“”
表示对应位置的元素相乘。
51.在一个实施例中，提出了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述实施例中的方法的一种影像高分辨率重建方法步骤。
52.在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述实施例中的一种影像高分辨率重建方法的步骤。
53.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink) dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
54.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
55.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。