超分辨率重建方法、装置、计算机设备和存储介质

1.本申请涉及图像处理技术领域，特别是涉及一种超分辨率重建方法、装置、计算机设备和存储介质。


背景技术：

2.超分辨率(super
‑
resolution)重建即通过硬件或软件的方法提高原有图像数据的分辨率，通过一系列低分辨率的图像数据来得到一幅高分辨率的图像数据过程。超分辨率重建在医学领域应用十分广泛，对于医学图像(例如ct、mri、超声)，为了提高诊断的效率和准确率，使用者(医生或相关科研人员)可以通过超分辨率重建在较短的时间内取得分辨率更高的图像。
3.传统技术中，在进行超分辨率重建时，通常通过训练超分辨率重建模型，将待重建的图像输入超分辨率重建模型中，以重建得到目标高分辨率图像，这种重建方式效果并不好，在提升分辨率的同时，常常会导致图像失真。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够有效避免图像失真的超分辨率重建方法、装置、计算机设备和存储介质。
5.一种超分辨率重建方法，其特征在于，所述方法包括：
6.获取待重建的低分辨率图像数据；
7.从预先建立的高分辨率图像数据库中获取满足相似度条件的参考图像数据；所述高分辨率图像数据库根据多个不同对象对应的高分辨率图像数据建立得到；
8.对所述低分辨率图像数据和所述参考图像数据进行融合处理，，以重建得到所述低分辨率图像数据对应的目标高分辨率图像数据。
9.在一些实施例中，所述对所述低分辨率图像数据和所述参考图像数据进行融合处理包括：
10.分别提取所述低分辨率图像数据和所述参考图像数据的纹理特征，得到所述低分辨率图像数据对应的低分辨率纹理特征及所述参考图像数据对应的高分辨率纹理特征；
11.根据所述低分辨率纹理特征及所述高分辨率纹理特征进行融合处理，以重建得到所述低分辨率图像数据对应的目标高分辨率图像数据。
12.在一些实施例中，所述高分辨率图像数据库的建立步骤包括：
13.获取多个不同对象对应的高分辨率图像数据；
14.对各个高分辨率图像数据提取特征，以得到各个高分辨率图像数据各自对应的高分辨率特征向量；
15.将各个高分辨率图像数据与各自对应的高分辨率特征向量对应存储至数据库中，以建立所述高分辨率图像数据库。
16.在一些实施例中，在所述从预先建立的高分辨率图像数据库中获取满足相似度条
件的参考图像数据之前，所述方法还包括：
17.对所述低分辨率图像数据提取特征，以得到所述低分辨率图像数据对应的低分辨率特征向量；
18.所述从预先建立的高分辨率图像数据库中获取满足相似度条件的参考图像数据包括：
19.从所述高分辨率图像数据库中获取与所述低分辨率特征向量的向量距离满足距离条件的目标高分辨率特征向量，将所述目标高分辨率特征向量对应的高分辨率图像数据确定为参考图像数据。
20.在一些实施例中，在所述根据各个高分辨率图像数据各自对应的高分辨率特征向量建立所述高分辨率图像数据库之后，所述方法还包括：
21.对各个所述高分辨率特征向量进行聚类处理，得到多个特征向量簇；各个特征向量簇存在对应的聚类中心；
22.将各个特征向量簇对应的聚类中心作为索引项，将各个特征向量簇中的高分辨率特征向量作为倒排文件，建立倒排索引。
23.在一些实施例中，所述低分辨率图像数据、所述高分辨率图像数据均为医学图像数据；所述低分辨率图像数据、所述高分辨率图像数据为二维数据、三维数据和傅里叶空间数据中的任意一种。
24.在一些实施例中，在所述分别提取所述低分辨率图像数据和所述参考图像数据的纹理特征之前，所述方法还包括：
25.获取训练后的机器学习模型；所述机器学习模型包括特征提取层；
26.所述分别提取所述低分辨率图像数据和所述参考图像数据的纹理特征包括：
27.将所述低分辨率图像数据与所述参考图像数据输入所述特征提取层，在所述特征提取层分别提取所述低分辨率图像数据和所述参考图像数据的纹理特征；
28.所述根据所述低分辨率纹理特征及所述高分辨率纹理特征进行融合处理，以重建得到所述低分辨率图像数据对应的目标高分辨率图像数据包括：
29.通过所述机器学习模型对所述低分辨率纹理特征及所述高分辨率纹理特征进行融合处理，以重建得到所述低分辨率图像数据对应的目标高分辨率图像数据。
30.在一些实施例中，所述机器学习模型还包括特征比对层和特征融合层；所述通过所述机器学习模型对所述低分辨率纹理特征及所述高分辨率纹理特征进行融合处理，以重建得到所述低分辨率图像数据对应的目标高分辨率图像数据包括：
31.将所述低分辨率纹理特征及所述高分辨率纹理特征输入所述特征比对层，在所述特征比对层对所述低分辨率纹理特征及所述高分辨率纹理特征进行相似度比对，获得相似特征分布；
32.将所述低分辨率图像数据及所述相似特征分布输入所述特征融合层，在所述特征融合层根据所相似特征分布及所述低分辨率图像数据进行融合处理，以重建得到所述低分辨率图像数据对应的目标高分辨率图像数据。
33.一种超分辨率重建装置，所述装置包括：
34.数据获取模块，用于获取待重建的低分辨率图像数据；
35.搜索模块，用于从预先建立的高分辨率图像数据库中获取满足相似度条件的参考
图像数据；所述高分辨率图像数据库根据多个不同对象对应的高分辨率图像数据建立得到；
36.融合处理模块，用于对所述低分辨率图像数据和所述参考图像数据进行融合处理，以重建得到所述低分辨率图像数据对应的目标高分辨率图像数据。
37.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
38.获取待重建的低分辨率图像数据；
39.从预先建立的高分辨率图像数据库中获取满足相似度条件的参考图像数据；所述高分辨率图像数据库根据多个不同对象对应的高分辨率图像数据建立得到；
40.对所述低分辨率图像数据和所述参考图像数据进行融合处理，，以重建得到所述低分辨率图像数据对应的目标高分辨率图像数据。
41.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
42.获取待重建的低分辨率图像数据；
43.从预先建立的高分辨率图像数据库中获取满足相似度条件的参考图像数据；所述高分辨率图像数据库根据多个不同对象对应的高分辨率图像数据建立得到；
44.对所述低分辨率图像数据和所述参考图像数据进行融合处理，，以重建得到所述低分辨率图像数据对应的目标高分辨率图像数据。
45.上述超分辨率重建方法、装置、计算机设备和存储介质，通过获取待重建的低分辨率图像数据，从预先建立的高分辨率图像数据库中获取满足相似度条件的参考图像数据，对所述低分辨率图像数据和所述参考图像数据进行融合处理，以重建得到所述低分辨率图像数据对应的目标高分辨率图像数据，一方面通过与参考图像的融合来进行重建，重建过程中融合了真实的高分辨率图像数据，重建得到的图像效果更好，可以有效避免失真现象，另一方面，由于参考图像数据是根据相似度从高分辨率图像数据库中获取的，高分辨率图像数据库中的高分辨率图像数据对应多个不同对象，从而使得在重建的过程中，不局限于同一对象，扩展了参考图像数据的来源，从而使得超分辨率重建方法的应用范围更广。
附图说明
46.图1为一个实施例中超分辨率重建方法的应用环境图；
47.图2为一个实施例中超分辨率重建方法的流程示意图；
48.图3为一个实施例中高分辨率图像数据库的建立步骤的流程示意图；
49.图4为另一个实施例中超分辨率重建方法的流程示意图；
50.图5为一个实施例中超分辨率重建方法的整体架构图；
51.图6为一个实施例中超分辨率重建方法在实际应用场景中的效果比对图；
52.图7为一个实施例中超分辨率重建装置的结构框图；
53.图8为一个实施例中计算机设备的内部结构图。
具体实施方式
54.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
55.本申请提供的超分辨率重建方法，可以应用于如图1所示的应用环境中。其中，图像采集设备102通过网络与服务器104进行通信，服务器上存储预先建立的高分辨率图像数据库，该高分辨率图像数据库根据多个不同对象对应的高分辨率图像数据建立得到。图像采集设备102采集低分辨率图像数据并发送至服务器104，服务器104在接收到低分辨率图像数据后，从该高分辨率图像数据库中获取满足相似度条件的参考图像数据，对所述低分辨率图像数据和所述参考图像数据进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。其中，图像采集设备102可以是各种具备图像数据采集功能的计算机设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
56.在一些实施例中，如图2所示，提供了一种超分辨率重建方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
57.步骤202，获取待重建的低分辨率图像数据。
58.其中，低分辨率图像数据指的是分辨率低的图像数据。分辨率低指的是分辨率小于第一分辨率阈值；相应的，高分辨率图像数据指的是分辨率高的图像数据，分辨率高指的是分辨率大于第二分辨率阈值。其中第一分辨率阈值、第二分辨率阈值可以根据需要进行设定，且第二分辨率阈值大于第一分辨率阈值。因此，超分辨率重建可以看作是一个分辨率增强的过程。
59.具体地，图像数据采集设备可以通过拍摄、扫描等方式采集低分辨率图像数据，将低分辨率图像数据发送至服务器，从而服务器可以获取到低分辨率图像数据。
60.在一些实施例中，本申请实施例提到的低分辨率图像数据、高分辨率图像数据可以为医学图像数据，该医学图像数据可以为三维医学图像，服务器在获取到三维医学图像后，对该三维医学图像进行切分，转换为对应的二维图像，再执行本申请的超分辨率重建方法，最终重建得到的也是二维图像；在其他一些实施例中，服务器在获取到三维医学图像后，将该三维医学图像作为待重建的低分辨率图像，执行本申请的超分辨率重建方法，最终重建得到的为三维图像。
61.在另一些实施例中，上述的医学图像数据可以是医学图像的原始数据，例如mri(magnetic resonance imaging，磁共振成像)得到的k空间数据。k空间是寻常空间在傅里叶转换下的对偶空间，因此，k空间数据也称为傅里叶空间数据，服务器在获取到低分辨率的k空间数据后，将该k空间数据作为待重建的低分辨率图像数据，执行本申请的超分辨率重建方法，最终重建得到为高分辨率的k空间数据，服务器可以进一步通过傅里叶转换得到图像。
62.步骤204，从预先建立的高分辨率图像数据库中获取满足相似度条件的参考图像数据；高分辨率图像数据库根据多个不同对象对应的高分辨率图像数据建立得到。
63.其中，相似度条件指的预先设置的用于搜索相似图像的条件。高分辨率图像数据库根据多个不同对象对应的高分辨率图像数据建立得到。其中，多个不同的对象与待重建的低分辨率图像数据对应的对象通常为不同的对象。可以理解的是，这里提到的对象指的是图像数据中所包含的主体对象，该主体对象可以是生物体或者非生物体，生物体可以是人体或者动物，该主体对象可以是整个生物体或者非生物体，也可以是生物体或者非生物
体的局部，例如，当本申请的图像数据为医学数据时，该主体对象可以是人体器官。
64.具体地，服务器对高分辨率图像数据库进行搜索，在搜索的过程中计算待重建的低分辨率图像数据与高分辨率图像数据库中的高分辨率图像数据之间的相似度，根据计算结果选择满足相似度条件的高分辨率图像数据作为搜索得到的参考图像数据。参考图像数据可以是一个或者多个。这里的多个指的是至少两个。
65.在一些实施例中，相似度条件可以是相似度大于预设相似度阈值，那么服务器可以根据相似度计算结果，从预先建立的高分辨率图像数据库中获取与待重建的低分辨率图像数据之间的相似度大于该预设相似度阈值的高分辨率图像数据，作为参考图像数据。相似度阈值可以根据经验进行设定。
66.在另一些实施例中，相似度条件可以是与待重建的低分辨率图像数据之间的相似度按照大小关系排序时，排列靠前，那么服务器可以根据相似度计算结果进行相似度排序，选取相似度排序靠前的高分辨率图像数据作为参考图像数据。例如，服务器可以选择相似度最大的高分辨率图像数据作为参考图像数据。
67.在一些实施例中，为提高搜索效率，服务器可以对高分辨率图像数据库中的高分辨率图像数据进行乘积量化(product quantization，pq)。在另一些实施例中，服务器可以采用基于分层的小世界图(hierarchical navigable small world graphs，hnsw)的算法方法实现搜索。
68.步骤206，对低分辨率图像数据和参考图像数据进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
69.具体地，服务器可以获取参考图像数据中的相似数据，将相似数据与待重建的低分辨率图像数据进行融合，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。其中，相似数据可以是相似图像区域或者相似图像特征，相似图像特征具体可以是相似纹理特征。
70.在一些实施例中，对低分辨率图像数据和参考图像数据进行融合处理包括：分别提取低分辨率图像数据和参考图像数据的纹理特征，得到低分辨率图像数据对应的低分辨率纹理特征及参考图像数据对应的高分辨率纹理特征；根据低分辨率纹理特征及高分辨率纹理特征进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
71.具体地，服务器提取低分辨率图像数据的纹理特征，得到低分辨率图像数据对应的低分辨率纹理特征，提取参考图像数据的纹理特征，得到参考图像数据对应的高分辨率纹理特征。服务器进一步根据低分辨率纹理特征及高分辨率纹理特征进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
72.在一些实施例中，服务器可以基于神经网络分别提取低分辨率图像数据和参考图像数据的纹理特征。
73.在一些实施例中，服务器在进行融合处理时，可以采用传统的数学方式，例如对低分辨率纹理特征及高分辨率纹理特征的像素进行按权重加和，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。在另一些实施例中，服务器可以通过神经网络对低分辨率纹理特征及高分辨率纹理特征进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
74.上述超分辨率重建方法中，通过获取待重建的低分辨率图像数据，从预先建立的
高分辨率图像数据库中获取满足相似度条件的参考图像数据，对低分辨率图像数据和参考图像数据进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据，一方面通过与参考图像的融合来进行重建，重建过程中融合了真实的高分辨率图像数据，重建得到的图像效果更好，可以有效避免失真现象，另一方面，由于参考图像数据是根据相似度从高分辨率图像数据库中获取的，高分辨率图像数据库中的高分辨率图像数据对应多个不同对象，从而使得在重建的过程中，不局限于同一对象，扩展了参考图像数据的来源，从而使得超分辨率重建方法的应用范围更广。
75.在一些实施例中，如图3所示，高分辨率图像数据库的建立步骤包括：
76.步骤302，获取多个不同对象对应的高分辨率图像数据。
77.具体地，服务器可以获取大量不同对象对应的高分辨率图像数据，用以建立高分辨率数据库，这些高分辨率图像数据可以作为超分辨率重建时的参考图像数据。以本申请的图像数据为医学图像数据为例，服务器可以获取大量不同受试者的高分辨率图像数据用于数据库的建立。
78.步骤304，对各个高分辨率图像数据提取特征，以得到各个高分辨率图像数据各自对应的高分辨率特征向量。
79.具体地，服务器可以通过特征提取器分别提取各个高分辨率图像数据的图像特征，并对提取的图像特征进行向量化，获得各个高分辨率图像数据各自对应的高分辨率特征向量。
80.在一些实施例中，服务器可以使用gist特征抽取器，在40x40矩阵大小下进行向量化，获得各个高分辨率图像数据各自对应的高分辨率特征向量。
81.在一些实施例中，相似图像搜索模块中的特征提取器也可以使用sift特征、hog特征、phash特征。对于sift等不定长特征，可以进一步通过bow(bag of visual word)、vlad(aggregating local descriptors)以及fisher vector(fisher vector)等方式进行编码，转化为固定长度的向量。
82.在一些实施例中，特征提取器可以使用基于卷积神经网络(cnn)的模型，对卷积神经网络在图像样本上进行预训练，然后提取网络中间或者最后的一层的输出作为特征提取的输出。训练时，可以加入随机的分辨率变化，随机噪声，随机变形翻转等数据增强方式。
83.步骤306，将各个高分辨率图像数据与各自对应的高分辨率特征向量对应存储至数据库中，以建立高分辨率图像数据库。
84.具体地，在获得各个高分辨率图像数据各自对应的高分辨率特征向量后，服务器将各个高分辨率图像数据与各自对应的高分辨率特征向量对应存储至数据库中，从而建立高分辨率图像数据库。服务器可以通过高分辨率特征向量从该数据库中查询对应的高分辨率图像数据。
85.在一些实施例中，如图4所示，提供了一种超分辨率重建方法，包括以下步骤：
86.步骤402，获取多个不同对象对应的高分辨率图像数据。
87.步骤404，对各个高分辨率图像数据提取特征，以得到各个高分辨率图像数据各自对应的高分辨率特征向量。
88.步骤406，将各个高分辨率图像数据与各自对应的高分辨率特征向量对应存储至数据库中，以建立高分辨率图像数据库。
89.步骤408，获取待重建的低分辨率图像数据。
90.步骤410，对低分辨率图像数据提取特征，以得到低分辨率图像数据对应的低分辨率特征向量。
91.步骤412，从高分辨率图像数据库中获取与低分辨率特征向量的向量距离满足距离条件的目标高分辨率特征向量，将目标高分辨率特征向量对应的高分辨率图像数据确定为参考图像数据。
92.其中，向量距离可以是l2范数距离或者余弦距离。
93.在一些实施例中，距离条件可以是距离大于预设距离阈值，预设距离阈值可以根据经验进行设定。在另一些实施例中，距离条件可以是距离最短，服务器可以将距离最短的一个或多个高分辨率特征向量确定为目标高分辨率特征向量，例如，将向量距离按照从小到大排序，将排序靠前的一个或多个向量距离对应的高分辨率特征向量确定为目标高分辨率特征向量。
94.步骤414，分别提取低分辨率图像数据和参考图像数据的纹理特征，得到低分辨率图像数据对应的低分辨率纹理特征及参考图像数据对应的高分辨率纹理特征。
95.步骤416，根据低分辨率纹理特征及高分辨率纹理特征进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
96.上述实施例中，在建立数据库时，通过将高分辨率图像数据对应的特征向量对应存储，从而可以在搜索时，基于向量距离进行搜索，提高了搜索效率。
97.在一些实施例中，在根据各个高分辨率图像数据各自对应的高分辨率特征向量建立高分辨率图像数据库之后，上述方法还包括：对各个高分辨率特征向量进行聚类处理，得到多个特征向量簇；各个特征向量簇存在对应的聚类中心；将各个特征向量簇对应的聚类中心作为索引项，将各个特征向量簇中的高分辨率特征向量作为倒排文件，建立倒排索引。
98.具体地，服务器对各个高分辨率特征向量按照相似度进行聚类处理，聚类处理后，会得到多个特征向量簇，那么每一个特征向量簇中的高分辨率特征向量之间都是相似的，这里的相似可以理解为相似度大于预设的相似度阈值。各个特征向量簇存在对应的聚类中心。在聚类的过程中，可采用传统的聚类算法，本申请在此不赘述。
99.进一步，服务器可以将各个聚类中心作为索引项，将各个特征向量簇中的高分辨率特征向量作为倒排文件，建立倒排索引。从而服务器在搜索与待重建的低分辨率图像数据满足相似度条件的参考图像数据时，可以在提取到低分辨率图像数据的特征向量后，计算该特征向量与索引项中各个聚类中心之间的相似度，选择出相似程度高的索引项，从而服务器可以只在这些索引项对应的特征向量簇中进行搜索，对于其他特征向量簇可以不进行搜索，减少搜索数据的范围。
100.上述实施例中，通过获取不同对象对应的高分辨率图像数据，提取各个高分辨率图像数据的特征，以得到各个高分辨率图像数据各自对应的高分辨率特征向量建立高分辨率图像数据库，并进一步对数据库中的数据聚类建立倒排索引，那么在搜索时，可以减少数据搜索范围，从而提高搜索效率，进而提高超分辨率重建的效率。
101.在一些实施例中，在分别提取低分辨率图像数据和参考图像数据的纹理特征之前，上述超分辨率重建方法还包括：获取训练后的机器学习模型；机器学习模型包括特征提取层；分别提取低分辨率图像数据和参考图像数据的纹理特征包括：将低分辨率图像数据
与参考图像数据输入特征提取层，在特征提取层分别提取低分辨率图像数据和参考图像数据的纹理特征；根据低分辨率纹理特征及高分辨率纹理特征进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据包括：通过机器学习模型对低分辨率纹理特征及高分辨率纹理特征进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
102.其中，机器学习模型可以为基于神经网络的模型，例如，转换神经网络(transformer neural network)、卷积神经网络、循环神经网络等等。
103.在一些实施例中，本申请的图像数据为医学图像数据，在训练机器学习模型时，可以首先在非医学类数据上(例如相机照片)上进行预训练，然后在特定模态(ct、mri、或超声)的医学图像上进行训练。训练过程中，可以使用基于l1距离和对抗性损失的损失函数，使用随机梯度下降法优化模型参数直到收敛。
104.具体地，服务器将低分辨率图像数据与参考图像数据输入特征提取层，在特征提取层分别提取低分辨率图像数据和参考图像数据的纹理特征。在提取得到纹理特征后，服务器可以继续通过机器学习模型对提取的低分辨率纹理特征和高分辨率纹理特征进行融合处理，最终，机器学习模型输出目标高分辨率图像数据，完成超分辨率重建。可以理解，此处的纹理特征为纹理特征图。
105.在一些实施例中，机器学习模型还包括特征比对层和特征融合层；通过机器学习模型对低分辨率纹理特征及高分辨率纹理特征进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据包括：将低分辨率纹理特征及高分辨率纹理特征输入特征比对层，在特征比对层对低分辨率纹理特征及高分辨率纹理特征进行相似度比对，获得相似特征分布；将低分辨率图像数据及相似特征分布输入特征融合层，在特征融合层根据相似特征分布及低分辨率图像数据进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
106.其中，相似特征分布用于表征高分辨率纹理特征中与低分辨率纹理特征相似的特征的位置分布。在一些实施例中，相似特征分布还用于表征各个位置分布对应的相似度。
107.在一些实施例中，服务器可以将低分辨率纹理特征中各个像素分别与高分辨率纹理特征中对应位置像素进行比对，以得到相似度分布。
108.在另一些实施例中，服务器可以对低分辨率纹理特征和高分辨率纹理特征进行分块，例如，可以分别将低分辨率纹理特征和高分辨率纹理特征等分为n块(n>＝2)，得到低分辨率纹理特征对应的n个低分辨率子纹理特征以及高分辨率纹理特征对应的n个高分辨率子纹理特征，然后分别将各个低分辨率子纹理特征与对应位置的高分辨率纹理特征进行比对，以得到相似特征分布。
109.在一些实施例中，特征比对层可以是相关卷积层(correlation)，服务器在通过机器学习模型提取到低分辨率纹理特征和高分辨率纹理特征后，继续将低分辨率纹理特征和高分辨率纹理特征输入该相关卷积层，在该相关卷积层对低分辨率纹理特征和高分辨率纹理特征进行互相关操作，得到相关特征图，该相关特征图即为得到的相似特征分布。
110.服务器在获得相似特征分布后，继续将低分辨率图像数据及相似特征分布输入特征融合层，由于纹理特征相似度可以反映相似特征的位置分布，那么在特征融合层，服务器可以基于相似特征分布将参考图像数据中的相似特征与低分辨率图像数据进行融合，最终
重建得到低分辨率图像数据对应的目标高分辨率图像数据。
111.在一些实施例中，相似特征分布还用于表征各个位置分布对应的相似度，那么在特征融合层，服务器还可以基于各个位置分布对应的相似度确定注意力权重，在进行融合时，可以基于注意力权重进行融合。例如，在具体实施例时，服务器可以首先将各个位置分布对应的相似特征与注意力权重对应相乘，将相乘后的结果作为各个位置分布的相似特征以更新各个位置分布对应的相似特征，然后将更新后的相似特征与待重建的低分辨率图像数据进行融合；或者，服务器可以先将相似特征与待重建的低分辨率图像数据进行融合，融合完成后，再乘以注意力权重。
112.可以理解，在一些实施例中，上述的特征提取层、特征比对层和特征融合层均可通过一层或多层神经网络实现。
113.上述实施例中，通过将对低分辨率纹理特征及高分辨率纹理特征进行相似度比对，获得相似特征分布，进而在融合时可以准确地融合相似特征，从而使得重建得到的目标高分辨率图像数据更加准确。
114.在一个具体的实施例中，超分辨率重建方法的整体架构如图5所示，参考图5，服务器首先获取多张高分辨率图像，对这些图像进行向量化，然后将得到的高分辨率向量与高分辨率图像对应存储至数据库中，以构建高分辨率图像数据库，进而在进行超分辨率重建时，服务器在获取到待重建的低分辨率图像时，可以在对低分辨率图像向量化后，根据得到的低分辨率特征向量从高分辨率图像数据库中进行搜索，以获得至少一张与待重建的低分辨率图像数据相似的高分辨率图像作为参考图像，最后将待重建的低分辨率图像与参考图像一起输入训练后的神经网络中，最后输出重建得到的目标高分辨率图像。
115.可以理解，图5中的神经网络用于执行本申请实施例中的融合处理的步骤，该神经网络还可以用其他方式替代，例如凸集投影算法(pocs)、最大后验概率(map)算法、贝叶斯模型算法等等。
116.如图6所示，为本申请提供的超分辨率重建方法在实际应用场景中的效果比对图。其中，(a)为真实结果图(ground truth)，(b)、(c)分别为通过其他方法重建得到在4x4倍超分辨率下的测试效果展示，其中，(b)为待重建的低分辨率图像对应的插值图，(c)为通过(enhanced deep super
‑
resolution network，edsr)模型进行超分辨率重建得到的，(d)分别为本申请提供的超分辨率重建方法在4x4倍超分辨率下的测试效果展示，(e)为从高分辨率图像数据库中搜索得到的参考图像。其中edsr是一种不使用参考图片的神经网络超分辨率方案，每张图的右下角展示了方框中所示位置的局部放大图，可以看出本发明的超分辨率重建方法得到的图更加清晰准确，更接近真实结果(ground truth)。
117.应该理解的是，虽然图2
‑
4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2
‑
4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
118.在一些实施例中，如图7所示，提供了一种超分辨率重建装置700，包括：
119.数据获取模块702，用于获取待重建的低分辨率图像数据；
120.搜索模块704，用于从预先建立的高分辨率图像数据库中获取满足相似度条件的参考图像数据；高分辨率图像数据库根据多个不同对象对应的高分辨率图像数据建立得到；
121.融合处理模块706，用于对低分辨率图像数据和参考图像数据进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
122.在一些实施例中，上述融合处理模块706还用于分别提取低分辨率图像数据和参考图像数据的纹理特征，得到低分辨率图像数据对应的低分辨率纹理特征及参考图像数据对应的高分辨率纹理特征；根据低分辨率纹理特征及高分辨率纹理特征进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
123.在一些实施例中，上述装置还包括：数据库建立模块，用于获取多个不同对象对应的高分辨率图像数据；对各个高分辨率图像数据提取特征，以得到各个高分辨率图像数据各自对应的高分辨率特征向量；将各个高分辨率图像数据与各自对应的高分辨率特征向量对应存储至数据库中，以建立高分辨率图像数据库。
124.在一些实施例中，上述装置还包括：向量化模块，用于对低分辨率图像数据提取特征，以得到低分辨率图像数据对应的低分辨率特征向量；搜索模块还用于从高分辨率图像数据库中获取与低分辨率特征向量的向量距离满足距离条件的目标高分辨率特征向量，将目标高分辨率特征向量对应的高分辨率图像数据确定为参考图像数据。
125.在一些实施例中，上述装置还包括：索引建立模块，用于对各个高分辨率特征向量进行聚类处理，得到多个特征向量簇；各个特征向量簇存在对应的聚类中心；将各个特征向量簇对应的聚类中心作为索引项，将各个特征向量簇中的高分辨率特征向量作为倒排文件，建立倒排索引。
126.在一些实施例中，低分辨率图像数据、高分辨率图像数据均为医学图像数据；低分辨率图像数据、高分辨率图像数据为二维数据、三维数据和傅里叶空间数据中的任意一种。
127.在一些实施例中，上述装置还包括：模型获取模块，用于获取训练后的机器学习模型；机器学习模型包括特征提取层；融合处理模块，还用于将低分辨率图像数据与参考图像数据输入特征提取层，在特征提取层分别提取低分辨率图像数据和参考图像数据的纹理特征；通过机器学习模型对低分辨率纹理特征及高分辨率纹理特征进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
128.在一些实施例中，机器学习模型还包括特征比对层和特征融合层；融合处理模块，还用于将低分辨率纹理特征及高分辨率纹理特征输入特征比对层，在特征比对层对低分辨率纹理特征及高分辨率纹理特征进行相似度比对，获得相似特征分布；将低分辨率图像数据及相似特征分布输入特征融合层，在特征融合层根据所相似特征分布及低分辨率图像数据进行融合处理，以重建得到低分辨率图像数据对应的目标高分辨率图像数据。
129.关于超分辨率重建装置的具体限定可以参见上文中对于超分辨率重建方法的限定，在此不再赘述。上述超分辨率重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
130.在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结
构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储高分辨率图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种超分辨率重建方法。
131.本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
132.在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任意实施例中的超分辨率重建方法的步骤。
133.在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例中的超分辨率重建方法的步骤。
134.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read
‑
only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
135.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
136.以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。