双目图像超分处理方法、计算机设备和计算机程序产品与流程

1.本技术涉及图像处理技术领域，特别是涉及一种双目图像超分处理方法、计算机设备和计算机程序产品。


背景技术：

2.随着拍摄设备的发展，通过双目相机拍摄双目图像也日益普及。双目相机可以理解为在水平方向上存在一定平移距离的两个摄像头，通过双目相机拍摄得到的双目图像，图像内容往往较为相似且存在一定视差。
3.在相关技术中，双目相机广泛应用于手机移动端，用户可以通过移动设备拍摄双目图像，然而，移动设备上的拍摄硬件会有一定限制，通过上述方式拍摄得到的双目图像会存在图像模糊或带有噪声的情况，难以兼顾设备硬件性能和双目图像质量。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种双目图像超分处理方法、计算机设备和计算机程序产品。
5.第一方面，本技术提供了一种双目图像超分处理方法。所述方法包括：
6.获取待进行超分处理的初始双目图像；
7.将所述初始双目图像中的左侧图像和右侧图像输入到训练好的超分辨模型，由所述超分辨模型确定所述左侧图像和所述右侧图像各自的图像特征，并分别对所述左侧图像的图像特征和所述右侧图像的图像特征进行注意力处理，根据处理结果获取预测的超分辨双目图像，其中，所述注意力处理包括：
8.对所述图像特征对应的特征矩阵进行分割，得到多个矩阵区域；
9.针对每个矩阵区域，基于注意力机制对所述矩阵区域中包含的元素进行注意力计算，基于计算结果确定所述矩阵区域的矩阵区域特征；
10.根据所述多个矩阵区域的矩阵区域特征确定所述注意力处理的处理结果。
11.第二方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
12.获取待进行超分处理的初始双目图像；
13.将所述初始双目图像中的左侧图像和右侧图像输入到训练好的超分辨模型，由所述超分辨模型确定所述左侧图像和所述右侧图像各自的图像特征，并分别对所述左侧图像的图像特征和所述右侧图像的图像特征进行注意力处理，根据处理结果获取预测的超分辨双目图像，其中，所述注意力处理包括：
14.对所述图像特征对应的特征矩阵进行分割，得到多个矩阵区域；
15.针对每个矩阵区域，基于注意力机制对所述矩阵区域中包含的元素进行注意力计算，基于计算结果确定所述矩阵区域的矩阵区域特征；
16.根据所述多个矩阵区域的矩阵区域特征确定所述注意力处理的处理结果。
17.第三方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
18.获取待进行超分处理的初始双目图像；
19.将所述初始双目图像中的左侧图像和右侧图像输入到训练好的超分辨模型，由所述超分辨模型确定所述左侧图像和所述右侧图像各自的图像特征，并分别对所述左侧图像的图像特征和所述右侧图像的图像特征进行注意力处理，根据处理结果获取预测的超分辨双目图像，其中，所述注意力处理包括：
20.对所述图像特征对应的特征矩阵进行分割，得到多个矩阵区域；
21.针对每个矩阵区域，基于注意力机制对所述矩阵区域中包含的元素进行注意力计算，基于计算结果确定所述矩阵区域的矩阵区域特征；
22.根据所述多个矩阵区域的矩阵区域特征确定所述注意力处理的处理结果。
23.上述双目图像超分处理方法、计算机设备和计算机程序产品，可以上述双目图像超分处理方法中，可以获取待进行超分处理的初始双目图像，将初始双目图像中的左侧图像和右侧图像输入到训练好的超分辨模型，由超分辨模型确定左侧图像和右侧图像各自的图像特征，并分别对左侧图像的图像特征和右侧图像的图像特征进行注意力处理，根据处理结果获取预测的超分辨双目图像，其中，注意力处理包括：对图像特征对应的特征矩阵进行分割，得到多个矩阵区域，针对每个矩阵区域，可基于注意力机制对矩阵区域中包含的元素进行注意力计算，基于计算结果确定矩阵区域的矩阵区域特征，进而可以根据多个矩阵区域的矩阵区域特征确定注意力处理的处理结果。本技术方案中，可以利用超分辨模型对双目图像进行超分处理，得到分辨率更高的双目图像，在保证双目图像质量的同时减少硬件设备性能的约束；并且，超分辨模型通过将图像特征对应的特征矩阵划分为多个矩阵区域，并结合注意力机制对矩阵区域中所包含的元素进行处理，能够降低计算复杂度并将有用信息更高效地提取出来，提高超分辨模型的处理效率，快速构造细节丰富的超分辨双目图像。
附图说明
24.图1为一个实施例中一种双目图像超分处理方法的应用环境图；
25.图2为一个实施例中一种双目图像超分处理方法的流程示意图；
26.图3为一个实施例中一种确定矩阵区域的步骤的流程示意图；
27.图4为一个实施例中一种确定初始图像特征的步骤的流程示意图；
28.图5为一个实施例中一种训练超分辨模型的步骤的流程示意图；
29.图6为一个实施例中一种超分辨模型的架构示意图；
30.图7a为一个实施例中一种通过超分辨模型生成的超分辨双目图像；
31.图7b为一个实施例中一种通过传统模型生成的超分辨双目图像；
32.图8a为一个实施例中另一种通过超分辨模型生成的超分辨双目图像；
33.图8b为一个实施例中另一种通过传统模型生成的超分辨双目图像；
34.图9为一个实施例中一种计算机设备的内部结构图；
35.图10为一个实施例中另一种计算机设备的内部结构图。
具体实施方式
36.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
37.图1为一个实施例中提供的双目图像超分处理方法的应用环境图。如图1所示，该应用环境可以包括终端以及服务器，可以通过服务器对双目图像的超分辨模型进行训练，得到训练好的超分辨模型，服务器获取到训练好的超分辨模型后，可以将超分辨模型部署在图像超分处理应用中，终端可以安装该图像超分处理应用。当通过终端进行双目图像拍摄并得到双目图像后，用户可以通过相应的操作发出图像超分处理指令，终端可以接收图像超分处理指令，将当前拍摄得到的双目图片作为待处理的初始双目图像，并通过预先部署双目图像的超分辨模型对该图像进行图像超分处理，得到初始双目图像的超分辨双目图像。
38.可以理解，上述应用场景仅是一种示例，并不能构成对本技术实施例提供的双目图像超分处理方法的限制。例如，可以通过终端对双目图像的超分辨模型进行训练，又或者，超分辨模型可以部署在服务器中，服务器可以接收终端发送的待处理的初始双目图像，对待处理的初始双目图像进行图像超分处理后得到超分辨双目图像并返回到终端。
39.服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库或云存储等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、以及智能手表等，但并不局限于此。终端以及计算机设备可以通过网络进行连接，本技术在此不做限制。
40.在一个实施例中，如图2所示，提供了一种双目图像超分处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
41.s201，获取待进行超分处理的初始双目图像。
42.其中，待输入到超分辨模型进行超分处理的双目图像可以称为初始双目图像。
43.双目图像可以是由左侧图像和右侧图像组成的图像对，左侧图像和右侧图像可以是包含相似图像内容且存在一定水平视差的两幅图像，实际中，可以通过双目摄像头(在同一平面上且光轴互相平行的两个摄像头)进行拍摄，得到左侧图像和右侧图像。
44.图像的超分处理(也可以称为超分辨处理)，是指将低分辨率的图像恢复为高分辨率的图像。
45.在本步骤中，可以获取包括左侧图像和右侧图像在内的初始双目图像。
46.s202，将初始双目图像中的左侧图像和右侧图像输入到训练好的超分辨模型，由超分辨模型确定左侧图像和右侧图像各自的图像特征，并分别对左侧图像的图像特征和右侧图像的图像特征进行注意力处理，根据处理结果获取预测的超分辨双目图像。
47.其中，注意力处理包括：对图像特征对应的特征矩阵进行分割，得到多个矩阵区域；针对每个矩阵区域，基于注意力机制对矩阵区域中包含的元素进行注意力计算，基于计算结果确定矩阵区域的矩阵区域特征；根据多个矩阵区域的矩阵区域特征确定注意力处理的处理结果。
48.实际应用中，在得到初始双目图像后，可以将初始双目图像中的左侧图像和右侧图像输入到训练好的超分辨模型，由超分辨模型分别确定左侧图像的图像特征以及右侧图
像的图像特征，其中，左侧图像的图像特征和右侧图像的图像特征可以是用于表征图像内容特点的信息。
49.通过超分辨模型获取到左侧图像的图像特征和右侧图像的图像特征后，可以对左侧图像和右侧图像各自的图像特征作进一步的注意力处理，经过注意力得到的处理结果中可以包含图像颜色、构图、物体轮廓等特征信息，进而可以根据该处理结果生成预测的超分辨双目图像，其中，超分辨双目图像可以包括超分辨左侧图像和超分辨右侧图像，超分辨左侧图像的分辨率高于训练双目图像中左侧图像的分辨率，而超分辨右侧图像的分辨率也高于训练双目图像中右侧图像的分辨率。
50.具体而言，在对左侧图像的图像特征和右侧图像的图像特征进行注意力处理时，可以确定图像特征所对应的特征矩阵，例如可以将包含多个分量的一维图像特征转换为二维的特征矩阵，该特征矩阵中可以包含有图像特征中的各个分量，这些分量也可以称为构成特征矩阵的元素；此外，若输入的图像特征是以二维矩阵的形式输入，则可以将该输入确定为特征矩阵。
51.在得到图像特征的特征矩阵后，可以对该特征矩阵进行分割，得到多个分割后的区域，每个区域可以称为矩阵区域，矩阵区域中包括多个元素。进而针对每个矩阵区域，可以基于注意力机制对特征矩阵所包含的多个元素进行注意力计算，得到该矩阵区域的矩阵区域特征，并且可以根据多个矩阵区域的矩阵区域特征，确定出此次注意力处理的处理结果。
52.示例性地，本实施例所使用的注意力机制(attention mechanism)可以是现有的注意力机制，如多头注意力(multi-head attention)、软性注意力(soft attention mechanism)、硬性注意力(hard attention mechanism)。
53.在一些可选的实施例中，在对左侧图像或右侧图像的图像特征作进一步处理时，虽然也可以通过多个残差模块进行特征传递，但在特征传递过程中，该方式对输入的特征感受野较小，仅能利用输入的图像特征中的局部信息。而本实施例中，一方面，通过将输入的图像特征所对应特征矩阵先划分为多个矩阵区域，然后分别获取每个矩阵区域的矩阵区域特征，再结合多个矩阵区域的矩阵区域特征，确定输入的图像特征注意力处理的处理结果，能够先获取针对多个局部区域的特征，然后再结合多个局部区域的特征构建出针对全局的特征，从而有效增大注意力处理过程中针对输入特征的感受野，并充分利用输入的图像特征的全局信息，为生成超分辨双目图像提供更多的信息。
54.另一方面，通过注意力机制对矩阵区域中所包含的元素进行处理，能够将有用信息更高效地提取出来，并且，相较于将注意力机制的处理范围确定为整个特征矩阵，本实施例中通过将注意力机制的元素处理范围限定在每个矩阵区域中，能减少每次进行注意力计算过程中需要处理的元素的数量，有效降低注意力处理过程中的计算复杂度。例如，若整个特征矩阵的大小是16*16，若将注意力机制作用于整个16*16的区域，计算复杂度与16*16成正比，若将特征矩阵划分为多个大小为8*8的矩阵区域，将注意力机制的计算限定在8*8的矩阵区域，则计算复杂度与8*8成正比，从而使得计算量变为原来的：8*8/(16*16)＝1/4。
55.上述双目图像超分处理方法中，可以获取待进行超分处理的初始双目图像，将初始双目图像中的左侧图像和右侧图像输入到训练好的超分辨模型，由超分辨模型确定左侧图像和右侧图像各自的图像特征，并分别对左侧图像的图像特征和右侧图像的图像特征进
行注意力处理，根据处理结果获取预测的超分辨双目图像，其中，注意力处理包括：对图像特征对应的特征矩阵进行分割，得到多个矩阵区域，针对每个矩阵区域，可基于注意力机制对矩阵区域中包含的元素进行注意力计算，基于计算结果确定矩阵区域的矩阵区域特征，进而可以根据多个矩阵区域的矩阵区域特征确定注意力处理的处理结果。本技术方案中，可以利用超分辨模型对双目图像进行超分处理，得到分辨率更高的双目图像，在保证双目图像质量的同时减少硬件设备性能的约束；并且，超分辨模型通过将图像特征对应的特征矩阵划分为多个矩阵区域，并结合注意力机制对矩阵区域中所包含的元素进行处理，能够降低计算复杂度并将有用信息更高效地提取出来，提高超分辨模型的处理效率，快速构造细节丰富的超分辨双目图像。
56.在一个实施例中，如图3所示，步骤s202中对图像特征对应的特征矩阵进行分割，得到多个矩阵区域，可以包括如下步骤：
57.s301，获取预设的滑窗和滑窗的移动步长，滑窗的移动步长小于滑窗的滑窗宽度。
58.在实际应用中，在获取到输入的图像特征后，可以获取预设的滑窗并确定该滑窗的移动步长，在设置滑窗的移动步长时，可以确定滑窗的滑窗宽度，并使滑窗的移动步长小于滑窗宽度，换句话说，在滑窗每次移动后，滑窗移动前所在的区域会与滑窗移动后所在的区域存在重叠。
59.s302，基于移动步长在图像特征对应的特征矩阵上移动滑窗，并基于每次移动后滑窗的位置，确定多个矩阵区域。
60.在获取到滑窗和滑窗的移动步长后，则可以按照该移动步长在特征矩阵上移动滑窗，进而可以根据每次移动后滑窗在特征矩阵中的位置，确定出多个矩阵区域，多个矩阵区域可以包括滑窗在特征矩阵中的初始位置。
61.在本实施例中，通过使用移动步长小于滑窗宽度的滑窗在特征矩阵上进行移动，确定多个矩阵区域，使相邻矩阵局域包含部分相同的元素，实现矩阵区域之间的特征交互，为多个矩阵区域特征之间的特征联结提供基础。
62.在一个实施例中，根据多个矩阵区域的矩阵区域特征确定图像特征的处理结果，可以包括：
63.对多个矩阵区域的矩阵区域特征进行融合，并基于融合后的矩阵区域特征，得到注意力处理的处理结果。
64.在具体实现中，在得到多个矩阵区域的矩阵区域特征后，可以对多个矩阵区域特征进行融合，在一些示例中，可以将多个矩阵区域特征拼接，并将拼接后得到的特征作为融合后的矩阵区域特征。进而，可以将融合后的矩阵区域特征作为每次注意力处理的处理结果。
65.在一个实施例中，超分辨模型可以包括用于处理左侧图像的第一超分处理单元和用于处理右侧图像的第二超分处理单元，也即可以通过两个不同的超分处理单元分别对双目图像中的左侧图像和右侧图像分别处理；当然，在另外一些示例中，可以复用同一个超分处理单元处理左侧图像和右侧图像，也即第一超分处理单元和第二超分处理单元可以是相同的超分处理单元。
66.步骤s202分别对左侧图像的图像特征和右侧图像的图像特征进行注意力处理，根据处理结果获取预测的超分辨双目图像，可以包括如下步骤：
67.将左侧图像的图像特征输入第一超分处理单元，由第一超分处理单元对左侧图像的图像特征进行注意力处理，根据左侧图像的处理结果，生成预测的超分辨左侧图像；以及，将右侧图像的图像特征输入第二超分处理单元，由第二超分处理单元对右侧图像的图像特征进行注意力处理，根据右侧图像的处理结果，生成预测的超分辨右侧图像；基于预测的超分辨左侧图像和预测的超分辨右侧图像，得到预测的超分辨双目图像。
68.在实际应用中，在得到左侧图像和右侧图像各自的图像特征后，可以将左侧图像的图像特征输入到第一超分处理单元，并将右侧图像的图像特征输入到第二超分处理单元。其中，第一超分处理单元可以单独地对输入的左侧图像的图像特征进行注意力处理，得到注意力处理的处理结果，并且可以根据该处理结果预测左侧图像进行超分辨处理后的图像，得到预测的超分辨左侧图像。
69.相应地，第二超分处理单元可以对输入的右侧图像的图像特征进行注意力处理，获取相应的处理结果，并根据注意力处理的处理结果预测右侧图像进行超分辨处理后的图像，得到预测的超分辨右侧图像。进而，可以基于预测的超分辨左侧图像和预测的超分辨右侧图像，得到预测的超分辨双目图像。
70.在一个实施例中，第一超分处理单元可以包括级联的多个注意力处理模块，每个注意力处理模块都可以对输入信息进行步骤s202中提到的注意力处理；将左侧图像的图像特征输入第一超分处理单元，由第一超分处理单元对左侧图像的图像特征进行注意力处理，可以包括如下步骤：
71.将左侧图像的图像特征输入到第一超分处理单元，由级联的多个注意力处理模块中的后一注意力处理模块依次对前一注意力处理模块输出的处理结果进行注意力处理，得到注意力处理的处理结果；对第一超分处理单元各个注意力处理模块输出的处理结果进行融合，得到左侧图像注意力处理的处理结果。
72.其中，第一超分处理单元中首个注意力处理模块的输入为左侧图像的图像特征。
73.具体地，在获取到左侧图像的图像特征并输入到第一超分处理单元后，可以由第一超分处理单元中级联的多个注意力处理模块，依次对输入到注意力处理模块的图像特征进行注意力处理。实际应用中，在左侧图像的图像特征输入到第一超分处理单元后，第一超分处理单元可以通过首个注意力处理模块对输入的图像特征进行注意力处理，得到注意力处理结果，该处理结果为图像特征，然后首个注意力处理模块作为前一注意力处理模块，可以将输出的注意力处理的处理结果，输入到后一个注意力处理模块，后一个注意力处理模块可以对输入的处理结果对应的特征矩阵进行分割并得到多个矩阵区域，然后针对每个矩阵区域，可以基于注意力机制对矩阵区域中包含的元素进行注意力计算，基于计算结果得到矩阵区域的矩阵区域特征，并根据多个矩阵区域的矩阵区域特征，得到后一个注意力处理模块的处理结果。
74.重复上述步骤，直到第一超分处理单元中的各个注意力处理模块都获取到相应的处理结果后，则可以融合各个注意力处理模块输出的处理结果，得到左侧图像经第一超分单元进行注意力处理后的处理结果。例如，在融合各处理结果时，可以对各个注意力处理模块输出的处理结果进行拼接，将拼接后得到的特征作为左侧图像注意力处理的处理结果。
75.在一个实施例中，第二超分处理单元也可以包括级联的多个注意力处理模块，每个注意力处理模块都可以对输入的信息进行步骤s202中提到的注意力处理；将右侧图像的
图像特征输入第二超分处理单元，由第二超分处理单元对右侧图像的图像特征进行注意力处理，可以包括如下步骤：
76.将右侧图像的图像特征输入到第二超分处理单元，由级联的多个注意力处理模块中的后一注意力处理模块对前一注意力处理模块输出的处理结果进行注意力处理，得到注意力处理的处理结果；对第二超分处理单元各注意力处理模块输出的处理结果进行融合，得到右侧图像注意力处理的处理结果。
77.其中，第二超分处理单元中首个注意力处理模块的输入为右侧图像的图像特征。
78.实际应用中，在获取到右侧图像的图像特征并输入到第二超分处理单元后，可以由第二超分处理单元中级联的多个注意力处理模块，依次对输入到注意力处理模块的图像特征进行注意力处理。具体而言，在右侧图像的图像特征输入到第二超分处理单元后，第二超分处理单元可以通过首个注意力处理模块对输入的图像特征进行注意力处理，得到注意力处理结果，该处理结果为图像特征。然后，首个注意力处理模块作为前一注意力处理模块，可以将输出的处理结果输入到后一个注意力处理模块，后一个注意力处理模块可以对输入的处理结果对应的特征矩阵进行分割并得到多个矩阵区域，针对每个矩阵区域，可以利用注意力机制对矩阵区域中包含的元素进行注意力计算，基于计算结果得到矩阵区域的矩阵区域特征，并根据多个矩阵区域的矩阵区域特征，得到后一个注意力处理模块的处理结果。
79.重复上述步骤，直到第二超分处理单元中的各个注意力处理模块都获取到相应的注意力处理的处理结果后，可以融合各个注意力处理模块输出的处理结果，得到右侧图像经第二超分单元进行注意力处理后的处理结果。例如，在融合各处理结果时，可以对各个注意力处理模块输出的处理结果进行拼接，将拼接后得到的特征作为右侧图像注意力处理的处理结果。
80.在一个实施例中，超分辨模型中可以包括特征交互单元；如图4所示，s202由超分辨模型确定左侧图像和右侧图像各自的图像特征，可以包括如下步骤：
81.s401，从左侧图像中提取左侧图像的初始图像特征，并从右侧图像中提取右侧图像的初始图像特征。
82.具体实现中，可以分别从初始双目图像的左侧图像和右侧图像，提取左侧图像的初始图像特征以及右侧图像的初始图像特征，换句话说，在本步骤中，可以仅基于左侧图像的图像内容进行特征识别，得到左侧图像的初始图像特征，相应地，针对右侧图像，也可以仅基于右侧图像的图像内容进行特征识别，确定右侧图像的初始图像特征，其中，初始图像特征也可以称为浅层特征。
83.s402，将左侧图像的初始图像特征和右侧图像的初始图像特征输入到特征交互单元，由特征交互单元识别右侧图像的初始图像特征中与左侧图像关联的右侧图像关联特征，以及识别左侧图像的初始图像特征中与右侧图像关联的左侧图像关联特征。
84.由于左侧图像和右侧图像是图像内容相似、存在一定水平视差的图像对，左侧图像和右侧图像中可以分别包含有与对方相关联的图像内容。在得到左侧图像和右侧图像各自的初始图像特征后，可以将其输入到特征交互单元，通过特征交互单元识别出左侧图像的初始特征中与右侧图像相关联的图像特征，该图像特征可以称为右侧图像关联特征，并且，也可以由特征交互单元识别出右侧图像的初始图像特征中与右侧图像相关联的图像特
征，该图像特征可以称为左侧图像关联特征。
85.s403，对左侧图像的初始图像特征和右侧图像关联特征进行融合，得到左侧图像的图像特征，以及对右侧图像的初始图像特征和左侧图像关联特征进行融合，得到右侧图像的图像特征。
86.在本步骤中，可以对初始图像特征及相应的关联特征进行特征融合。具体地，针对左侧图像，可以将左侧图像的初始图像特征与识别出的、与左侧图像关联的右侧图像关联特征融合，将特征融合结果作为左侧图像的图像特征；而针对右侧图像，则可以将右侧图像的初始图像特征与左侧图像关联特征进行融合，根据特征融合结果得到右侧图像的图像特征。
87.在本实施例，通过识别右侧图像的初始图像特征中与左侧图像关联的右侧图像关联特征，以及识别左侧图像的初始图像特征中与右侧图像关联的左侧图像关联特征，能够充分利用训练双目图像中另一图像的图像特征，两者之间相互为对方提供更多辅助构建超分图像的特征信息，进一步提升图像超分处理过程中的重建效果，并生成图像内容更细致的超分辨图像。
88.在一个实施例中，超分辨模型中还包括特征识别单元，特征识别单元中包括多个级联的残差块，残差块也可以称为残差密集块，每个残差块中包括多层，每一层由卷积和激活函数组成，每一层的输出特征都可以加入到之后每一层的输入特征中，从而使特征连续传递且可以自适应地保存每一层提取到的局部特征，得到密集的局部特征。
89.从左侧图像中提取左侧图像的初始图像特征，并从右侧图像中提取右侧图像的初始图像特征，可以包括如下步骤：
90.将左侧图像和右侧图像输入到特征识别单元，由特征识别单元分别对左侧图像和右侧图像进行从首个残差块到最后一个残差块的特征传递，得到左侧图像的初始图像特征和右侧图像的初始图像特征。
91.在实际应用中，可以将初始双目图像中的左侧图像和右侧图像输入到超分辨模型中的特征识别单元，通过特征识别单元分别对左侧图像和右侧图像进行特征识别，并将识别到的图像特征进行从首个残差块到最后一个残差块的特征传递，并根据最终的传递结果得到左侧图像的初始图像特征和右侧图像的初始图像特征。
92.具体而言，特征识别单元可以包括用于对左侧图像进行处理的第一特征识别单元以及用于对右侧图像进行处理的第二特征识别单元，初始双目图像的左侧图像可以输入到第一特征识别单元，右侧图像可以输入到第二特征识别单元。当然，在另外一些可选的实施例中，第一特征识别单元和第二特征识别单元可以是相同的特征识别单元，也即可以复用同一特征识别单元处理左侧图像和右侧图像。
93.第一特征识别单元在接收到输入的左侧图像后，可以通过第一特征识别单元中级联的多个残差块对左侧图像进行从首个残差块到最后一个残差块的特征传递，在特征传递过程中，首个残差块可以通过基于残差块中的残差网络结构对左侧图像进行特征识别，得到特征识别结果，该特征识别结果可以作为输入特征继续输入到下一残差块，由下一残差块继续对驶入特征进行特征识别，重复上述过程，直到最后一个残差块输出特征识别结果，进而可以根据各残差块的特征识别结果确定出第一特征识别单元输出的左侧图像的初始图像特征。
94.相应地，第二特征识别单元在接收到输入的右侧图像后，可以通过第二特征识别单元中的多个残差块对右侧图像进行从首个残差块到最后一个残差块的特征传递，在特征传递过程中，首个残差块可以通过基于残差块中的残差网络结构对右侧图像进行特征识别，得到特征识别结果，该特征识别结果可以作为输入特征继续输入到下一残差块，由下一残差块继续对驶入特征进行特征识别，重复上述过程，直到最后一个残差块输出特征识别结果，进而可以根据各残差块的特征识别结果确定出第二特征识别单元输出的右侧图像的初始图像特征。
95.在本实施例中，可以通过级联的多个残差块对左侧图像和右侧图像进行密集的特征识别，得到多个局部特征，便于超分辨模型高效获取到有助于构建超分图像的图像特征作为左侧图像的初始图像特征和右侧图像的初始图像特征。
96.在一个实施例中，如图5所示，超分辨模型可以通过如下步骤训练得到：
97.s501，获取训练双目图像。
98.其中，用于训练超分辨模型的双目图像可以称为训练双目图像，训练双目图像可以是由左侧训练图像和右侧训练图像组成的图像对，左侧训练图像和右侧训练图像可以是包含相似图像内容且存在一定水平视差的两幅图像，具体实现中，可以通过双目摄像头(在同一平面上且光轴互相平行的两个摄像头)对同一对象进行拍摄得到。
99.s502，将训练双目图像中的左侧训练图像和右侧训练图像输入到待训练的超分辨模型，由待训练的超分辨模型确定左侧训练图像和右侧训练图像各自的图像特征，并分别对左侧训练图像的图像特征和右侧训练图像的图像特征进行注意力处理，根据处理结果获取预测的训练超分辨双目图像。
100.其中，注意力处理可以包括：对图像特征对应的特征矩阵进行分割，得到多个矩阵区域；针对每个矩阵区域，基于注意力机制对矩阵区域中包含的元素进行注意力计算，基于计算结果确定矩阵区域的矩阵区域特征；根据多个矩阵区域的矩阵区域特征确定注意力处理的处理结果。
101.具体实现中，可以将训练双目图像中的左侧图像和右侧图像输入到待训练的超分辨模型，由超分辨模型分别确定左侧训练图像的图像特征以及右侧训练图像的图像特征。其中，获取左侧训练图像和右侧训练图像各自的图像特征的过程，可以与利用训练好的超分辨模型获取初始双目图像中左侧图像和右侧图像各自的图像特征相同。本实施例中不再赘述，图像特征的具体获取过程可以参考前述实施例。
102.在获取到左侧训练图像的图像特征和右侧训练图像的图像特征后，可以对左侧训练图像和右侧训练图像各自的图像特征作进一步的注意力处理，得到注意力处理的处理结果，并根据该处理结果生成预测的训练超分辨双目图像。其中，训练超分辨双目图像包括超分辨左侧训练图像和超分辨右侧训练图像，超分辨左侧训练图像的分辨率高于原始的左侧训练图像的分辨率，而超分辨右侧训练图像的分辨率也高于原始的右侧训练图像的分辨率。
103.其中，在对左侧训练图像的图像特征和右侧训练图像的图像特征进行注意力处理时，可以确定图像特征所对应的特征矩阵，并对该特征矩阵进行分割，得到多个矩阵区域，矩阵区域中包括多个元素。
104.进而针对每个矩阵区域，可以基于注意力机制对特征矩阵所包含的多个元素进行
注意力计算，得到该矩阵区域的矩阵区域特征，并且可以根据多个矩阵区域的矩阵区域特征，确定出此次注意力处理的处理结果。
105.s503，根据训练超分辨双目图像和预设的超分辨双目图像标签，调整待训练的超分辨模型的参数，直到满足训练结束条件，得到训练好的超分辨模型。
106.实际应用中，可以预先获取超分辨双目图像标签，超分辨双目图像标签可以是具有相同的内容但分辨率高于训练双目图像的双目图像。在得到预测的训练超分辨双目图像后，可以确定训练超分辨双目图像和超分辨双目图像标签之间的差异和该差异对应的损失函数值，并根据损失函数值调整待训练的超分辨模型的模型参数。然后，可以再次返回执行步骤s501，对待训练的超分辨模型的参数多次调整，直到满足训练结束条件，可以得到训练好的超分辨模型。
107.在本实施例中，通过监督学习的方式训练超分辨模型，可以使超分辨模型准确地从双目图像中识别出用于构建超分辨双目图像的特征，为后续快速生成细节丰富的双目图像提供基础。
108.为了使本领域技术人员能够更好地理解上述步骤，以下通过一个例子对本技术实施例加以示例性说明，但应当理解的是，本技术实施例并不限于此。
109.如图6所示，超分辨模型可以包括特征识别、特征交互和超分处理三个部分，其中，特征识别部分可以包括第一特征识别单元和第二特征识别单元，超分处理部分可以包括第一超分处理单元和第二超分处理单元。
110.在获取到初始双目图像后，可以将左侧图像和右侧图像分别输入到第一特征识别单元和第二特征识别单元，由第一特征识别单元和第二特征识别单元分别获取到左侧图像和右侧图像各自的初始图像特征。
111.然后，可以将左侧图像的初始图像特征和右侧图像的初始特征输入到特征交互单元，由特征交互单元识别右侧图像的初始图像特征中与左侧图像关联的右侧图像关联特征，以及识别左侧图像的初始图像特征中与右侧图像关联的左侧图像关联特征，并对左侧图像的初始图像特征和右侧图像关联特征进行融合，得到左侧图像的图像特征，以及对右侧图像的初始图像特征和左侧图像关联特征进行融合，得到右侧图像的图像特征。
112.进而可以将左侧图像的图像特征和右侧图像的图像特征分别输入到第一超分处理单元和第二超分处理单元进行注意力处理，由第一超分处理单元基于其中级联的各注意力处理模块的处理结果，生成左侧图像的处理结果并基于该结果生成超分辨左侧图像，以及由第二超分处理单元基于其中级联的各注意力处理模块的注意力处理的处理结果，确定右侧图像的处理结果并基于该结果生成超分辨右侧图像。
113.图7a、图8a示出了通过本技术超分辨处理模型处理得到的超分辨双目图像中的部分图像内容，图7b和图8b示出了基于传统超分辨处理模型获取到的超分辨双目图像中的部分图像内容，比对后可以发现，通过本技术模型所生成的超分辨双目图像保留了更多的细节，例如，图7a中的窗户栏杆更加清晰，而图7b中的图像则缺失了纵向的栏杆，并且，通过比较图7a和图7b以及图8a和图8b中的物体边缘，可以发现本技术中的超分辨双目图像中的物体边缘更加清晰。此外，相较于传统模型生成的超分辨双目图像，通过本技术超分辨处理模型生成的超分辨双目图像具有更高的峰值信噪比(peak signal to noise ratio，psnr)。
114.本技术中，通过使用训练好的超分辨模型对初始双目图像进行超分处理，得到分
辨率更高的双目图像，能够在拍摄设备硬件性能受限的情况下，有效提升双目图像的分辨率，使得双目图像更加清晰，同时保留更多的图像细节，在保证双目图像质量的同时减少硬件设备性能的约束。
115.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
116.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储双目图像。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种超分辨模型训练方法或一种双目图像超分处理方法。
117.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种超分辨模型训练方法或一种双目图像超分处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
118.本领域技术人员可以理解，图9和图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
119.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
120.获取待进行超分处理的初始双目图像；
121.将所述初始双目图像中的左侧图像和右侧图像输入到训练好的超分辨模型，由所述超分辨模型确定所述左侧图像和所述右侧图像各自的图像特征，并分别对所述左侧图像的图像特征和所述右侧图像的图像特征进行注意力处理，根据处理结果获取预测的超分辨
双目图像，其中，所述注意力处理包括：
122.对所述图像特征对应的特征矩阵进行分割，得到多个矩阵区域；
123.针对每个矩阵区域，基于注意力机制对所述矩阵区域中包含的元素进行注意力计算，基于计算结果确定所述矩阵区域的矩阵区域特征；
124.根据所述多个矩阵区域的矩阵区域特征确定所述注意力处理的处理结果。
125.在一个实施例中，处理器执行计算机程序时还实现上述其他实施例中的步骤。
126.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
127.获取待进行超分处理的初始双目图像；
128.将所述初始双目图像中的左侧图像和右侧图像输入到训练好的超分辨模型，由所述超分辨模型确定所述左侧图像和所述右侧图像各自的图像特征，并分别对所述左侧图像的图像特征和所述右侧图像的图像特征进行注意力处理，根据处理结果获取预测的超分辨双目图像，其中，所述注意力处理包括：
129.对所述图像特征对应的特征矩阵进行分割，得到多个矩阵区域；
130.针对每个矩阵区域，基于注意力机制对所述矩阵区域中包含的元素进行注意力计算，基于计算结果确定所述矩阵区域的矩阵区域特征；
131.根据所述多个矩阵区域的矩阵区域特征确定所述注意力处理的处理结果。
132.在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的步骤。
133.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
134.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
135.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
136.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。