图像超分处理方法、装置、终端及存储介质与流程

文档序号:32392507发布日期:2022-11-30 08:53阅读:38来源:国知局
图像超分处理方法、装置、终端及存储介质与流程

1.本公开涉及终端技术领域,尤其涉及一种图像超分处理方法、装置、终端及存储介质。


背景技术:

2.近几年随着嵌入式硬件平台算力的提高,为深度学习算法的落地提供良好的条件。然而,对于图像超分处理,图像超分处理网络在嵌入式硬件平台部署时,其所需的输入图像一般为固定的输入尺寸,如mtk的neuroploit、高通的spne等输入的图像均为固定的输入尺寸。
3.相关技术中,由于图像尺寸的不固定,一般通过简单的插值算法(例如resize操作)将不同尺寸的图像缩放成所需输入图像超分处理网络尺寸的图像。但是上述插值算法,会改变图像的长宽比,使图像产生形变,对后续的图像超分处理的效果产生极大影响。


技术实现要素:

4.为克服相关技术中存在的问题,本公开提供一种图像超分处理方法、装置、终端及存储介质。
5.根据本公开实施例的第一方面,提供一种图像超分处理方法,应用于终端,所述图像超分处理方法包括:
6.获取待处理图像;
7.根据所述待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对所述待处理图像进行处理,确定所述待处理图像对应的待超分图像;其中,所述待超分图像的有效图像的尺寸与所述待处理尺寸的长宽比相同;
8.根据所述待超分图像和所述图像超分处理网络,确定所述待处理图像超分处理后的目标图像。
9.可选地,当所述待处理尺寸的长度原尺寸小于所述设定输入尺寸的长度设定尺寸,且所述待处理尺寸的宽度原尺寸小于所述设定输入尺寸的宽度设定尺寸时,
10.所述根据所述待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对所述待处理图像进行处理,确定所述待处理图像对应的待超分图像,包括:
11.确定所述长度设定尺寸与所述长度原尺寸的长度比值,并确定所述宽度设定尺寸与所述宽度原尺寸的宽度比值;
12.根据所述长度比值和所述宽度比值,确定目标缩放比例;
13.根据所述目标缩放比例,对所述待处理图像进行缩放处理,确定缩放图像;
14.根据所述缩放图像,确定所述待超分图像。
15.可选地,所述根据所述缩放图像,确定所述待超分图像,包括:
16.若所述缩放图像的尺寸与所述设定输入尺寸之间存在差异尺寸,则在所述缩放图像中,将所述差异尺寸对应的区域填充无效图像,以确定所述待超分图像;或者,
17.若所述缩放图像的尺寸与所述设定输入尺寸之间不存在差异尺寸,则将所述缩放图像确定为所述待超分图像。
18.可选地,第一方向为长度方向和宽度方向二者之一,第二方向为所述长度方向和所述宽度方向二者另一,当在所述第一方向上,所述待处理尺寸对应的第一原尺寸小于所述设定输入尺寸对应的第一设定尺寸,且在所述第二方向上,所述待处理尺寸对应的第二原尺寸等于所述设定输入尺寸对应的第二设定尺寸时,
19.所述根据所述待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对所述待处理图像进行处理,确定所述待处理图像对应的待超分图像,包括:
20.在所述待处理图像中,将所述待处理尺寸与所述设定输入尺寸之间的差异尺寸对应的区域填充无效图像,以确定所述待超分图像。
21.可选地,所述根据所述待超分图像和所述图像超分处理网络,确定所述待处理图像超分处理后的目标图像,包括:
22.将所述待超分图像输入所述图像超分处理网络,以确定所述目标图像。
23.可选地,当所述待处理尺寸的长度原尺寸大于所述设定输入尺寸的长度设定尺寸,且所述待处理尺寸的宽度原尺寸大于所述设定输入尺寸的宽度设定尺寸时,
24.所述根据所述待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对所述待处理图像进行处理,确定所述待处理图像对应的待超分图像,包括:
25.确定所述长度原尺寸相对所述长度设定尺寸的长度倍数,并确定所述宽度原尺寸相对所述宽度设定尺寸的宽度倍数;
26.确定所述长度倍数对应的长度切分数量以及所述宽度倍数对应的宽度切分数量;
27.根据所述长度切分数量对所述长度设定尺寸进行切分,并根据所述宽度切分数量对所述宽度设定尺寸进行切分,以确定目标切分尺寸;
28.根据所述长度切分数量和所述宽度切分数量,将所述待处理图像切分为目标切分尺寸对应的多个所述待超分图像。
29.可选地,第一方向为长度方向和宽度方向二者之一,第二方向为所述长度方向和所述宽度方向二者另一,当在所述第一方向上,所述待处理尺寸对应的第一原尺寸大于所述设定输入尺寸对应的第一设定尺寸,且在所述第二方向上,所述待处理尺寸对应的第二原尺寸小于所述设定输入尺寸对应的第二设定尺寸时,
30.所述根据所述待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对所述待处理图像进行处理,确定所述待处理图像对应的待超分图像,包括:
31.确定所述第一原尺寸相对所述第一设定尺寸的第一倍数;
32.确定所述第一倍数对应的第一切分数量;
33.根据所述第一切分数量,对所述第一设定尺寸进行切分,确定第一切分尺寸;
34.在所述第一方向上,根据所述第一切分数量,将所述待处理图像切分为所述第一切分尺寸对应的多个切分图像;
35.在所述第一方向上,将所述切分图像的尺寸相对所述第二设定尺寸的差异尺寸对应的区域填充无效图像,以确定相应的所述待超分图像。
36.可选地,第一方向为长度方向和宽度方向二者之一,第二方向为所述长度方向和所述宽度方向二者另一,当在所述第一方向上,所述待处理尺寸对应的第一原尺寸大于所
述设定输入尺寸对应的第一设定尺寸,且在所述第二方向上,所述待处理尺寸对应的第二原尺寸等于所述设定输入尺寸对应的第二设定尺寸时,
37.所述根据所述待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对所述待处理图像进行处理,确定所述待处理图像对应的待超分图像,包括:
38.确定所述第一原尺寸相对所述第一设定尺寸的第一倍数;
39.确定所述第一倍数对应的第一切分数量;
40.在所述第一方向上,根据所述第一切分数量,对所述待处理图像进行切分,以确定所述待处理图像对应的多个待超分图像。
41.可选地,所述根据所述待超分图像和所述图像超分处理网络,确定所述待处理图像超分处理后的目标图像,包括:
42.分别将所述多个待超分图像输入所述图像超分处理网络,以确定多个超分图像;其中,所述多个待超分图像与所述多个超分图像一一对应;
43.对所述多个子图像进行图像合成处理,确定所述目标图像。
44.可选地,所述对所述多个超分图像进行图像合成处理,确定所述目标图像,包括:
45.若所述多个超分图像之间存在重叠区域,则在进行图像合成处理时,对所述重叠区域的图像进行求平均值处理,以确定所述目标图像对应于所述重叠区域的图像。
46.根据本公开实施例的第二方面,提供一种图像超分处理装置,应用于终端,所述图像超分处理装置包括:
47.获取模块,用于获取待处理图像;
48.图像处理模块,用于根据所述待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对所述待处理图像进行处理,确定所述待处理图像对应的待超分图像;其中,所述待超分图像的有效图像的尺寸与所述待处理尺寸的长宽比相同;
49.还用于根据所述待超分图像和所述图像超分处理网络,确定所述待处理图像超分处理后的目标图像。
50.可选地,当所述待处理尺寸的长度原尺寸小于所述设定输入尺寸的长度设定尺寸,且所述待处理尺寸的宽度原尺寸小于所述设定输入尺寸的宽度设定尺寸时,所述图像处理模块,用于:
51.确定所述长度设定尺寸与所述长度原尺寸的长度比值,并确定所述宽度设定尺寸与所述宽度原尺寸的宽度比值;
52.根据所述长度比值和所述宽度比值,确定目标缩放比例;
53.根据所述目标缩放比例,对所述待处理图像进行缩放处理,确定缩放图像;
54.根据所述缩放图像,确定所述待超分图像。
55.可选地,第一方向为长度方向和宽度方向二者之一,第二方向为所述长度方向和所述宽度方向二者另一,当在所述第一方向上,所述待处理尺寸对应的第一原尺寸小于所述设定输入尺寸对应的第一设定尺寸,且在所述第二方向上,所述待处理尺寸对应的第二原尺寸等于所述设定输入尺寸对应的第二设定尺寸时,所述图像处理模块,用于:
56.在所述待处理图像中,将所述待处理尺寸与所述设定输入尺寸之间的差异尺寸对应的区域填充无效图像,以确定所述待超分图像。
57.可选地,当所述待处理尺寸的长度原尺寸大于所述设定输入尺寸的长度设定尺
寸,且所述待处理尺寸的宽度原尺寸大于所述设定输入尺寸的宽度设定尺寸时,所述图像处理模块,用于:
58.确定所述长度原尺寸相对所述长度设定尺寸的长度倍数,并确定所述宽度原尺寸相对所述宽度设定尺寸的宽度倍数;
59.确定所述长度倍数对应的长度切分数量以及所述宽度倍数对应的宽度切分数量;
60.根据所述长度切分数量对所述长度设定尺寸进行切分,并根据所述宽度切分数量对所述宽度设定尺寸进行切分,以确定目标切分尺寸;
61.根据所述长度切分数量和所述宽度切分数量,将所述待处理图像切分为目标切分尺寸对应的多个所述待超分图像。
62.可选地,第一方向为长度方向和宽度方向二者之一,第二方向为所述长度方向和所述宽度方向二者另一,当在所述第一方向上,所述待处理尺寸对应的第一原尺寸大于所述设定输入尺寸对应的第一设定尺寸,且在所述第二方向上,所述待处理尺寸对应的第二原尺寸小于所述设定输入尺寸对应的第二设定尺寸时,所述图像处理模块,用于:
63.确定所述第一原尺寸相对所述第一设定尺寸的第一倍数;
64.确定所述第一倍数对应的第一切分数量;
65.根据所述第一切分数量,对所述第一设定尺寸进行切分,确定第一切分尺寸;
66.在所述第一方向上,根据所述第一切分数量,将所述待处理图像切分为所述第一切分尺寸对应的多个切分图像;
67.在所述第一方向上,将所述切分图像的尺寸相对所述第二设定尺寸的差异尺寸对应的区域填充无效图像,以确定相应的所述待超分图像。
68.可选地,第一方向为长度方向和宽度方向二者之一,第二方向为所述长度方向和所述宽度方向二者另一,当在所述第一方向上,所述待处理尺寸对应的第一原尺寸大于所述设定输入尺寸对应的第一设定尺寸,且在所述第二方向上,所述待处理尺寸对应的第二原尺寸等于所述设定输入尺寸对应的第二设定尺寸时,所述图像处理模块,用于:
69.确定所述第一原尺寸相对所述第一设定尺寸的第一倍数;
70.确定所述第一倍数对应的第一切分数量;
71.在所述第一方向上,根据所述第一切分数量,对所述待处理图像进行切分,以确定所述待处理图像对应的多个待超分图像。
72.可选地,所述图像处理模块,用于:
73.分别将所述多个待超分图像输入所述图像超分处理网络,以确定多个超分图像;其中,所述多个待超分图像与所述多个超分图像一一对应;
74.对所述多个子图像进行图像合成处理,确定所述目标图像。
75.根据本公开实施例的第三方面,提供一种终端,所述终端包括:
76.处理器;
77.用于存储所述处理器可执行指令的存储器;
78.其中,所述处理器被配置为执行如第一方面所述的图像超分处理方法。
79.根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得所述终端能够执行如第一方面所述的图像超分处理方法。
80.本公开的实施例提供的技术方案可以包括以下有益效果:本公开中,可根据待处理图像的尺寸以及图像超分处理网络对应的设定输入尺寸,对待处理图像进行处理,从而得到可供图像超分处理网络处理的待超分图像,且待超分图像的有效图像的尺寸与待处理图像的尺寸的长宽比相同,从而可以避免待超分图像与待处理图像的长宽比不同对图像超分处理效果的影响,可实现更好地图像超分处理效果,提升用户的使用体验。
81.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
82.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
83.图1是根据一示例性实施例示出的图像超分处理方法的流程图。
84.图2是根据一示例性实施例示出的待处理图像对应的多个待超分图像的示意图。
85.图3是根据一示例性实施例示出的待处理图像对应的多个超分图像的示意图。
86.图4是根据一示例性实施例示出的图像超分处理装置的框图。
87.图5是根据一示例性实施例示出的终端的框图。
具体实施方式
88.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是本公开的一些实施方式的装置和方法的例子。
89.本公开实施例提供了一种图像超分处理方法,应用于终端。该方法中,可根据待处理图像的尺寸以及图像超分处理网络对应的设定输入尺寸,对待处理图像进行处理,从而得到可供图像超分处理网络处理的待超分图像,且待超分图像的有效图像的尺寸与待处理图像的尺寸的长宽比相同,从而可以避免待超分图像与待处理图像的长宽比不同对图像超分处理效果的影响,可实现更好地图像超分处理效果,提升用户的使用体验。
90.在一个示例性实施例中,提供了一种图像超分处理方法,应用于终端。参考图1所示,该方法可包括:
91.s110、获取待处理图像;
92.s120、根据待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对待处理图像进行处理,确定待处理图像对应的待超分图像;其中,待超分图像的有效图像的尺寸与待处理尺寸的长宽比相同;
93.s130、根据待超分图像和图像超分处理网络,确定待处理图像超分处理后的目标图像。
94.在步骤s110中,待处理图像可以是视频中的一帧图像,也可以是普通的图片,对此不作限定。待处理图像可以是终端自身的摄像单元拍摄得到的,也可以是终端从其他终端获取的,对此不作限定。
95.在步骤s120中,可将待处理图像的尺寸记为待处理尺寸,并可将图像超分处理网
络所需的输入图像的尺寸,记为设定输入尺寸。
96.其中,图像超分处理网络一般指对图像进行超分处理的网络。例如,将一个低分辨率的图像输入图像超分处理网络后,经过图像超分处理网络的图像超分处理,图像超分处理网络便可输出一个高分辨率的图像。图像超分处理网络可根据实际需求设置,对此不作限定。图像超分处理网络可以是终端出厂前设置的,也可以是终端出厂后设置的,对此不作限定。另外,图像超分处理网络设置完成后,后续可对其进行修改,以更好地满足用户的不同需求。一般情况,图像超分处理网络确定后,其对应唯一的设定输入尺寸。
97.该步骤中,可根据待处理尺寸与设定输入尺寸之间的差异,对待处理图像进行处理,从而得到待超分图像。并且使得待超分图像的有效图像的尺寸与待处理尺寸的长宽比相同。
98.其中,待超分图像的有效图像指的是,待超分图像中与待处理图像对应的图像。需要说明的是,待超分图像可仅仅包括有效图像,也就是,待超分图像即为有效图像,此情况下,待超分图像的尺寸即为其有效图像的尺寸,即待超分图像的尺寸与待处理尺寸的长宽比相同。另外,待超分图像也可同时包括有效图像和无效图像,此情况下,待超分图像的尺寸大于其有效图像的尺寸,即待超分图像的尺寸与待处理尺寸的长宽比不同,但是,有效图像的尺寸与待处理尺寸的长宽比相同。
99.其中,待超分图像的无效图像指,与待处理图像不存在对应的图像。一般情况下,无效图像中各像素点的像素值可以设置为零。也就是,无效图像可以是黑色图像。当然,无效图像也可以设置为其他形式,对此不作限定。
100.需要说明的是,根据待处理尺寸与设定输入尺寸的差异,待处理图像可对应一个待超分图像,也可对应不止一个待超分图像,对此不作限定。
101.在步骤s130中,可将待超分图像输入图像超分处理网络,图像超分处理网络对待超分图像进行图像超分处理后,输出超分图像。然后,根据超分图像确定待处理图像超分处理后的目标图像。其中,目标图像的尺寸可与待处理图像的尺寸相同。
102.需要说明的是,当待处理图像对应一个待超分图像时,该步骤可得到一个超分图像,然后根据上述一个超分图像确定目标图像。当待处理图像对应不止一个待超分图像时,该步骤可得到对应数量的超分图像,然后根据上述全部超分图像确定目标图像。
103.该方法中,可根据待处理图像的尺寸以及图像超分处理网络对应的设定输入尺寸,对待处理图像进行处理,从而得到可供图像超分处理网络处理的待超分图像,且待超分图像的有效图像的尺寸与待处理图像的尺寸的长宽比相同,从而可以避免待超分图像与待处理图像的长宽比不同对图像超分处理效果的影响,可实现更好地图像超分处理效果,提升用户的使用体验。
104.在一个示例性实施例中,提供了一种图像超分处理方法,应用于终端。该方法中,当待处理尺寸的长度原尺寸小于设定输入尺寸的长度设定尺寸,且待处理尺寸的宽度原尺寸小于设定输入尺寸的宽度设定尺寸时;
105.根据待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对待处理图像进行处理,确定待处理图像对应的待超分图像,可包括:
106.s210、确定长度设定尺寸与长度原尺寸的长度比值,并确定宽度设定尺寸与宽度原尺寸的宽度比值;
107.s220、将长度比值和宽度比值中的较小值,确定为目标缩放比例;
108.s230、根据目标缩放比例,对待处理图像进行缩放处理,确定缩放图像;
109.s240、根据缩放图像,确定待超分图像。
110.在步骤s210中,可由长度设定尺寸除以长度原尺寸,以确定长度设定尺寸与长度原尺寸的比值,并将此比值记为长度比值。同理,可由宽度设定尺寸除以宽度原尺寸,以确定宽度设定尺寸与宽度原尺寸的比值,并将此比值记为宽度比值。
111.在步骤s220中,若长度比值和宽度比值不同,可将二者中较小值确定为目标缩放比例。若长度比值和宽度比值相同,则可将二者中任一值确定为目标缩放比例。
112.在步骤s230中,可使用目标缩放比例乘以待处理尺寸,以在保证待处理尺寸的长宽比的前提下,对待处理图像进行缩放(resize)处理,得到最终的缩放图像。
113.例如,目标缩放比例为0.8,待处理图像的尺寸为x*y。则使用0.8对待处理图像进行缩放处理后,得到的缩放图像的尺寸为0.8x*0.8y。
114.在步骤s240中,可先根据缩放图像的尺寸与设定输入尺寸,确定缩放图像的尺寸与设定输入尺寸之间是否存在差异尺寸。
115.若确定缩放图像的尺寸与设定输入尺寸之间存在差异尺寸,则可在缩放图像中,将上述差异尺寸对应的区域填充无效图像,从而得到无效图像与缩放图像合并后的待超分图像。其中,可根据差异尺寸对缩放图像进行尺寸补齐,然后将缩放尺寸中新补充的尺寸对应的区域作为差异尺寸对应的区域,并对上述区域填充无效图像。待超分图像的尺寸与设定输入尺寸相同,且,待超分图像的有效图像与待处理图像的长宽比相同。需要说明的是,待超分图像的有效图像即为上述缩放图像。
116.需要说明的是,当长度比值与宽度比值不同时,由于目标缩放比例是长度比值和宽度比值中的较小者,因此,根据目标缩放比例得到的缩放图像的面积与设定输入尺寸对应的面积不同,便可确定缩放图像的尺寸与设定输入尺寸之间存在差异尺寸。
117.若确定缩放图像的尺寸与设定输入尺寸之间不存在差役尺寸,则可直接将缩放图像确定为待超分图像。
118.在一些实施方式中,
119.设定输入尺寸可以是w*h,待处理图像的尺寸可以是x1*y1,并且,x1小于w,y1小于h。其中,w/x1小于h/y1,因此,可将w/x1作为目标缩放比例。
120.该实施方式中,使用w/x1作为目标缩放比例对待处理图像进行缩放处理,从而得到缩放图像,缩放图像的尺寸为w*(y1*w/x1)。其中,(y1*w/x1)小于h。
121.该实施方式中,可根据缩放图像的尺寸与设定输入尺寸,确定二者之间的差异尺寸为w*(h-y1*w/x1)。然后,在缩放图像的上述差异尺寸对应的区域填充无效图像,从而得到缩放图像与无效图像合并后的待超分图像。其中,待超分图像的尺寸为w*h,待超分图像中的有效图像的尺寸为w*(y1*w/x1),待超分图像中的无效图像的尺寸为w*(h-y1*w/x1)。
122.需要说明的是,图像超分处理网络对所输入的图像尺寸有要求,其图像尺寸一般记为输入设定尺寸。该实施方式中,添加无效图像一方面是为了满足尺寸要求,另一方面是保证添加的图像不影响原有图像的内容。
123.在一些实施方式中,
124.设定输入尺寸可以是w*h,待处理图像的尺寸可以是x2*y2,并且,x2小于w,y2小于
h。其中,w/x2等于h/y2,因此,可将w/x2作为目标缩放比例。
125.该实施方式中,使用w/x2和h/y2中的任一值作为目标缩放比例,对待处理图像进行缩放处理,从而得到缩放图像。缩放图像的尺寸为w*h。
126.该实施方式中,可根据缩放图像的尺寸与设定输入尺寸,确定二者之间不存在差异尺寸。然后,可直接将缩放图像确定为待超分图像。其中,待超分图像的尺寸为w*h。
127.另外,该方法中,在确定了待超分图像后,可将待超分图像输入图像超分处理网络。图像超分处理网络便可对待超分图像进行超分处理,然后输出超分处理后的超分图像,并可将此超分图像确定为目标图像。该目标图像即为待处理图像对应的超分处理后的图像。
128.该方法中,当待处理尺寸的长度原尺寸小于设定输入尺寸的长度设定尺寸,且待处理尺寸的宽度原尺寸小于设定输入尺寸的宽度设定尺寸时,可先对待处理图像进行缩放处理,然后根据缩放图像的尺寸与设定输入尺寸是否存在差异尺寸,来对缩放图像采取不同的处理方式,以确定与设定输入尺寸相同的待超分图像,并且保证待超分图像中的有效图像与待处理图像的长宽比相同,从而可以避免待超分图像与待处理图像的长宽比不同对图像超分处理效果的影响,可实现更好地图像超分处理效果,提升用户的使用体验。
129.在一个示例性实施例中,提供了一种图像超分处理方法,应用于终端。该方法中,第一方向为长度方向和宽度方向二者之一,第二方向为长度方向和宽度方向二者另一。其中,当在第一方向上,待处理尺寸对应的第一原尺寸小于设定输入尺寸对应的第一设定尺寸,且在第二方向上,待处理尺寸对应的第二原尺寸等于设定输入尺寸对应的第二设定尺寸时,根据待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对待处理图像进行处理,确定待处理图像对应的待超分图像,可包括:
130.s310、在待处理图像中,将待处理尺寸与设定输入尺寸之间的差异尺寸对应的区域填充无效图像,以确定待超分图像。
131.该步骤中,待超分图像的尺寸与设定输入尺寸相同,且,待超分图像的有效图像为上述待处理图像。
132.在一些实施方式中,第一方向为宽度方向,第二方向为长度方向,其中,设定输入尺寸可以是w*h,待处理图像的尺寸可以是x3*y3,x3等于w,y3小于h。该实施方式中,可根据待处理图像的尺寸与设定输入尺寸,确定二者之间的差异尺寸为w*(h-y3)。然后,在待处理图像的上述差异尺寸对应的区域填充无效图像,从而得到待处理图像与无效图像合并后的待超分图像。其中,待超分图像的尺寸为w*h,待超分图像中的有效图像的尺寸为w*y3,也就是待处理图像的尺寸x3*y3。待超分图像中的无效图像的尺寸为w*(h-y3)。
133.在一些实施方式中,第一方向为长度方向,第二方向为宽度方向,其中,设定输入尺寸可以是w*h,待处理图像的尺寸可以是x4*y4,x4小于w,y4等于h。该实施方式中,可根据待处理图像的尺寸与设定输入尺寸,确定二者之间的差异尺寸为(w-x4)*h。然后,在待处理图像的上述差异尺寸对应的区域填充无效图像,从而得到待处理图像与无效图像合并后的待超分图像。其中,待超分图像的尺寸为w*h,待超分图像中的有效图像的尺寸为x4*h,也就是待处理图像的尺寸x4*y4。待超分图像中的无效图像的尺寸为(w-x4)*h。
134.另外,该方法中,在确定了待超分图像后,可将待超分图像输入图像超分处理网络。图像超分处理网络便可对待超分图像进行超分处理,然后输出超分处理后的超分图像,
并可将此超分图像确定为目标图像。该目标图像即为待处理图像对应的超分处理后的图像。
135.该方法中,当待处理图像中长度方向和宽度方向中,其中一个方向的尺寸小于设定输入尺寸对应方向的尺寸,且另一方向的尺寸等于设定输入尺寸对应方向的尺寸时,可无需对待处理图像进行缩放处理,而是直接可根据待处理图像的尺寸与设定输入尺寸是否存在差异尺寸,来对待处理图像采取不同的处理方式,以确定与设定输入尺寸相同的待超分图像,并且保证待超分图像中的有效图像与待处理图像的长宽比相同,从而可以避免待超分图像与待处理图像的长宽比不同对图像超分处理效果的影响,可实现更好地图像超分处理效果,提升用户的使用体验。
136.在一个示例性实施例中,提供了一种图像超分处理方向,应用于终端。该方法中,当待处理尺寸的长度原尺寸大于设定输入尺寸的长度设定尺寸,且待处理尺寸的宽度原尺寸大于设定输入尺寸的宽度设定尺寸时,根据待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对待处理图像进行处理,确定待处理图像对应的待超分图像,可包括:
137.s410、确定长度原尺寸相对长度设定尺寸的长度倍数,并确定宽度原尺寸相对宽度设定尺寸的宽度倍数;
138.s420、确定长度倍数对应的长度切分数量以及宽度倍数对应的宽度切分数量;
139.s430、根据长度切分数量对长度设定尺寸进行切分,并根据宽度切分数量对宽度设定尺寸进行切分,以确定目标切分尺寸;
140.s440、根据长度切分数量和宽度切分数量,将待处理图像切分为多个目标切分尺寸对应的所述待超分图像。
141.在步骤s410中,可由长度原尺寸除以长度设定尺寸,以得到长度原尺寸相对长度设定尺寸的倍数,并将此倍数记为长度倍数。同理,可由宽度原尺寸除以宽度设定尺寸,以得到宽度原尺寸相对宽度设定尺寸的倍数,并将此倍数记为宽度倍数。
142.在步骤s420中,可对长度倍数向上取整确定长度切分数量,其可包括以下两种情况:
143.情况1,若长度倍数为整数,则可将此长度倍数确定为长度切分数量;
144.情况2,若长度倍数不为整数,则可将此长度倍数的整数部分加一,以确定长度切分数量。
145.例如,长度倍数为10,则可将10确定为长度切分数量。再例如,长度倍数为10.2,则可将11确定为长度切分数量。
146.同理,可对宽度倍数向上取整确定宽度切分数量,其也可包括以下两种情况:
147.情况1,若宽度倍数为整数,,将此宽度倍数确定为宽度切分数量;
148.情况2,若宽度倍数不为整数,可将此宽度倍数的整数部分加一,以确定宽度切分数量。
149.例如,宽度倍数为8,则可将8确定为宽度切分数量。再例如,宽度倍数为8.6,则可将9确定为宽度切分数量。
150.在步骤s430中,根据长度切分数量对长度设定尺寸进行切分时,在长度方向上,可根据长度切分数量对设定输入尺寸进行均分,确定目标切分尺寸的长度切分尺寸。例如,长
度设定尺寸为w,长度切分数量为m,则将长度设定尺寸均分为m份,确定均分后的长度尺寸为w/m,也就是说,目标切分尺寸的长度切分尺寸为w/m。在根据长度切分数量对长度设定尺寸进行切分过程,可以不均分,只要满足长度切分数量即可。
151.在宽度方向上,可根据宽度切分数量对设定输入尺寸进行均分,确定目标切分尺寸的宽度切分尺寸。例如,宽度设定尺寸为h,宽度切分数量为n,则将宽度设定尺寸均分为n份,确定均分后的宽度尺寸为h/n,也就是说,目标切分尺寸的宽度切分尺寸为h/n。在根据宽度切分数量对宽度设定尺寸进行切分过程,可以不均分,只要满足宽度切分数量即可。
152.在步骤s440中,根据长度切分数量和目标切分尺寸中的长度切分尺寸,在长度方向上对待处理图像进行切分,并根据宽度切分数量和目标切分尺寸的宽度切分尺寸,在宽度方向上对待处理图像进行切分,从而将待处理图像切分为多个目标切分尺寸大小的图像块,并将此图像块确定为待超分图像。
153.在一些实施方式中,
154.设定输入尺寸为w*h,长度切分数量为m,宽度切分数量为n,目标切分尺寸的长度切分尺寸为w/m,目标切分尺寸的宽度切分尺寸为h/n。
155.该实施方式中,根据目标切分尺寸,在长度方向上将待处理图像切分为m份,并且,在宽度方向上将待处理图像切分为n份,从得到m*n个图像块,且每个图像块的长度尺寸即为长度切分尺寸w/m,每个图像块的宽度尺寸即为宽度切分尺寸为h/n。
156.需要说明的是,关于长度方向上的切分,当长度倍数为整数时,则可直接将此长度倍数确定为长度切分数量m,此情况下,在长度方向上,待处理图像刚好可以不重复地均分为m份;当长度倍数不为整数时,则说明长度切分数量m大于长度倍数,此情况下,在长度方向上,待处理图像均分为m份后,相邻份之间存在重叠区域。
157.需要说明的是,对于宽度方向上的切分,可参考上述长度方向,对此不作赘述。
158.在一些实施方式中,
159.长度倍数和长度切分数量均为3,宽度倍数和宽度切分数量均为2。
160.该实施方式中,在长度方向上可将待处理图像切分为3份,在宽度方向上可将待处理图像切分为2份,也就是说,最终可将待处理图像切分为6个图像块,且每个图像块之间不存在重叠区域。该实施方式中,可将此6个图像块确定为待处理图像对应的6个待超分图像。
161.在一些实施方式中,
162.长度倍数为2.2,则长度切分数量均为3。宽度倍数和宽度切分数量均为2。
163.该实施方式中,在长度方向上可将待处理图像切分为3份,在宽度方向上可将待处理图像切分为2份,也就是说,最终可将待处理图像切分为6个图像块,且在长度方向上,相邻图像块在长度方向存在重叠区域。该实施方式中,可将此6个图像块确定为待处理图像对应的6个待超分图像。
164.在一些实施方式中,
165.长度倍数为2.2,则长度切分数量均为3。宽度倍数为1.6,则宽度切分数量均为2。
166.该实施方式中,在长度方向上可将待处理图像切分为3份,在宽度方向上可将待处理图像切分为2份,也就是说,最终可将待处理图像切分为6个图像块,且相邻图像块在长度方向和宽度方向均存在重叠区域。该实施方式中,可将此6个图像块确定为待处理图像对应的6个待超分图像。
167.另外,该方法中,在确定待超分图像后,可分别将多个待超分图像输入图像超分处理网络,图像超分处理网络便可输入对应的超分图像,从而确定多个超分图像。且多个超分图像与上述多个待超分图像一一对应。然后,将上述多个超分图像进行图像合成处理,确定最终的目标图像。
168.需要说明的是,若多个待超分图像之间存在重叠区域,则在对多个超分图像进行图像合成处理,确定最终的目标图像时,相应的多个超分图像之间也会存在重叠区域,此情况下,可对多个超分图像之间重叠区域的图像进行平均处理,从而避免目标图像中包括多个重叠区域的图像,以确保目标图像的准确性。
169.另外,若多个待超分图像之间不存在重叠区域,则在对多个超分图像进行图像合成处理,确定最终的目标图像时,相应的多个超分图像之间也不会存在重叠区域,此情况下,可直接将多个超分图像合成为目标图像。
170.在一些实施方式中,
171.参考图2和图3所示,待处理图像可对应4个待超分图像,分别记为第一待超分图像t1、第二待超分图像t2、第三待超分图像t3以及第四待超分图像t4,其中,第一待超分图像t1与第二待超分图像t2之间存在重叠区域,此重叠区域可记为第一重叠区域t1。第三待超分图像t3与第四待超分图像t4之间存在重叠区域,此重叠区域可记为第二重叠区域t2。
172.该实施方式中,第一待超分图像t1对应的超分图像记为第一超分图像c1,第二待超分图像t2对应的超分图像记为第二超分图像c2,第三待超分图像t3对应的超分图像记为第三超分图像c3,第四待超分图像t4对应的超分图像记为第四超分图像c4。其中,第一超分图像c1与第二超分图像c2之间存在的重叠区域可记为第三重叠区域t3,第三超分图像c3与第四超分图像c4之间存在的重叠区域可记为第四重叠区域t4。
173.其中,第三重叠区域t3与第一重叠区域t1对应,第四重叠区域t4与第二重叠区域t2对应。
174.该实施方式中,在对第一超分图像c1、第二超分图像c2、第三超分图像c3和第四超分图像c4进行图像合成处理时,可对第一超分图像c1与第二超分图像c2之间的第三重叠区域t3的图像进行求平均值处理,以确定目标图像对应于第三重叠区域t3的图像;并对第三超分图像c3与第四超分图像c4之间的第四重叠区域t4的图像进行求平均值处理,以确定目标图像对应于第四重叠区域t4的图像,从而得到更加准确地目标图像。
175.其中,以“对第一超分图像c1与第二超分图像c2之间的第三重叠区域t3的图像进行求平均值处理”为例进行说明:可将第三重叠区域t3中,每个像素点对应于第一超分图像c1的像素值与此像素点对应于第二超分图像c2的像素值的平均像素值,确定为此像素点的目标像素值,然后根据第三区域t3中全部像素点对应的像素值,确定目标图像对应于第三重叠区域t3的图像。该方法中,当待处理尺寸的长度原尺寸大于设定输入尺寸的长度设定尺寸,且待处理尺寸的宽度原尺寸大于设定输入尺寸的宽度设定尺寸时,可将待处理图像切分为与设定输入尺寸的长宽比相同的待超分图像,可实现更好地图像超分处理效果,提升用户的使用体验。
176.在一个示例性实施例中,提供了一种图像超分处理方法,应用于终端。该方法中,第一方向为长度方向和宽度方向二者之一,第二方向为长度方向和宽度方向二者另一。其中,当在第一方向上,待处理尺寸对应的第一原尺寸大于设定输入尺寸对应的第一设定尺
寸,且在第二方向上,待处理尺寸对应的第二原尺寸小于设定输入尺寸对应的第二设定尺寸时,根据待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对待处理图像进行处理,确定待处理图像对应的待超分图像,可包括:
177.s510、确定第一原尺寸相对第一设定尺寸的第一倍数;
178.s520、确定第一倍数对应的第一切分数量;
179.s530、根据第一切分数量,对第一设定尺寸进行切分,确定第一切分尺寸;
180.s540、在第一方向上,根据第一切分数量,将待处理图像切分为第一切分尺寸对应的多个切分图像;
181.s550、在第二方向上,将所述切分图像的尺寸相对第二设定尺寸的差异尺寸对应的区域填充无效图像,以确定相应的待超分图像。
182.在步骤s510中,可由第一原尺寸除以第一设定尺寸,以得到第一原尺寸相对第一设定尺寸的倍数,并将此倍数记为第一倍数。
183.在步骤s520中,可对第一倍数向上取整确定第一切分数量,其可包括以下两种情况:
184.情况1,若第一倍数为整数,则可将此第一倍数确定为第一切分数量;
185.情况2,若第一倍数不为整数,则可将第一倍数的整数部分加一,以确定第一切分数量。
186.在步骤s530中,在第一方向上,可根据第一切分数量对第一设定尺寸进行均分,确定相应的第一切分尺寸。具体可参考其他实施例中关于长度方向的均分方式,在此不作赘述。
187.在步骤s540中,根据第一切分数量和第一切分尺寸,在第一方向上对待处理图像进行切分,从而将待处理图像切分为多个图像块,每个图像块在第一方向的尺寸均为第一切分尺寸,此图像块可记为切分图像。
188.在一些实施方式中,
189.第一方向可以是长度方向。设定输入尺寸的第一设定尺寸为w,第一切分数量可为m,第一切分尺寸为w/m。
190.该实施方式中,根据第一切分尺寸和第一切分数量,在第一方向上将待处理图像切分为m份,以得到m个图像块,图像块在第一方向的尺寸均为w/m。此图像块可记为切分图像。
191.需要说明的是,关于第一方向上的切分,当第一倍数为整数时,则可直接将此第一倍数确定为第一切分数量m,此情况下,在第一方向上,待处理图像刚好可以不重复地均分为m份;当第一倍数不为整数时,则说明第一切分数量m大于第一倍数,此情况下,在第一方向上,待处理图像均分为m个图像块后,相邻图像块之间存在重叠区域。
192.在步骤s550中,由于第二原尺寸小于第二设定尺寸,因此,在第二方向上,切分图像的尺寸相对第二设定尺寸之间存在差异尺寸。该步骤中,对于切分图像,在第二方向上,可将上述差异尺寸对应的区域填充无效图像,从而得到切分图像与无效图像合并后的待超分图像。其中,待超分图像的有效图像与切分图像相同。
193.需要说明的是,若根据待处理图像确定了多个切分图像,则需要分别确定每个切分图像对应的待超分图像,以得到待处理图像对应的全部待超分图像。
194.另外,该方法中,在确定待超分图像后,可分别将多个待超分图像输入图像超分处理网络,图像超分处理网络便可输入对应的超分图像,从而确定多个超分图像。且多个超分图像与上述多个待超分图像一一对应。然后,将上述多个超分图像进行图像合成处理,确定最终的目标图像。
195.需要说明的是,若多个待超分图像之间存在重叠区域,则在对多个超分图像进行图像合成处理,确定最终的目标图像时,相应的多个超分图像之间也会存在重叠区域,此情况下,可对多个超分图像之间重叠区域的图像进行平均处理,从而避免目标图像中包括多个重叠区域的图像,以确保目标图像的准确性。
196.另外,若多个待超分图像之间不存在重叠区域,则在对多个超分图像进行图像合成处理,确定最终的目标图像时,相应的多个超分图像之间也不会存在重叠区域,此情况下,可直接将多个超分图像合成为目标图像。
197.该方法中,当待处理图像中第一方向的尺寸大于设定输入尺寸对应方向的尺寸,且第二方向的尺寸小于设定输入尺寸对应方向的尺寸时,可在第一方向对待处理图像进行切分,并在第二方向对切分图像填充无效图像,从而得到与设定输入尺寸相同的待超分图像,并且,保证待超分图像的有效图像与待处理图像的长宽比相同,从而可以避免待超分图像与待处理图像的长宽比不同对图像超分处理效果的影响,可实现更好地图像超分处理效果,提升用户的使用体验。
198.在一个示例性实施例中,提供了一种图像超分处理方法,应用于终端。该方法中,第一方向为长度方向和宽度方向二者之一,第二方向为长度方向和宽度方向二者另一。其中,当在第一方向上,待处理尺寸对应的第一原尺寸大于设定输入尺寸对应的第一设定尺寸,且在第二方向上,待处理尺寸对应的第二原尺寸等于设定输入尺寸对应的第二设定尺寸时,根据待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对待处理图像进行处理,确定待处理图像对应的待超分图像,可包括:
199.s610、确定第一原尺寸相对第一设定尺寸的第一倍数;
200.s620、确定第一倍数对应的第一切分数量;
201.s630、根据第一切分数量,对第一设定尺寸进行均分,确定第一切分尺寸;
202.s640、在第一方向上,根据第一切分数量,将待处理图像切分为第一切分尺寸对应的多个待超分图像。
203.其中,步骤s610至步骤s630可分别参考其它实施例中的步骤s510至步骤s530,在此不作赘述。
204.在步骤s640中,根据第一切分数量和第一切分尺寸,在第一方向上对待处理图像进行切分,从而将待处理图像切分为多个图像块,每个图像块在第一方向的尺寸均为第一切分尺寸,此图像块可记为待超分图像。
205.在一些实施方式中,
206.第一方向可以是长度方向。设定输入尺寸的第一设定尺寸为w,第一切分数量可为m,第一切分尺寸为w/m。
207.该实施方式中,根据第一切分尺寸和第一切分数量,在第一方向上将待处理图像切分为m份,以得到m个图像块,图像块在第一方向的尺寸均为w/m。此图像块可记为待超分图像。
208.需要说明的是,关于第一方向上的切分,当第一倍数为整数时,则可直接将此第一倍数确定为第一切分数量m,此情况下,在第一方向上,待处理图像刚好可以不重复地均分为m个图像块,也就是说,此情况得到的多个待超分图像之间不存在重复区域;当第一倍数不为整数时,则说明第一切分数量m大于第一倍数,此情况下,在第一方向上,待处理图像均分为m个图像块后,相邻图像块之间存在重叠区域,也就是说,此情况得到的多个待超分图像之间存在重叠区域。
209.另外,该方法中,在确定待超分图像后,可分别将多个待超分图像输入图像超分处理网络,图像超分处理网络便可输入对应的超分图像,从而确定多个超分图像。且多个超分图像与上述多个待超分图像一一对应。然后,将上述多个超分图像进行图像合成处理,确定最终的目标图像。
210.需要说明的是,若多个待超分图像之间存在重叠区域,则在对多个超分图像进行图像合成处理,确定最终的目标图像时,相应的多个超分图像之间也会存在重叠区域,此情况下,可对多个超分图像之间重叠区域的图像进行平均处理,从而避免目标图像中包括多个重叠区域的图像,以确保目标图像的准确性。
211.另外,若多个待超分图像之间不存在重叠区域,则在对多个超分图像进行图像合成处理,确定最终的目标图像时,相应的多个超分图像之间也不会存在重叠区域,此情况下,可直接将多个超分图像合成为目标图像。
212.该方法中,当待处理图像中第一方向的尺寸大于设定输入尺寸对应方向的尺寸,且第二方向的尺寸等于设定输入尺寸对应方向的尺寸时,可直接在第一方向对待处理图像进行切分,以得到与设定输入尺寸相同的待超分图像,并且,保证待超分图像的有效图像与待处理图像的长宽比相同,从而可以避免待超分图像与待处理图像的长宽比不同对图像超分处理效果的影响,可实现更好地图像超分处理效果,提升用户的使用体验。
213.在一个示例性实施例中,提供了一种图像超分处理装置,应用于终端。该装置用于实施上述的图像超分处理方法。参考图4所示,示例地,该装置可包括获取模块101和图像处理模块102,该装置在实施上述方法的过程中,
214.获取模块101,用于获取待处理图像;
215.图像处理模块102,用于根据待处理图像的待处理尺寸,以及图像超分处理网络对应的设定输入尺寸,对待处理图像进行处理,确定待处理图像对应的待超分图像;其中,待超分图像的有效图像的尺寸与待处理尺寸的长宽比相同;
216.还用于根据待超分图像和图像超分处理网络,确定待处理图像超分处理后的目标图像。
217.在一个示例性实施例中,提供了一种图像超分处理装置,应用于终端。参考图4所示,该装置中,当待处理尺寸的长度原尺寸小于设定输入尺寸的长度设定尺寸,且待处理尺寸的宽度原尺寸小于设定输入尺寸的宽度设定尺寸时,图像处理模块102,用于:
218.确定长度设定尺寸与长度原尺寸的长度比值,并确定宽度设定尺寸与宽度原尺寸的宽度比值;
219.根据长度比值和所述宽度比值,确定目标缩放比例;
220.根据目标缩放比例,对待处理图像进行缩放处理,确定缩放图像;
221.根据缩放图像,确定待超分图像。
222.在一个示例性实施例中,提供了一种图像超分处理装置,应用于终端。参考图4所示,该装置中,图像处理模块102,用于:
223.若缩放图像的尺寸与设定输入尺寸之间存在差异尺寸,则在缩放图像中,将差异尺寸对应的区域填充无效图像,以确定待超分图像;或者,
224.若缩放图像的尺寸与设定输入尺寸之间不存在差异尺寸,则将缩放图像确定为待超分图像。
225.在一个示例性实施例中,提供了一种图像超分处理装置,应用于终端。参考图4所示,该装置中,第一方向为长度方向和宽度方向二者之一,第二方向为长度方向和宽度方向二者另一,当在第一方向上,待处理尺寸对应的第一原尺寸小于设定输入尺寸对应的第一设定尺寸,且在第二方向上,待处理尺寸对应的第二原尺寸等于设定输入尺寸对应的第二设定尺寸时,图像处理模块102,用于:
226.在待处理图像中,将待处理尺寸与设定输入尺寸之间的差异尺寸对应的区域填充无效图像,以确定待超分图像。
227.在一个示例性实施例中,提供了一种图像超分处理装置,应用于终端。参考图4所示,该装置中,图像处理模块102,用于:
228.将待超分图像输入图像超分处理网络,以确定目标图像。
229.在一个示例性实施例中,提供了一种图像超分处理装置,应用于终端。参考图2所示,该装置中,当待处理尺寸的长度原尺寸大于设定输入尺寸的长度设定尺寸,且待处理尺寸的宽度原尺寸大于设定输入尺寸的宽度设定尺寸时,图像处理模块102,用于:
230.确定长度原尺寸相对长度设定尺寸的长度倍数,并确定宽度原尺寸相对宽度设定尺寸的宽度倍数;
231.确定长度倍数对应的长度切分数量以及宽度倍数对应的宽度切分数量;
232.根据长度切分数量对长度设定尺寸进行切分,并根据宽度切分数量对宽度设定尺寸进行切分,以确定目标切分尺寸;
233.根据长度切分数量和宽度切分数量,将待处理图像切分为目标切分尺寸对应的多个待超分图像。
234.在一个示例性实施例中,提供了一种图像超分处理装置,应用于终端。参考图4所示,该装置中,第一方向为长度方向和宽度方向二者之一,第二方向为长度方向和宽度方向二者另一,当在第一方向上,待处理尺寸对应的第一原尺寸大于设定输入尺寸对应的第一设定尺寸,且在第二方向上,待处理尺寸对应的第二原尺寸小于设定输入尺寸对应的第二设定尺寸时,图像处理模块102,用于:
235.确定第一原尺寸相对第一设定尺寸的第一倍数;
236.确定第一倍数对应的第一切分数量;
237.根据第一切分数量,对第一设定尺寸进行切分,确定第一切分尺寸;
238.在第一方向上,根据第一切分数量,将待处理图像切分为第一切分尺寸对应的多个切分图像;
239.在第一方向上,将切分图像的尺寸相对第二设定尺寸的差异尺寸对应的区域填充无效图像,以确定相应的待超分图像。
240.在一个示例性实施例中,提供了一种图像超分处理装置,应用于终端。参考图4所
示,该装置中,第一方向为长度方向和宽度方向二者之一,第二方向为长度方向和宽度方向二者另一,当在第一方向上,待处理尺寸对应的第一原尺寸大于设定输入尺寸对应的第一设定尺寸,且在第二方向上,待处理尺寸对应的第二原尺寸等于设定输入尺寸对应的第二设定尺寸时,,图像处理模块102,用于:
241.确定第一原尺寸相对第一设定尺寸的第一倍数;
242.确定第一倍数对应的第一切分数量;
243.在第一方向上,根据第一切分数量,对待处理图像进行切分,以确定待处理图像对应的多个待超分图像。
244.在一个示例性实施例中,提供了一种图像超分处理装置,应用于终端。参考图4所示,该装置中,图像处理模块102,用于:
245.分别将多个待超分图像输入图像超分处理网络,以确定多个超分图像;其中,多个待超分图像与多个超分图像一一对应;
246.对多个子图像进行图像合成处理,确定目标图像。
247.在一个示例性实施例中,提供了一种图像超分处理装置,应用于终端。参考图4所示,该装置中,图像处理模块102,用于:
248.若多个超分图像之间存在重叠区域,则在进行图像合成处理时,对重叠区域的图像进行平均处理。
249.在一个示例性实施例中,提供了一种终端,例如,台式电脑、笔记本电脑、平板电脑、一体机、手机等等可设置图像超分处理网络的设备,对此不作限定。
250.参考图5所示,终端400可以包括以下一个或多个组件:处理组件402,存储器404,电力组件406,多媒体组件408,音频组件410,输入/输出(i/o)的接口412,传感器组件414,以及通信组件416。
251.处理组件402通常控制设备400的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件402可以包括一个或多个模块,便于处理组件402和其他组件之间的交互。例如,处理组件402可以包括多媒体模块,以方便多媒体组件408和处理组件402之间的交互。
252.存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在设备400上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
253.电力组件406为设备400的各种组件提供电力。电力组件406可以包括电源管理系统,一个或多个电源,及其他与为设备400生成、管理和分配电力相关联的组件。
254.多媒体组件408包括在设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入指令。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而
且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件408包括一个前置摄像头和/或后置摄像头。当终端400处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
255.音频组件410被配置为输出和/或输入音频指令。例如,音频组件410包括一个麦克风(mic),当设备400处于操作模式,如呼叫模式、记录模式和语音理解模式时,麦克风被配置为接收外部音频指令。所接收的音频指令可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频指令。
256.i/o接口412为处理组件402和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
257.传感器组件414包括一个或多个传感器,用于为终端400提供各个方面的状态评估。例如,传感器组件414可以检测到终端400的打开/关闭状态,组件的相对定位,例如组件为终端400的显示器和小键盘,传感器组件414还可以检测设备400或终端400一个组件的位置改变,用户与设备400接触的存在或不存在,设备400方位或加速/减速和设备400的温度变化。传感器组件414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
258.通信组件416被配置为便于设备400和其他设备之间有线或无线方式的通信。设备700可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件416经由广播信道接收来自外部广播管理系统的广播指令或广播相关信息。在一个示例性实施例中,通信组件416还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
259.在示例性实施例中,设备400可以被一个或多个应用专用集成电路(asic)、数字指令处理器(dsp)、数字指令处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
260.在一个示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器404,上述指令可由设备400的处理器420执行以完成上述方法。例如,非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端的处理器执行时,使得终端能够执行上述实施例中的方法。
261.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
262.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并
且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1