图像处理方法及装置、电子设备及计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、电子设备及计算机可读存储介质。


背景技术：

2.成像设备采集图像的过程通常包括：采集光信号和基于光信号生成图像。在基于光信号生成图像的过程中，目标成像设备的硬件会产生噪声(下文称为硬件噪声)。如何计算出成像设备的硬件噪声具有非常重要的意义。


技术实现要素：

3.本技术提供一种图像处理方法及装置、电子设备及计算机可读存储介质。
4.第一方面，提供了一种图像处理方法，所述方法包括：
5.获取第一图像，所述第一图像是目标成像设备在黑暗环境下采集的图像；
6.对所述第一图像中的像素值进行采样，得到所述目标成像设备在有光信号的情况下生成图像所产生的硬件噪声。
7.在该方面中，由于第一图像不包含光信号，且第一图像包含目标成像设备的硬件噪声，图像处理装置通过对第一图像中的像素值进行采样得到目标成像设备的硬件噪声，可提高硬件噪声的准确度。而且可降低计算目标成像设备的硬件噪声的复杂度，提高计算目标成像设备的硬件噪声的效率。
8.结合本技术任一实施方式，所述方法还包括：
9.获取第二图像，所述第二图像包括散粒噪声；
10.将所述硬件噪声添加至所述第二图像，得到噪声图像。
11.在该种实施方式中，图像处理装置通过将硬件噪声添加至第二图像，可得到目标成像设备采集的未经加工图像(raw image format，raw)。
12.结合本技术任一实施方式，所述获取第二图像，包括：
13.获取第三图像，所述第三图像为干净图像；
14.依据所述第三图像，得到所述第二图像。
15.在该种实施方式中，干净图像为去除硬件噪声和散粒噪声后的图像，而图像处理装置依据干净图像可目标成像设备采集图像时，射入目标成像设备的光子数量。又由于包括散粒噪声的图像满足光子数量的泊松分布，图像处理装置依据将光子数量作为泊松分布的参数，可得到包括散粒噪声的图像，即第二图像。
16.结合本技术任一实施方式，所述对所述第一图像中的像素值进行采样，得到所述目标成像设备在有光信号的情况下生成图像所产生的硬件噪声之前，所述方法还包括：
17.获取所述第一图像的第一连续分布，所述第一连续分布通过对所述第一图像中的像素值进行拟合得到；
18.所述对所述第一图像中的像素值进行采样，得到所述目标成像设备在有光信号的
情况下生成图像所产生的硬件噪声，包括：
19.使用所述第一连续分布中的第一像素值替换所述第一图像中的第二像素值，得到重建后的第一图像；
20.对所述重建后的第一图像中的像素值进行采样，得到所述硬件噪声。
21.在该种实施方式中，第一连续分布通过对第一图像中的像素值进行拟合得到，即第一连续分布中的像素值为连续数据，图像处理装置使用从第一连续分布中采样得到的像素值替换第一图像中的像素值，可提升第一图像中像素值的精度。这样，通过对重建后的第一图像中的像素值进行采样，得到硬件噪声，可提升硬件噪声的精度。
22.结合本技术任一实施方式，所述使用所述第一连续分布中的第一像素值替换所述第一图像中的第二像素值，得到重建后的第一图像，包括：
23.从所述第一连续分布中确定包含所述第二像素值的第二连续分布；
24.在所述第二像素值为所述第一图像中的最大像素值的情况下，所述第二连续分布中的最小像素值大于或等于所述第一图像中的第二大像素值；在所述第二像素值为所述第一图像中的最小像素值的情况下，所述第二连续分布中的最大像素值小于或等于所述黑图中的第二小像素值；在所述第二像素值非所述第一图像中的最大像素值，且所述第二像素值非所述第一图像中的最小像素值的情况下，所述第二连续分布中的最大像素值小于或等于第三像素值，所述第二连续分布中的最小值大于或等于第四像素值，所述第四像素值为所述第一图像中第i大的像素值，所述第二像素值为所述第一图像中第(i+1)大的像素值，所述第三像素值为所述第一图像中第(i+2)大的像素值，所述i为正整数；
25.使用所述第二连续分布中的所述第一像素值替换所述第一图像中的所述第二像素值，得到所述重建后的第一图像。
26.在该种实施方式中，将第一连续分布中像素值的取值区间称为第一区间，将第二连续分布中像素值的取值区间称为第二区间，将第二像素值所对应的量化区间称为第三区间。由于第二区间与第三区间的重合度比第一区间与第三区间的重合度高，图像处理装置通过使用第二连续分布中的第一像素值替换第二像素值，得到重建后的第一图像，可在提升第一图像中像素值的精度的同时，提升第一图像中像素值的准确度。
27.结合本技术任一实施方式，所述第一连续分布包括钟型连续分布。
28.由于图像的像素值所满足的分布更接近于钟型连续分布，在该种实施方式中，第一连续分布包括钟型连续分布，可使第一连续分布的准确度更高。
29.结合本技术任一实施方式，所述第一图像包括第一像素区域，所述第一像素区域包括四个或四个以上像素；
30.所述对所述第一图像中的像素值进行采样，得到所述目标成像设备在有光信号的情况下生成图像所产生的硬件噪声，包括：
31.从所述第一图像中采样得到所述第一像素区域的像素值；
32.依据所述第一像素区域的像素值，得到所述硬件噪声。
33.在该种实施方式中，由于图像中相邻像素之间具有空间位置信息，相邻像素之间存在与空间位置信息相关的结构性噪声。而第一像素区域包括四个或四个以上像素，即第一像素区域包括相邻像素。因此，第一像素区域不仅包含像素所携带的噪声信息，还包含结构性噪声。
34.由此，图像处理装置依据第一像素区域，得到目标成像设备在有光信号的情况下生成图像所产生的硬件噪声，可使硬件噪声中包含结构性噪声。
35.结合本技术任一实施方式，所述第一像素区域的尺寸与所述第二图像的尺寸相同。
36.在该种实施方式中，第一像素区域的尺寸与第二图像的尺寸相同，那么第一像素区域的结构与第二图像的结构相同。由于结构性噪声与相邻像素的结构相关，第一像素区域所携带的结构性噪声与第二图像的结构更匹配。
37.结合本技术任一实施方式，所述第一像素区域的像素排列方式与所述第二图像的像素排列方式相同。
38.在该种实施方式中，由于图像的像素排列方式会影响噪声的分布，而第一像素区域的像素排列方式与第二图像的像素排列方式相同，第一像素区域内噪声的分布与第二图像中噪声的分布匹配度更高。再结合前一种实施方式中第一像素区域的尺寸与第二图像的尺寸相同这一条件，第一像素区域所携带的结构性噪声与第二图像的结构更匹配，且第一像素区域内噪声的分布与第二图像中噪声的分布匹配度更高。
39.结合本技术任一实施方式，所述依据所述第一像素区域的像素值，得到所述硬件噪声，包括：
40.获取所述第一像素区域的第三连续分布，所述第三连续分布通过对所述第一像素区域中的像素值进行拟合得到；
41.使用所述第三连续分布中的像素值替换所述第一像素区域中的像素值，得到重建后的第一像素区域；
42.对所述重建后的第一像素区域中的像素值进行采样，得到所述硬件噪声。
43.在该种实施方式中，第三连续分布通过对第一图像中的像素值进行拟合得到，即第三连续分布中的像素值为连续数据，图像处理装置使用从第三连续分布中采样得到的像素值替换第一图像中的像素值，可提升第一图像中像素值的精度。这样，通过对重建后的第一像素区域中的像素值进行采样得到硬件噪声，可提升硬件噪声的精度。
44.此外由于在前两种实施方式中，第一像素区域所携带的结构性噪声与第二图像的结构更匹配，且第一像素区域内噪声的分布与第二图像中噪声的分布匹配度更高。将改种实施方式与前两种实施方式结合得到的硬件噪声，用于模拟目标成像设备采集尺寸为目标尺寸、且像素排列方式为目标排列方式的图像时，可提升模拟效果，其中，目标尺寸为第二图像的尺寸，目标排列方式为第二图像的像素排列方式。
45.结合本技术任一实施方式，所述第一图像包括第二像素区域，所述第二像素区域的像素排列方式与所述第二图像的像素排列方式相同；
46.所述对所述第一图像中的像素值进行采样，得到所述目标成像设备在有光信号的情况下生成图像所产生的硬件噪声，包括：
47.从所述第一图像中采样得到所述第二像素区域的像素值；
48.依据所述第二像素区域中的像素值，得到所述硬件噪声。
49.在该种实施方式中，由于图像的像素排列方式会影响噪声的分布，而第二像素区域的像素排列方式与第二图像的像素排列方式相同，第二像素区域内噪声的分布与第二图像中噪声的分布匹配度更高。
50.结合本技术任一实施方式，所述硬件噪声包括以下一个或一个以上：模拟增益所产生的噪声、数字增益所产生的增益、量化噪声。
51.第二方面，提供了一种图像处理装置，所述装置包括：
52.获取单元，用于获取第一图像，所述第一图像是目标成像设备在黑暗环境下采集的图像；
53.处理单元，用于对所述第一图像中的像素值进行采样，得到所述目标成像设备在有光信号的情况下生成图像所产生的硬件噪声。
54.结合本技术任一实施方式，所述获取单元，还用于获取第二图像，所述第二图像包括散粒噪声；
55.所述图像处理装置还包括：添加单元，用于将所述硬件噪声添加至所述第二图像，得到噪声图像。
56.结合本技术任一实施方式，所述获取单元，用于：
57.获取第三图像，所述第三图像为干净图像；
58.依据所述第三图像，得到所述第二图像。
59.结合本技术任一实施方式，所述获取单元，还用于在对所述第一图像中的像素值进行采样，得到所述目标成像设备在有光信号的情况下生成图像所产生的硬件噪声之前，获取所述第一图像的第一连续分布，所述第一连续分布通过对所述第一图像中的像素值进行拟合得到；
60.所述处理单元，用于：
61.使用所述第一连续分布中的第一像素值替换所述第一图像中的第二像素值，得到重建后的第一图像；
62.对所述重建后的第一图像中的像素值进行采样，得到所述硬件噪声。
63.结合本技术任一实施方式，所述获取单元，用于：
64.从所述第一连续分布中确定包含所述第二像素值的第二连续分布；
65.在所述第二像素值为所述第一图像中的最大像素值的情况下，所述第二连续分布中的最小像素值大于或等于所述第一图像中的第二大像素值；在所述第二像素值为所述第一图像中的最小像素值的情况下，所述第二连续分布中的最大像素值小于或等于所述黑图中的第二小像素值；在所述第二像素值非所述第一图像中的最大像素值，且所述第二像素值非所述第一图像中的最小像素值的情况下，所述第二连续分布中的最大像素值小于或等于第三像素值，所述第二连续分布中的最小值大于或等于第四像素值，所述第四像素值为所述第一图像中第i大的像素值，所述第二像素值为所述第一图像中第(i+1)大的像素值，所述第三像素值为所述第一图像中第(i+2)大的像素值，所述i为正整数；
66.使用所述第二连续分布中的所述第一像素值替换所述第一图像中的所述第二像素值，得到所述重建后的第一图像。
67.结合本技术任一实施方式，所述第一连续分布包括钟型连续分布。
68.结合本技术任一实施方式，所述第一图像包括第一像素区域，所述第一像素区域包括四个或四个以上像素；
69.所述处理单元，用于：
70.从所述第一图像中采样得到所述第一像素区域的像素值；
71.依据所述第一像素区域的像素值，得到所述硬件噪声。
72.结合本技术任一实施方式，所述第一像素区域的尺寸与所述第二图像的尺寸相同。
73.结合本技术任一实施方式，所述第一像素区域的像素排列方式与所述第二图像的像素排列方式相同。
74.结合本技术任一实施方式，所述处理单元，用于：
75.获取所述第一像素区域的第三连续分布，所述第三连续分布通过对所述第一像素区域中的像素值进行拟合得到；
76.使用所述第三连续分布中的像素值替换所述第一像素区域中的像素值，得到重建后的第一像素区域；
77.对所述重建后的第一像素区域中的像素值进行采样，得到所述硬件噪声。
78.结合本技术任一实施方式，所述第一图像包括第二像素区域，所述第二像素区域的像素排列方式与所述第二图像的像素排列方式相同；
79.所述处理单元，用于：
80.从所述第一图像中采样得到所述第二像素区域的像素值；
81.依据所述第二像素区域中的像素值，得到所述硬件噪声。
82.结合本技术任一实施方式，所述硬件噪声包括以下一个或一个以上：模拟增益所产生的噪声、数字增益所产生的增益、量化噪声。
83.第三方面，提供了一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
84.第四方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
85.第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
86.第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
87.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。
附图说明
88.为了更清楚地说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
89.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申
请的实施例，并与说明书一起用于说明本技术的技术方案。
90.图1为本技术实施例提供的一种图像处理方法的流程示意图；
91.图2为本技术实施例提供的一种量化过程的示意图；
92.图3为本技术实施例提供的一种第一连续分布和第二连续分布的示意图；
93.图4为本技术实施例提供的一种图像处理装置的结构示意图；
94.图5为本技术实施例提供的一种图像处理装置的硬件结构示意图。
具体实施方式
95.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
96.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
97.应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。字符“/”还可表示数学运算中的除号，例如，a/b＝a除以b；6/3＝2。“以下至少一项(个)”或其类似表达。
98.成像设备采集图像的过程通常包括：采集光信号和基于光信号生成图像。在基于光信号生成图像的过程中，目标成像设备的硬件会产生噪声(下文称为硬件噪声)。如何计算出成像设备的硬件噪声具有非常重要的意义。
99.目标的技术中，通常会分析成像设备采集图像的过程，得到成像设备的硬件噪声的组成。在得到成像设备的硬件噪声的组成后，分别为组成硬件噪声的噪声进行数学建模得到噪声模型。通过噪声模型模拟组成硬件噪声的噪声，从而计算得到硬件噪声。
100.例如，通过对成像设备a采集图像的过程进行分析，确定成像设备a的硬件噪声包括噪声b和噪声c。针对噪声b进行数学建模得到噪声模型d，针对噪声c进行数学建模得到噪声模型e。通过噪声模型d模拟得到成像设备a采集图像的过程中所产生的噪声b，通过噪声模型e模拟得到成像设备a采集图像的过程中所产生的噪声c。计算噪声b和噪声c的和，得到成像设备a的硬件噪声。
101.由于在成像设备采集图像的过程中，硬件基于采集到的光信号生成图像所产生的噪声种类非常多。而用于进行数学建模的模型的种类是有限的，通过分析成像设备采集图像的过程，得到成像设备的硬件噪声的组成，难以准确得到成像设备的硬件噪声的组成，且
通过数学模型模拟噪声也会带来较大的误差。因此，通过目标的技术计算得到的硬件噪声的误差较大。
102.基于此，本技术实施例公开了一种计算成像设备的硬件噪声的技术方案，以提高硬件噪声的准确度。
103.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
104.本技术实施例的执行主体为图像处理装置，其中，图像处理装置可以是任意一种可执行本技术方法实施例所公开的技术方案的电子设备。可选的，图像处理装置可以是以下中的一种：手机、计算机、平板电脑、可穿戴智能设备。
105.应理解，本技术方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本技术实施例中的附图对本技术实施例进行描述。请参阅图1，图1是本技术实施例提供的一种图像处理方法的流程示意图。
106.101、获取第一图像，上述第一图像是目标成像设备在黑暗环境下采集的图像。
107.本技术实施例中，目标成像设备可以是以下中的一种：相机、摄像头。黑暗环境包括无光信号的环境。可选的，黑暗环境是密闭无光室内环境。例如，黑暗环境是密闭无光的盒子的内部环境。
108.在一种获取第一图像的实现方式中，图像处理装置接收用户通过输入组件输入的第一图像获取第一图像。可选的，上述输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。
109.在另一种获取第一图像的实现方式中，图像处理装置接收终端发送的第一图像获取第一图像。可选的，终端可以是以下任意一种：手机、计算机、平板电脑、服务器、可穿戴设备。
110.在又一种获取第一图像的实现方式中，图像处理装置包括目标成像设备。将图像处理装置放置于暗室内采集图像获取第一图像，其中，暗室为密闭无光的内室。
111.102、对上述第一图像中的像素值进行采样，得到上述目标成像设备在有光信号的情况下生成图像所产生的硬件噪声。
112.本技术实施例中，硬件噪声即为目标成像设备在有光信号的情况下，基于光信号生成图像所产生的噪声。
113.由于在成像设备采集图像的过程中会产生硬件噪声，图像不仅包含成像设备采集到的光信号还包含硬件噪声。通过对成像设备采集图像的过程进行数学建模可得到下式：
[0114][0115]
其中，d为成像设备采集到的图像中的数字信号，n
q
表示量化噪声(quantizationnoise)，i是射入成像设备的光子数量(incidentphotonnumber)，n
p
是散粒噪声(shot noise)，k
d
为成像设备采集图像时的数字增益，k
a
为成像设备采集图像时的模拟增益。
[0116]
由公式(1)可知，在光信号为0的情况下，d＝k
d
k
a
n1+k
d
n2+k
d
n
q
，即d＝硬件噪声。而
第一图像是在黑暗环境下采集得到的图像，即目标成像设备在生成第一图像的过程中无需采集光信号，即第一图像中不包含光信号，即第一图像中的数字信号为硬件噪声。因此，图像处理装置通过对第一图像中的像素值进行采样，可得到目标成像设备采集第一图像的硬件噪声。
[0117]
在一种可能实现的方式中，图像处理装置通过对第一图像中的像素值进行采样得到第一图像中任意一个像素值，并将该像素值作为目标成像设备的硬件噪声。例如，第一图像包括像素值a和像素值b，图像处理装置通过对第一图像中的像素值进行采样得到像素值a，并将像素值a作为目标成像设备的硬件噪声。
[0118]
在另一种可能实现的方式中，图像处理装置通过对第一图像中的像素值进行采样得到第一图像中任意一个像素值，并将该像素值与第一常数的和作为目标成像设备的硬件噪声，其中，第一常数是实数。例如，第一图像包括像素值a和像素值b，图像处理装置通过对第一图像中的像素值进行采样得到像素值a，并将像素值a与第一常数的和作为目标成像设备的硬件噪声。
[0119]
在又一种可能实现的方式中，图像处理装置通过对第一图像中的像素值进行采样得到第一图像中任意一个像素值，并将该任意像素值与第二常数的乘积作为目标成像设备的硬件噪声，其中，第二常数是实数。例如，第一图像包括像素值a和像素值b，图像处理装置通过对第一图像中的像素值进行采样得到像素值a，并将像素值a与第二常数的乘积作为目标成像设备的硬件噪声。
[0120]
本技术实施例中，由于第一图像不包含光信号，且第一图像包含目标成像设备的硬件噪声，图像处理装置通过对第一图像中的像素值进行采样得到目标成像设备的硬件噪声，可提高硬件噪声的准确度。而且可降低计算目标成像设备的硬件噪声的复杂度，提高计算目标成像设备的硬件噪声的效率。
[0121]
作为一种可选的实施方式，图像处理装置还执行以下步骤：
[0122]
1、获取第二图像，上述第二图像包括散粒噪声。
[0123]
本技术实施例中，散粒噪声为光子从光源传播至成像设备的感光元件所产生的噪声。例如，成像设备在采集图像时的光源为太阳，此时，光信号为太阳光。在成像设备采集图像的过程中，需要通过感光元件采集太阳发射出的光子得到光信号。此时，光子从太阳传播至感光元件的过程所产生的噪声即为散粒噪声。
[0124]
又例如，成像设备在采集图像时的光源为白炽灯，此时，光信号为白炽灯发出的光。在成像设备采集图像的过程中，需要通过感光元件采集白炽灯发射出的光子得到光信号。此时，光子从白炽灯传播至感光元件的过程所产生的噪声即为散粒噪声。
[0125]
本技术实施例中，第二图像为在有光的环境下采集的图像，且第二图像包括散粒噪声。
[0126]
在一种获取第二图像的实现方式中，图像处理装置接收用户通过输入组件输入的第二图像获取第二图像。
[0127]
在另一种获取第二图像的实现方式中，图像处理装置接收终端发送的第二图像获取第二图像。
[0128]
2、将上述硬件噪声添加至上述第二图像，得到噪声图像。
[0129]
由公式(1)可知，成像设备采集到的图像不仅包含光信号还包含硬件噪声，其中，
光信号包括射入成像设备的光子数量和散粒噪声。而上述第二图像为在有光的环境下采集的图像，即第二图像包含光子数量，又第二图像还包括散粒噪声，因此通过将硬件噪声添加至第二图像，可得到目标成像设备采集的raw，即噪声图像。
[0130]
可选的，将第二图像和噪声图像作为训练数据训练神经网络，可使训练后的神经网络具备去除目标成像设备所采集的图像中的硬件噪声的能力。
[0131]
在一种可能实现的方式中，图像处理装置将硬件噪声分别添加至第二图像中的每个像素，得到噪声图像。例如，第二图像包括像素a和像素b。图像处理装置将硬件噪声添加至像素a，并将硬件噪声添加至像素b，得到噪声图像。
[0132]
在另一种可能实现的方式中，图像处理装置将硬件噪声添加至第二图像中的任意一个像素，得到噪声图像。例如，第二图像包括像素a和像素b。图像处理装置将硬件噪声添加至像素a，得到噪声图像。
[0133]
作为一种可选的实施方式，图像处理装置在执行步骤1的过程中执行以下步骤：
[0134]
3、获取第三图像。
[0135]
本技术实施例中，第三图像包括干净图像，其中，干净图像为去除硬件噪声和散粒噪声后的图像。
[0136]
可选的，第三图像为去除数字底片中的硬件噪声和散粒噪声后得到的图像，其中，数字底片包括成像设备采集到的未经加工图像(raw image format，raw)。可选的，采集数字底片的成像设备与目标成像设备可以相同，也可以不同。
[0137]
在一种获取第三图像的实现方式中，图像处理装置接收用户通过输入组件输入的第三图像。
[0138]
在另一种获取第三图像的实现方式中，图像处理装置接收终端发送的第三图像。
[0139]
在又一种获取第三图像的实现方式中，图像处理装置获取数字底片。图像处理装置去除数字底片中的硬件噪声和散粒噪声，得到第三图像。
[0140]
4、依据上述第三图像，得到上述第二图像。
[0141]
如步骤1所述，光子从光源传播至目标成像设备的感光元件会产生散粒噪声，因此光信号不仅包含成像设备采集到的光子，还包含散粒噪声，也就是说，图像包含光子、散粒噪声和硬件噪声。
[0142]
由于第三图像包括干净图像，依据第三图像可得到成像设备采集图像时，光源向成像设备发射的光子数量(下文称为光子数量)。
[0143]
因为包括散粒噪声的图像满足光子数量的泊松分布，所以依据光子数量的泊松分布可得到包括散粒噪声的图像。因此，依据第三图像可得到光子数量的泊松分布，进而可得到包括散粒噪声的图像，即第二图像。
[0144]
在一种可能实现的方式中，图像处理装置依据第三图像，得到第三图像中的光子数量；依据光子数量确定泊松分布的参数，并得到光子数量的泊松分布；依据光子数量的泊松分布得到所述第二图像。
[0145]
例如，若成像设备采集第三图像时的模拟增益为ka，成像设备采集第三图像时的数字增益为kd。在用y表示第三图像的情况下，光子数量i满足下式：
[0146]
[0147]
在用表示第二图像的情况下，和i满足下式：
[0148][0149]
其中，表示泊松分布，表示将i作为泊松分布的参数。
[0150]
可选的，在图像处理装置依据步骤3和步骤4，得到第二图像的情况下，图像处理装置通过下式将硬件噪声添加至第二图像得到噪声图像：
[0151][0152]
其中，为噪声图像，n
i
为硬件噪声，表示第二图像，ka是成像设备采集第三图像时的模拟增益，kd是成像设备采集第三图像时的数字增益。
[0153]
图像处理装置通过执行步骤1～步骤4，可得到第三图像的噪声图像，即得到与干净图像对应的噪声图像。而基于步骤101、步骤102和步骤1～步骤4所公开的技术方案，本技术实施例提供了一种可能的应用场景。
[0154]
得益于强大的性能，近几年神经网络被广泛应用于图像处理领域，用于执行各种任务。例如，使用神经网络对图像进行降噪处理。
[0155]
神经网络对图像进行降噪所取得的效果很大程度取决于神经网络的训练效果，而神经网络的训练效果又主要取决于训练数据的数量，具体而言，训练数据的数量越多，神经网络的训练效果越好。因此，如何快速获得降噪训练数据，对提升神经网络的降噪效果具有非常重要的意义，其中，降噪训练数据包括一个或一个以上训练图像对，每个训练图像对包括一张噪声图像和降噪图像，其中，降噪图像为对噪声图像进行降噪得到的图像。
[0156]
传统方法通过对噪声图像进行降噪得到降噪图像，从而得到一个训练图像对。但由于对图像进行降噪的处理速度慢，传统方法得到降噪训练数据的效率低。
[0157]
而在本技术实施例中，图像处理装置可依据步骤101和步骤102，得到一个或一个以上硬件噪声。图像处理装置可在获取第三图像的情况下，将第三图像作为降噪图像，并依据步骤4得到第二图像，然后通过步骤2所提供的实现方式分别将一个或一个以上硬件噪声添加至第二图像，得到一张或一张以上噪声图像，从而得到一个或一个以上训练图像对。
[0158]
例如，图像处理装置通过对第一图像中的像素值进行采样得到第一图像中任意一个像素值，并将该像素值作为目标成像设备的硬件噪声a。图像处理装置通过对第一图像中的像素值进行采样得到第一图像中任意一个像素值，并将该像素值与第一常数的和作为目标成像设备的硬件噪声b。图像处理装置通过对第一图像中的像素值进行采样得到第一图像中任意一个像素值，并将该任意像素值与第二常数的乘积作为目标成像设备的硬件噪声c。
[0159]
图像处理装置在依据第三图像得到第二图像后，通过将硬件噪声a分别添加至第二图像中的每个像素，得到噪声图像a。通过将硬件噪声b分别添加至第二图像中的每个像素，得到噪声图像b。通过将硬件噪声c分别添加至第二图像中的每个像素，得到噪声图像c。通过将硬件噪声a分别添加至第二图像中的任意一个像素，得到噪声图像d。通过将硬件噪声b分别添加至第二图像中的任意一个像素，得到噪声图像e。通过将硬件噪声c分别添加至第二图像中的任意一个像素，得到噪声图像f。
[0160]
由此，可将第三图像和噪声图像a作为一个训练图像对，将第三图像和噪声图像b
作为一个训练图像对，将第三图像和噪声图像c作为一个训练图像对，将第三图像和噪声图像d作为一个训练图像对，将第三图像和噪声图像e作为一个训练图像对，将第三图像和噪声图像f作为一个训练图像对。
[0161]
本技术实施例中，由于基于步骤101和步骤102计算得到一个或一个以上硬件噪声可提高计算效率，且可提高硬件噪声的准确度，基于本技术实施例所公开的技术方案得到降噪训练数据，可提高效率和准确度。
[0162]
作为一种可选的实施方式，图像处理装置在执行步骤102之前，还执行以下步骤：
[0163]
5、获取上述第一图像的第一连续分布。
[0164]
本技术实施例中，第一连续分布通过对所述第一图像中的像素值进行拟合得到。
[0165]
在一种获取第一连续分布的方式中，图像处理装置将第一图像中的像素值作为观测值，从预设分布中选取一个拟合最优度满足分布要求的分布作为第一连续分布，其中，分布要求包括可决系数大于拟合阈值。其中，拟合阈值大于0且小于1。
[0166]
可选的，预设分布包括以下中的一个或一个以上：学生分布(student's t
‑
distribution)，韦布尔分布(weibull)，多重比较分布(tukey lambda)，高斯分布(gaussian)，伽马分布(gamma)。
[0167]
在一种获取第一连续分布的实现方式中，图像处理装置接收用户通过输入组件输入的第一连续分布获取第一连续分布。
[0168]
在另一种获取第一连续分布的实现方式中，图像处理装置接收终端发送的第一连续分布获取第一连续分布。
[0169]
在执行完步骤5后，图像处理装置在执行步骤102的过程中执行以下步骤：
[0170]
6、使用上述第一连续分布中的第一像素值替换上述第一图像中的第二像素值，得到重建后的第一图像。
[0171]
目标成像设备在采集第一图像时，会将第一图像的像素值进行低比特量化，因此第一图像中的像素值为离散数据。具体来讲，通过低比特量化将处于同一量化区间的像素值量化为量化区间内的同一像素值，将处于不同量化区间的像素值量化为不同的像素值，且不同量化区间之间不存在交集。
[0172]
为表述方便，下文将用[a，b]表示大于或等于a且小于或等于b的取值区间，用(c，d]表示大于c且小于或等于d的取值区间，用[e，f)表示大于或等于e且小于f的取值区间。
[0173]
例如，在对第一图像的像素值进行低比特量化之前，第一图像的像素值包括2.443、5.6478、76.321245、155.32、220.4321。量化区间包括[0，50)，(50，100]，[100，160)，[160，250)，且处于[0，50)内的像素值均被量化为25，处于(50，100]内的像素值均被量化为80，处于[100，160)内的像素值均被量化为135，处于[160，250)内的像素值均被量化为215。那么，通过对第一图像中像素值进行低比特量化，2.443和5.6478均被量化为25，76.321245被量化为80，155.32被量化为135，220.4321被量化为215。
[0174]
又例如，图2所示为将连续分布被量化的过程。图2所示的横轴为像素值，纵轴为像素值所对应的像素与图像中像素总数的比值，图中的曲线为通过对图像中的像素值进行拟合得到的连续分布。曲线上的平行于横轴的黑色线段表示量化区间，图像中处于量化区间的像素值均被量化为该量化区间所对应的黑色线段与曲线的交点。如，线段ac所对应的量化区间为[
‑
2，
‑
1]，ac与曲线的交点为b点，其中，b点的横坐标为
‑
1.3，那么通过对图像进行
量化，处于[
‑
2，
‑
1]之间的像素值均被量化为
‑
1.3。
[0175]
由于第一连续分布中的像素值为连续数据，使用从第一连续分布中采样得到的像素值替换第一图像中的像素值，可提升第一图像中像素值的精度，得到重建后的第一图像。
[0176]
本步骤中，第一像素值为第一连续分布中的任意像素值，第二像素值为第一图像中的任意像素值。应理解，本步骤中的第一像素值和第二像素值均为示例，不应理解为仅使用第一连续分布中的一个像素值替换第一图像中的一个像素值，在实际应用中，图像处理装置可分别为第一图像中的每个像素值从第一连续分布中采样得到一个像素值，并分别使用采样后的像素值替换第一图像中的像素值，得到重建后的第一图像。
[0177]
例如，第一图像包括像素值a和像素值b。图像处理装置从第一连续分布中采样像素值c，并使用像素值c替换像素值a，并使用像素值c替换像素值b。
[0178]
又例如，第一图像包括像素值a和像素值b。图像处理装置从第一连续分布中采样像素值c和像素值d，并使用像素值c替换像素值a，并使用像素值d替换像素值b。
[0179]
7、对上述重建后的第一图像中的像素值进行采样，得到上述硬件噪声。
[0180]
由于重建后的第一图像中的像素值的精度比第一图像中的像素值的精度高，图像处理装置通过对重建后的第一图像中的像素值进行采样，得到目标成像设备在有光信号的情况下生成图像所产生的硬件噪声，可提高硬件噪声的精度。
[0181]
作为一种可选的实施方式，图像处理装置在执行步骤6的过程中执行以下步骤：
[0182]
8、从上述第一连续分布中确定包含上述第二像素值的第二连续分布。
[0183]
本步骤中，第二连续分布属于第一连续分布，且第二连续分布包含第二像素值，且在第二像素值为第一图像中的最大像素值的情况下，第二连续分布中的最小像素值大于或等于第一图像中的第二大像素值。
[0184]
例如，第一图像包含4个像素值，分别为3、40、60、178。若第二像素值为178，则第二连续分布中的最小像素值大于或等于60。
[0185]
在第二像素值为第一图像中的最小像素值的情况下，第二连续分布中的最大像素值小于或等于第一图像中的第二小像素值。
[0186]
例如，第一图像包含4个像素值，分别为3、40、60、178。若第二像素值为3，则第二连续分布中的最大像素值小于或等于40。
[0187]
在第二像素值非第一图像中的最大像素值，且第二像素值非第一图像中的最小像素值的情况下，第二连续分布中的最大像素值小于或等于第三像素值，第二连续分布中的最小值大于或等于第四像素值，第四像素值为第一图像中第i大的像素值，第二像素值为第一图像中第(i+1)大的像素值，第三像素值为第一图像中第(i+2)大的像素值，i为正整数。
[0188]
例如，第一图像包含4个像素值，分别为3、40、60、178。若第二像素值为60，此时i＝1，第二连续分布中的最小像素值大于或等于40，且第二连续分布中的最大像素值小于或等于178。若第二像素值为40，此时i＝2，第二连续分布中的最小像素值大于或等于3，且第二连续分布中的最大像素值小于或等于60。
[0189]
可选的，从第一连续分布中确定包含第二像素值的第二连续分布的过程可参见图3。如图3所示的坐标系中，横轴为像素值，纵轴为比值，曲线为第一连续分布。d点的横坐标为x
‑
1/q，d点的纵坐标为p，那么在第一图像中像素值为x
‑
1/q的像素与第一图像中像素的总数量的比值为p。
[0190]
若c点的横坐标为x，第二像素值为x，e点的横坐标为第一黑图中第i大的像素值，a点的横坐标为第一黑图中第(i+2)大的横坐标。图像处理装置可从曲线ae中任取一段包含c点的曲线所满足的分布，作为第二连续分布。如图3所示，图像处理装置从第一连续分布中确定的包含第二像素值的第二连续分布为，曲线bd所满足的分布。
[0191]
9、使用上述第二连续分布中的上述第一像素值替换上述第一图像中的上述第二像素值，得到上述重建后的第一图像。
[0192]
将第一连续分布中像素值的取值区间称为第一区间，将第二连续分布中像素值的取值区间称为第二区间，将第二像素值所对应的量化区间称为第三区间，那么第二区间与第三区间的重合度比第一区间与第三区间的重合度高。
[0193]
由于第二区间与第三区间的重合度比第一区间与第三区间的重合度高，图像处理装置通过使用第二连续分布中的第一像素值替换第二像素值，得到重建后的第一图像，可在提升第一图像中像素值的精度的同时，提升第一图像中像素值的准确度。
[0194]
可选的，从第二连续分布中确定第一像素值可参见图3。如步骤9中对图3的描述，第二连续分布为曲线bd所满足的分布。若在图3中，b点的横坐标为x+1/q。那么第一像素值可以是[x
‑
1/q，x+1/q]之间的任意值。
[0195]
应理解，步骤8和步骤9中的第二连续分布仅为示例，不应理解为仅能从第一连续分布中确定一个连续分布，也不应理解为仅能基于步骤11和步骤12所公开的技术方案，替换第一图像中的一个像素值。在实际应用中，对于第一图像中的所有像素值，均可从第一连续分布中确定相应的第二连续分布，并使用第二连续分布中的像素值替换第一图像中相应的像素值，得到重建后的第一图像。
[0196]
例如，第一图像包括像素a，像素b，像素c和像素d，其中，像素a和像素b的像素值均为第一值，像素b的像素值为第二值，像素d的像素值为第三值，其中，第一值、第二值、第三值为三个不同的数值。图像处理装置从第一连续分布中确定包含第一值的连续分布a，从第一连续分布中确定包含第二值的连续分布b，从第一连续分布中确定包含第三值的连续分布c。
[0197]
图像处理装置可使用连续分布b中的像素值e替换像素c的像素值。图像处理装置可使用连续分布c中的像素值f替换像素d的像素值。
[0198]
对于像素a和像素b，图像处理装置可使用连续分布a中的像素值g替换像素a的像素值，并使用像素值e替换像素b的像素值。图像处理装置也可使用连续分布a中的像素值g替换像素a的像素值，并使用连续分布a中的像素值h替换像素b的像素值。
[0199]
作为一种可选的实施方式，图像处理装置在执行步骤5的过程中执行以下步骤：
[0200]
10、确定上述第一图像中第一像素的第一数量和上述第一图像中第二像素的第二数量，上述第一像素的像素值为上述第二像素值，上述第二像素的像素值与上述第一像素的像素值不同。
[0201]
11、确定上述第一数量与第三数量的第一比值，上述第三数量为上述第一图像中像素的数量。
[0202]
12、确定上述第二数量与上述第三数量的第二比值。
[0203]
13、依据上述第二像素值、上述第二像素的像素值、上述第一比值和上述第二比值，得到上述第一图像中的像素值的第一连续分布。
[0204]
在一种可能实现的方式中，图像处理装置将第二像素值作为横坐标、将第一比值作为纵坐标，确定分布坐标系下的第一点。图像处理装置将第二像素的像素值作为横坐标、将第二比值作为纵坐标，确定分布坐标系下的第二点。其中，分布坐标系的为二维坐标系，分布坐标系的横轴为像素值，纵轴为比值。图像处理装置通过对第一点和第二点进行曲线拟合，得到第一连续分布。
[0205]
可选的，图像处理装置可分别确定第一图像中每个像素值所对应的像素在第一图像中的占比，并分别确定每个像素值在分布坐标系中对应的点。图像处理装置通过对所有点进行曲线拟合，得到第一连续分布。
[0206]
例如，第一图像包括像素值a、像素值b、像素值c和像素值d，其中，像素值a所对应的像素数量为8，像素值b所对应的像素数量为3，像素值c所对应的像素数量为8，像素值d所对应的像素数量为1。此时，像素值a所对应的像素在第一图像中的占比为8/(8+3+8+1)＝2/5，像素值b所对应的像素在第一图像中的占比为3/(8+3+8+1)＝3/20，像素值c所对应的像素在第一图像中的占比为8/(8+3+8+1)＝2/5，像素值d所对应的像素在第一图像中的占比为1/(8+3+8+1)＝1/20。
[0207]
图像处理装置将像素值a作为横坐标、将2/5作为纵坐标，得到分布坐标系下的a点；将像素值b作为横坐标、将3/20作为纵坐标，得到分布坐标系下的b点；将像素值c作为横坐标、将2/5作为纵坐标，得到分布坐标系下的c点；将像素值d作为横坐标、将1/20作为纵坐标，得到分布坐标系下的d点。图像处理装置通过对点a、点b、点c和点d进行曲线拟合，得到第一连续分布。
[0208]
在另一种可能实现的方式中，图像处理装置将第二像素值作为纵坐标、将第一比值作为横坐标，确定分布坐标系下的第一点。图像处理装置将第二像素的像素值作为纵坐标、将第二比值作为横坐标，确定分布坐标系下的第二点。其中，分布坐标系的为二维坐标系，分布坐标系的横轴为比值，纵轴为像素值。图像处理装置通过对第一点和第二点进行曲线拟合，得到第一连续分布。
[0209]
可选的，图像处理装置可分别确定第一图像中每个像素值所对应的像素在第一图像中的占比，并分别确定每个像素值在分布坐标系中对应的点。图像处理装置通过对所有点进行曲线拟合，得到第一连续分布。
[0210]
例如，第一图像包括像素值a、像素值b、像素值c和像素值d，其中，像素值a所对应的像素数量为8，像素值b所对应的像素数量为3，像素值c所对应的像素数量为8，像素值d所对应的像素数量为1。此时，像素值a所对应的像素在第一图像中的占比为8/(8+3+8+1)＝2/5，像素值b所对应的像素在第一图像中的占比为3/(8+3+8+1)＝3/20，像素值c所对应的像素在第一图像中的占比为8/(8+3+8+1)＝2/5，像素值d所对应的像素在第一图像中的占比为1/(8+3+8+1)＝1/20。
[0211]
图像处理装置将像素值a作为纵坐标、将2/5作为横坐标，得到分布坐标系下的a点；将像素值b作为纵坐标、将3/20作为横坐标，得到分布坐标系下的b点；将像素值c作为纵坐标、将2/5作为横坐标，得到分布坐标系下的c点；将像素值d作为纵坐标、将1/20作为横坐标，得到分布坐标系下的d点。图像处理装置通过对点a、点b、点c和点d进行曲线拟合，得到第一连续分布。
[0212]
作为一种可选的实施方式，上述第一连续分布包括钟型连续分布。可选的，第一连
续分布包括以下中的一种：学生分布(student's t
‑
distribution)，韦布尔分布(weibull)，多重比较分布(tukey lambda)，高斯分布(gaussian)，伽马分布(gamma)。
[0213]
作为一种可选的实施方式，上述第一图像包括第一像素区域，上述第一像素区域包括四个或四个以上像素。本实施方式中，第一像素区域为第一图像中任意包括四个或四个以上像素的像素区域。
[0214]
在该种实施方式中，图像处理装置在执行步骤102的过程中执行以下步骤：
[0215]
14、从上述第一图像中采样得到上述第一像素区域的像素值。
[0216]
15、依据上述第一像素区域中的像素值，得到上述硬件噪声。
[0217]
由于图像中相邻像素之间具有空间位置信息，相邻像素之间存在与空间位置信息相关的结构性噪声。而第一像素区域包括四个或四个以上像素，即第一像素区域包括相邻像素。因此，第一像素区域不仅包含像素所携带的噪声信息，还包含结构性噪声。
[0218]
由此，图像处理装置依据第一像素区域，得到目标成像设备在有光信号的情况下生成图像所产生的硬件噪声，可丰富硬件噪声所携带的信息。此外，由于第二图像包含四个或四个以上像素，通过执行步骤14和步骤15得到包含结构性噪声的硬件噪声，进而可使硬件噪声与第二图像的结构更匹配，这样在图像处理装置通过执行步骤2得到噪声图像的情况下，可使噪声图像更接近目标成像设备采集的raw。
[0219]
在一种可能实现的方式中，图像处理装置将第一像素区域的像素值作为硬件噪声。
[0220]
应理解，在该种实现方式中，若将硬件噪声添加至第二图像中，可从第二图像中确定与第一像素区域匹配的像素区域，作为第一匹配像素区域，其中，第一匹配像素区域的尺寸与第一像素区域的尺寸相同。将第一像素区域与第一匹配像素区域中对应的像素值相加，得到噪声图像。
[0221]
在另一种可能实现的方式中，图像处理装置将第一像素区域中像素值的均值，作为目标成像设备的硬件噪声。
[0222]
在又一种可能实现的方式中，图像处理装置将第一图像中像素值的和，作为目标成像设备的硬件噪声。
[0223]
在该种实施方式中，由于第一像素区域包含结构性噪声，图像处理装置依据第一像素区域得到硬件噪声，可丰富硬件噪声所携带的信息。
[0224]
作为一种可选的实施方式中，第一像素区域的尺寸与第二图像的尺寸相同。第一像素区域的尺寸与第二图像的尺寸相同，那么第一像素区域的结构与第二图像的结构相同。由于结构性噪声与相邻像素的结构相关，第一像素区域所携带的结构性噪声与第二图像的结构更匹配。
[0225]
因此，图像处理装置依据第一像素区域得到硬件噪声可提高硬件噪声与第二图像的结构的匹配度，即依据第一像素区域得到的硬件噪声与目标成像设备采集第一参考图像时所产生的硬件噪声更接近，其中，第一参考图像的尺寸与第二图像的尺寸相同。这样，基于该种实施方式模拟成像设备采集第一参考图像时所产生的硬件噪声，可取得更好的效果。
[0226]
作为一种可能实现的方式，第一图像包括第二像素区域，第二像素区域的像素排列方式与第二图像的像素排列方式相同。第二像素区域和第一像素区域可以相同，也可以
不同，本技术对此不做限定。
[0227]
本技术实施例中，像素排列方式包括不同通道的像素在图像中的排列方式。例如，raw图中的像素排列方式可以是拜耳阵列(bayer pattern)。
[0228]
在该种实施方式中，图像处理装置在执行步骤102的过程中，执行以下步骤：
[0229]
16、从上述第一图像中采样得到上述第二像素区域的像素值。
[0230]
17、依据上述第二像素区域，得到上述硬件噪声。
[0231]
由于图像的像素排列方式会影响噪声的分布，而第二像素区域的像素排列方式与第二图像的像素排列方式相同，第二像素区域内噪声的分布与第二图像中噪声的分布匹配度更高。
[0232]
因此，图像处理装置依据第二像素区域得到目标成像设备在有光信号的情况下生成图像所产生的硬件噪声，可使依据第二像素区域得到的硬件噪声的分布，与成像设备采集第二参考图像时所产生的硬件噪声的分布更接近，其中，第二参考图像的像素排列与第二像素区域的像素排列相同。这样，基于该种实施方式模拟成像设备采集第二参考图像时所产生的硬件噪声，可取得更好的效果。
[0233]
可选的，若在基于步骤17得到硬件噪声的情况下，将硬件噪声添加至第二图像包括以下过程：从第二图像中确定与第二像素区域匹配的像素区域，作为第二匹配像素区域，其中，第二匹配像素区域的尺寸与第二图像的尺寸相同，且第二匹配像素区域的像素排列与第二图像的像素排列相同。将第一像素区域与第二匹配像素区域中对应的像素值相加，得到噪声图像。
[0234]
作为一种可选的实施方式，若将步骤5～步骤7中的实现方式称为高比特重建方式，将步骤14和步骤15的实现方式称为取块方式，将步骤16和步骤17的实现方式称为像素排列方式，在实际应用中，图像处理装置可对高比特重建方式、取块方式、像素排列方式进行组合。
[0235]
在一种可能实现的方式中，图像处理装置可在执行步骤102的过程中，既采用高比特重建方式，又采用取块方式。具体的，第一图像包括第一像素区域，图像处理装置从第一图像中确定第一像素区域。获取第一像素区域的第一中间连续分布，其中，第一中间连续分布通过对第一像素区域中的像素值进行拟合得到。使用第一中间连续分布中的第四像素值替换第一像素区域中的第五像素值，得到第一重建后的像素区域。对第一重建后的像素区域中的像素值进行采样，得到硬件噪声。
[0236]
可选的，图像处理装置在执行使用第一中间连续分布中的第四像素值替换第一像素区域中的第五像素值，得到第一重建后的像素区域的步骤的过程中执行以下步骤：从第一中间连续分布中确定包含第五像素值的第二中间连续分布。使用第二中间连续分布中的第四像素值替换第一像素区域中的第五像素值，得到第一重建后的像素区域。
[0237]
在另一种可能实现的方式中，图像处理装置可在执行步骤102的过程中，既采用高比特重建方式，又采用像素排列方式。具体的，第一图像包括第二像素区域，其中，第二像素区域的像素排列方式与第二图像的像素排列方式相同。图像处理装置从第一图像中确定第二像素区域。获取第二像素区域的第三中间连续分布，其中，第三中间连续分布通过对第二像素区域中的像素值进行拟合得到。使用第三中间连续分布中的第六像素值替换第二像素区域中的第七像素值，得到第二重建后的像素区域。对第二重建后的像素区域中的像素值
进行采样，得到硬件噪声。
[0238]
可选的，图像处理装置在执行使用第三中间连续分布中的第六像素值替换第二像素区域中的第七像素值，得到第二重建后的像素区域的步骤的过程中执行以下步骤：从第三中间连续分布中确定包含第六像素值的第三中间连续分布。使用第三中间连续分布中的第六像素值替换第一像素区域中的第七像素值，得到第二重建后的像素区域。
[0239]
在又一种可能实现的方式中，图像处理装置可在执行步骤102的过程中，将取块方式和像素排列方式结合。具体的，第一图像包括第一像素区域，且第一像素区域的尺寸与第二图像的尺寸相同，且第一像素区域的像素排列与第二图像的像素排列相同。图像处理装置从第一图像中采样得到第一像素区域的像素值。依据第一像素区域的像素值得到硬件噪声。
[0240]
在又一种可能实现的方式中，图像处理装置可在执行步骤102的过程中，将高比特重建方式、取块方式和像素排列方式结合。具体的，第一图像包括第一像素区域，且第一像素区域的尺寸与第二图像的尺寸相同，且第一像素区域的像素排列与第二图像的像素排列相同。
[0241]
图像处理装置从第一图像中确定第一像素区域。获取第一像素区域的第三连续分布，其中，第三连续分布通过对第一像素区域中的像素值进行拟合得到。使用第一中间连续分布中的像素值替换第一像素区域中的像素值，得到重建后的第一像素区域。对重建后的第一像素区域中的像素值进行采样，得到硬件噪声。
[0242]
作为一种可选的实施方式，目标成像设备在有光信号的情况下生成图像所产生的硬件噪声包括以下一个或一个以上：模拟增益所产生的噪声、数字增益所产生的增益、量化噪声。
[0243]
作为一种可选的实施方式，图像处理装置通过执行以下步骤获取第一图像：
[0244]
18、获取黑图集，黑图集中的图像均由上述目标成像设备在黑暗环境下采集的图像。
[0245]
本技术实施例中，黑图集中的图像均目标成像设备在黑暗环境下采集。目标成像设备采集黑图集中任意两张图像时的模拟增益不同，或目标成像设备采集任意黑图集中任意两张图像时的数字增益不同。
[0246]
例如，黑图集包括图像a和图像b和图像c，其中，图像a和图像b均由目标成像设备采集得到。
[0247]
若目标成像设备采集图像a的模拟增益为第一模拟增益，目标成像设备采集图像a的数字增益为第一数字增益，目标成像设备采集图像b的模拟增益为第二模拟增益，目标成像设备采集图像b的数字增益为第二数字增益。第一模拟增益、第二模拟增益、第一数字增益和第二数字增益之间存在以下关系：1)第一模拟增益与第二模拟增益相同，但第一数字增益与第二数字增益不同；2)第一模拟增益与第二模拟增益不同，但第一数字增益与第二数字增益相同；3)第一模拟增益与第二模拟增益不同，且第一数字增益与第二数字增益不同。
[0248]
在一种可能实现的方式中，黑图集中的图像为，第一成像设备在黑暗环境下以不同的感光度(iso)采集得到的图像。例如，将第一成像设备的iso设为400，并在黑暗环境下采集得到图像a；将第一成像设备的iso设为800，并在黑暗环境下采集得到图像b；将第一成
像设备的iso设为1600，并在黑暗环境下采集得到图像c。那么黑图集包括图像a、图像b和图像c。
[0249]
19、从上述黑图集中采样一张图像作为上述第一图像。
[0250]
因为目标成像设备采集黑图集中任意两张图像时的模拟增益不同，或目标成像设备采集任意黑图集中任意两张图像时的数字增益不同，所以黑图集包含目标成像设备在不同模拟增益下采集图像所产生的硬件噪声或不同数字增益下采集图像所产生的硬件噪声。
[0251]
由于目标成像设备的模拟增益和数字增益均是可变的，而以不同的模拟增益采集图像或以不同的硬件噪声采集图像，所产生的硬件噪声均不同。因此，图像处理装置在从黑图集中采样一张图像作为第一图像，并依据第一图像得到目标成像设备的硬件噪声，可更好的模拟目标成像设备采集图像时所产生的硬件噪声。
[0252]
在一种可能实现的方式中，图像处理装置从黑图集中任选一张图像作为第一图像。
[0253]
基于本技术实施例提供的技术方案，本技术实施例还提供了一种可能的应用场景。
[0254]
得益于手机的便携性，人们使用手机拍照的频率越来越高，因此手机的拍照性能就显得尤为重要。如何对手机采集的图像进行降噪对手机拍照性能的提升具有非常重要的意义。
[0255]
通过对神经网络进行训练，得到具备降噪功能的降噪神经网络，并通过手机使用降噪神经网络对采集的图像进行处理可实现降噪。而在神经网络的训练过程中，需要使用大量降噪训练数据对神经网络进行训练，且训练得到的降噪神经网络的降噪性能取决于降噪训练数据的数量。基于本技术实施例公开的技术方案，可高效获得降噪训练数据。
[0256]
具体的，使用手机在有光信号的情况下采集一张raw图像，作为第三图像。图像处理装置在获取第三图像的情况下，基于步骤4得到第二图像。
[0257]
使用手机在黑暗环境下以不同的感光度(iso)采集图像，得到黑图集。例如，将手机的iso设为400，并在黑暗环境下采集得到图像a；将手机的iso设为800，并在黑暗环境下采集得到图像b；将手机的iso设为1600，并在黑暗环境下采集得到图像c。依据图像a、图像b和图像c得到黑图集。
[0258]
图像处理装置在获取黑图集的情况下，从黑图集中任取一张图像作为第一图像。基于前文所公开的技术方案，依据第一图像得到手机在有光信号的情况下生成图像所产生的硬件噪声。图像处理装置将硬件噪声添加至第二图像，得到一张噪声图像，进而可将得到的噪声图像和第三图像作为一个训练图像对。
[0259]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0260]
上述详细阐述了本技术实施例的方法，下面提供了本技术实施例的装置。
[0261]
请参阅图4，图4为本技术实施例提供的一种图像处理装置的结构示意图，该图像处理装置1包括获取单元11、处理单元12，其中：
[0262]
获取单元11，用于获取第一图像，所述第一图像是目标成像设备在黑暗环境下采集的图像；
[0263]
处理单元12，用于对所述第一图像中的像素值进行采样，得到所述目标成像设备在有光信号的情况下生成图像所产生的硬件噪声。
[0264]
结合本技术任一实施方式，所述获取单元11，还用于获取第二图像，所述第二图像包括散粒噪声；
[0265]
所述图像处理装置1还包括：添加单元，用于将所述硬件噪声添加至所述第二图像，得到噪声图像。
[0266]
结合本技术任一实施方式，所述获取单元11，用于：
[0267]
获取第三图像，所述第三图像为干净图像；
[0268]
依据所述第三图像，得到所述第二图像。
[0269]
结合本技术任一实施方式，所述获取单元11，还用于在对所述第一图像中的像素值进行采样，得到所述目标成像设备在有光信号的情况下生成图像所产生的硬件噪声之前，获取所述第一图像的第一连续分布，所述第一连续分布通过对所述第一图像中的像素值进行拟合得到；
[0270]
所述处理单元12，用于：
[0271]
使用所述第一连续分布中的第一像素值替换所述第一图像中的第二像素值，得到重建后的第一图像；
[0272]
对所述重建后的第一图像中的像素值进行采样，得到所述硬件噪声。
[0273]
结合本技术任一实施方式，所述获取单元11，用于：
[0274]
从所述第一连续分布中确定包含所述第二像素值的第二连续分布；
[0275]
在所述第二像素值为所述第一图像中的最大像素值的情况下，所述第二连续分布中的最小像素值大于或等于所述第一图像中的第二大像素值；在所述第二像素值为所述第一图像中的最小像素值的情况下，所述第二连续分布中的最大像素值小于或等于所述黑图中的第二小像素值；在所述第二像素值非所述第一图像中的最大像素值，且所述第二像素值非所述第一图像中的最小像素值的情况下，所述第二连续分布中的最大像素值小于或等于第三像素值，所述第二连续分布中的最小值大于或等于第四像素值，所述第四像素值为所述第一图像中第i大的像素值，所述第二像素值为所述第一图像中第(i+1)大的像素值，所述第三像素值为所述第一图像中第(i+2)大的像素值，所述i为正整数；
[0276]
使用所述第二连续分布中的所述第一像素值替换所述第一图像中的所述第二像素值，得到所述重建后的第一图像。
[0277]
结合本技术任一实施方式，所述第一连续分布包括钟型连续分布。
[0278]
结合本技术任一实施方式，所述第一图像包括第一像素区域，所述第一像素区域包括四个或四个以上像素；
[0279]
所述处理单元12，用于：
[0280]
从所述第一图像中采样得到所述第一像素区域的像素值；
[0281]
依据所述第一像素区域的像素值，得到所述硬件噪声。
[0282]
结合本技术任一实施方式，所述第一像素区域的尺寸与所述第二图像的尺寸相同。
[0283]
结合本技术任一实施方式，所述第一像素区域的像素排列方式与所述第二图像的像素排列方式相同。
[0284]
结合本技术任一实施方式，所述处理单元12，用于：
[0285]
获取所述第一像素区域的第三连续分布，所述第三连续分布通过对所述第一像素区域中的像素值进行拟合得到；
[0286]
使用所述第三连续分布中的像素值替换所述第一像素区域中的像素值，得到重建后的第一像素区域；
[0287]
对所述重建后的第一像素区域中的像素值进行采样，得到所述硬件噪声。
[0288]
结合本技术任一实施方式，所述第一图像包括第二像素区域，所述第二像素区域的像素排列方式与所述第二图像的像素排列方式相同；
[0289]
所述处理单元12，用于：
[0290]
从所述第一图像中采样得到所述第二像素区域的像素值；
[0291]
依据所述第二像素区域中的像素值，得到所述硬件噪声。
[0292]
结合本技术任一实施方式，所述硬件噪声包括以下一个或一个以上：模拟增益所产生的噪声、数字增益所产生的增益、量化噪声。
[0293]
本实施例中，获取单元11可以是数据接口，处理单元12可以是处理器。
[0294]
在一些实施例中，本技术实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0295]
图5为本技术实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本技术实施例对此不作限定。应当理解，本技术的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
[0296]
处理器21可以是一个或多个图形处理器(graphics processing unit，gpu)，在处理器21是一个gpu的情况下，该gpu可以是单核gpu，也可以是多核gpu。可选的，处理器21可以是多个gpu构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本技术实施例不作限定。
[0297]
存储器22可用于存储计算机程序指令，以及用于执行本技术方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random access memory，ram)、只读存储器(read
‑
only memory，rom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、或便携式只读存储器(compact disc read
‑
only memory，cd
‑
rom)，该存储器用于相关指令及数据。
[0298]
输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。
[0299]
可理解，本技术实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据，如该存储器22可用于存储通过输入装置23获取的第一图像，又或者该存储器22还可用于存储通过处理器21得到的硬件噪声等等，本技术实施例对于该存储器中具体所存储的数据不作限定。
[0300]
可以理解的是，图5仅仅示出了一种图像处理装置的简化设计。在实际应用中，图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处
理器、存储器等，而所有可以实现本技术实施例的图像处理装置都在本技术的保护范围之内。
[0301]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0302]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本技术各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
[0303]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0304]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以第二分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0305]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0306]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatile disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0307]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器
(read
‑
only memory，rom)或随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的介质。