图像处理方法、图像处理装置和电子装置与流程

1.本技术涉及电子设备技术领域，尤其涉及一种图像处理方法、图像处理装置和电子装置。


背景技术：

2.相关技术中，手机等电子装置可以进行显微拍摄和微距拍摄，由于传统透镜成像在高放大率与成像视场之间是一种矛盾关系，视场大的时候，透镜的数值孔径小，透镜的分辨率低，视场小时，透镜的数值孔径增大，透镜的分辨率提升。因此，如何在大视场下提升获取高分辨的图像是需要解决的问题。


技术实现要素：

3.本技术提供一种图像处理方法、图像处理装置和电子装置。
4.本技术实施方式的图像处理方法包括：
5.获取原始raw图像；
6.处理所述原始raw图像以得到多组单通道图像；
7.将所述多组单通道图像输入卷积神经网络；
8.通过卷积神经网络转换得到清晰raw图像，其中，所述卷积神经网络为根据raw图像训练集训练得到的神经网络模型。
9.本技术实施方式的图像处理装置包括获取模块、处理模块、输入模块和转换模块，所述获取模块用于获取原始raw图像；所述处理模块用于处理所述原始raw图像以得到多组单通道图像；所述输入模块用于将所述多组单通道图像输入卷积神经网络；所述转换模块用于通过卷积神经网络转换得到清晰raw图像，其中，所述卷积神经网络为根据raw图像训练集训练得到的神经网络模型
10.本技术实施方式的电子装置包括存储器和处理器，所述处理器用于实现上述任一项实施方式所述的图像处理方法。
11.本技术实施方式的电子装置、图像处理模块和图像处理方法中，电子装置采用图像处理模块实现图像处理方法通过卷积神经网络对原始的raw图像处理得到的多组单通道图像进行转换处理得到清晰的raw图像，在图像成像的视场角不变的情况下可以提升图像成像的分辨率。
12.本技术实施方式的计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述任一项实施方式所述的图像处理方法。
13.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
14.本技术的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
15.图1是本技术实施方式的图像处理方法的流程示意图；
16.图2是本技术实施方式的图像处理装置的模块示意图；
17.图3是本技术实施方式的电子装置的结构示意图；
18.图4是本技术实施方式的电子装置采用的镜头透镜数值孔径为0.4拍摄的同一区域场景的不同放大倍率下的图像；
19.图5是本技术实施方式的电子装置采用的镜头的透镜的数值孔径为0.08拍摄的同一区域场景的不同放大倍率下的图像；
20.图6是本技术实施方式的图像处理方法中原始raw图像经过卷积神经网络的处理得到清晰raw图像的流程示意图；
21.图7是图5采用图像处理方法处理前后所得图像的对比图；
22.图8是本技术实施方式的图像处理装置的模块示意图；
23.图9是本技术实施方式的图像处理装置的模块示意图；
24.图10是本技术实施方式的图像处理装置的模块示意图；
25.图11是本技术实施方式的图像处理方法的流程示意图；
26.图12是本技术实施方式的图像处理装置的模块示意图。
27.主要元件符号说明：
28.图像处理装置1000；
29.获取模块110、处理模块120、处理子模块121、第一预处理模块122、第二预处理模块123、通道处理模块1211、输入模块130、转换模块140、修复子模块141；
30.电子装置2000、存储器210、处理器220。
具体实施方式
31.下面详细描述本技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本技术，而不能理解为对本技术的限制。
32.下文的公开提供了许多不同的实施方式或例子用来实现本技术的不同结构。为了简化本技术的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本技术。此外，本技术可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本技术提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
33.相关技术中，手机等电子装置的数字成像成像系统由透镜、滤波片和传感器构成，其中透镜部分通常是多片镜片组合在一起实现准确的光线汇聚，从而获取清晰图像，然传感器通过对清晰图像采样将模拟信号转换为数字信号进行处理获取最终的数字影像。
34.数字影像的分辨率由两个方面决定，分别是镜头的分辨率和图像传感器的分辨率，如果需要提高像素采样率，那么需要的像素尺寸会进一步减小。而当前主流的像素尺寸
在1.12um左右，因此像素尺寸极大程度影响了整幅图像的极限分辨率。对于传统透镜成像，高放大率与成像视场之间是一种矛盾关系，视场大的时候，透镜的数值孔径小，透镜的分辨率低，当减少视场时，透镜的数值孔径增大，透镜的分辨率提升。因此无法在大视场下获取高分辨的图像。
35.请参阅图1，本技术实施方式的图像处理方法包括：
36.步骤s10:获取原始raw图像；
37.步骤s20:处理原始raw图像以得到多组单通道图像；
38.步骤s30:将多组单通道图像输入卷积神经网络；
39.步骤s40:通过卷积神经网络转换得到清晰raw图像，其中，卷积神经网络为根据raw图像训练集训练得到的神经网络模型。
40.本技术实施方式的图像处理方法通过卷积神经网络对原始的raw图像处理得到的多组单通道图像进行转换处理得到清晰的raw图像，在图像成像的视场角不变的情况下可以提升图像成像的分辨率。
41.请参阅图2，本技术实施方式的图像处理装置1000包括获取模块110、处理模块120、输入模块130和转换模块140，获取模块110用于获取原始raw图像；处理模块120用于处理原始raw图像以得到多组单通道图像；输入模块130用于将多组单通道图像输入卷积神经网络；转换模块140用于通过卷积神经网络转换得到清晰raw图像，其中，卷积神经网络为根据raw图像训练集训练得到的神经网络模型。
42.请参阅图3，本技术实施方式的电子装置2000包括存储器210和处理器220，处理器220用于实现步骤s10至步骤s40的图像处理方法。
43.具体地，电子装置2000可以手机、平板电脑、笔记本电脑、智能手表、头戴显示设备等具有拍摄功能的装置。
44.电子装置2000通过镜头的物距切换可以实现显微拍摄和微距拍摄。在物距切换过程中，通过向上移动镜片组实现物距的切换。例如，镜片组在活动范围内最低端时对焦距离为30mm，可以实现微距拍照功能；当镜片组在活动范围内最顶端时对焦距离为5mm，可以实现显微拍照功能。
45.电子装置2000在实现微距超分辨率成像时，首先会将镜头的镜片调整到最顶端对焦距离5mm，实现显微拍照，视场小，但是对物体的分辨率高。然后将镜片调整到最底端对焦距离30mm，实现显微拍照的结果，视场大，但是对物体的分辨率降低。
46.如图4所示的是电子装置2000的镜头的透镜的数值孔径为0.4时，同一区域场景的不同放大倍率下的图像体现，上方是显微拍摄的比例尺为100微米的图像，下方是微距拍摄的比例尺为10微米的图像。如图5所示的是电子装置2000的镜头的透镜的数值孔径为0.08时，同一区域场景的不同放大倍率下的图像体现，上方b1是显微拍摄的比例尺为1毫米的图像，下方b2为微距拍摄的比例尺为10微米的图像。
47.图像处理装置1000实现图像处理方法首先可通过获取模块110获取得到电子装置2000拍摄的原始raw图像(步骤s10)，需要理解的是，原始raw图像可以是指由目标真实镜头采集得到的、尚未经过任何处理的图像。raw图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始数据。raw文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据(metadata，如iso的设置、快门速度、光圈值、白平衡等)的文
件。raw是未经处理、也未经压缩的格式，可以将raw域的图像数据简单理解为“原始图像编码数据”或“数字底片”。
48.然后通过处理模块120处理原始raw图像以得到多组单通道图像(步骤s20)。处理方式可以是根据rgb三通道的点扩散函数对原始raw图像进行处理。可以理解，点扩散函数可用来描述理想点光源在经过光学系统后得到的图像。多组单通道图像可以是两组或两组以上的单通道图像。
49.在然后可将多组单通道图像输入卷积神经网络(步骤s30)，再然后多组单通道图像可通过卷积神经网络转换得到清晰raw图像，卷积神经网络中包含原始raw图像和清晰raw图像的映射关系(步骤s40)。
50.示例性地，卷积神经网络可以使用res-net或者u-net结构网络，可以是用于对单通道图像进行融合处理生成拜耳阵列排序的单通道raw图像，以及可用于对单通道图像进行去马赛克处理的网络模型。融合单通道图进行去马赛克处理均可通过同一卷积神经网络执行，对卷积神经网络输入多组单通道图像后由卷积神经网络直接输出超分辨率图像。其中，卷积神经网络可以通过预先设置的算法对原始的raw图像与清晰raw图像进行训练集的训练，其中，训练集包括了原始的raw图像与清晰raw的数据集，然后创建出对应的映射关系，得到神经网络模型。
51.可以理解，卷积神经网络将多组单通道图像通过卷积神经网络转换得到清晰raw图像的过程是通过大量数据集的训练使得输出和groundtruth(训练集对监督学习技术的分类的准确性)之间得差异逐渐减少，直到达到最优解。由于raw图像本身不仅包含了场景的空间信息，同包含了场景的色彩信息，通过神经网络可以很好的修复由镜头场曲带来的模糊和色彩。
52.将神经网络用于微距图像进行恢复后既可以拓展成像范围，同时可以提高成像的分辨率。如图6所示为图像处理方法中原始raw图像经过卷积神经网络的处理得到清晰raw图像的流程图，图7是采用图像处理方法处理图5所得图像的对比图，左侧为采用图像处理方法前的图像，右侧为采用图像处理方法后的图像。
53.在某些实施方式中，处理原始raw图像以得到多组单通道图像(步骤s20)，包括：
54.步骤s21：基于点扩散函数对原始raw图像进行通道处理以得到多组单通道图像。
55.请参阅图8，在某些实施方式中，处理模块120包括：
56.处理子模块121，用于基于点扩散函数对原始raw图像进行通道处理以得到多组单通道图像。处理器220用于实现步骤s11的图像处理方法。
57.如此，处理子模块121可通过点扩散函数对原始raw图像进行通道处理可以得到多组单通道图像。
58.具体地，处理原始raw图像以得到多组单通道图像采用的是基于点扩散函数对原始raw图像进行通道处理得到的。可以理解，点扩散函数是用来描述理想点光源在经过光学系统后得到的图像的函数。通过点扩散函数可将原始raw图像进行通道处理得到多组单通道图像。
59.在某些实施方式中，基于点扩散函数对原始raw图像进行通道处理以得到多组单通道图像(步骤s11)，包括：
60.步骤s111:基于点扩散函数对原始raw图像进行rgb通道处理，并得到rggb四组单
通道图像，单通道图像的分辨率低于原始raw图像的分辨率。
61.请参阅图9，在某些实施方式中，处理子模块121，包括：
62.通道处理模块1211，用于基于点扩散函数对原始raw图像进行rgb通道处理，并得到rggb四组单通道图像，单通道图像的分辨率低于原始raw图像的分辨率。处理器220用于实现步骤s111的图像处理方法。
63.如此，通道处理模块1211采用rgb通道处理的方式能够有效的将多组单通道图像处理为多组低分辨率的rggb图像。
64.具体地，点扩散函数对原始raw图像进行rgb通道处理得到rggb的单通道图像。示例性地，处理得到rggb的单通道图像可以是指对原始raw图像经过仿真镜头数据转换得到的分辨率低于原始raw图像的分辨率，其中，仿真镜头数据可以是构建的点扩散函数进行卷积处理得到的rggb单通道图像。
65.在某些实施方式中，通过卷积神经网络转换得到清晰raw图像(步骤s40)，包括：
66.步骤s41:通过卷积神经网络修复由镜头场曲带来的模糊和色彩，以得到呈bayer阵列排序的清晰raw图像。
67.请参阅图10，在某些实施方式中，转换模块140包括：
68.修复子模块141，用于通过卷积神经网络修复由镜头场曲带来的模糊和色彩，以得到呈bayer阵列排序的清晰raw图像。处理器220用于通过卷积神经网络修复由镜头场曲带来的模糊和色彩，以得到呈bayer阵列排序的清晰raw图像。
69.如此，修复子模块141采用卷积神经网络的方式能够有效修复镜头场曲带来的模糊和色彩可以并呈现清晰raw图像。
70.具体地，原始raw图像本身不仅包含了场景的空间信息，同包含了场景的色彩信息，通过神经网络可以很好的修复由镜头场曲带来的模糊和色彩，最终卷积神经网络输出的是可以是一张清晰的bayer阵列排序的单通道的清晰raw图。
71.请参阅图11，在某些实施方式中，处理原始raw图像以得到多组单通道图像(s20)，包括：
72.步骤s22：对原始raw图像进行预处理，以得到预处理raw图像，预处理包括感光校正、黑电平矫正、坏点补偿、镜头阴影校正、白平衡校正中的至少一种；
73.步骤s23：处理预处理raw图像以得到多组单通道图像。
74.请参阅图12，在某些实施方式中，处理模块120包括：
75.第一预处理模块122，用于对原始raw图像进行预处理，以得到预处理raw图像，预处理包括感光校正、黑电平矫正、坏点补偿、镜头阴影校正、白平衡校正中的至少一种；第二预处理模块123，用于处理预处理raw图像以得到多组单通道图像。
76.如此，对原始raw图像进行预处理得到预处理raw图像可以改善原始raw图像的清晰与色彩，从而得到的多组单通道图像成像质量。
77.具体地，第一预处理模块122可通过感光校正、黑电平矫正、坏点补偿、镜头阴影校正、白平衡校正中的一种、两种或者两种以上的组合对原始raw图像进行预处理，然后第二预处理模块123可将经过预处理的raw图像进行处理得到多组单通道图像。
78.第一预处理模块122可以用于实现步骤s22中的方法，即预处理可以是对原始raw图像进行获取预处理参数信息及根据预处理参数信息对原始raw图进行预处理以获取预处
理raw图。
79.其中，参数信息可包括原始raw图对应的曝光时间、感光度、曝光补偿、快门速度、图像高宽、黑电平参数、白电平参数、色彩转换矩阵、白平衡参数、镜头阴影校正参数等参数中的至少一种，以根据参数信息进行对每帧原始raw图进行预处理。例如，可根据感光度对原始raw图进行感光校正；再例如，可根据黑电平参数对原始raw图进行黑电平矫正；再例如，可根据白平衡参数对原始raw图进行白平衡校正等，在此不一一列举。
80.预处理raw图仍然是quadra bayer格式的raw图。原始raw图经过预处理后得到预处理raw图，即第一预处理模块122输出的预处理raw图的数量与输入的原始raw图的数量一致。相较于原始raw图，预处理raw图具有更高的画质和更准确的色彩表现，从而根据多帧预处理raw获取的单帧融合raw图能够具有更高的质量，利于获取高质量的超分辨率图像。
81.本技术实施方式的计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行上述任一项实施方式的图像处理方法。
82.本技术实施方式的计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行上述任一项实施方式的图像处理方法。
83.计算机程序可以被存储在存储器中，存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如上述方法实施例中的方法所对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
84.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
85.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
86.处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通
用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
87.应当理解，本技术的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
88.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
89.此外，在本技术的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
90.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
91.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施方式进行变化、修改、替换和变型。
92.在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
93.尽管已经示出和描述了本技术的实施方式，本领域的普通技术人员可以理解：在不脱离本技术的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本技术的范围由权利要求及其等同物限定。