本申请涉及图像处理技术领域,特别涉及一种图像处理方法、装置和存储介质。
背景技术:
目前,大部分成像设备使用彩色滤光片阵列(colorfilterarray,cfa),目前的cfa包括wrgbcfa,其中,通过wrgbcfa进行成像具有灵敏度高的优点,但是由于空间分辨率较低,因此难以将wrgbcfa图像处理成rgb图像。
技术实现要素:
本申请技术方案提供了一种图像处理方法、装置和存储介质,能够将wrgbcfa图像转换为全分辨率的rgb图像,可以融合w通道的亮度信息和rgb通道的色度信息,提高了暗光下的图像质量。
第一方面,本申请技术方案提供了一种图像处理方法,包括:
获取wrgb色彩滤波阵列cfa图像;
将所述wrgbcfa图像转换为拜耳bayer图像;
将所述bayer图像转换为全分辨率的rgb图像;
在所述wrgbcfa图像中的r通道位置、g通道位置和b通道位置中插值w通道数据,生成全分辨率的w通道图像;
将所述全分辨率的rgb图像和所述全分辨率的w通道图像进行结合,得到结合后的rgb图像。
可选地,所述将所述全分辨率的rgb图像和所述全分辨率的w通道图像进行结合,得到结合后的rgb图像的过程包括:
将所述全分辨率的rgb图像作为待融合图像,使所述待融合图像和所述全分辨率的w通道图像进行融合,得到融合后的图像;
对所述融合后的图像进行颜色还原。
可选地,所述将所述全分辨率的rgb图像和所述全分辨率的w通道图像进行结合,得到结合后的rgb图像的过程包括:
对所述全分辨率的rgb图像进行颜色还原,得到颜色还原后的图像;
将所述颜色还原后的图像作为待融合图像,使所述待融合图像和所述全分辨率的w通道图像进行融合。
可选地,所述将所述wrgbcfa图像转换为拜耳bayer图像的过程包括:
获取所述wrgbcfa图像在w通道位置的w通道采样图,以及获取wrgbcfa图像在g通道位置的g通道采样图;
对所述w通道采样图在g通道位置插值w通道得到w插值图;
以所述w插值图为导向图,对所述g通道采样图进行导向滤波处理,得到g通道初始估计值;
根据所述g通道采样图生成残差;
将所述残差在w通道位置进行插值,得到插值后的残差,将所述插值后的残差与所述g通道初始估计值相加,得到g通道插值图;
根据所述g通道插值图和所述wrgbcfa图像中的r通道及b通道,得到还原后的所述bayer图像。
可选地,所述残差为
可选地,所述使所述待融合图像和所述全分辨率的w通道图像进行融合的过程包括:
将所述待融合图像从rgb色彩空间转换为ycbcr色彩空间,得到转换后的待融合图像;
以所述转换后的待融合图像中的y分量为导向图,对所述全分辨率的w通道图像进行导向滤波处理,得到w通道初始估计值;
将所述转换后的待融合图像中的y分量替换为所述w通道初始估计值,得到替换后的待融合图像;
将所述替换后的待融合图像从ycbcr色彩空间转换为rgb色彩空间。
可选地,所述颜色还原包括以下各项之一或任意组合:
自动白平衡、色彩校正矩阵处理、伽玛校正和色调曲线调节。
第二方面,本申请技术方案提供了一种图像处理装置,包括:
图像获取模块,用于获取wrgb色彩滤波阵列cfa图像;
转换模块,用于将所述wrgbcfa图像转换为拜耳bayer图像以及将所述bayer图像转换为全分辨率的rgb图像;
处理模块,用于在所述wrgbcfa图像中的r通道位置、g通道位置和b通道位置中插值w通道数据,生成全分辨率的w通道图像;
结合模块,用于将所述全分辨率的rgb图像和所述全分辨率的w通道图像进行结合,得到结合后的rgb图像。
第三方面,本申请技术方案提供了一种图像处理装置,包括:
处理器和存储器,所述存储器用于存储至少一条指令,所述指令由所述处理器加载并执行时以实现上述的图像处理方法。
第四方面,本申请技术方案提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述的图像处理方法。
本申请实施例中的图像处理方法、装置和存储介质,基于wrgbcfa图像生成bayer图像,将bayer图像转换为全分辨率的rgb图像,以及基于wrgbcfa图像生成全分辨率的w通道图像,最后将rgb图像和w通道图像结合,得到结合后的rgb图像,能够将wrgbcfa图像转换为全分辨率的rgb图像,融合了w通道的亮度信息和rgb通道的色度信息,提高了暗光下的图像质量。
附图说明
图1为本申请实施例中一种图像处理方法的流程示意图;
图2为图1对应的流程架构示意图;
图3为本申请实施例中wrgbcfa图像像素排布示意图;
图4为本申请实施例中另一种图像处理方法的流程示意图;
图5为图4对应的流程架构示意图;
图6为本申请实施例中另一种图像处理方法的流程示意图;
图7为图6对应的流程架构示意图;
图8为本申请实施例中一种图像处理方法的一部分流程示意图;
图9为图8对应的流程架构示意图;
图10为本申请实施例中一种在r通道位置处插值w通道的流程架构示意图;
图11为本申请实施例中一种在b通道位置处插值w通道的流程架构简化示意图;
图12为本申请实施例中一种在g通道位置处插值w通道的流程架构简化示意图;
图13为本申请实施例中一种图像处理方法的另一部分流程示意图;
图14为本申请实施例中一种wrgbcfa图像的示例;
图15为图14对应的wrgbcfa图像在经过图4所示的方法转换后得到的最终图像;
图16为图14对应的wrgbcfa图像在经过图6所示的方法转换后得到的最终图像;
图17为本申请实施例中一种图像处理装置的结构框图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
如图1、图2和图3所示,图1为本申请实施例中一种图像处理方法的流程示意图,图2为图1对应的流程架构示意图,图3为本申请实施例中wrgbcfa图像像素排布示意图,本申请实施例提供了一种图像处理方法,包括:
步骤101、获取wrgb色彩滤波阵列cfa图像;
其中,步骤101中的wrgbcfa图像为图像传感器输出的原始图像,在wrgbcfa图像中,w表示白色通道,r表示红色通道,g表示绿色通道,b表示蓝色通道。
步骤102、将wrgbcfa图像转换为拜耳bayer图像,将bayer图像转换为全分辨率的rgb图像;
其中,bayer图像中一个像素点只有一个颜色,红色或绿色或蓝色,因此可以通过插值的方式使每个像素点具有红、绿、蓝三种颜色,即将bayer图像还原为了全分辨率的rgb图像。
步骤103、在wrgbcfa图像中的r通道位置、g通道位置和b通道位置中插值w通道数据,生成全分辨率的w通道图像;
步骤104、将全分辨率的rgb图像和全分辨率的w通道图像进行结合,得到结合后的rgb图像。
其中,步骤102中生成的全分辨率的rgb图像用于提供wrgbcfa图像中rgb的色度信息,全分辨率的w通道图像用于提供wrgbcfa图像中w通道的亮度信息。
本申请实施例中的图像处理方法,基于wrgbcfa图像生成bayer图像,将bayer图像转换为全分辨率的rgb图像,以及基于wrgbcfa图像生成全分辨率的w通道图像,最后将rgb图像和w通道图像结合,得到结合后的rgb图像,能够将wrgbcfa图像转换为全分辨率的rgb图像,融合了w通道的亮度信息和rgb通道的色度信息,提高了暗光下的图像质量。
可选地,如图4和图5所示,图4为本申请实施例中另一种图像处理方法的流程示意图,图5为图4对应的流程架构示意图,上述步骤104、将全分辨率的rgb图像和全分辨率的w通道图像进行结合,得到结合后的rgb图像的过程包括:
步骤1041、将全分辨率的rgb图像作为待融合图像,使待融合图像和全分辨率的w通道图像进行融合,得到融合后的图像;
步骤1042、对融合后的图像进行颜色还原,得到亮度增强后的图像,该方法得到的图像具有更多的细节,更有利于颜色的还原。
可选地,如图6和图7所示,图6为本申请实施例中另一种图像处理方法的流程示意图,图7为图6对应的流程架构示意图,上述步骤104、将所述全分辨率的rgb图像和所述全分辨率的w通道图像进行结合,得到结合后的rgb图像的过程包括:
步骤1043、对全分辨率的rgb图像进行颜色还原,得到颜色还原后的图像;
步骤1044、将颜色还原后的图像作为待融合图像,使待融合图像和全分辨率的w通道图像进行融合,得到融合后的图像,该方案的实现方式更加灵活,兼容性更高,适用于现有的图像信号处理器(imagesignalprocessor,isp)。
可选地,如图8和图9所示,图8为本申请实施例中一种图像处理方法的一部分流程示意图,图9为图8对应的流程架构示意图,上述步骤102中将wrgbcfa图像转换为拜耳bayer图像的过程包括:
步骤1021、获取wrgbcfa图像在w通道位置的w通道采样图,以及获取wrgbcfa图像在g通道位置的g通道采样图;
步骤1022、对w通道采样图在g通道位置插值w通道得到w插值图;
步骤1023、以w插值图为导向图,对g通道采样图进行导向滤波guidedfilter处理,得到g通道初始估计值;
步骤1024、根据g通道采样图生成残差;
步骤1025、将残差在w通道位置进行插值,得到插值后的残差,将插值后的残差与g通道初始估计值相加,得到g通道插值图;
步骤1026、根据g通道插值图和wrgbcfa图像中的r通道及b通道,得到转换后的bayer图像。
可选地,残差为
另外,在上述步骤103中,通过插值的方式生成全分辨率的w通道图像的方式可以与上述将wrgbcfa图像转换为拜耳bayer图像的过程类似,例如,如图10所示,图10为本申请实施例中一种在r通道位置处插值w通道的流程架构示意图,首先获取wrgbcfa图像在w通道位置的w通道采样图,以及获取wrgbcfa图像在r通道位置的r通道采样图;对r通道采样图在w通道位置插值r通道得到r插值图;以r插值图为导向图,对w通道采样图进行导向滤波处理,得到w通道初始估计值;根据w通道采样图生成残差,例如,残差为
可选地,如图13所示,图13为本申请实施例中一种图像处理方法的另一部分流程示意图,在上述步骤1041或步骤1044中,使待融合图像和全分辨率的w通道图像进行融合的过程包括:
步骤201、将待融合图像从rgb色彩空间转换为ycbcr色彩空间,得到转换后的待融合图像;
步骤202、以转换后的待融合图像中的y分量为导向图,对全分辨率的w通道图像进行导向滤波处理,得到w通道初始估计值;
其中,在步骤202中对全分辨率的w通道图像进行导向滤波处理的过程可以用以下公式表示:
其中,i,j表示像素坐标,
步骤203、将转换后的待融合图像中的y分量替换为w通道初始估计值,得到替换后的待融合图像;
步骤204、将替换后的待融合图像从ycbcr色彩空间转换为rgb色彩空间。
可选地,上述步骤1042或1043中的颜色还原包括以下各项之一或任意组合:自动白平衡(automaticwhitebalance,awb)、色彩校正矩阵(colorcorrectionmatrix,ccm)处理、伽玛gamma校正和色调曲线tonecurve调节。
另外,如图14、图15和图16所示,图14为本申请实施例中一种wrgbcfa图像的示例,图15为图14对应的wrgbcfa图像在经过图4所示的方法转换后得到的最终图像,图16为图14对应的wrgbcfa图像在经过图6所示的方法转换后得到的最终图像,根据图14、图15和图16的对比可以看出,在图4所示的方法中先进行融合后进行颜色还原所得到的图像质量更高。
如图17所示,图17为本申请实施例中一种图像处理装置的结构框图,本申请实施例还提供一种图像处理装置,包括:图像获取模块1,用于获取wrgb色彩滤波阵列cfa图像;转换模块2,用于将wrgbcfa图像转换为拜耳bayer图像以及将bayer图像转换为全分辨率的rgb图像;处理模块3,用于在wrgbcfa图像中的r通道位置、g通道位置和b通道位置中插值w通道数据,生成全分辨率的w通道图像;结合模块4,用于将全分辨率的rgb图像和全分辨率的w通道图像进行结合,得到结合后的rgb图像。该图像处理装置可以应用上述的图像处理方法,具体过程和原理不再赘述。
可选地,结合模块4具体用于,将全分辨率的rgb图像作为待融合图像,使待融合图像和全分辨率的w通道图像进行融合,得到融合后的图像;对融合后的图像进行颜色还原。
可选地,结合模块4具体用于,对全分辨率的rgb图像进行颜色还原,得到颜色还原后的图像;将颜色还原后的图像作为待融合图像,使待融合图像和全分辨率的w通道图像进行融合。
可选地,转换模块2将wrgbcfa图像转换为拜耳bayer图像的过程中:获取wrgbcfa图像在w通道位置的w通道采样图,以及获取wrgbcfa图像在g通道位置的g通道采样图;对w通道采样图在g通道位置插值w通道得到w插值图;以w插值图为导向图,对g通道采样图进行导向滤波处理,得到g通道初始估计值;根据g通道采样图生成残差;将残差在w通道位置进行插值,得到插值后的残差,将插值后的残差与g通道初始估计值相加,得到g通道插值图;根据g通道插值图和wrgbcfa图像中的r通道及b通道,得到还原后的bayer图像。
可选地,转换模块2根据g通道采样图生成残差的过程中,残差为
可选地,结合模块4使待融合图像和全分辨率的w通道图像进行融合的过程包括:将待融合图像从rgb色彩空间转换为ycbcr色彩空间,得到转换后的待融合图像;以转换后的待融合图像中的y分量为导向图,对全分辨率的w通道图像进行导向滤波处理,得到w通道初始估计值;将转换后的待融合图像中的y分量替换为w通道初始估计值,得到替换后的待融合图像;将替换后的待融合图像从ycbcr色彩空间转换为rgb色彩空间。
可选地,颜色还原包括以下各项之一或任意组合:自动白平衡、色彩校正矩阵处理、伽玛校正和色调曲线调节。
应理解以上图像处理装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块以软件通过处理元件调用的形式实现,部分模块通过硬件的形式实现。例如,图像获取模块1可以为单独设立的处理元件,也可以集成在图像处理装置,例如图像处理装置的某一个芯片中实现,此外,也可以以程序的形式存储于图像处理装置的存储器中,由图像处理装置的某一个处理元件调用并执行以上各个模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(applicationspecificintegratedcircuit,asic),或,一个或多个微处理器(digitalsingnalprocessor,dsp),或,一个或者多个现场可编程门阵列(fieldprogrammablegatearray,fpga)等。再如,当以上某个模块通过处理元件调度程序的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessingunit,cpu)或其它可以调用程序的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,soc)的形式实现。
另一方面,本申请实施例还提供一种图像处理装置,包括:处理器和存储器,存储器用于存储至少一条指令,指令由处理器加载并执行时以实现上述的图像处理方法。该图像处理装置可以应用上述的图像处理方法,具体过程和原理不再赘述。
处理器的数量可以为一个或多个,处理器和存储器可以通过总线或者其他方式连接。存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的图像检测方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行各种功能应用以及数据处理,即实现上述任意方法实施例中的方法。存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;以及必要数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述实施例的图像处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk)等。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。