低照度增强处理方法、装置和计算机可读存储介质与流程

文档序号:17551292发布日期:2019-04-30 18:17阅读:188来源:国知局
本发明涉及计算机视觉应用技术邻域,特别涉及一种低照度增强处理方法、装置和计算机可读存储介质。
背景技术
::视频技术、计算机视觉技术等在各个邻域有着广泛的应用,例如,交通安全监控、自动辅助驾驶、远程视频聊天与视频娱乐。这些应用中进行着各种图像数据的获得,所获得的图像数据都将最终实现相应图像的输出显示。图像所包含的信息量最为完整和丰富,人们往往是依赖于图像而获得更为完整和丰富的信息。通常情况下图像的质量会受到环境光的影响,白天光照充足的情况下,所输出显示的图像质量尚可满足应用的需求,而在夜间或者其它环境光很弱的情况下,图像质量严重恶化。夜间所拍摄的图像质量严重退化,图像会呈现大量黑暗区域,处于黑暗区域的模糊不清,细节丢失甚至于无法看到;而在灯光所产生的高亮区域,则出现亮度偏过曝的问题,进而整个图像中亮度严重不均匀,人们难以用肉眼查看图像中的信息。因此,有必要进行图像的低照度增强处理,以为图像的应用提供有效信息。目前业界的低照度增强处理技术,其图像增强效果与实时性存在着矛盾,并且存在着较高的硬件要求。低照度增强处理所获得的图像增强效果获得提升则意味着实时性能被牺牲,此低照度增强效果的实现也是较高硬件配置的支持。由此可知,低照度增强处理技术亟待消除图像增强效果与实时性无法同时获得提升的缺陷,也亟待消除高硬件配置的限制。技术实现要素:为了解决相关技术中存在的图像增强效果与实时性无法同时获得提升,且存在高硬件配置的限制的技术问题,本发明提供了一种低照度增强处理方法、装置和计算机可读存储介质。一种低照度增强处理方法,所述方法包括:获取进行低照度增强处理的源图像数据;实时从所述源图像数据获取每一像素对应的局部区域描述值;以每一像素以及所对应局部区域描述值为内置颜色值查找表的入口地址,即时查找所述像素显示时使用的颜色值;通过使用所述颜色值实时更新所述源图像数据中的对应像素,实时变化所述源图像数据获得增强图像数据。一种低照度增强处理装置,所述装置包括:源数据获取模块,用于获取进行低照度增强处理的源图像数据;局部区域提取模块,用于实时从所述源图像数据获取每一像素对应的局部区域描述值;查找模块,用于以每一像素以及所对应局部区域描述值为内置颜色值查找表的入口地址,即时查找所述像素显示时使用的颜色值;更新模块,用于通过使用所述颜色值实时更新所述源图像数据中的对应像素,实时变化所述源图像数据获得增强图像数据。一种低照度增强处理装置,包括:处理器;以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现根据前述所述的低照度增强处理方法。一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据前述所述的低照度增强处理方法。本发明的实施例提供的技术方案可以包括以下有益效果:对获取的源图像数据,在执行其低照度增强中首先获取每一像素对应的局部区域描述值,以每一像素以及所对应局部区域描述值为内置颜色值查找表的表项入口地址,查找此像素显示时使用的颜色值,以此类推,获得所有像素显示时分别使用的颜色值,进而更新至源图像数据中的对应像素即可获得源图像数据的增强图像数据,在内置颜色值查找表的作用下获得图像增强效果,并且由于是以每一像素以及此像素对应的局部区域描述值而获得此像素映射的颜色值,保证可控性的同时,源图像数据获得更为细致的处理,进而图像增强效果获得提升,但是由于算法简单,其实时性也能够获得提升,并且不需要高硬件配置的支持,能够在普通硬件设备中应用。应当进一步说明的是,源图像数据中低照度增强处理的实现,由于仅需要针对于像素进行局部区域描述值以及相应的查表过程,即可实现每一像素颜色值的实时更新,获得实时变化的增强图像数据,使得源图像数据和增强图像数据之间在处理实现简单以及高性能支撑下实时性能得到增强,能够满足低照度增强处理的实时性要求,不再由于需要进行降噪以及运动估计等处理而无法实时运算,仅仅是通过像素本身的情况即可通过查找快速获得自身的更新,实时性能得到保障和提升,并且实时性能保障也并由于实现简单和代码量低而不会产生维护实时性能的成本。应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。附图说明此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。图1是根据一示例性实施例示出的一种装置的框图;图2是根据一示例性实施例示出的一种低照度增强处理方法的流程图;图3是根据图2对应实施例示出的对步骤230的细节进行描述的流程图;图4是根据另一示例性实施例示出的一种低照度增强方法的流程图;图5是根据另一示例性实施例示出的一种低照度增强处理方法的流程图;图6是根据一示例性实施例示出的一低端智能手机为视频聊天所接收视频图像序列执行低照度增强处理的流程图;图7是根据一个示例性实施例示出的为低端智能手机输出所内置颜色值查找表的流程示意图;图8是根据一示例性实施例示出的一个单调递增亮度曲线0~256的查找表;图9是根据一示例性实施例示出的一个单调递增亮度曲线0~256的查找表;图10是根据一示例性实施例示出的一个颜色值查找表;图11是根据一示例性实施例示出的存在极暗极亮区域的源图像示意图;图12是根据图11对应实施例示出的增强图像示意图;图13是根据一示例性实施例示出的存在光源的源图像示意图;图14是根据图13对应实施例示出的增强图像示意图;图15是根据一示例性实施例示出的蓝天白云高亮画面的源图像示意图;图16是根据图15对应实施例示出的增强图像示意图;图17是根据一示例性实施例示出的一种低照度增强处理装置的框图;图18是根据图17对应实施例示出的局部区域提取模块框图;图19是根据另一例性实施例示出的一种低照度增强处理装置的框图;图20是根据另一例性实施例示出的一种低照度增强处理装置的框图。具体实施方式这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。本发明所涉及的实施环境可以是智能终端、摄像机、交通安全监控系统、自动辅助驾驶系统中的至少一种,任一进行图像数据采集和/或图像数据获得的设备都可以作为本发明所涉及的实施环境。在此实施环境中,所采集的图像数据,或者由数据源获得的图像数据,都通过本发明所实施的低照度增强处理方法实时获得增强图像数据,进而输出显示增强图像。图1是根据一示例性实施例示出的一种装置的框图。例如,装置100可以是上述实施环境中的智能终端。例如,智能终端可以是智能手机、平板电脑等终端设备。参照图1,装置100可以包括以下一个或多个组件:处理组件102,存储器104,电源组件106,多媒体组件108,音频组件110,传感器组件114以及通信组件116。处理组件102通常控制装置100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件102可以包括一个或多个处理器118来执行指令,以完成下述的方法的全部或部分步骤。此外,处理组件102可以包括一个或多个模块,便于处理组件102和其他组件之间的交互。例如,处理组件102可以包括多媒体模块,以方便多媒体组件108和处理组件102之间的交互。存储器104被配置为存储各种类型的数据以支持在装置100的操作。这些数据的示例包括用于在装置100上操作的任何应用程序或方法的指令。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(staticrandomaccessmemory,简称sram),电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory,简称eeprom),可擦除可编程只读存储器(erasableprogrammablereadonlymemory,简称eprom),可编程只读存储器(programmablered-onlymemory,简称prom),只读存储器(read-onlymemory,简称rom),磁存储器,快闪存储器,磁盘或光盘。存储器104中还存储有一个或多个模块,该一个或多个模块被配置成由该一个或多个处理器118执行,以完成下述图2、图3、图4和图5任一所示方法中的全部或者部分步骤。电源组件106为装置100的各种组件提供电力。电源组件106可以包括电源管理系统,一个或多个电源,及其他与为装置100生成、管理和分配电力相关联的组件。多媒体组件108包括在所述装置100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(liquidcrystaldisplay,简称lcd)和触摸面板。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(organiclightemittingdisplay,简称oled)。音频组件110被配置为输出和/或输入音频信号。例如,音频组件110包括一个麦克风(microphone,简称mic),当装置100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器104或经由通信组件116发送。在一些实施例中,音频组件110还包括一个扬声器,用于输出音频信号。传感器组件114包括一个或多个传感器,用于为装置100提供各个方面的状态评估。例如,传感器组件114可以检测到装置100的打开/关闭状态,组件的相对定位,传感器组件114还可以检测装置100或装置100一个组件的位置改变以及装置100的温度变化。在一些实施例中,该传感器组件114还可以包括磁传感器,压力传感器或温度传感器。通信组件116被配置为便于装置100和其他设备之间有线或无线方式的通信。装置100可以接入基于通信标准的无线网络,如wifi(wireless-fidelity,无线保真)。在一个示例性实施例中,通信组件116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件116还包括近场通信(nearfieldcommunication,简称nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(radiofrequencyidentification,简称rfid)技术,红外数据协会(infrareddataassociation,简称irda)技术,超宽带(ultrawideband,简称uwb)技术,蓝牙技术和其他技术来实现。在示例性实施例中,装置100可以被一个或多个应用专用集成电路(applicationspecificintegratedcircuit,简称asic)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述方法。图2是根据一示例性实施例示出的一种低照度增强处理方法的流程图。该低照度增强处理方法适用于前述实施环境所指的智能终端,该智能终端在一个示例性实施例中可以是图1所示的装置。如图2所示,该低照度增强处理方法,至少包括以下步骤。在步骤210中,获取进行低照度增强处理的源图像数据。其中,低照度增强处理用于使得受到光照影响而在低照度环境下捕获的源图像数据能够恢复其所丢失的信息,增强所显示内容的清晰程度。源图像数据是当前所获得,将被执行低照度增强处理的图像数据。可以理解,图像数据用于输出显示相应的图像。与之相对应的,源图像数据是原本用于输出显示图像的图像数据,当前未能输出显示,而将被执行低照度增强处理。源图像数据的获取,可以是获取进行视频捕捉而采集得到的图像数据,也可以通过进行图像数据的接收而获得源图像数据,在此不进行限定,将根据所应用的具体场景灵活确定。例如,本发明所实现的低照度增强处理能够应用于视频捕捉设备,以直接对视频捕捉设备捕获的图像数据执行低照度增强处理,因此,所指的源图像数据获取即为获取当前所捕获的图像。又例如,本发明所实现的低照度增强处理配置于交通安全监控、自动驾驶辅助、远程视频聊天与视频娱乐等应用,这些应用的载体包括电脑、智能手机等终端设备中的至少一种,这些应用根据需要往往包含了操控端以及与之相配合的服务器、视频捕捉设备等。这些所指的应用的载体,是指操控端所运行的终端设备,相对应的,所指的源图像数据获取即为操控端从视频捕捉设备所传送的图像数据,或者从其它数据源获得的图像数据。在一个示例性实施例中,该步骤210包括:通过视频图像序列或者单一图像的实时接收,将视频图像序列包含的视频图像或者单一图像作为进行低照度增强处理的源图像数据。其中,源图像数据是实时进行视频捕捉而采集得到的,或者从其它数据源实时获得,例如,在会话应用中联系人传送,或者所进行的远程视频聊天中传送的,以通过此方式,来保证低照度增强处理的实时性能。无论源图像数据是何种来源,这些来源都是提供视频图像序列或者单一图像的,因此,将由此视频图像序列或者单一图像获得源图像数据。在此应当首先进行说明的是,视频图像序列用于指示视频图像的内容,每一帧视频图像都会作为源图像数据,以用于分别执行后续的低照度增强处理。单一图像则与一帧视频图像相类似,作为一源图像数据而执行后续低照度增强处理。所进行的视频图像序列或单一图像的实时接收,是相对于远端视频捕捉设备所进行的持续传送而言,或者相对于视频捕捉设备内部所进行的实时采集而言的,在此不进行限定。通过源图像数据的获取,将使得当前所能够接收到的视频图像序列或者单一图像都会被执行低照度增强处理过程,提升低照度增强处理的自动化性能和持续性,有助于使得当前输出显示的图像画面在效果上的一致性,避免突变的发生。在步骤230中,实时从源图像数据获取每一像素对应的局部区域描述值。其中,源图像数据描述了输出显示图像所表现的内容,此内容由图像中的像素决定并呈现。因此,用于实现图像输出显示的源图像数据即为对应于所有像素的数据,能够从源图像数据中获得每一像素的相关信息。每一像素对应的局部区域描述值,用于描述所对应局部区域的颜色值大小情况,在一个示例性实施例的具体实现中,每一像素对应的局部区域描述值是指在此像素所对应局部区域存在的最大值、平均值或者次大值,例如,所指的平均值,可以是局部区域的高斯加权均值,其可由上一层的滤波获得,并且此最大值是像素的某一类颜色值。例如,对于在yuv颜色空间下形成的图像而言,最大值可以是像素的亮度值;又例如,对于在rgb颜色空间下形成的图像,最大值包括三类颜色值,即r通道颜色值、g通道颜色值和b通道颜色值。对于一像素而言,其局部区域描述值是由局部区域所覆盖像素的多少以及像素自身的颜色值、局部区域中其它像素的颜色值确定的,例如,其是对源图像数据执行最大值滤波而获得的。通过局区域最大值,衡量像素所在的微小区域中的颜色值分布情况,将在邻域像素的辅助下提升此像素的亮度。后续过程的执行中,其目的在于提升图像中低照度区域的亮度,以恢复由于光照弱而丢失的信息,具体而言,针对每一像素,其局部区域包含着此像素本身以及相邻的几个像素,即邻域像素,在此像素的显示效果相对于其它像素较之模糊的情况下,以此局部区域描述值代表此像素执行后续的处理过程,一方面是借助于邻域像素弥补亮度损失,进而使得最终获得的亮度提升更为准确,提高此像素的低照度增强处理的精准性,另一方面,也避免了仅仅凭借单一像素而进行的低照度增强处理出现图像中亮度跳跃性递增而导致较差的显示效果。在获得需要进行低照度增强处理的源图像数据之后,实时进行每一像素的局部区域描述值的运算。而在每一像素对应的局部区域描述值获取的执行下,以此类推,将会获得源图像数据中所有像素所分别对应的局部区域描述值,进而以局部区域描述值作为依据最终实现每一像素所对应颜色值的更新,更新了颜色值的所有像素便构成增强图像。图3是根据图2对应实施例示出的对步骤230的细节进行描述的流程图。该步骤230,如图3所示,至少包括以下步骤。在步骤231中,针对源图像数据中的每一像素,确定像素在源图像数据所对应局部区域包含的邻域像素。其中,邻域像素是指局部区域所对应像素的相邻像素。根据局部区域的大小,一像素将会有若干邻域像素,其邻域像素的多少将取决于局部区域的大小。像素在源图像数据所对应的局部区域,是指源图像数据所对应的所有像素被顺次排布之后以此像素为中心,按照预设大小所形成的区域。在此所指的预设大小,即为配置的窗口大小。针对于每一像素,在确定了其局部区域之后,即可随之确定此像素对应的若干个邻域像素。在步233中,根据像素和邻域像素进行实时计算获得像素对应的局部区域描述值,局部区域描述值是局部区域中的最大值、平均值或者次大值。其中,像素都有其颜色值,因此,在像素与其邻域像素之间,进行实时计算而确定所对应颜色值中的最大值,此最大值即为像素对应的局部区域描述值。应当说明的是,在rgb颜色空间下,局部区域描述值包括此局部区域中数值最大的r通道颜色值、g通道颜色值以及b通道颜色值;而在yuv颜色空间下,局部区域描述值是局部区域中数值最大的亮度值或者次大的亮度值、所有亮度值对应的平均值。在步骤250中,以每一像素以及所对应局部区域描述值为内置颜色值查找表的入口地址,即时查找该像素显示时使用的颜色值。其中,内置了颜色值查找表,颜色值查找表用于为像素确定所映射的颜色值,进而以此颜色值来更新原有图像中的亮度获得增强图像。颜色值查找表是以像素本身的颜色值以及局部区域描述值这两个维度上的变量进行查找而获得映射的颜色值的。在内置颜色值查找表的作用下,即可直接获得每一像素显示时使用颜色值。应当理解,每一像素由颜色值查找表而获得显示所使用颜色值的过程,因为仅涉及两个维度的变量,所以将是即时实现的,所指的即时,亦为瞬时。因此,获得一像素所对应的局部区域描述值之后,根据此像素以及对应的局部区域描述值为索引,在颜色值查找表的入口地址中即时查找到此像素的颜色值。和局部区域描述值,进而二者所映射的颜色值即为此像素显示时使用的颜色值。进一步的,应当理解,颜色值查找表是以像素和局部区域描述值为索引,对此像素显示时使用的颜色值进行的存储。颜色值查找表,在一个示例性实施例中,是固定内置的,例如,在通过本发明所示低照度增强处理方法所实现的应用程序中,内置了颜色值查找表,进而为所获得的所有源图像数据在此颜色值查找表的辅助下获得每一像素显示是使用的颜色值,以像素为单位完成低照度的增强处理。而在另一个示例性实施例中,也可针对于所获得的源图像数据动态获得所内置的颜色值查找表,进而自适应的实现每一像素的低照度增强处理。但无论颜色值查找表是如何内置于本发明所示低照度增强处理方法所实现的应用程序中,此颜色值查找表都将是根据亮原色值以及固定配置的大气光强度值,为每一像素以及此像素所有可能的每一局部区域描述值运算得到所对应的颜色值,并生成的。在步骤270中,通过使用该颜色值实时更新源图像数据中的对应像素,实时变化源图像数据获得增强图像数据。其中,在由颜色值查找表获得像素映射的颜色值之后,进行所有像素的颜色值实时更新,进而实现每一像素的亮度增强,实时形成亮度得到增强的增强图像数据。在此示例性实施例中,在局部区域描述值的辅助下保证了后续在颜色值查找表中获得所映射颜色值的准确性,能够准确有效的恢复所丢失的信息,并且保证了此局部区域范围内显示效果的一致性,以此类推,保证整幅图像不会出现不一致不连贯的现象。此外,此示例性实施例中,在像素自身以及局部区域描述值的控制下保障了此像素在低照度增强处理的准确性和优质的显示效果,在此基础之上,通过所内置颜色值查找表的作用而保证了实施的简易性,进而算法简单,代码量低,能够应用于各种场景,通用性强。图4是根据另一示例性实施例示出的一种低照度增强方法的流程图。该步骤230之前,如图4所示,该低照度增强方法还至少包括以下步骤:在步骤310中,判断源图像数据的颜色空间是否为yuv颜色空间,如果为否,则执行步骤330,如果为是,则执行步骤230。其中,应当理解,对于所获得的源图像数据,都唯一对应于一颜色空间,此颜色空间为yuv颜色空间或者rgb颜色空间。颜色空间的不同,将使得后续所获取局部区域描述值的种类以及所构建颜色值查找表中颜色值的种类各不相同,因此,需要对源图像数据的颜色空间进行判断。在步骤330中,将源图像数据的颜色空间转换为yuv颜色空间,获取的局部区域描述值是yuv颜色空间中的亮度值。其中,如果源图像数据的颜色空间并不是yuv颜色空间,即源图像数据的颜色空间是rgb颜色空间,则需要转换至yuv颜色空间,在完成颜色空间的转换之后才能执行后续的步骤230至步骤270。如果源图像数据的颜色空间已为yuv颜色空间,则直接执行后续的步骤230至步骤270即可。在此示例性实施例中,实现的低照度增强处理是基于yuv颜色空间的,由此能够使得后续的步骤执行与运算中仅仅考虑yuv颜色空间中的亮度值即可,降低了运算量,提高了颜色值查找表的简易性,进而得以最终提升速度,保障其实时性能,除此之外,在rgb颜色空间下彩色噪点过多,而rgb颜色空间被转换至yuv颜色空间将能够在yuv颜色空间下有效抑制彩色噪点,避免低照度增强后彩色噪点增加明显,也不再需要在低照度增强后进行降噪处理。图5是根据另一示例性实施例示出的一种低照度增强处理方法的流程图。如图5所示,步骤250之前,该低照度增强处理方法还至少包括以下步骤:在步骤410中,根据亮原色值和固定配置的大气光强度值,针对每一像素以及该像素可能的每一局部区域描述值分别运算大气光透射率。其中,应当首先进行说明的是,亮原色值是指图像中低照度区域存在着很高甚至于趋近于255的颜色值,在此所指的低照度区域是图像中模糊不清无法清楚查看其所包含信息的区域,这是由于拍摄时环境光较弱而产生的。对应于rgb颜色空间的源图像数据,其低照度区域中的亮原色值包括多种类型的数据形式,具体而言,分别对应于r通道颜色值、g通道颜色值和b通道颜色值;对应于yuv颜色空间的源图像数据,其亮原色值则是对应于亮度值的。此亮原色值将被应用于整个视频图像序列或者所有单一图像的低照度增强处理,而此亮原色值,一方面可以是固定且可调的数值,另一方面则是根据整幅图像的情况或者所在终端设备的硬件配置情况选择与之相适应的算法,进而获得能够适应于具体情况的亮原色值,提高准确性和自适应性。进一步的,对于固定且可调的亮原色值,其是一个趋近于255的数值,并且用户可以通过相应配置的控制面板调整此数值的大小。例如,固定且可调的亮原色值可以是[240,255]的中间值。在未选择配置固定且可调的亮原色值这一情况下,则进行亮原色值的运算,以获得当前适用的亮原色值。在一个示例性实施例中,将在步骤410之前执行以下步骤:根据源图像数据进行像素的最大值平均运算获得亮原色值;或者获取固定配置的亮原色值。其中,如前所述的,在有固定配置的亮原色值的情况下,直接获取固定配置的亮原色值即可。而在未固定配置亮原色值的情况下,则针对当前所获得单一图像的源图像数据或者视频图像序列中预设帧数图像的源图像数据进行像素的最大值平均运算,进而得到亮原色值。每一像素都有其颜色值,像素的最大值平均运算是指按照数值大小确定颜色值最大的预设数量个像素,进而由这些预设数量的像素对其颜色值计算平均值,此计算得到的平均值即为亮原色值。在此应当补充说明的是,所指的预设数量,其数值大小将由像素的总数量确定。例如,像素总数量的0.1%。通过此亮原色值的运算,将有效规避图像中出现天空、墙面、桌面、大声等近似于纯色的区域、平坦区、纹理区时存在的颜色值溢出的问题,避免图像异常,有效保证图像质量。进一步的,也可在运算得到平均值之后根据获取与此平均值相适应的数值作为亮原色值,在此不进行限定。对于由视频图像序列而获得的源图像数据而言,也可针对于前几帧图像所对应的源图像数据分别进行亮原色值的运算,进而取平均即可获得适用于整个视频图像序列的亮原色值。由此,通过如上所述的亮原色值的处理方式,一方面保证了速度,为低照度增强处理的实时性提供保障,另一方面也能够进一步的提高了图像质量。在此应当说明的是,对于源图像数据,进行低照度增强处理实质上是使用大气散射模型实现的,而在此大气散射模型中,大气光强度值是作为必须参数存在的,并且也是大气光透射率运算所必须的参数。而此大气光强度值将采用固定配置的方式提供。具体的,将根据实验数据测试来配置大气光强度值。在一个示例性实施例的具体实现中,大气光强度值的取值范围为[2.0,15.0]。在获得亮原色值和大气光强度值之后,就可以进行大气光透射率的运算。大气光透射率可以由下述表达式运算得到,即:其中,t(x)是大气光透射率,ω是设置的一参数,jbright是亮原色值,是像素所对应局部区域描述值,是大气光强度值。通过此表达式,可以看到,大气透光率是指某一像素颜色值所对应的数值,在此表达式中的引入,则进一步限定了运算得到的大气透光率除了与像素相关之外,还与此像素对应的局部区域描述值相关。由此表达式,可以获知,对于大气光透射率的运算,需要依据像素所对应的局部区域描述值进行,即也将是根据像素以及此像素对应局部区域的邻域像素实现的。大气光透射率决定着此像素显示时使用的颜色值,通过大气散射模型而进行的颜色值运算,是基于像素本身的颜色值进行的,由此,对于一像素而言,需要通过其本身的颜色值和局部区域描述值来确定显示时使用的颜色值。在当前所进行的颜色查找表的构建中,将针对于颜色值和此颜色值可能的每一局部区域描述值分别运算相应的大气透射率。由此大气透射率而继续进行的颜色值运算,即可得到此颜色值和此颜色值可能的一局部区域描述值所映射的颜色值,以此类推,即可得到所有颜色值中,每一颜色值可能的所有局部区域描述值分别对应的大气透射率和显示时使用的颜色值。在此进一步补充说明的,所指的像素可能的每一局部区域描述值,是指对于一像素而言,所能够存在的每一个局部区域描述值。对于颜色值查找表的构建而言,相对于像素的颜色值,每一大于或者等于此颜色值,且不超出255的数值都是此像素可能的每一局部区域描述值。由此,按照像素以及像素可能的每一局部区域描述值所产生的组合逐一进行运算,以得到此像素以及此像素可能的一局部区域描述值下的大气光透射率,并且以此类推,获得此像素以及此像素所有可能的局部区域描述值分别对应的大气光透射率,进而针对于所有像素实现大气光透射率的运算。在步骤430中,通过像素以及局部区域描述值下的大气光透射值、大气光强度值运算像素显示时使用的颜色值。基于大气散射模型可以获得像素所映射颜色亮度得到增强的颜色值,即此像素在低照度增强后的颜色值,具体可由下述公式表示,即:其中,j(x)是像素显示时使用的颜色值,y(x)是像素的颜色值,t(x)是大气光透射率,其是执行gamma计算后的数值,gamma值取值范围是[0.5,0.85],是大气光强度值。通过此公式,即可为像素可以存在的每一颜色值以及此颜色值所可能的最大局部区域描述值运算颜色值,进而获得此像素在一局部区域描述值下显示时使用的颜色值。在步骤450中,根据像素和局部区域描述值为索引,进行像素显示时使用的颜色值存储生成颜色值查找表。其中,在为像素存在的所有颜色值以及每一颜色值所可能的局部区域描述值完成颜色值的运算之后,就以像素以及局部区域描述值为索引进行相应颜色值的存储,进而形成颜色值查找表。所指的像素和局部区域描述值为索引,是指对于一像素而言,其颜色值和可能存在的每一局部区域描述值分别作用索引,存储运算得到的颜色值。以此类推,对所有像素,即所有颜色值都做此处理,以形成能够实现所有颜色值都能够实现亮度增强的颜色值查找表。在另一个示例性实施例中,步骤410之前,该低照度增强处理方法还至少包括以下步骤:进行滤镜运算获得亮原色值和大气光强度值对应的大尺度信息,亮原色值和大气光强度值对应的大尺度信息用于进行每一像素以及像素可能的每一局部区域描述值下大气光透射率的分别运算。其中,在前述示例性实施例中,根据亮原色值和大气光强度值进行运算形成颜色值查找表。而在本示例性实施例中,在构建颜色值查找表的过程中,对亮原色值和大气光强度值进行滤镜运算,进而扩大后续所运算得到大气光透射值以及颜色值的数值范围。在一个示例性实施例的具体实现中,滤镜运算可以是高斯滤波,也可以采用其它滤镜算法,在此不进行限定。在此实现过程中,亮原色值和大气光强度值对应的大尺度信息包括对应于亮原色值的亮原色扩大值以及对应于大气光强度值的大气光强度扩大值。至此,便使用亮原色扩大值和大气光强度扩大值执行前述步骤410至步骤450,以获得数值被扩大的颜色值查找表。相应的,在执行步骤270之前,该低照度增强处理方法还至少包括以下步骤:对在颜色值查找表获得的颜色值进行颜色压缩。其中,在颜色值查找表的使用中,由于所获得的颜色值是扩大的数值,因此,需要对此进行颜色压缩之后方可作为增强图像数据使用。本发明所涉及的各种运算,在具体实现上是进行的浮点运算,因此对于颜色值而言,虽然其数值范围在理论上应当是[0,255],但是随着浮点运算的进行,溢出的情况,即浮点运算而产生的数值超出数值范围,甚至于远超出数值范围中的上限值,进而导致低照度增强处理的执行出错,而通过本示例性实施例进行了数值的扩大,由此数值范围也得到相应的扩大,避免了出错的发生。在本示例性实施例的作用下,实现了像素所对应颜色值在数值范围的扩大,也使得颜色值查找表中颜色值相应获得数值范围的扩大,进而能够使得低照度增强处理所得到的增强图像中像素之间平缓过渡,获得较为一致的增强效果,从而解决低照度增强处理中的效果问题。例如,对极度暗的区域如果有一小点极亮的物体或者光源,通过本示例性实施例便能够避免出现光晕扩散现象。通过如上所述的示例性实施例,能够实现图像中的低照度增强处理,进而此图像在亮度上得到增强的图像,当然,在此所指的图像是获得的单一图像,也可以是视频图像序列中的每一帧图像,低照度增强处理在所获得单一图像上的应用,以及视频图像序列的应用,将保证了图像之间不会出现显示效果上的跳跃,特别是对于实时视频聊天、视频监控的视频图像序列中相互之间连续的每一帧图像而言,有效的避免了由于新增低照度而导致的帧间闪烁和帧间跳跃。如前所述的,上述示例性实施例,是在像素以及像素所对应局部区域描述值的作用下,在内置颜色值查找表获得此像素映射的颜色值,使用这一颜色值进行此像素的显示,即可获得增强图像,完成原有图像的低照度增强处理过程,至此不需要进行复杂的运算,因此能够满足低照度增强处理在实时性上的需求,并且由于实现的简易性而不需要高硬件配置的支持,能够满足低端硬件设备上实时性使用的需求,特别是在低端硬件设备中视频聊天的实时性需求。在前述示例性实施例中,通过内置颜色值查找表使得各种颜色值的像素都能够映射到显示效果较为优质且保证像素之间效果一致性的颜色值,所以能够适用于各种不同光照场景,例如,极暗光照、暗光照、普通光照、亮光照和极亮光照等光照场景,且不会出现异常。通过如上所述的示例性实施例,将使得低照度增强处理方法能够应用于各种硬件设备,特别是由于算法简单且代码量低而能够移植到监控摄像机中。以一硬件设备所获得的图像为例,结合一具体场景来描述上述低照度增强过程。此硬件设备为低端智能手机,所获得的图像,是视频聊天中传送至低端智能手机中的视频图像序列。图6是根据一示例性实施例示出的一低端智能手机为视频聊天所实时接收视频图像序列实时执行低照度增强处理的流程图。低端智能手机在对实时接收的视频图像序列以每一帧图像作为输入图像,按照帧间顺序执行每一帧图像的低照度增强处理,以快速使得最终显示的每一帧图像得到增强。对输入图像,如图6所示,将首先执行步骤510,判断输入图像是yuv图像还是rgb图像,如果输入图像是rgb图像,则需将此输入图像转为yuv图像,如步骤520所示。此时,由于是进行低照度增强处理,因此,将对y通道的颜色值做增强处理,不对其它分量做任何处理。如步骤530所示的,在确保输入图像是yuv图像的前提下,获取固定配置的大气光强度值a,并随之计算在颜色值的数值范围内,对y通道的每一颜色值和此颜色值可能的一局部区域描述值运算对应的大气光透射率t(x)。以此类推,获得颜色值的数值范围内所有颜色值以及其可能的所有局部最大值分别对应的大气光透射率。此颜色值以及其可能的一局部区域描述值,是对应于一像素的,因此,所进行的低照度增强处理是以像素为单位实现的。以此来构建应用于输入图像的颜色值查找表,如步骤540所示的。执行步骤550,对输入图像中的y通道应用此颜色值查找表,进而实现输入图像中y通道的颜色值更新,获得亮度增强的效果。在对于输入图像原本是rgb图像的情况下,执行步骤560将更新了y通道颜色值的输入图像转为rgb图像,进而输出增强图像。在此应当说明的是,在图6所示的低照度增强处理中,针对于低端智能手机当前所进行的视频聊天而实现的颜色值查找表的构建,进而借助于构建的颜色值查找表为视频聊天而实时接收到的视频图像序列快速实现低照度增强。这仅仅是一个应用场景的示例性实施例,也可根据其它应用场景的实际情况和所需要的效果按照前述示例性实施例的逻辑确定具体的应用流程,例如,对于颜色值查找表,其也可以是原本所内置的,在需要时调用并应用至具体图像即可。可以理解,在所实现的颜色值查找表即时生成的过程中,可以固定配置大气光强度值,甚至于固定配置亮原色值,进而保证颜色值查找表的快速生成。而在为低端智能手机构建内置的颜色值查找表时,则可以根据前述示例性实施例进行亮原色值的精准计算,不会增加运算的算法度,又提高了颜色值查找表的精准性。图7是根据一个示例性实施例示出的为低端智能手机输出所内置颜色值查找表的流程示意图。如图7所示的,将首先需要进行亮原色值jbright(x)的运算,即执行步骤610。在具体的运算中,亮原色值jbright(x)的物理含义是对于像素而言,其所在计算窗口中像素所对应的最大颜色值,即对于yuv颜色空间而言,是在数值上最大的y通道的颜色值,y通道的颜色值也称之为亮度值。亮原色值即亮原色值jbright(x)是某个接近于255的数值,这是基于有限数目的正常曝光图像统计出来的大致结果,但更多的图像所对应的亮原色值实际上并不经常的接近于255,而实际上往往是小于255的,大致处于[230,255]的数值范围。因此,对于亮原色值的计算,将采用前述示例性实施例所指的运算过程。在运算得到亮原色值之后,随之执行步骤620,固定取大气光强度值a的数值,至此,即可执行步骤630由前述所示的大气光透射率表达式运算得到每一颜色值以及此颜色值可能的每一局部区域描述值下所对应的大气光透射率,也就是说,由像素以及像素所在的邻域像素确定此像素在此邻域像素的包围下所对应的大气光透射率。执行步骤640对大气光透射率的gamma计算,gamma值取值范围是[0.5,0.85],再应用公式计算每一颜色值以及此颜色值可能的每一局部区域描述值下所对应的颜色值。一颜色值以及其可能的一局部区域描述值对应一低照度增强的颜色值。在完成低照度增强的颜色值计算之后,即可对j(x)应用一个单调递增亮度曲线0~256的查找表,如图8和图9所示的,图8和图9是根据一示例性实施例示出的一个单调递增亮度曲线0~256的查找表,随之执行步骤670而输出颜色值查找表lookuptable[256][256],如图10所示,图10是根据一示例性实施例示出的一个颜色值查找表。在此颜色值查找表生成中,也可预先进行滤镜运算,如高斯滤波,以避免浮点运算中的溢出问题以及增强效果异常。在此高斯滤波的实现中,对于亮原色值,被扩大至某个接近于510的数值,固定取的大气光强度值也由原有的[2.0,15.0]扩大至[2.0,15.0]×2,由此将使得颜色值的数值范围也被扩大至[0,512],最终输出的颜色值查找表也扩大到了512×512。由于传统rgb颜色值的范围是[0,255],所以在计算的过程中,需要把颜色值最终约束到这个范围,导致颜色会溢出或偏色,特别是处理天空、纯色等区域。为了更好第处理这些区域,我们把计算的颜色值的范围在计算中,就扩大到0~512,颜色值范围放大一倍,在最终的显示是再采取插值方式映射回0~256。通过以上示例性实施例,对于图像中的极亮极暗区域,以及蓝天白云的高亮画面等,都获得极好的增强显示效果。图11是根据一示例性实施例示出的存在极暗极亮区域的源图像示意图,图12是根据图11对应实施例示出的增强图像示意图。通过本发明的示例性实施例,获得图12所示的增强图像,通过图11和图12的比对,椭园标注的区域为极暗区域,在图12中,极暗区域的亮度得到很大提升,且色度被很好的恢复。方框标注的区域是极亮区域,在图12中,极亮区域的亮度只是小幅提升,没有出现异常,且白鹤羽毛与环境的边界过渡非常平滑。图13是根据一示例性实施例示出的存在光源的源图像示意图,图14是根据图13对应实施例示出的增强图像示意图。通过本发明的示例性实施例,在所获得的增强图像中,如图14所示,所存在的光源,即路光并没有被扩大,也没有出现光晕等溢出现象。图15是根据一示例性实施例示出的蓝天白云高亮画面的源图像示意图,图16是根据图15对应实施例示出的增强图像示意图。通过本发明的示例性实施例,在所获得的增强图像获得很好的处理效果,例如,云彩的边缘清晰度有提升,同时蓝天的色彩也恢复得很好。在各种终端设备中,本发明所示低照度增强处理方法的应用,能够在开启低照度功能下使得图像、视频的清晰度大为增强,让用户获得透视的夜视镜的功能体验。使用本发明所示低照度增强处理方法实现的应用,在某低端智能手机上运行,此低端智能手机并没有硬件配置较低。输入分辨率为960*540像素的源图像,此时,处理速度可达526fps,即每秒能够处理526帧所输入的源图像,一源图像完成低照度增强处理所需要的耗时为0.0019秒,获得了非常高的处理速度。下面通过各种类算法处理图像所需要的耗时来进行比对,具体如下表所示,即:由上表可知,本发明即便在较低的硬件配置也能够获得非常低的耗时,进而保障实时性和图像增强效果,并且在性能消耗方面,开启功能8分钟,温度才提升0.09度,由此可以忽略不计所产生的性能消耗。下述为本发明装置实施例,可以用于执行本发明上述硬件设备执行的低照度增强处理方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明智能终端的低照度增强处理方法实施例。图17是根据一示例性实施例示出的一种低照度增强处理装置的框图。该低照度增强处理装置,至少包括:源数据获取模块810、局部区域提取模块830、查找模块850和更新模块870。源数据获取模块810,用于获取进行低照度增强处理的源图像数据。局部区域提取模块830,用于实时从源图像数据获取每一像素对应的局部区域描述值。查找模块850,用于以每一像素以及所对应局部区域描述值为内置颜色值查找表的入口地址,即时查找像素显示时使用的颜色值。更新模块870,用于通过使用颜色值实时更新源图像数据中的对应像素,实时变化源图像数据获得增强图像数据。在一个示例性实施例中,源数据获取模块810进一步用于通过视频图像序列或者单一图像的实时接收,将视频图像序列包含的视频图像或者单一图像作为进行低照度增强处理的源图像数据。图18是根据图17对应实施例示出的局部区域提取模块框图。该局部区域提取模块830,如图17所示,至少包括:邻域确定单元831和数值提取单元833。邻域确定单元831,用于针对源图像数据中的每一像素,确定像素在源图像数据所对应局部区域包含的邻域像素。数值提取单元833,用于根据像素和邻域像素进行实时计算获得像素对应的局部区域描述值,局部区域描述值是局部区域中的最大值、平均值或者次大值。图19是根据另一例性实施例示出的一种低照度增强处理装置的框图。该低照度增强处理装置,至少包括:颜色空间判断模块910和转换模块930。颜色空间判断模块910,用于判断源图像数据的颜色空间是否为yuv颜色空间,如果为否,则触发转换模块930,如果为是,则触发局部区域提取模块830。转换模块930,用于将源图像数据的颜色空间转换为yuv颜色空间,获取的局部区域描述值是yuv颜色空间中的亮度数值。图20是根据另一例性实施例示出的一种低照度增强处理装置的框图。该低照度增强处理装置,至少包括:透射率运算模块1010、颜色值增强模块1030和颜色值存储模块1050。透射率运算模块1010,用于根据亮原色值和固定配置的大气光强度值,针对每一像素以及像素可能的每一局部区域描述值分别运算大气光透射率。颜色值增强模块1030,用于通过像素以及局部区域描述值下的大气光透射值、大气光强度值运算像素显示时使用的颜色值。颜色值存储模块1050,用于根据像素和局部区域描述值为索引,进行像素显示时使用的颜色值存储生成颜色值查找表。在另一个示例性实施例中,该低照度增强处理装置,还至少包括:亮原色值获取模块。该亮原色值获取模块用于根据源图像数据进行像素的最大值平均运算获得亮原色值;或者获取固定配置的亮原色值。在另一个示例性实施例中,该低照度增强处理装置还至少包括:大尺度信息获取模块。大尺度信息获取模块,用于进行滤镜运算获得亮原色值和大气光强度值对应的大尺度信息,亮原色值和大气光强度值对应的大尺度信息用于进行每一像素以及像素可能的每一局部区域描述值下大气光透射率的分别运算。相应的,装置还包括与更新模块870输出所使用颜色值的颜色压缩模块。颜色压缩模块用于对在颜色值查找表获得的颜色值进行颜色压缩。可选的,本发明还提供一种硬件设备,该硬件设备可以前述所示实施环境中,执行图2、图3、图4和图5任一所示的低照度增强处理方法的全部或者部分步骤。所述装置包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行:获取进行低照度增强处理的源图像数据;实时从所述源图像数据获取每一像素对应的局部区域描述值;以每一像素以及所对应局部区域描述值为内置颜色值查找表的入口地址,即时查找所述像素显示时使用的颜色值;通过使用所述颜色值实时更新所述源图像数据中的对应像素,实时变化所述源图像数据获得增强图像数据。该实施例中的装置的处理器执行操作的具体方式已经在有关该硬件设备的低照度增强处理方法的实施例中执行了详细描述,此处将不做详细阐述说明。在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器104,上述指令可由装置100的处理器118执行以完成上述方法。应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1