本申请要求了2015年9月18日提交的题名为“highdynamicranceradiometricthermalvideooverlowbitrateinterface”的美国临时专利申请no.62/220,779的权益和优先权，通过引用的方式将其全部并入本文。
本发明的一个或多个实施例通常涉及成像设备，尤其涉及例如在低带宽接口或数据连接上的高动态范围图像数据的传递。
背景技术：
在某些情况下，可以将高动态范围图像从第一部件传递到第二部件。在这种情况下，第一部件和第二部件之间可能存在带宽限制。例如，带宽限制可以限制在第一和第二部件之间传递高动态范围成像数据。因此，需要改进第一部件和第二部件之间的数据传递技术。
技术实现要素：
本发明公开了用于在低比特率接口上提供高动态范围辐射热图像的系统和方法。在某些实施例中，可以提供一种方法。所述方法可包括接收高动态范围(hdr)辐射热图像，该高动态范围(hdr)辐射热图像包括多个像素，其中每个像素与hdr热图像值相关联，确定传递函数，该传递函数将hdr热图像值的至少一部分与ldr热图像值相关联，用传递函数将hdr辐射热图像转换为低动态范围(ldr)辐射热图像，确定与传递函数相关联的逆传递函数，并将逆传递函数和ldr辐射热图像传送到接收设备。
在某些其它实施例中，可公开一种用于执行所述方法的系统。该系统可包括配置为捕获hdr辐射热图像并输出所捕获的hdr辐射热图像的至少一个红外探测器，和配置为接收由至少一个红外探测器输出的hdr辐射热图像并执行所述方法的逻辑装置。
在其它实施例中，可以提供另一种系统。该系统可包括与摄像机相关联的逻辑装置。该逻辑装置可被配置为接收高动态范围(hdr)辐射热图像，其中该高动态范围(hdr)辐射热图像包括多个像素，其中每个像素与hdr热图像值相关联，确定传递函数，该传递函数将hdr热图像值的至少一部分与ldr热图像值相关联，用传递函数将hdr辐射热图像转换为低动态范围(ldr)辐射热图像，确定与传递函数相关联的逆传递函数，并将逆传递函数和ldr辐射热图像传送到接收设备。
在其它实施例中，可以提供一种接收设备。该接收设备可以包括接收控制器，并且可以与逻辑装置相关联。接收控制器可以被配置为接收该至少一个逆传递函数，接收ldr辐射热图像，用该至少一个逆传递函数将ldr辐射热图像转换为重建的热图像，并由多个重建的热图像创建复合图像。
本发明的范围由通过引用并入本部分的权利要求限定。通过考虑下面的一个或多个实施例的详细描述，本领域的技术人员将更完整地理解本发明的实施例，以及实现其附加优势。参考首先将简略描述的附图。
附图说明
图1示出了根据本公开实施例的成像系统的方框图。
图2示出了根据本公开实施例的示例图像捕获部件的方框图。
图3示出了根据本公开实施例的在低比特率数据连接上传递高动态范围图像的过程的流程图。
图4示出了根据本公开实施例的、将通过低比特率数据连接接收的低动态范围图像重建为高动态范围图像的过程的流程图。
图5示出了根据本公开实施例的辐射图像。
图6示出了根据本公开实施例的高动态范围到低动态范围传递函数。
图7a-c示出了根据本公开实施例的额外的高动态范围到低动态范围传递函数。
图8a-d示出了根据本公开实施例的由成像系统捕获和/或处理的各种图像。
通过参考下面的详细描述，将更好地理解本发明的实施例及其优点。应该认识到，相同的附图标记用来标识在一幅或多幅图中示例的相同元件。
具体实施方式
根据一个或多个实施例提供了在低比特率数据连接上传递高动态范围图像的技术和机构。某些实施例可在第一设备和第二设备之间、在设备的第一部件和第二部件之间或在多个设备和/或部件之间传递高动态范围图像。高动态范围图像可以是可视图像或辐射图像，并且可以在例如蓝牙、无线局域网(“wifi”)、近场通信(“nfc”)或其它类型的无线或有线数据连接上传递。例如，某些实施例可以记录高动态范围辐射热图像或视频并且可以在低比特率接口上传递这种视频。辐射热图像或视频可以是红外线或其它热图像或视频。可以创建一个将高动态范围图像转换为低动态范围图像的传递函数，以便在数据连接上传递。一旦图像被传递，可以创建一个将低动态范围图像转换为被重建的图像的逆传递函数。
低比特率接口通常缺乏传递高动态范围(hdr)图像或视频的带宽。当hdr图像是视频帧的一部分时，尤其如此，因此传递必须在规定的一段时间内执行。当前的技术和机构允许在低比特率接口上传递hdr图像或视频。
图1示出了根据公开实施例的成像系统的方框图。图1的成像系统100可用于根据本文所描述的各种技术捕获和处理图像帧。
成像系统100包括分布在多个设备上的部件。具体来说，成像系统100包括第一设备102(发送设备)和与第一设备102通信的第二设备104(接收设备)。其它实施例可以以其它方式将部件分布到设备上，并且还可以将部件分布到三个或三个以上设备上。一些这样的实施例可以将成像系统100的一个、一些或全部部件分布在云上。因此，在这些实施例中，使用一个或多个云设备通过在云上发送图像数据，可以在云上执行图像处理。一旦图像被处理，图像就可以经由网络服务(诸如，在
在某些实施例中，第一设备102和第二设备104可以耦合在一起。也就是，第一设备102可以是可安装或通信连接(例如，经由蓝牙)到第二设备104的摄像机附件。第二设备104可以运行执行图像处理过程的至少一部分的应用程序。在这种实施例中，第二设备104可以是智能手机、平板、计算机或可接收摄像机附件的另一类型的电子设备。在某些实施例中，摄像机附件可以经由连接器诸如usb或照明电缆连接器安装。其它实施例可以通过网络连接，诸如经由蓝牙、因特网、近场通信(“nfc”)、局域网(“lan”)或其它网络连接，来连接第一设备102和第二设备104。
在一个实施例中，第一设备102包括本地处理器部件170、本地存储器180、图像捕获部件130、光学部件132(例如，配置为通过外壳101中的孔径134接收电磁辐射并将电磁辐射传递给图像捕获部件130的一个或多个透镜)、第一通信部件172、模式传感部件160和其它传感部件162。第二设备104可以包括处理部件110、存储部件120、显示部件140、第二通信部件152和控制部件150。
在各种实施例中，第一设备102可被实现为捕获例如场景170(例如，视场)的图像帧的成像设备，例如摄像机。第一设备102可以表示例如检测电磁辐射(例如，辐照度)并提供代表性数据(例如，一个或多个静态图像帧或视频图像帧)的任何类型的摄像机。例如，第一设备102可以表示被指示以检测电磁辐射的一个或多个范围(例如，波段)并提供相关联的图像数据的摄像机。成像系统100可包括便携式设备，并且可被实现为例如手持设备和/或在其它实例中可耦合到各种类型的车辆(例如陆基车辆、水艇、飞机、航天器或其它车辆)，或者经由一种或多种类型的安装方式耦合到各种类型的固定位置(例如，家庭安全安装处、露营地或室外安装处或其它位置)。在另一个实例中，第一设备102可被集成为非移动安装的一部分以提供要存储和/或显示的图像帧。
本地处理器部件170和/或处理部件110可包括例如微处理器、单核处理器、多核处理器、微控制器、逻辑装置(例如，配置为执行处理操作的可编程逻辑装置)、数字信号处理(dsp)设备、用于存储可执行指令(例如软件、固件或其它指令)的一个或多个存储器，和/或用于执行指令以执行本文所述的任何各种操作的处理设备和/或存储器的任何其它适当组合。本地处理器部件170可适于与部件130、160、162、172和180进行接口连接和通信，以执行本文所述的方法和处理步骤。处理部件110可适于与部件120、140、150和152进行接口连接和通信。
此外，本地处理器部件170可适于从图像捕获部件130接收图像信号、处理图像信号(例如，提供处理过的图像数据)、在本地存储器180中存储图像信号或图像数据，和/或从本地存储器180检索存储的图像信号。第一设备102的某些实施例可包括多个图像捕获部件。这种实施例可捕获多个场景，然后，本地处理器部件170和/或处理部件110可以从由多个图像捕获部件捕获的多个场景中创建复合图像。本地处理器部件170还可以经由设备通信部件172将数据传送到第二设备104。设备通信部件172可以经由建立在第一设备102的设备通信部件172和通信部件152之间的接口190与第二设备104进行通信。在各种实施例中，接口190可以是第一设备102和第二设备104之间的蓝牙链路、wifi链路、nfc链路、有线连接或其它类型的链路。在某些实施例中，接口190可以是低比特率接口。针对本公开的目的，“低比特率接口”可以是不以足够高的速率传递数据以允许在接收设备上平滑实时显示或流动的任何接口。因此，随着视频定义的增加，被认为是“低比特率接口”的速度也可能会增加。此外，由于接口本身或用于处理视频的软件，某些这种接口可能受限于接口可以传递的动态范围的量。例如，某些商用视频编码器、视频压缩器和显示驱动程序可能要求帧仅具有8或10位动态范围(例如，亮度动态范围的8位)。由于用于处理视频的软件是传递视频数据的过程的一部分，所以这种软件也可以被看作是“低比特率接口”的一部分。某些硬件部件诸如物理接口，也可能受限于每个样本的最大比特数。例如，在串行器(并行于串行转换器)上可能有10个输入引脚的连接器上的并行数据接口可能只有8个引脚。
在其它实施例中，接口190可具有允许第一设备102在高动态范围内向第二设备104传送图像或视频的可用带宽。然而，在这种实施例中，低比特率通信仍然是可取的，因为经由低比特率的传送可以允许附加设备共享接口190。
在一个实施例中，本地存储器180和/或存储部件120包括存储数据和信息的一个或多个存储设备(例如，一个或多个存储器)。所述一个或多个存储设备可包括各种类型的存储器，其包括易失性和非易失性存储设备，诸如ram(随机存取存储器)、rom(只读存储器)、eeprom(电可擦除只读存储器)、闪存或其它类型的存储器。在一个实施例中，处理部件110和/或本地处理器部件170适于执行分别存储在存储部件120和/或本地存储器180中的软件，以按照本文中所述的方式执行各种方法、过程和操作模式。
在一个实施例中，图像捕获部件130包括用于捕获代表场景170的图像的图像信号的一个或多个传感器(例如，任何类型的可见光、红外或其它类型的探测器，包括作为焦平面阵列的一部分实现的探测器)。在一个实施例中，图像捕获部件130的传感器(例如，红外传感器)提供了将捕获的场景170的热或辐射图像信号表示(例如，转换)为数字数据(例如，经由作为传感器的一部分的或与传感器分离的作为成像系统100的一部分的模拟-数字转换器)。图像捕获部件130可以捕获高动态范围辐射热图像或视频。
本地处理器部件170或处理部件110(经由接口190)可适于接收来自图像捕获部件130的图像信号、处理图像信号(例如，以提供处理过的图像数据)、将图像信号或图像数据存储在本地存储器180或存储部件120中，和/或从各自的存储器中检索存储的图像信号。图像数据，或者是高动态范围图像数据或者是低动态范围图像数据，可以在接口190之间的第一设备102和第二设备104之间传递。在某些实施例中，传递的图像数据可以是压缩的图像数据。处理部件110可适于处理接收到的图像信号，以便将图像数据(例如，重建的图像数据)提供给显示部件140，以供用户查看。
在一个实施例中，显示部件140包括图像显示设备(例如，液晶显示器(lcd))或各种其它类型的通常已知的视频显示器或监视器。处理部件110可适于在显示部件140上显示图像数据和信息，这些图像数据和信息是处理部件110从存储部件120中检索的、由经由接口190接收的图像数据处理过的或由任何其它源处理过的。显示部件140可包括显示电子设备，处理部件110可以利用显示电子设备来显示图像数据和信息。显示部件140可以经由接口190直接从图像捕获部件130接收图像数据和信息，经由接口190从本地处理器部件170接收图像数据和信息，或者可以从存储部件120传递图像数据和信息。
在各个方面，显示部件140可以远离图像捕获部件130(例如，容纳在单独的外壳中)，并且处理部件110可适于经由与显示部件140的有线或无线通信在显示部件140上远程显示图像数据和信息，如本文所述。
在一个实施例中，控制部件150包括用户输入和/或接口设备，其具有一个或多个用户致动部件，诸如一个或多个按钮、滑块、可旋转旋钮或键盘，这些部件适于产生一个或多个用户致动的输入控制信号。控制部件150可适于被集成为显示部件140的一部分，以便既可作为用户输入设备又可作为显示设备来操作，诸如，例如适于从用户触摸的显示屏的不同部分接收输入信号的触摸屏设备。处理部件110可适于感测来自控制部件150的控制输入信号，并响应于从那接收到的任何感测的控制输入信号。
在一个实施例中，控制部件150可包括控制面板单元(例如，有线或无线手持控制单元)，该控制面板单元具有适于与用户接口连接并接收用户输入控制信号的一个或多个用户激活的机构(例如，按钮、旋钮、滑块等)。在各种实施例中，应该认识到，控制面板单元可适于包括一个或多个其它的用户激活的机构，以提供成像系统100的各种其它控制操作，诸如自动聚焦、菜单启用和选择、视场(fov)、亮度、对比度、增益、偏移、空间、时间和/或各种其它特征和/或参数。在其它实施例中，可变增益信号可由用户或操作员根据所选择的操作模式进行调整。
在另一个实施例中，控制部件150可包括图形用户界面(gui)，图形用户界面(gui)可被集成为显示部件140的一部分(例如，用户驱动的触摸屏)，其具有适于与用户接口连接并经由显示部件140接收用户输入控制信号的用户激活的机构的一个或多个图像(例如，按钮、旋钮、滑块等)。作为本文进一步讨论的一个或多个实施例的实例，显示部件140和控制部件150可表示智能手机、平板电脑、个人数字助理(例如，无线移动设备)、手提电脑、台式计算机或其它类型设备的适当部分。
在某些实施例中，第一设备102可包括控制部件150和/或显示部件140，而不是第二设备104或第二设备104之外的设备。应该认识到，本文所描述的各种部件可包括在第一设备102上或第二设备104上，或者既可包括在第一设备102上又可包括在第二设备104上。
在一个实施例中，模式传感部件160包括适于根据感测的应用(例如，预期使用或实现)自动感测操作模式并将相关信息提供给本地处理器部件170和/或处理部件110的应用传感器。在各种实施例中，应用传感器可包括机械触发机构(例如，钳、夹、钩、开关、按钮等)、电子触发机构(例如，电子开关、按钮、电信号、电连接等)、机电触发机构、电磁触发机构或其中的某些组合。作为一个或多个实施例的实例，模式传感部件160基于用户已将成像系统100(例如，图像捕获部件130)耦合到的安装处(例如，附件或固定装置)的类型来感测与成像系统100的预定应用相对应的操作模式。可选择地，操作模式可以由成像系统100的用户经由控制部件150来提供(例如，经由具有触摸屏的显示部件140或代表控制部件150的其它用户输入无线地提供)。
此外，根据一个或多个实施例，可以提供默认的操作模式，诸如例如当模式传感部件160没有感测到特定的操作模式(例如，没有感测的安装处或提供的用户选择)时。例如，由于图像帧无线地提供给无线显示器(例如，具有显示器的另一个手持设备，例如智能手机，或提供给车辆显示器)，所以成像系统100可以以自由的方式使用(例如，没有安装处的手持设备)，默认的操作模式可以设置为手持操作。
在一个实施例中，模式传感部件160可包括适于将成像系统100固定到车辆或其一部分的机械锁定机构，并且可包括适于在将成像系统100安装和/或固定到车辆时向处理部件110提供感测信号的传感器。在一个实施例中，模式传感部件160可适于接收电信号和/或感测电气连接类型和/或机械安装类型，并向处理部件110提供感测信号。可选择地或附加地，如本文的对一个或多个实施例所讨论的，用户可以经由控制部件150(例如，显示部件140的无线触摸屏)提供用户输入，以指定成像系统100的所需模式(例如，应用)。
处理部件110和/或本地处理器部件110可适于与模式传感部件160(例如，通过从模式传感部件160接收传感器信息)和图像捕获部件130(例如，通过从图像捕获部件130接收数据和信息，并向和/或从成像系统100的其它部件提供和/或接收命令、控制和/或其它信息)进行通信。在某些实施例中，部件可以经由接口190与另一个部件进行通信。
在各种实施例中，模式传感部件160可适于提供与系统应用或固定应用(例如，固定位置，诸如在结构上)有关的数据和信息，该系统应用包括与各种类型的车辆(例如，陆基车辆、船舶、飞机、航天器或其它车辆)相关联的手持实现和/或耦合实现。在一个实施例中，模式传感部件160可包括经由无线通信将信息中继到处理部件110的通信设备。例如，模式传感部件160可适于通过卫星、通过本地广播传输(例如，无线电频率)、通过移动或蜂窝网络和/或通过基础设施(例如，运输或公路信息信标基础设施)中的信息信标或各种其它有线或无线技术(例如，使用各种局域网或广域无线标准)来接收和/或提供信息。
在另一个实施例中，根据所感测的应用或实现，成像系统100可包括包含环境和/或操作传感器的一种或多种其它类型的传感部件162，所述传感器向处理部件110提供信息(例如，通过从每个传感部件162接收传感器信息)。在各种实施例中，其它传感部件162可适应于提供与环境条件有关的数据和信息，所述环境条件例如是内部和/或外部温度条件、照明条件(例如，白天、夜晚、黄昏和/或黎明)、湿度水平、特定天气条件(例如，晴、雨和/或雪)、距离(例如，激光测距仪)和/或是否已进入或离开隧道、有盖停车场或某种类型的围场。因此，其它传感元件162可包括本领域的技术人员所知道的一个或多个常规传感器，所述常规传感器用于监测可能对图像捕获部件130提供的数据产生影响(例如，对图像外观)的各种条件(例如，环境条件)。其它传感元件162可以定位在第一设备102上，如图1所示，定位在第二设备104上，定位在第一设备102和第二设备104两者上，或者可选择地或附加地，在与第一设备102和第二设备104分离的另一设备上。
在一些实施例中，其它传感部件162可包括经由无线通信将信息中继到处理部件110的设备。例如，每个传感部件162可适于通过本地广播(例如，无线电频率)传输、通过移动或蜂窝网络和/或通过基础设施(例如，运输或公路信息信标基础设施)中的信息信标或各种其它有线或无线技术从卫星接收信息。
在各种实施例中，由于成像系统100表示系统的各种操作块，所以成像系统100的部件可以根据需要或根据应用需求与或不与表示系统的各种操作块的成像系统100组合和/或由或不由表示系统的各种操作块的成像系统100实现。例如，处理部件110可以与存储部件120、图像捕获部件130、显示部件140和/或模式传感部件160组合。在另一个实例中，处理部件110可以与图像捕获部件130组合，所述图像捕获部件130仅具有由图像捕获部件130内的电路(例如，处理器、微处理器、微控制器、逻辑装置或其它电路)执行的处理部件110的某些操作。在另一个实例中，控制部件150可以经由有线或无线控制设备与一个或多个其它部件组合，或者远程连接到至少一个其它部件诸如处理部件110，以便向其提供控制信号。
在一个实施例中，通信部件152和/或设备通信部件172可被实现为适于与网络通信的网络接口部件(nic)，所述网络包括在网络中的其它设备。在各种实施例中，通信部件152和/或设备通信部件172可包括无线通信部件，诸如基于ieee802.11标准的无线局域网(wlan)部件、无线宽带部件、移动蜂窝部件、无线卫星部件或包括适于与网络通信的无线电频率(rf)、微波频率(mwf)和/或红外频率(irf)部件的各种其它类型的无线通信部件。因此，通信部件152和/或设备通信部件172可包括耦合到其上的、用于无线通信目的的天线。在其它实施例中，通信部件152和/或设备通信部件172可适于与dsl(例如，数字用户线)调制解调器、pstn(公共交换电话网络)调制解调器、以太网设备和/或适于与网络通信的各种其它类型的有线和/或无线网络通信设备接口连接。通信部件172通信部件152可以通过接口190向通信部件152发送辐射热图像或视频。
在各种实施例中，网络可被实现为单个网络或多个网络的组合。例如，在不同实施例中，该网络可以包括因特网和/或一个或多个内联网、有线网络、无线网络和/或其它适当类型的通信网络。在另一个实例中，网络可包括适于与其它通信网络诸如因特网通信的无线电信网络(例如，蜂窝电话网络)。因此，在各种实施例中，成像系统100可以与特定的网络链路，诸如例如url(统一资源定位器)、ip(因特网协议)地址和/或移动电话号码，相关联。
图2示出了根据本公开实施例的示例图像捕获部件130的方框图。在本示例性实施例中，图像捕获部件130是一种包括单位单元232的阵列和读出集成电路(roic)202的焦平面阵列(fpa)。每个单位单元232可提供有红外探测器(例如，微测辐射热计或其它适当的传感器)和相关联的电路，以便为捕获的热图像帧的像素提供图像数据。在这方面，时间复用的电信号可由单位单元232提供给roic202。
roic202包括偏压产生和定时控制电路204、列放大器205、列多路复用器206、行多路复用器208和输出放大器210。由单位单元232的红外传感器捕获的图像帧可由输出放大器210提供给处理部件110和/或执行本文所述的各种处理技术的任何其它适当部件。尽管图2中示出了8×8阵列，但在其它实施例中可以使用任何所需阵列配置。对roic和红外传感器(例如，微测辐射热计电路)的进一步描述，可以在2000年2月22日发布的美国专利no.6,028,309中找到，通过引用的方式将其全部并入本文。
图3示出了根据本公开实施例的在低比特率数据连接上传递高动态范围图像的过程的流程图。图3所述的过程从框300开始。在框300中，设备可接收高动态范围(hdr)图像。该hdr图像可以从图像捕获部件(诸如图像捕获部件130)通过例如图像捕获部件130捕获场景并将场景的图像输出为hdr图像数据接收，并且可包括描绘场景的多个像素。该hdr图像可通过控制器诸如本地处理器部件170来接收。某些实施例可以从多个图像捕获部件接收多个hdr图像。在这种实施例中，多个hdr到ldr图像转换可通过本地处理器部件170来执行。
在某些实施例中，hdr图像可以是辐射图像(例如，测量电磁辐射的图像，诸如热图像)，尽管其它实施例的hdr图像可以是可视图像。对于热hdr图像，hdr图像中的像素的图像值或像素值可以反映由像素表示的场景的一部分的温度。在这种实施例中，场景的像素成像较温暖部分可具有较高的信号值，而图像的像素成像较冷部分可以具有较低的信号值。此外，在框300中接收的hdr图像可以是静止图像或视频帧。
在某些实施例中，hdr图像可以是具有高的动态范围的量的图像。例如，hdr图像可包括8位、12位、14位、16位、18位、24位或高于24位的范围。应该认识到，虽然hdr图像可能具有一定量的可用动态范围，但图像信号可以只利用可用动态范围的一部分。
在框300中接收图像之后，可将在框300中接收的图像在框310中进行滤波。在框310中，可将滤波器应用于图像以消除噪声、保留或增强图像中的边缘，或以另一方式滤波图像。图像的滤波可根据图像的位置来改变。也就是说，图像的某些部分(诸如中心、边缘或感兴趣的位置，诸如热源)可以与图像的其它部分不同地进行滤波(例如，具有不同的滤波参数集)。在某些实施例中，可以跳过或放弃框310的图像滤波步骤。在接收多个图像的实施例中，可以对接收到的一个、一些或所有图像执行滤波。
在框320中，可以创建传递函数。传递函数可以将每个hdr图像值映射或关联到低动态范围(ldr)图像值。ldr图像可以是动态范围低于hdr图像的图像。也就是说，如果某一实施例具有动态范围为16位的hdr图像，则ldr图像可以是动态范围为12位、8位、6位、5位、4位或小于16位的任何其它动态范围的图像。如果hdr图像具有较高的动态范围，则ldr图像也相应地具有较高的动态范围，尽管ldr图像的动态范围仍可能低于hdr图像的动态范围。
由于hdr图像具有比ldr图像更高的动态范围，所以在某些情况下，存在于hdr图像中的信号可以使用比对于ldr图像可用的图像值的总量更高的图像值。例如，12位图像可包括4,096个唯一信号值(例如，像素值)，而8位图像只能包括256个唯一信号值。因此，hdr图像可以使用多于256的图像值，因此，在原始hdr图像的ldr表示中，多个唯一hdr值将用相同的、单个的ldr图像值表示。在一些这样的应用中，用单个ldr图像值表示多个hdr值可导致信息的不希望的丢失。
传递函数可以通过各种算法将hdr图像值映射到或关联到ldr图像值。例如，在某一实施例中，可首先确定hdr图像中所使用的唯一hdr图像值的量。如果可用ldr图像值的数量高于hdr图像中所使用的唯一hdr图像值的量，则传递函数可以将hdr图像中所使用的每个唯一hdr图像值以分段线性函数的方式映射到唯一ldr图像值。在某些这样的实施例中，传递函数可以将hdr图像值映射到ldr图像值的集合序列(例如，如果有60个唯一hdr图像值，则它可以将唯一hdr图像值映射到8位ldr图像的120至180像素值)，但在可能的情况下，当将hdr图像值映射到相应的ldr图像值时，其它实施例可首先确定唯一hdr图像值之间的相对关系并试图保持这种相对关系(例如，如果hdr图像使用在可能hdr图像值分布的两个尾端处的图像值，则所使用的相应ldr图像值也可能分布在可能图像值分布的尾端处)。在这种情况下，分段线性函数可以是一对一的函数。此外，可以使用非线性的、单调增加的传递函数，使得所使用的最低ldr图像值是最低的可能ldr图像值，所使用的最高ldr图像值是最高的可能ldr图像值。创建这样的hdr到ldr传递函数的一个可能的方法是直方图均衡化。
在其它实施例中，可以使图像值之间的差异最大以更好地显示出图像中的温差或图像对比度。在这些实施例中，可以创建传递函数，以便使用可能ldr图像值的全部范围(例如，至少一个ldr像素具有最低可能值的图像值，并且至少一个ldr像素具有最高可能值的图像值)。
hdr图像值也可以通过其它技术与ldr图像值相关联。另一个实例可适用于唯一hdr图像值的数量可能超过可用ldr图像值的数量的情况。在这种情况下，先前的hdr图像值到ldr图像值的一对一线性分段映射的实例可能是不可能的。因此，可以通过例如线性压缩或直方图均衡化将hdr图像的hdr图像值映射到ldr图像值，其中将增加值的hdr图像值映射到增加的ldr图像值。
在一个实例中，hdr图像值可以线性地关联到ldr图像值。也就是说，hdr到ldr图像值的映射可以是线性的。换句话说，如果有256个可用ldr图像值并且有512个唯一hdr图像值，则两个hdr图像值可以匹配到一个ldr图像值。在这样的实例中，两个最低的hdr图像值可以匹配到最低的ldr图像值，接下来的两个最低的hdr图像值可以匹配到下一个最低的ldr图像值，等等。在某些这样的实例中，hdr图像值的数量可能与ldr图像值的数量不精确匹配(例如，对于每个可用ldr图像值，可能有2.5个唯一hdr图像值)。对于这些实例，可能存在交替序列，其中一个ldr图像值被分配一个额外的hdr图像值。可以在图7a中进一步详细描述将hdr图像值在线性的基础上关联到ldr图像值。
将hdr图像值映射到ldr图像值的另一种技术可以是直方图均衡化。在这种技术中，hdr到ldr传递函数的斜率可以与对应hdr图像值的直方图的幅度成比例。hdr图像值到ldr图像值的直方图均衡化可以在图7c中进一步详细示例。
此外，hdr图像值到ldr图像值的映射也可以完全或部分由其它逻辑控制。例如，ldr图像值增益可以被限制，使得hdr图像值的一个计数的增加可以对应于不超过ldr图像值的一个计数的增加。其它实施例可以根据例如接收侧上的最大所需信号保真度，将传输的最大斜率限制为不同于一的其它值。
hdr图像值到ldr图像值的映射可根据hdr到ldr压缩来执行。hdr到ldr压缩可以确定与每个ldr计数相关联的hdr计数的数量。因此，hdr到ldr压缩越低，与每个ldr计数相关联的hdr值的数量就越少。在一些图像中，传递函数可以根据单个hdr到ldr压缩将图像的所有hdr图像值映射到ldr图像值。在其它图像中，对于不同范围的hdr图像值，hdr到ldr压缩可以有所不同。其它图像可以针对每个ldr图像值将不同的hdr与ldr压缩相关联。在某些实施例中，可以检测图像中的中心和/或感兴趣点，并且在中心和/或感兴趣点的图像值范围内的图像值可以具有较低的hdr到ldr压缩。因此，与图像中的其它部分相比，在中心和/或视点中，ldr增益的每个计数可以对应于较小数量的hdr增益，(例如，在图像中心中，可以将较小数量的hdr图像值映射到每个ldr图像值)。
在某些这样的实施例中，图像的中心可被确定为感兴趣点，因为图像有时集中在感兴趣点上。在其它实施例中，可以在图像中检测一个感兴趣点或多个感兴趣点。在某些这样的实施例中，可以检测感兴趣点的热值，所述热值接近于典型的人体温度和/或辐照度水平的值。此外，这是接近于典型的人体温度和/或辐照度水平的值的热值可具有较低的hdr到ldr压缩。感兴趣点在图5中进一步示例。
在一个实施例中，传递函数可被创建为向量值的比例累积和。每个向量索引表示hdr图像值或hdr图像值的连续范围。每个向量索引的值/振幅是特定hdr值或值范围内的所有像素的某些度量的总和。如果度量是一种简单存在度量，即度量总是为“1”，则向量变成像素强度的直方图。在用户定义一组感兴趣点的应用中，度量可能与最近的兴趣点的欧氏距离(euclidiandistance)成反比，使得表示感兴趣点附近的常见hdr值的向量指标比表示感兴趣点附近的不常见值的向量指标具有更高的值/振幅。此外，感兴趣点可以以辐照度空间来定义，而不是以图像空间来定义。例如，当对人体进行成像时，感兴趣点可被定义为理解为接近于常见值的特定hdr值范围。该度量可以与相对于感兴趣点的信号值的差值成反比(例如，感兴趣的信号值)。如本领域技术人员所理解的，可以使用其它度量来确定向量值。
在一些实施例中，包括在每个图像可以是视频帧的实施例中，可以为每个处理的图像创建传递函数。在其它实施例中，传递函数可以仅创建一次，仅在已处理一定数量的帧(例如，小于5、小于10、小于20、小于50，或50或50以上)之后创建，或者在检测到图像中的变化(例如，当检测到感兴趣点移动时或当感兴趣点的辐照度水平已经从一个图像变成另一个图像时)之后创建。在这样的实施例中，先前创建的传递函数，诸如最后新创建的传递函数，可用于将处理图像帧的hdr图像转换成ldr图像，而不创建新的传递函数。因此，在不创建新的传递函数的过程中，该过程可以从框310过渡到框330和/或框360。
在框300中接收多个hdr图像的实施例中，可以创建多个传递函数。一些这样的实施例可以为每个hdr图像创建传递函数，但其它实施例可以在图像之间共享传递函数。在这样的实施例中，多个hdr图像可以共享传递函数，并且可利用共享传递函数来执行一些或所有的hdr图像到ldr图像的转换。
在框320中创建了传递函数之后，然后该过程可分裂成多个分支。所述分支可包括图像转换分支和逆传递函数分支。
图像转换分支可包括框330-350。接收多个hdr图像的实施例可以对所接收的每个hdr图像执行框330-350的图像转换分支，以及框360-370的逆传递函数分支，如果适用的话。在框330中，可将hdr图像转换为ldr图像。通过在框320中创建的传递函数，可将hdr图像转换为ldr图像。因此，hdr图像中的像素可以通过传递函数从hdr图像值转换为ldr图像值。
在框340中，在将hdr图像转换为ldr图像之后，可以在框340中压缩ldr图像。ldr图像的压缩可通过任何适当的视频压缩技术来执行。某些商用视频编码器或视频压缩器可能需要帧具有有限的动态范围，诸如只有6、8、10或12位的动态范围。如果用这样的软件执行视频压缩，则在对图像进行压缩之前，可能首先需要将hdr图像转换为ldr图像。
在框340中压缩ldr图像之后，可以在方框350中将压缩的ldr图像在设备之间进行通信。例如，压缩的ldr图像可以通过接口190从第一设备102传送到第二设备104。接口190可以是低比特率接口，诸如蓝牙、wifi、nfc或其它有线或无线接口。为了本公开的目的，发送ldr图像(和逆传递函数，在框370中)的设备可被称为发送设备。接收ldr图像和逆传递函数的设备可被称为接收设备。此外，也可以在框350(或本文详述的框370)中传递与图像或视频相关联的任何元数据。元数据可有助于图像或视频的处理、显示或构建。
技术的逆传递函数分支包括框360-370。在框360中，可以创建逆传递函数。逆传递函数可以是将ldr图像值转换回hdr图像值的函数。因此，逆传递函数可以是在框320中创建的传递函数的逆函数，或者可以近似地近似于逆函数。例如，在hdr图像是14位图像并且ldr图像是8位图像的实施例中，如果在框320中创建的传递函数将hdr图像值345-355映射到ldr图像值29，则逆传递函数可以将29的ldr图像值映射到在345-355范围内任何的hdr图像值。
在某些实施例中，因为ldr图像值可以与一系列的可能hdr图像值相关联，逆传递函数还可包括确定像素可能是哪个可能hdr图像值的步骤。这些步骤可包括基于像素的位置来确定像素可能是哪个可能hdr图像值。像素的位置可以是绝对位置(例如，像素是在图像的中心还是沿着图像的一侧)或者是相对位置(例如，像素如何接近于不同hdr图像值的其它像素和/或像素是否沿着检测到的边缘和/或其它考虑)。例如，接近于具有较低hdr图像值的邻近像素的像素，可被指定可能的hdr图像值的底部附近的hdr图像值，而接近于具有较高hdr图像值的邻近像素的像素，可被指定在一系列可能hdr图像值的顶部附近的hdr图像值。
在一些实施例中，包括其中每个图像都可以是视频帧的实施例，可以为每个处理的图像创建逆传递函数。在其它实施例中，逆传递函数可以仅创建一次，仅周期性创建，或者仅在检测到图像中从帧到帧变化时创建。逆传递函数创建频率可以反映用于确定何时创建传递函数的频率，或者其可以与传递函数的创建频率无关。
在框360中创建逆传递函数之后，在框370中可以将逆传递函数在设备之间传送。例如，逆传递函数可以从第一设备102传送到第二设备104。一旦发送设备将ldr图像和逆传递函数传送到接收设备，发送设备可以返回到框300并接收要处理的另一个hdr图像，如果有任何附加的hdr图像的话。在某些实例中，利用本文公开的过程的成像系统可以记录、处理、发送和/或显示视频。在这种实例中，该成像系统可以处理hdr图像帧，以及在传递与hdr图像帧相关联的ldr图像帧和逆传递函数之后，继续处理视频中的下一帧。在某些这样的实例中，可能有限制处理每个帧所花费的时间量的逻辑，从而可以保持平滑的帧速率。在不创建新的逆传递函数的情况下，可以省略框370。
在框400中，可以通过接收设备诸如第二设备104来接收ldr图像和逆传递函数。然后，接收设备可以用逆传递函数处理ldr图像。用逆传递函数处理ldr图像可以在图4中进一步详细描述。
图4示出了根据本公开实施例的、将通过低比特率数据连接接收的低动态范围图像重建为高动态范围图像的过程的流程图。在图4的框410和420中，接收设备可以接收从发送设备(在图3的框350和370中)传送的ldr图像和逆传递函数。某些实施例可以不针对每个ldr图像接收逆传递函数。在这样的实施例中，ldr图像可以用先前接收到的逆传递函数来进行处理，诸如通过接收设备接收的最后的逆传递函数来进行处理。
在框420中接收到ldr图像之后，可以在框430中解压缩ldr图像。可通过任何适当的视频解压缩技术来解压缩ldr图像。
在框440中，未压缩的ldr图像可以用逆传递函数来处理以创建重建图像。例如，可通过将ldr图像值转换为相应的hdr图像值，将ldr图像转换为hdr图像，来创建重建的图像。例如，可通过使用在图3的框360中创建的逆传递函数，将ldr图像值转换为hdr图像值。
在框440中对ldr图像进行处理并重新创建为重建的图像之后，可以在框450中进一步处理重建的图像。例如，可通过锐化图像中的边缘或通过直方图均衡化来进一步处理重建的图像。也可在框450中执行其它处理。此外，在具有输出多个hdr图像的多个图像捕获部件的实施例中，已处理成ldr图像和重建的图像的多个hdr图像随后可在框450中组合在一起，以创建一个或多个复合图像。另外，某些实施例可以不额外地处理重建的图像，因此，这些实施例可以跳过框450。
在框460中，可以显示重建的图像。重建的图像可显示在例如图1的显示部件140上。虽然重建的图像可显示在接收设备上，但某些实施例在显示重建的图像之前可首先将其传送到另一设备。
在将ldr图像处理成重建的图像之后，可以在框420中接收新的ldr图像(诸如视频中的下一帧)，可以在框410中接收新的逆传递函数，然后可以处理新的ldr图像。在某些实施例中，只能周期性地接收新的逆传递函数，而不是针对每个ldr图像来接收。此外，在框440中将ldr图像转换为重建的图像之后、在框450中对重建的图像进行额外处理之后或者在框460中显示重建的图像之后，可以接收新的ldr图像和/或新的逆传递函数。
图5示出了根据本公开实施例的辐射图像。图5的图像500可以是一幅描绘场景的热读数的辐射图像。图像500示出了两个行走的人的辐射图像。在图像500中，场景中检测到的较高温度可对应于具有较亮(例如，较白)像素值的像素，而较冷温度可对应于具有较暗像素值的像素。
在图像500中，有图像中心502。在某些实施例中，对于图像中心502内的像素值，hdr到ldr压缩可以较低。此外，图像500还包括两个图像热点，热点504和热点506。某些实施例可以检测图像的热点，诸如图像500中的热点504和506，并允许对检测到的热点内的像素值进行较低的hdr到ldr压缩。
此外，在某些实施例中，像素值对应于相对接近人体辐照度水平的像素还可包括较低的hdr到ldr压缩。例如，当检测到像素值大约在典型人体辐照度水平的5摄氏度以内的像素时，某一这样的实施例可允许较低的hdr到ldr压缩。在图5中，这些像素还可包括在热点504和506内的像素，因为热点504和506包括描绘两人的裸露皮肤温度的像素。
图6示出了根据本公开实施例的高动态范围到低动态范围传递函数。在图6中，z轴描绘了hdr到ldr增益。1增益值可以与在hdr和ldr值之间的一对一传递相关。另外两个轴表示像素位置。
在图6中，描述了加权函数。在计算向量/直方图的每个值或值范围的度量时，可以使用此加权函数。使用此加权函数将增加与图像中心区域中共用值相关联的向量指标的值。如果传递函数斜率/增益与计算的加权和成比例，则在图像中心附近的对象可具有较少的动态范围压缩，并且重建的图像可以更接近地重建hdr值，以使其成为用于该区域的原始hdr值。
图7a-c示出了根据本公开实施例的、额外的高动态范围到低动态范围传递函数。图7a示例了线性传递函数。图7b示出了具有可变的hdr到ldr增益/压缩的传递函数。应该认识到，hdr到ldr增益可以与hdr到ldr压缩成相反的关系。也就是说，较低的hdr到ldr压缩可以表示较高的hdr到ldr增益。图7c示出了一种基于直方图均衡化的传递函数。图7a-c的hdr图像可以是具有4096个可能图像值的12位图像。图7a-c的ldr图像可以是具有256个图像值的8位图像。注意，虽然图7a-c示例了一种传递函数，它可以映射hdr和ldr图像中的所有可能图像值的图像值，但其它实施例可以只映射hdr和/或ldr图像的可能图像值的一部分。应该意识到，虽然在图7a-c中所描述的增益可被示出为连续的，但增益实际上可以是分段常数。由于图7a-c的分辨率，这种分段恒定增益可以用连续的斜率来表示，而不是作为单独的阶梯。
在图7a和7b中，x轴表示hdr图像的hdr图像值，而x轴表示hdr图像的相应ldr版本的ldr图像值。在图7a中，hdr到ldr增益在整个像素范围内是线性的。也就是说，最低的ldr图像值可以映射到16个最低的hdr图像值，下一个最低的ldr图像值可以映射到接下来的16个最低的hdr图像值，等等，用每个ldr图像值映射到16个hdr图像值。
在图7b中，hdr到ldr增益可以是不同的。图7b的区域1可以是低hdr到ldr增益的区域，而区域2可以是图7b的三个区域中的hdr到ldr增益最高的区域，区域3是比区域2的hdr到ldr增益更低的区域。
在各种实施例中，图7b的区域2可对应于感兴趣的区域诸如热点内的图像值，对应于可能更重要的图像值，诸如在人体辐照度值附近的图像值，或者可对应于否则将有利于以更高的保真度/准确性进行传递的图像值。区域1和3的hdr到ldr增益可以低于区域2，以便适应区域2的更高分辨率。
图7c示出了在hdr图像和相对应的ldr图像中的图像值的计数表示。在图7c中，x轴可对应于在各自图像中的可用的图像值的范围，y轴可对应于图像值的计数(例如，每个图像值的频率)。
在图7c中，可以使用直方图创建hdr到ldr传递函数。也就是说，每个hdr图像值的传递函数的斜率可以与同一hdr值的直方图的幅度成比例。在图7c中，这可能导致在可用图像值中间附近的图像值的频率/发生率最高，而在hdr动态范围的极值附近具有较小的图像值计数。在这样的分布中，各种图像值的相对计数可以在hdr到ldr传送期间保持。
本文所描述的技术和过程可用于处理图像。本文所描述的技术可以通过多个阶段转换图像。图8a-d示出了根据本公开实施例的、由成像系统捕获和/或处理的各种图像。
图8a可以示出由成像系统捕获的原始图像。在图8a中捕获的图像可以是描绘场景的热读数的辐射hdr图像。图8b可以示出图8a的图像的ldr版本，已利用hdr到ldr传递函数处理的减少的动态范围图像。另外，在用hdr到ldr传递函数处理图像之前或之后，可以将附加滤波应用于图8a的图像。图8b的图像可以是由接收设备接收的ldr图像。图8c可以示出已用逆传递函数处理以重新创建hdr辐射图像的图8b的图像版本。前向(hdr到ldr)传递函数可以创建ldr图像，在某种意义上，该ldr图像对于人类观察者观察来说是最佳的。此ldr图像可能不会保存hdr图像中的相对信号差异，而可以替代地最大化ldr图像(以及，可能是重建的hdr图像)中的信号差异，以便更清楚地示出图像中的差异。
图8d可以是重建误差的可视化。在热成像应用中，误差可以表示图8a和8c的图像之间的绝对温度测量比较。图8d可以示出图8a和8c的对应像素之间或像素区域之间的温度差异。如图8d所示，在图8a和8c之间仅存在很小的差异。事实上，图8a和8c的对应像素之间的最大温差为15.64mk(0.01564开尔文/摄氏度)。因此，本文所描述的过程可以允许在低比特率接口上精确地传递hdr辐射图像。
在适用的情况下，本公开提供的各种实施例可以使用硬件、软件或硬件和软件的组合来实现。此外，在适用的情况下，本文所述的各种硬件部件和/或软件部件在不偏离本公开的精神的情况下，可以被组合成包含软件、硬件和/或两者的复合部件。在适用的情况下，本文所述的各种硬件部件和/或软件部件在不偏离本公开的精神的情况下，可以被分离为包含软件、硬件或两者的子部件。此外，在适用的情况下，可以设想可将软件部件实现为硬件部件，反之亦然。
根据本公开的软件，诸如非临时指令、程序代码和/或数据，可以存储在一个或多个非临时性机器可读介质上。还设想本文所识别的软件可以使用一个或多个通用或专用计算机和/或联网的和/或其它计算机系统来实现。在适用的情况下，本文所描述的各种步骤的顺序可以被改变、组合成复合步骤，和/或分离成子步骤，以提供本文所描述的特性。
上述实施例示出但不限制本发明。还应该理解，根据本发明的原理，可以进行许多修改和变化。因此，本发明的范围仅由下面的权利要求限定。