用于双传感器应用的红外相机系统和方法

专利名称：用于双传感器应用的红外相机系统和方法
技术领域：
本公开涉及红外成像系统，且更具体地，涉及用于双传感器应用的红外相机系统和方法。
背景技术：
在各种成像应用中利用可见光相机，以捕捉彩色或单色图像。例如，典型地利用可见光相机，以用于环境光下的日间应用。在各种成像应用中利用红外相机，以将来自对象的热发射捕捉为红外图像，并因此，红外相机可以不取决于环境光照。例如，可以利用红外相机，以用于夜间应用，以改善典型地影响限于可见光谱频带的相机的低光照状况下的能见度。然而，针对用于可见光相机和红外相机的传统夜间实现方式，存在几个缺点。例如，交通工具操作员可能必须在用于呈现来自可见光相机的图像的显示与用于呈现来自红外相机的图像的显示之间交替，以建立该场景的可见频带与红外频带表示之间的关联性， 并且确定道路障碍物和方向，从而安全通过。这可能是相对困难的。即使在单一显示上利用分割视图，操作员也必须经常地在每个视图之间切换，以确定在该图像中什么可能是阻挡物，以在多频带相机系统中将来自可见光相机与红外相机的输出进行关联。作为结果，需要用于按照容易可查看的方式来提供可见光图像和红外图像的改善的显示技术。还需要用于包括夜间应用的各种应用的改善的可见光和红外相机处理技术。

发明内容
根据一个或多个实施例的、在这里公开的系统和方法提供了用于可以适于提供增强的视觉能力的双传感器成像装置(诸如，双传感器相机)的处理技术和操作模式。在一个示例中，在某些状况下，交通工具(例如，飞行器、船舶、陆基交通工具等)期望使用增强的视觉系统来在对交通工具进行操作和导航时援助领航员。例如，在夜间，对于红外辐射敏感的传感器的使用辅助在黑暗中进行成像。在其中存在可见光源的环境下，领航员期望利用对于可见光光谱敏感的传感器来观看这些光。相应地，本公开的实施例提供了增强的视觉系统，用于组合来自红外和可见波长传感器的所捕捉的图像，以用于处理需要最小用户输入的应用。通过对来自可见光传感器的图像信号与来自红外传感器的图像信号进行组合或混合，可以生成所组合或所混合的图像，其保留了来自可见光传感器的色彩信息，并且示出了来自红外传感器的红外辉度。根据实施例，增强的视觉系统包括至少一个对于可见光谱中的光敏感的传感器和至少一个对于红外光谱中的热辐射敏感的传感器。增强的视觉系统适于在至少三个模式中进行操作，其中第一模式显示来自可见传感器的图像信号，第二模式显示来自红外传感器的图像信号，并且第三模式显示通过组合来自可见传感器的图像信号与来自红外传感器的图像信号所生成的图像信号。在一个实现中，通过组合来自可见传感器的图像信号的辉度部分与来自红外传感器的图像信号的辉度部分、以生成所组合的图像信号的辉度部分，来生成第三模式中的所组合的图像信号。可以从可见传感器的图像信号中保留所组合的图像信号中的色度信息。所述操作模式是用户可选择的，其中(诸如，通过转动钮所产生的)单一用户输入在所述操作模式的任何操作模式中控制图像信号。在一个方面中，增强的视觉系统可以基于一天的时间来自动地选择操作模式。在另一方面中，增强的视觉系统可以基于在任一或两者频带(例如，可见光频带和/或红外频带)中的所捕捉的图像信号的属性 (例如，SNR 信噪比)来自动地选择操作模式。根据实施例，增强的视觉系统包括图像捕捉组件，具有可见光传感器，用于捕捉可见光图像；以及红外传感器，用于捕捉红外图像。增强的视觉系统包括第一控制组件，适于向用户提供多个可选择的处理模式，接收与用户所选择的处理模式对应的用户输入，并且生成指示用户所选择的处理模式的控制信号，其中，所述多个可选择的处理模式包括仅仅可见光模式、仅仅红外模式、和组合的可见红外模式。该增强的视觉系统包括处理组件， 适于从该控制组件接收所生成的控制信号，根据用户所选择的处理模式来处理所捕捉的可见光图像和所捕捉的红外图像，并且基于由用户所选择的处理模式来生成所处理的图像。 增强的视觉系统包括显示组件，适于基于由用户所选择的处理模式来显示所处理的图像。所述多个可选择的处理模式包括仅仅可见光模式，用于使得该处理组件仅仅根据所捕捉的可见光图像来生成输出图像，其中，所述可见光图像包括来自可见光波长光谱的色彩信息或单色信息。所述多个可选择的处理模式包括仅仅红外模式，用于使得该处理组件仅仅根据所捕捉的红外图像来生成输出图像，其中，所述红外图像包括来自红外波长光谱的热信息。所述多个可选择的处理模式包括组合的可见红外模式，用于使得该处理组件通过组合所捕捉的可见光图像的一部分与来自所捕捉的红外图像的一部分来生成所处理的图像。增强的视觉系统可以包括存储组件，适于存储所捕捉的可见光图像、所捕捉的红外图像、和所处理的图像。增强的视觉系统可以包括第二控制组件，适于向该用户提供可选择的控制参数(ξ)，接收与用户所选择的控制参数(ξ)对应的用户输入，并且生成指示用户所选择的控制参数(ξ)的控制信号。将可选择的控制参数(ξ)规格化为具有范围 0(零)到1中的值。在混合模式中，1的值使得处理组件仅仅根据所捕捉的可见光图像来生成输出图像，并且其中，0(零)的值使得处理组件仅仅根据所捕捉的红外图像来生成输出图像。在混合模式中，0(零)与1之间的值使得处理组件根据所捕捉的可见光图像和所捕捉的红外图像两者的比例部分来生成所处理的图像。可选择的控制参数(ξ)适于，当用户选择了组合的可见红外模式时，影响可见光图像和红外图像的辉度值(luminance value) 的比例。当用户选择了该仅仅可见光模式时，所处理的图像包括仅仅可见光图像，并且其中，当用户选择了该仅仅红外模式时，所处理的图像包括仅仅红外图像，并且其中，当用户选择了该组合的可见红外模式时，所处理的图像包括组合的可见红外图像。显示组件适于显示所处理的图像，作为仅仅可见光图像、仅仅红外图像、和组合的可见红外图像，该组合的可见红外图像具有该仅仅可见光图像和该仅仅红外图像两者的部分。所捕捉的可见光图像包括辉度⑴部分和色度(CrCb)部分，并且其中，所捕捉的红外图像包括仅仅辉度(Y)部分，并且其中，处理组件适于从所捕捉的可见光图像中提取该辉度(Y)部分和该色度(CrCb)部分，从所捕捉的红外图像中提取该辉度(Y)部分，对所述辉度(Y)部分进行缩放，并且融合所述辉度(Y)部分和该色度(CrCb)部分，以基于由用户所选择的处理模式来生成所处理的图像。根据实施例，用于处理图像的方法包括捕捉可见光图像和红外图像，并且向用户提供多个可选择的处理模式，其中，所述多个可选择的处理模式包括仅仅可见光模式、仅仅红外模式、和组合的可见红外模式。该方法包括接收与用户所选择的处理模式对应的用户输入，根据用户所选择的处理模式来处理所捕捉的可见光图像和所捕捉的红外图像，生成所处理的图像，并且显示所处理的图像。当用户选择了该仅仅可见光模式时，该所处理的图像可以包括仅仅可见光图像。当用户选择了该仅仅红外模式时，该所处理的图像可以包括仅仅红外图像。当用户选择了该组合的可见红外模式时，该所处理的图像可以包括组合的可见红外图像。通过权利要求来定义本公开的范围，通过参考来将该权利要求合并到此章节中。 可以通过考虑一个或多个实施例的以下详细描述，来向本领域技术人员给予本公开实施例的更加完整的理解、以及其附加优点的实现。可以对于可首先简要描述的附图的附页做出参考。


图1A-1B示出了用于图示根据本公开各个实施例的、用于捕捉和处理红外图像的各种红外成像系统的框图。图1C-1D示出了用于图示根据本公开各个实施例的、用于图IB的红外成像系统的各种配置的框图。图1E-1F示出了用于图示根据本公开各个实施例的、图IB的红外成像系统的水上应用的示意图。图2示出了用于图示根据本公开各个实施例的、用于捕捉和处理红外图像的方法的框图。图3A-3F示出了用于图示根据本公开各个实施例的、红外处理技术的框图。图4示出了用于图示根据本公开各个实施例的、红外处理技术的概览的框图。图5示出了用于图示根据本公开实施例的、用于在不同的操作模式之间进行选择的红外成像系统的控制组件的框图。图6示出了用于图示根据本公开实施例的、红外成像系统的图像捕捉组件的实施例的示意图。图7示出了用于图示根据本公开实施例的、用于监视红外成像系统的图像数据的方法的实施例的框图。图8示出了根据本公开实施例的、用于在增强的视觉系统中实现双传感器应用的方法的框图。图9示出了用于图示根据本公开实施例的、用于实现一个或多个增强的视觉操作模式和与其相关的红外处理技术的方法的框图。图10示出了用于图示根据本公开实施例的、用于在一个或多个增强的视觉操作模式之间进行选择的增强视觉系统的控制组件的框图。图IlA示出了根据本公开实施例的、逐像素混合调整的曲线图。
图IlB示出了根据本公开实施例的、逐像素亮度调整的曲线图。通过参考接下来的详细描述来最佳地理解本公开的实施例及其优点。应该领会， 使用同样的附图标记来标识在所述附图中的一个或多个附图中图示的同样元件。
具体实施例方式根据本公开的实施例，图IA示出了用于图示用于捕捉和处理红外图像的红外成像系统100A的框图。红外成像系统100A包括处理组件110、存储组件120、图像捕捉组件 130、显示组件140、控制组件150、和可选地，感测组件160。在各种实现中，红外成像系统100A可以表示诸如红外相机之类的红外成像装置， 以捕捉诸如图像170之类的一个或多个图像。红外成像系统100A可以表示任何类型的红外相机，例如该红外相机检测红外辐射，并且提供表示性数据(例如，一个或多个快照或视频红外图像)。例如，红外成像系统100A可以表示针对近、中、和/或远红外光谱的红外相机。红外成像系统100A可以包括便携式装置，并且例如可以被合并到需要存储和/或显示红外图像的交通工具(例如，船用交通工具、陆基交通工具、飞行器、或航天器)或者非移动设施中。在一个实施例中，处理组件110包括微处理器、单核处理器、多核处理器、微控制器、逻辑器件(例如，被配置为执行处理功能的可编程逻辑器件)、数字信号处理(DSP)装置、或一些其他类型的一般已知的处理器。处理组件110适于与组件120、130、140、150和 160进行对接和通信，以执行如在这里描述的方法和处理步骤。处理组件110可以包括用于在一个或多个操作模式中进行操作的一个或多个模式模块112A-112N。在一个实现中，模式模块112A-112N定义可以嵌入在处理组件110中或存储在存储组件120上的、用于由处理组件110进行访问和运行的预设显示功能。而且，处理组件110可以适于执行各种其他类型的图像处理算法。在各种实现中，应该领会，可以将模式模块112A-112N中的每一个集成到作为处理组件110的一部分的软件和/或硬件中，或者集成到可能存储在存储组件120中的、用于与每个模式模块112A-112N相关联的每个操作模式的代码(例如，软件或配置数据)中。 模式模块112A-112N(即，操作模式)的实施例可以通过单独的计算机可读介质(例如，存储器，诸如硬盘驱动器、致密盘、数字视频盘、或闪存存储器)来存储，以由计算机(例如，基于逻辑或处理器的系统)来运行，从而执行各种方法。在一个示例中，计算机可读介质可以是便携式的和/或被定位为与红外成像系统100A分开，其中通过将计算机可读介质耦接到红外成像系统100A和/或通过红外成像系统100A (例如，经由有线或无线链路而)从计算机可读介质下载模式模块112A-112N来向红外成像系统100A提供所存储的模式模块 112A-112N。模式模块112A-112N准备好改善的用于实时应用的红外相机处理技术，其中用户或操作员可以当在显示组件140上查看图像的同时改变模式。在一个实施例中，存储组件120包括用于存储数据和信息的一个或多个存储装置。一个或多个存储装置可以包括各种类型的存储器，包括诸如RAM(随机存取存储器)、 R0M(只读存储器)、EEPR0M(电可擦除只读存储器)、闪存存储器等之类的易失性和非易失性存储装置。处理组件110适于运行在存储组件120中存储的软件，以执行方法、处理和操作模式。
在一个实施例中，图像捕捉组件130包括用于捕捉表示诸如图像170之类的图像的红外图像信号的一个或多个红外传感器(例如，任何类型的红外检测器，诸如焦平面阵列)。在一个实现中，图像捕捉组件130的红外传感器为将图像170的所捕捉的图像信号表示(例如，转换)为数字数据作准备(例如，经由作为红外传感器的一部分而包括的、或与红外传感器分开而作为红外成像系统100A的一部分的模数转换器)。处理组件110可以适于从图像捕捉组件130接收红外图像信号，处理红外图像信号(例如，提供所处理的图像数据)，在存储组件120中存储红外图像信号或图像数据，和/或从存储组件120中检索所存储的红外图像信号。处理组件110可以适于处理在存储组件120中存储的红外图像信号， 以向显示单元140提供图像数据(例如，所捕捉和/或所处理的红外图像数据)，以用于由用户进行查看。在一个实施例中，显示组件140包括图像显示装置(例如，液晶显示器(IXD))或各种其他类型的一般已知的视频显示器或监视器。处理组件Iio可以适于在显示组件140 上显示图像数据和信息。处理组件110还可以适于从存储组件120中检索图像数据和信息，并且在显示组件140上显示任何所检索的图像数据和信息。显示组件140可以包括显示电子设备，处理组件110可以利用该显示电子设备来显示图像数据和信息(例如，红外图像)。显示组件140可以经由处理组件110而从图像捕捉组件130中检索图像数据和信息， 或者可以经由处理组件110而从存储组件120传递图像数据和信息。在一个实现中，处理组件110可以初始地处理所捕捉的图像，并且在与模式模块112A-112N对应的一个模式中呈现所处理的图像，并然后基于对于控制组件150的用户输入，处理组件110可以将当前的模式切换到不同的模式，以用于在不同的模式中在显示组件140上查看所处理的图像。可以将此切换称作将模式模块112A-112N的红外相机处理技术应用于实时应用，其中用户或操作员可以在基于对于控制组件150的用户输入来在显示组件140上查看图像的同时，改变模式。在一个实施例中，控制组件150包括用户输入和/或接口装置，其具有适于生成一个或多个用户致动的输入控制信号的一个或多个用户致动的组件，诸如，一个或多个按钮、 滑杆、旋钮或键盘。控制组件150可以适于被集成为显示组件140的一部分，以作用为用户输入装置和显示装置两者，例如，适于根据用户触摸显示屏的不同部分而接收输入信号的触摸屏装置。处理组件110可以适于从控制组件150感测控制输入信号，并且响应于从其接收到的任何所感测的控制输入信号。处理组件110可以适于将控制输入信号解析为一值， 其将在这里更加详细地描述。在一个实施例中，控制组件150可以包括控制面板单元500(例如，有线或无线手持控制单元)，其具有适于与用户对接并且接收用户输入控制值的一个或多个按钮， 如图5所示和在这里进一步描述的。在各种实现中，可以利用控制面板单元500的一个或多个按钮来在如在这里参考图2-4所描述的各种操作模式之间进行选择。例如，可以实现仅仅一个按钮，并且操作员利用该按钮来循环通过各种操作模式(例如，夜晚停靠 (night docking)、人员落水(man overboard)、夜晚巡航(night cruising)、白天巡航(day cruising)、烟雾状况(hazy conditions)、和海岸线(shoreline))，其中在显示组件140上指示所选择的模式。在各种其他实现中，应该领会，控制面板单元500可以适于包括用于提供红外成像系统100A的各种其他控制功能(诸如，自动对焦、菜单激活和选择、视场(FoV)、亮度，对比度、增益、偏移、空间、时间和/或各种其他特征和/或参数)的一个或多个其他按钮。在另一实现中，用户或操作员可以基于所选择的操作模式来调整可变的增益值。在另一实施例中，控制组件150可以包括图形用户接口(⑶I)，该图形用户接口 (⑶I)可以被集成为显示组件140(用户致动的触摸屏)的一部分，其具有例如按钮的一个或多个图像，所述按钮适于与用户进行对接并且接收用户输入控制值。在一个实施例中，取决于期望的应用或实现需求，可选的感测组件160包括一个或多个各种类型的传感器(包括环境传感器)，其向处理组件110提供信息。处理组件110 可以适于(例如，通过从感测组件160接收传感器信息来)与感测组件160进行通信，并且 (例如，通过从图像捕捉组件130接收数据，并往返于红外成像系统100A的其他组件而接收命令、控制或其他信息来)与图像捕捉组件130进行通信。在各种实现中，可选的感测组件160可以提供与环境状况相关的数据和信息，诸如外部温度、光照状况(例如，白天、夜晚、黄昏、和/或黎明)、湿度水平、特定天气状况(例如，晴、雨、和/或雪)、距离(例如，激光测距仪)、和/或是否已经进入或离开隧道、有顶的船坞(covered dock)、或已经进入或离开一些类型的围护结构(enclosure)。可选的感测组件160可以表示如本领域技术人员将已知的用于监视各种状况(例如，环境状况)的传统传感器，所述各种状况可能对于图像捕捉组件130所提供的数据具有影响(例如，对图像外观的影响)。在一些实施例中，可选的感测组件160可以包括一个或多个装置，适于经由无线通信来向处理组件110中继信息。例如，感测组件160可以适于通过本地广播(例如，射频) 传送、通过移动或蜂窝网络和/或通过基础架构(例如，传输或交通干线信标基础架构)中的信标或各种其他有线或无线技术来从卫星接收信息。在各个实施例中，可以按照预期或取决于应用或需求来组合和/或实现图像捕捉系统100A的组件，其中图像捕捉系统100A表示系统的各个功能块。例如，可以将处理组件 110与存储组件120、图像捕捉组件130、显示组件140和/或感测组件160进行组合。在另一示例中，可以将处理组件Iio与图像捕捉组件130进行组合，其中在图像捕捉组件130内通过电路(例如，处理器、微处理器、微控制器、逻辑器件等)来执行处理组件110的某些功能。在又一示例中，可以将控制组件150与一个或多个其他组件组合，或者经由控制线缆而将它远程地连接到至少一该其他组件，诸如处理组件110，以便向其提供控制信号。根据本公开的另一实施例，图IB示出了用于图示用于捕捉和处理红外图像的红外成像系统100B的框图。在一个实施例中，红外成像系统100B包括处理组件110、接口组件118、存储组件120、一个或多个图像捕捉组件130A-130N、显示组件140、控制组件150、和可选地，感测组件160。应该领会，图IB的红外成像系统100B的各个组件在功能和范围上可以与图IA的红外成像系统100A的组件相似，并且在这里更加详细地描述系统100A、100B 之间的任何区别。在各种实现中，红外成像系统100B可以表示一个或多个红外成像装置，诸如一个或多个红外相机，以捕捉诸如图像170A-170N之类的图像。一般地，红外成像系统100B可以利用多个红外相机，所述多个红外相机例如检测红外辐射，并且提供表示性数据(例如， 一个或多个快照或视频红外图像)。例如，红外成像系统100B可以包括指向近、中、和/或远红外光谱的一个或多个红外相机如在这里进一步讨论的，例如，红外成像系统100B可以被集成到需要存储和/或显示红外图像的交通工具(例如，船用交通工具、或其他类型的船舶、陆基交通工具、飞行器、或航天器)或者非移动设施中。处理组件110适于与系统100B的包括组件118、120、130A-130N、140、150、和/或 160的多个组件进行对接和通信，以执行如在这里描述的方法和处理步骤。处理组件110可以包括用于在一个或多个操作模式中进行操作的一个或多个模式模块112A-112N，在这里更加详细地描述它。处理组件110可以适于按照如在这里描述的方式来执行各种其他类型的图像处理算法。在一个实施例中，接口组件118包括通信装置(例如，调制解调器、路由器、交换机、集线器、或以太网卡)，该通信装置允许每个图像捕捉组件130A-130N与处理组件110之间的通信。照这样，处理组件110适于经由接口组件118而从每个图像捕捉组件130A-130N 接收红外图像信号。在各个实施例中，每个图像捕捉组件130A_130N(其中，“N”表示任何期望的数字) 包括用于捕捉红外图像信号的一个或多个红外传感器(例如，任何类型的红外传感器，诸如焦平面阵列；或任何类型的红外相机，诸如红外成像系统100A)，所述红外图像信号表示诸如一个或多个图像170A-170N之类的图像。在一个实现中，图像捕捉组件130A的红外传感器准备好(例如，经由作为红外传感器的一部分而包括的、或与红外传感器分开而作为红外成像系统100B的一部分的模数转换器)将例如图像170A的所捕捉的图像信号表示 (例如，转换)为数字数据。照这样，处理组件110可以适于经由接口组件118而从每个图像捕捉组件130A-130N接收红外图像信号(例如，以提供所处理的图像数据，或可以通过每个图像捕捉组件130A-130N来提供所处理的图像数据)，将红外图像信号或图像数据存储在存储组件120中，和/或从存储组件120中检索所存储的红外图像信号。处理组件110 可以适于对在存储组件120中存储的红外图像信号进行处理，以向显示组件140(例如，一个或多个显示器)提供图像数据(例如，所捕捉和/或所处理的红外图像数据)，以用于由用户进行查看。在一个实现中，参考图6，每个图像捕捉组件130A-130N可以包括一个或多个组件，所述组件包括第一相机组件132、第二相机组件134、和/或探照灯组件136。在一个实施例中，如图6所示的，第一相机组件132适于捕捉红外图像，第二相机组件134适于捕捉可见光光谱中的彩色图像，并且探照灯组件136适于向一个或多个图像170的图像边界内 (例如，第一相机组件132和/或第二相机组件134的视场内)的位置提供光束。图IC示出了根据本公开实施例的红外成像系统100B的俯视图，该红外成像系统 100B具有安装到船舶180的多个图像捕捉组件130A-130D (例如，红外相机)。在各种实现中，图像捕捉组件130A-130D可以包括适于捕捉一个或多个红外图像的任何类型的红外相机(例如，红外检测器装置)。船舶180可以表示任何类型的船舶(例如，敞篷船、游艇、轮船、游轮、油轮、商船、军舰等)。如图IC所示，可以按照用于提供船舶180周围的一个或多个视场的方式来在船舶 180上的不同位置处的一布局中安装将多个图像捕捉组件130A-130D。在各种实现中，可以将图像捕捉组件130A安装为提供船舶180的船首182(例如，前方或船头部分)前面或周围的视场。如进一步示出的，可以将图像捕捉组件130B安装为提供船舶180的左舷184(例如，当面对船首182时的左侧)旁边或周围的视场。如进一步示出的，可以将图像捕捉组件130C安装为提供船舶180的右舷186(例如，当面对船首182时的右侧)旁边或周围的视场。如进一步示出的，可以将图像捕捉组件130D安装为提供船舶180的船尾188(例如，后方或船尾部分)后面或周围的视场。因而，在一个实现中，可以将多个红外捕捉组件130A-130D(例如，红外相机)安装在船舶180的周界周围，以提供关于其的视场。作为示例，船舶180可以合并红外成像系统 100B,以提供人员落水检测，以在各种操作模式(诸如，船舶180的夜晚停靠、夜晚巡航和或白天巡航)期间进行辅助，和/或提供各种信息(诸如，在烟雾状况期间的改善的图像清晰度)或提供地平线和/或海岸线的可视指示。图ID示出了根据本公开实施例的红外成像系统100B的俯视图，该红外成像系统 100B具有安装到船舶180的控制塔190(例如，船桥)的多个图像捕捉组件130E-130H(例如，红外相机)。如图ID所示，可以按照用于提供船舶180周围的一个或多个视场的方式来在船舶180上的不同位置处的一布局中将多个图像捕捉组件130E-130H安装到控制塔190。 在各种实现中，可以将图像捕捉组件130E安装为提供船舶180的船首182的视场。如进一步示出的，可以将图像捕捉组件130F安装为提供船舶180的左舷184的视场。如进一步示出的，可以将图像捕捉组件130G安装为提供船舶180的右舷186的视场。如进一步示出的，可以将图像捕捉组件130H安装为提供船舶180的船尾188的视场。因而，在一个实现中，可以将多个图像捕捉组件130E-130H(例如，红外相机)安装在船舶180的控制塔190 周围，以提供关于其的视场。此外，如所示的，还可以将图像捕捉组件130B和130C安装在船舶180的控制塔190上。图IE示出了根据本公开实施例的红外成像系统100B的左舷侧视图，该红外成像系统100B具有安装到船舶180的图IB的左舷侧图像捕捉组件130B。参考图1E，图像捕捉组件130B提供船舶180周围的左舷侧视场。在一个实现中，图像捕捉组件130B可以提供船舶180的左舷侧图像的视场。在另一实现中，可以将该左舷侧视场分段为多个视图B1-B615例如，图像捕捉组件130B可以适于提供左舷侧视场的一个或多个分段的窄视场，其包括一个或多个前方左舷侧视图A-B3和一个或多个后方左舷侧视图B4-B615在又一实现中，如图6所示，图像捕捉组件130B可以包括多个图像捕捉组件132 (和可选地，多个图像捕捉组件134)，以提供船舶180的整个左舷侧视场内的多个分段的或缩窄的视图a-B6。如图IE进一步示出的，船舶180的左舷侧视场B1I6可以延伸通过从图像捕捉组件130B到船舶180附近的水表面198的查看范围。然而，在各种实现中，查看范围可以取决于所利用的红外检测器的类型(例如，红外相机的类型、红外光谱的期望波长或部分、和如本领域技术人员将理解的其他相关因子)而包括水表面198以下的部分。图IF示出了根据本公开实施例的用于定位和标识安装在船舶180的左舷侧图像捕捉组件130B的左舷侧视场内的人员落水的示例。一般地，图像捕捉组件130B可以用于标识和定位船舶180的(例如，缩窄的左舷侧视场 内的)人员落水。一旦标识和定位出人员落水，红外成像系统100B的处理组件110就可以控制或提供信息(例如，回旋以排队 (slew-to-queue)),以将图6的探照灯组件136安置到左舷侧视场 内，从而在人员落水的可视标识和救援中进行援助。应该理解，探照灯组件136可以与图像捕捉组件130B分开 (例如，单独的机壳和/或控制)，或者可以将它形成为图像捕捉组件130B的一部分(例如，在相同的机壳或围护结构内)。图2示出了根据本公开实施例的用于捕捉和处理红外图像的方法200。为了简化图2的讨论的目的，作为可以执行方法200的系统、装置或设备的示例，可以对于图1A、1B 的图像捕捉系统100AU00B做出参考。参考图2，在红外成像系统100A、100B内捕捉图像(例如，红外图像信号)(块 210)。在一个实现中，例如，处理组件110促使(例如，使得)图像捕捉组件130捕捉诸如图像170之类的图像。在从图像捕捉组件130接收到所捕捉的图像之后，处理组件110可以可选地将所捕捉的图像存储在存储组件120中，以用于处理。接下来，可以可选地对所捕捉的图像进行预处理(块21 。在一个实现中，预处理可以包括获得与所捕捉的图像相关的红外传感器数据，应用校正项，和/或应用时间噪声减少，以在进一步的处理以前改善图像质量。在另一实现中，处理组件110可以直接地预处理所捕捉的图像，或可选地检索在存储组件120中存储的所捕捉的图像，并然后对该图像进行预处理。可以可选地将所预处理的图像存储在存储组件120中，以用于进一步的处理。接下来，可以获得所选择的操作模式(块220)。在一个实现中，所选择的操作模式可以包括可以从控制组件150(例如，图5的控制面板单元500)获得或接收的用户输入控制信号。在各种实现中，可以从夜晚停靠、人员落水、夜晚巡航、白天巡航、烟雾状况、和海岸线模式中的至少一个选择所选择的操作模式。照这样，处理组件110可以与控制组件150 进行通信，以获得如用户输入的所选择的操作模式。在这里更加详细地描述这些操作模式， 并且它们可以包括一个或多个红外图像处理算法的使用。在各种实现中，操作模式是指用于红外图像的预设的处理和显示功能，并且红外图像和红外相机适于在向用户显示数据以前，对红外传感器数据进行处理。一般地，显示算法试图按照有效的方式来向用户呈现呈现(即，视场)。在一些情况下，利用红外图像处理算法来在各种状况下呈现良好的图像，并且红外图像处理算法向用户提供一个或多个选项，以在“手动模式”中调谐参数和运转相机。在一个方面中，可以通过隐藏高级的手动设置来简化红外成像系统100A、100B。在另一方面中，可以在海事应用中实现用于不同状况的预设图像处理的概念。接下来，参考图2，按照如在这里更加详细地描述的方式，根据所选择的操作模式来处理图像(块22幻。在一个实现中，处理组件110可以将所处理的图像存储在存储组件 120中，以用于显示。在另一实现中，处理组件110可以检索在存储组件120中存储的所处理的图像，并且在显示组件150上显示所处理的图像，以用于由用户进行查看。接下来，做出关于是否在夜晚模式中显示所处理的图像的确定(块230)。如果是， 则处理组件110将显示组件140配置为将夜晚色彩调色板应用于所处理的图像(块235)， 并且在夜晚模式中显示所处理的图像(块M0)。例如，在(例如，用于夜晚停靠、夜晚巡航、 或当在夜晚进行操作时的其他模式的)夜晚模式中，可以在红色调色板或绿色调色板中显示图像，以为了用户而改善夜晚视觉容量。否则，如果夜晚模式不是必须的，则在非夜晚模式的方式(例如，黑热或白热调色板)中显示所处理的图像(块对0)。在各种实现中，显示图像的夜晚模式是指，当调整到低光状况时，使用红色色彩调色板或绿色色彩调色板来在黑暗中辅助用户或操作员。在图像捕捉系统100AU00B的夜晚操作期间，用于在黑暗中进行观看的人类可视容量可能由于显示监视器上的明亮图像的致盲效果而减损。故此，夜晚模式设置将色彩调色板从标准的黑热或白热调色板改变为红色或绿色色彩调色板显示。在一个方面中，红色或绿色色彩调色板一般地已知为较少地干扰人类夜晚视觉容量。在一个示例中，针对红绿蓝(RGB)类型的显示，对于红色色彩调色板可以禁用绿色和蓝色像素，以突显红色色彩。在另一实现中，可以将夜晚模式显示与红外成像系统100AU00B的任何其他操作模式进行组合，如在这里描述的，并且红外成像系统100A、 100B的默认显示模式可以是夜晚模式显示。此外，在各种实现中，诸如在图像处理(块22 或所处理图像的显示(块M0) 期间，可以对某些图像特征适当地进行标记(例如，通过色彩进行指示或色彩化、高亮、或利用其他标志来进行标识)，以援助用户来在查看所显示的图像的同时，对这些特征进行标识。例如，如在这里进一步讨论的，在人员落水模式期间，可以在所显示的图像中相对于黑色和白色调色板或夜晚色彩调色板(例如，红色调色板)而利用蓝色色彩(或其他色彩或标记的类型)来对疑似人(例如，或其他身体温暖的动物或对象)进行指示。作为另一示例，如在这里进一步讨论的，在夜间或日间巡航模式和/或烟雾状况模式期间，可以在所显示的图像中利用黄色色彩(或其他色彩或标记的类型)来指示水中的潜在危险，以援助观看该显示的用户。例如，可以在美国专利6，849，849中找到与图像色彩化有关的进一步细节，该专利被转让给本申请人，并因而，通过参考而将该专利全部地合并在这里。在各种实现中，处理组件110可以实时地切换所捕捉的图像的处理模式，并且一旦从控制组件150接收到用户输入，就将所显示的处理图像从与模式模块112A-112N对应的一个模式改变为不同的模式。照这样，处理组件110可以将当前的显示模式切换为不同的显示模式，以用于由用户或操作员在显示组件140上查看所处理的图像。可以将此切换称为将模式模块112A-112N的红外相机处理技术应用于实时应用，其中用户或操作员可以基于对于控制组件150的用户输入来当在显示组件140上查看图像的同时改变所显示的模式。图3A-3E示出了用于图示根据本公开各个实施例的、红外处理技术的框图。如在这里描述的，红外成像系统100AU00B适于在不同的操作模式之间进行切换，从而改善向用户或操作员提供的红外图像和信息。图3A示出了如参考图2的块225所描述的红外处理技术300的一个实施例。在一个实现中，红外处理技术300包括用于海事应用的夜晚停靠操作模式。例如，在夜晚停靠期间，船舶或海船处于港湾、导提或小船停靠区的邻域中，所述港湾、导提或小船停靠区中的每一个具有近似的结构，包括桥墩、浮标、其他船舶、或陆地上的其他结构。可以将热红外成像器(例如，红外成像系统100AU00B)用作在寻找正确停靠点时的导航工具。红外成像系统100AU00B产生用于在停靠船舶时辅助用户或操作员的红外图像。在图像中存在诸如船坞灯、通风口和运转的电动机之类的热点的高相似性(likelihood)，其对于如何显示场景可以具有最小的影响。参考图3A，对输入图像进行直方图均衡和缩放(例如，0-511)，以形成直方图均衡后的部分(块30 。接下来，在使得最高和最低部分或比例(例如，1%)饱和的同时，对输入图像进行线性缩放，以形成线性缩放后的部分(块304)。接下来，将直方图均衡后的部分和线性缩放后的部分相加到一起，以形成输出图像(块306)。接下来，将输出图像的动态范围线性映射为适合显示组件140(块308)。应该领会，可以按照不同的顺序来运行其中运行处理300的块顺序，而不脱离本公开的范围。在一个实施例中，夜晚停靠模式意欲用于具有大量热杂波的图像设置，诸如港湾、 港口或锚泊地。该设置可以允许用户查看场景，而不会大量出现热对象。故此，用于夜晚停靠模式的红外处理技术300对于例如当在低能见度的情况下停靠船舶时的海事应用中的情境感知是有用的。在各种实现中，当在选择了夜晚停靠模式时的图像处理期间，对图像进行直方图均衡，以通过在直方图中去除“孔洞(hole)”来压缩动态范围。可以对直方图进行平顶限制 (plateau limite)，使得不向诸如天空或水的组分之类的大均勻区域给出太大的对比度。 例如，可以保留近似20%的输出图像的动态范围，以用于未直方图均衡后的图像的直线性映射。在线性映射中，例如，将最低的像素值映射为零，并且将最高的输入像素映射为显示范围的最大值(例如，235)。在一个方面中，最终输出图像变为直方图均衡后的和线性(具有的“异常值(outlier)”修剪的)映射后的图像的加权和。图;3B示出了如参考图2的块225所描述的红外处理技术320的一个实施例。在一个实现中，红外处理技术320包括用于海事应用的人员落水操作模式。例如，在人员落水模式中，可以将图像捕捉系统100AU00B调谐到在水中寻找人的特定任务。水中的人与船舶之间的距离可能未知，并且该人可能在直径中仅仅是几个像素，或者如果位于接近于船舶，则该人可能大得多。在一个方面中，即使人可能接近于船舶，该人也可能具有足够的热签名，以清楚可见，并因而，人员落水显示模式可以以如下情况作为目标，其中人员具有弱的热对比度，并且相当遥远，从而在没有图像捕捉系统100AU00B的援助的情况下无法清楚地可见。参考图3B，将图像捕捉系统100A、100B的图像捕捉组件130 (例如，红外相机)安置为辨析或标识地平线(块322)。在一个实现中，可以对红外相机进行安置，使得地平线处于视场(FoV)的上方部分处。在另一实现中，还可以连同地平线一起来指示海岸线。接下来，将高通滤波器(HPF)应用于图像，以形成输出图像(块324)。接下来，将输出图像的动态范围线性映射为适合显示组件140 (块326)。应该领会，可以按照不同的顺序来运行其中运行处理320的块顺序，而不脱离本公开的范围。在一个示例中，地平线标识可以包括海岸线标识，并且可以沿着地平线和/或海岸线，通过在热图像上叠加的线条(例如，红色线条或其他标志)来指示地平线和/或海岸线。这种指示对于使得用户或操作员确定船舶相对于海岸线的位置可以是有用的。可以通过利用应用于图像流的实时霍夫(Hough)变换或其他等效类型的变换来完成地平线和/或海岸线标识，其中此图像处理变换在图像中寻找线性区段(例如，线条)。实时霍夫变换还可以用于当例如对比度可能很低时在开阔海洋中寻找地平线和/或海岸线。在清楚的状况下，可以容易地标识出地平线和/或海岸线。然而，在有烟雾的一天，可能难以定位地平线和/或海岸线。一般地，已知地平线和/或海岸线在哪里对于情境感知是有用的。照这样，在各种实现中，可以将霍夫变换与在这里描述的操作模式中的任何操作模式结合，以在图像中标识地平线和/或海岸线。例如，可以连同任何处理模式一起来包括海岸线标识(例如，地平线和/或海岸线)，以在所显示的图像上提供线条(例如，任何类型的标记，诸如红色线条或其他标志)，和/或可以将信息用于安置红外相机的视场。
在人员落水模式的一个实施例中，可以增加信号增益，以显现出海洋的微小温度差异，诸如当在可能接近于人的体温的均勻海洋温度中查找低温躯体时所遇到的温度差异。当对人体与海洋温度进行比较时，用图像质量来换取用于检测小温度改变的能力。因而，红外处理技术320对于例如当搜索邻近船舶的人员落水时的海事应用中的情境感知是有用的。在各种实现中，当在选择了人员落水模式时的图像处理期间，将高通滤波器应用于该图像。例如，可以减去来自通过高斯核(Gaussian kernel)进行的图像的卷积的信号。 对剩余的高通信息进行线性拉伸，以适合显示范围，其可以增加任何小对象在水中的对比度。在人员落水模式的一个增强中，可以对水中的对象进行标记，并且该系统向该船舶发信号，以将探照灯指引到该对象处。针对具有可见和热成像器的系统，显示热成像器。对于变焦或多FoV系统，在广FoV中设置该系统。对于具有所存储的用于地平线的仰角设置的摇动倾斜(pan-tilt)受控系统，移动该系统，使得地平线刚刚在视场的上限以下可见。在一个实施例中，人员落水模式可以起动定位过程，以标识关注的区域，在关注的区域上变焦放大，和将探照灯安置到关注的区域上。例如，人员落水模式可以起动定位过程，以标识水中的对象(例如，人)的位置，对于水中的所标识的对象来使红外成像装置 (例如，红外相机)变焦放大，并然后将探照灯指点到水中的所标识的对象上。在另一实施例中，人员落水模式可以适于当观测船只相对于关注的区段进行移动和/或关注的区段相对于观测船只进行漂移时，维持关注的区域的跟踪。在各种实现中，可以将这些行动添加到图2的处理200和/或图3B的处理320，并进一步将它们适于自动地发生，使得乘务员可以快速地标识和检索关注的区域和/或关注的对象的位置。图3C示出了如参考图2的块225所描述的红外处理技术340的一个实施例。在一个实现中，红外处理技术340包括用于海事应用的夜晚巡航操作模式。例如，在夜晚巡航期间，可见信道具有用于除了人为照亮的对象(诸如，其他船舶)之外的有限用途。热红外成像器可以用于洞察黑暗，并且在标识浮标、岩石、其他船舶、岛屿和海岸上的结构时进行辅助。热红外成像器还可以寻找潜在地直接处于该船舶的航线中的半浸没的阻挡物。在夜晚巡航模式中，可以将显示算法调谐为在水中寻找对象，而不将场景(即，视场)失真到它变得对于导航无用的程度。在一个实施例中，夜晚巡航模式意欲用于在开阔海洋上遇到的低对比度情境。可以利用均勻温度海洋来填充该场景(即，视场)，并且任何导航设备或漂浮碎片可以与海洋的均勻温度形成对比。因此，用于夜晚巡航模式的红外处理技术340对于例如开阔海洋中的情境感知是有用的。参考图3C，将图像分离为背景图像部分和详细图像部分(块342)。接下来，对背景图像部分进行直方图均衡(块344)和缩放(例如，0-450)(块346)。接下来，对详细图像部分进行缩放(例如，0-511)(块348)。接下来，将直方图均衡后的背景图像部分和详细图像部分相加到一起，以形成输出图像(块350)。接下来，将输出图像的动态范围线性映射为适合显示组件140 (块352)。应该领会，可以按照不同的顺序来运行其中运行处理340 的块顺序，而不脱离本公开的范围。在各种实现中，当在选择了夜晚巡航模式时的图像处理期间，使用非线性边缘保留的低通滤波器(LPF)(诸如，中值滤波器)或通过各向异性扩散来将输入图像分割为详细CN 102461156 A说明 书13/25 页
和背景图像组分。背景图像组分包括低通组分，并且通过从输入图像中减去背景图像部分来提取详细图像部分。为了增强小的和潜在弱的对象(例如，具有潜在弱的热签名的对象) 的对比度，可以对详细和背景图像组分进行缩放，使得向细节给出近似60%的输出/显示动态范围。在夜晚巡航模式的一个增强中，对水中的对象进行跟踪，并且如果它们处于与当前船舶航线的直接碰撞航线上，则在图像中对它们进行标记，并且可以分别地发声和/或显示可听的和/或可视的警报。在一些实现中，针对具有可见和热成像器两者的系统，可以默认地显示热成像器。在一个实施例中，图像信号的第一部分可以包括背景图像部分，该背景图像部分包括图像的低空间频率高幅度部分。在一个示例中，可以利用低通滤波器(例如，低通滤波器算法)来隔离该图像信号(例如，红外图像信号)的低空间频率高幅度部分。在另一实施例中，图像信号的第二部分可以包括详细图像部分，该详细图像部分包括图像的高空间频率低幅度部分。在一个示例中，可以利用高通滤波器(例如，高通滤波器算法)来隔离该图像信号(例如，红外图像信号)的高空间频率低幅度部分。替换地，可以根据该图像信号和该图像信号的第一部分，诸如通过从图像信号中减去第一部分来推导出第二部分。一般地，例如，可以在融合两个图像部分(例如，第一和第二部分)以产生输出图像之前，单独地对图像信号的两个图像部分进行缩放。例如，可以对第一或第二部分进行缩放，或者对第一和第二部分两者进行缩放。在一个方面中，这可以允许系统输出图像，其中精细细节即使在高动态范围场景中也是可见和可调谐的。在一些实例中，作为示例，如果图像由于噪声而表现得较为无用或劣化，则可以对诸如详细部分之类的图像的所述部分之一进行抑制、而不是放大，以抑制所融合的图像中的噪声，从而改善图像质量。图3D示出了如参考图2的块225所描述的红外处理技术360的一个实施例。在一个实现中，红外处理技术360包括用于海事应用的白天巡航操作模式。例如，在白天巡航期间，用户或操作员可以依赖于人类视觉来在船舶周围立即地进行定向。图像捕捉系统100A、 100B可以用于对关注的对象进行变焦放大，其可以涉及读取其他船舶的名称，和搜索浮标、 陆地上的结构等。参考图3D，将图像分离为背景图像部分和详细图像部分(块362)。接下来，对背景图像部分进行直方图均衡(块364)和缩放(例如，0-511)(块366)。接下来，对详细图像部分进行缩放0-255 (块368)。接下来，将直方图均衡后的背景图像部分和详细图像部分相加到一起，以形成输出图像(块370)。接下来，将输出图像的动态范围线性映射为适合显示组件140(块372)。应该领会，可以按照不同的顺序来运行其中运行处理360的块顺序， 而不脱离本公开的范围。在一个实施例中，白天巡航模式意欲用于较高对比度情境，诸如当日照加热导致未浸没的或部分浸没的对象与海洋温度之间的更大温度差异时的状况。故此，用于白天巡航模式的红外处理技术360对于例如海事应用中的高对比度情境中的情境感知是有用的。在各种实现中，当在选择了白天巡航模式时的图像处理期间，使用非线性边缘保留的低通滤波器(诸如，中值滤波器)或通过各向异性扩散来将输入图像分别分割为其详细和背景组分。针对彩色图像，可以在图像的强度部分(例如，YCrCb格式中的Y)上实现此操作。背景图像部分包括低通组分，并且可以通过从输入图像中减去背景图像部分来提取详细图像部分。为了增强小的和潜在弱的对象(例如，具有潜在弱的热签名的对象)的对比度，可以对详细和背景图像部分进行缩放，使得向细节给出近似35%的输出/显示动态范围。针对具有可见和热成像器两者的系统，可以默认地显示可见图像。图3E示出了如参考图2的块225所描述的红外处理技术380的一个实施例。在一个实现中，红外处理技术380包括用于海事应用的烟雾状况操作模式。例如，即使在日间操作期间，用户或操作员也可以从使用红外(MWIR、LffIR)或近红外(NIR)波段的成像器实现较好的性能。取决于水汽含量和粒子大小，热红外成像器可以显著地改善烟雾状况下的能见度。如果可见或热成像器都无法洞察烟雾，则可以将图像捕捉系统100AU00B设置在烟雾状况中，在该烟雾状况下，系统100AU00B试图提取从所选定的红外传感器可得到什么少量信息。在烟雾状况下，可能存在少量的空间频率信息(例如，在一个方面中，主要是由于粒子进行的散射)。可以从图像的低频部分获得图像中的信息，并且突显较高频率可能使得图像淹没在噪声中(例如，时间和/或固定的图案)。参考图3E，将非线性边缘保留的低通滤波器(LPF)应用于图像(块382)。接下来， 对图像进行直方图均衡(块384)和缩放(块386)，以形成直方图均衡后的输出图像。接下来，将输出图像的动态范围线性映射为适合显示组件140(块388)。应该领会，可以按照不同的顺序来运行其中运行处理380的块顺序，而不脱离本公开的范围。在各种实现中，当在选择了烟雾状况模式时的图像处理期间，将非线性的、边缘保留的低通滤波器(诸如，中值)或通过各向异性扩散应用于图像(即，来自热成像器或可见彩色图像的强度组分的图像)。在一个方面中，可以对来自低通滤波器操作的输出进行直方图均衡和缩放，以将动态范围映射到显示，并且使得该显示的对比度最大化。图3F示出了如参考图2的块225所描述的红外处理技术390的一个实施例。在一个实现中，红外处理技术390包括用于海事应用的海岸线操作模式。参考图3F，可以对海岸线进行辨析(块392)。例如，可以通过将图像处理变换(例如，霍夫变换)应用于图像来确定海岸线标识(例如，地平线和/或海岸线)(块392)，其可以用于安置红外相机的视场和/或提供所显示的图像上的线条(例如，任何类型的标记，诸如(多个)红色线条、或其他标志。接下来，对图像进行直方图均衡(块394)和缩放(块 396)，以形成输出图像。接下来，将输出图像的动态范围线性映射为适合显示组件140 (块 398)。应该领会，可以按照不同的顺序来运行其中运行处理390的块顺序，而不脱离本公开的范围。在一个实现中，可以将通过变换(例如，霍夫变换)产生的信息用于将海岸线乃至地平线标识为线性区段，以用于显示。可以在与主要视频路径分开的路径中将变换应用于图像(例如，当被应用时，该变换不变更图像数据，并且不影响稍后的图像处理操作)，并且可以将变换的应用用于检测线性区段，诸如(例如，海岸线和/或地平线的)直线线条。在一个方面中，通过假设海岸线和/或地平线包括用于拉伸帧的整个宽度的直线线条，可以将海岸线和/或地平线标识为变换中的峰值，并且它们可以用于参考该海岸线和/或地平线来将视场维持在一位置中。照这样，可以对输入图像(例如，所预处理的图像)进行直方图均衡(块394)和缩放(块396)，以形成输出图像，并然后，可以将变换信息(块392)相加到输出图像，以对所显示的图像的海岸线和/或地平线进行高亮。而且，在海岸线操作模式中，图像可以被海水(即，图像的下方部分)和天空(即， 图像的上方部分)所占据，其可以表现为图像直方图中的两个峰值。在一个方面中，在海岸线的窄频带上期望相当大的对比度，并且可以针对用于直方图均衡的平顶限制来选择(例如，相对地基于传感器像素的数目和在直方图中使用的位元(bin)的数目的)一低数字。在一个方面中，例如，低的平顶限制(相对的)可以减少在直方图中峰值的效果，并且在保留用于海岸线和/或地平线区段的对比度的同时，向海水和天空给出较小对比度。图4示出了用于图示如参考本公开各个实施例所描述的、实现模式410A-410E和与之相关的红外处理技术的方法400的框图。具体地，第一模式是指夜晚停靠模式410A，第二模式是指人员落水模式410B，第三模式是指夜晚巡航模式410C，第四模式是指白天巡航模式410D，并且第五模式是指烟雾状况模式410E。在一个实现中，参考图4，图1A、1B的图像捕捉系统100AU00B的处理组件110可以如下地执行方法400。接收或获得所捕捉的图像的传感器数据(即，红外图像数据)(块 402)。将校正项应用于所接收到的传感器数据(块404)，并且将时间噪声减少应用于所接收到的传感器数据(块406)。接下来，用户或操作员经由图像捕捉系统100AU00B的控制组件150来选择所选择的模式410A-410E中的至少一个，并且处理组件110运行与所选择的操作模式相关联的对应处理技术。在一个示例中，如果选择了夜晚停靠模式410A，则可以对传感器数据进行直方图均衡和缩放(例如，0-511)(块420)，可以对传感器数据进行线性缩放(例如，0-128)， 以使得最高和最低(例如，1%)饱和(块422)，并且将直方图均衡后的传感器数据相加到线性缩放后的传感器数据，以将动态范围线性地映射到显示组件140 (块424)。在另一示例中，如果选择了人员落水模式410B，则可以对图像捕捉系统100AU00B的红外捕捉组件130 进行移动或安置，使得地平线处于视野(FoV)的上方部分处，将高通滤波器(HPF)应用于传感器数据(块432)，并然后将高通滤波后的传感器数据的动态范围线性地映射为适合显示组件140 (块434)。在另一示例中，如果选择了夜晚巡航模式410C，则对传感器数据进行处理，以利用高通滤波器来提取模糊的详细部分和背景部分(块440)，对背景部分进行直方图均衡和缩放(例如，0-450)(块442)，对详细部分进行缩放(例如，0-511)(块444)，并且将背景部分相加到详细部分，以将动态范围线性地映射到显示组件140 (块446)。在另一示例中，如果选择了白天巡航模式410D，则对传感器数据进行处理，以利用高通滤波器来提取模糊的详细部分和背景部分(块450)，对背景部分进行直方图均衡和缩放(例如，0-511) (块452)，对详细部分进行缩放0-255(块454)，并且将背景部分相加到详细部分，以将动态范围线性地映射到显示组件140 (块456)。在又一示例中，如果选择了烟雾状况模式410E， 则将非线性低通滤波器(例如，中值)应用于传感器数据(块460)，然后对该传感器数据进行直方图均衡和缩放，以用于将动态范围线性地映射到显示组件140 (块462)。针对所述模式(例如，块410A-410E)中的任何模式，可以对用于显示的图像数据进行标记(例如，色彩编码、高亮、或另外地利用标志来标识)，例如以标识水中的疑似人进行标识(例如，以用于人员落水)或者对水中的危险进行标识，(例如，以用于夜间巡航、日间巡航、或任何其他模式)。例如，可以将图像处理算法应用(块470)于图像数据，以标识图像数据中的各种特征(例如，对象，诸如身体温暖的人、水中危险、地平线、或海岸线)，并且适当地对这些特征进行标记，以在观看该显示的用户进行识别和标识时进行辅助。作为特定示例，在所显示的图像中，可以将水中的疑似人着色为蓝色，同时可以将水中危险(例如，漂浮碎片)着色为黄色。
此外，针对所述模式(例如，块410A-410E)中的任何模式，可以对用于显示的图像数据进行标记，例如以标识海岸线(例如，海岸线和/或地平线)。例如，可以将图像处理算法应用(块475)于图像数据，以标识海岸线和/或地平线，并且适当地标记这些特征，以在观看该显示的用户进行识别和标识时进行辅助。作为特定示例，可以在所显示的图像上利用红色线条来描绘地平线和/或海岸线的轮廓，或对它们进行标识，以援助观看所显示的图像的用户。接下来，在应用用于模式410A-410E的红外处理技术中的至少一个之后，做出关于是否在夜晚模式中显示所处理的传感器数据(即，应用夜晚色彩调色板)的确定(块 480)。如果是，则将夜晚色彩调色板应用于所处理的传感器数据(块482)，并且在夜晚模式中显示所处理的传感器数据(块484)。如果不是，则按照非夜晚模式的方式(例如，黑热或白热调色板)来显示所处理的传感器数据(块484)。应该领会，在夜晚模式中，可以在红色或绿色色彩调色板中显示传感器数据(即，图像数据)，以为了用户或操作员来改善夜晚视觉容量。图5示出了用于图示如先前参考图2-4所描述的、用于在不同的操作模式之间进行选择的红外成像系统100AU00B的控制组件150的一个实施例的框图。在一个实施例中， 红外成像系统100AU00B的控制组件150可以包括用户输入和/或接口装置，诸如控制面板单元500 (例如，有线或无线手持控制单元)，该控制面板单元500具有一个或多个按钮 510、520、530、540、550、560、570，其适于与用户进行对接并接收用户输入控制值，并且进一步适于生成一个或多个输入控制信号并向处理组件100AU00B进行传送。在各个其他实施例中，控制面板单元500可以包括用于选择期望模式的滑杆、旋钮、键盘等，而不脱离本公开的范围。在各种实现中，可以利用控制面板单元500的多个按钮510、520、530、540、550、 560、570来在各种操作模式之间进行选择，如先前参考图2-4所描述的。在各种实现中，处理组件110可以适于感测来自控制面板单元500的控制输入信号，并且响应于从按钮510、 520、530、540、550、560、570接收的任何所感测的控制输入信号。处理组件110还可以进一步适于将控制输入值解析为值。在各种其他实现中，应该领会，控制面板单元500可以适于包括一个或多个其他按钮(未示出)，以提供红外成像系统100AU00B的各种其他控制功能，诸如自动对焦、菜单激活和选择、视场(FoV)、亮度，对比度、和/或各种其他特征。在另一实施例中，控制面板单元500可以包括单一按钮，其可以用于选择操作模式510、520、 530、540、550、560、570 中的每一个。在另一实施例中，控制面板单元500可以适于被集成为显示组件140的一部分，以用作用户输入装置和显示装置两者，诸如，适于从触摸显示屏幕的不同部分的用户接收输入信号的用户起动触摸屏幕装置。照这样，⑶I接口装置可以具有例如按钮510、520、530、 540、550、560、570的一个或多个图像，所述按钮适于与用户进行对接，并且经由显示组件 140的触摸屏幕来接收用户输入控制值。在一个实施例中，参考图5，可以激活第一按钮510以选择夜晚停靠操作模式，可以激活第二按钮520以选择人员落水操作模式，可以激活第三按钮530以选择夜晚巡航操作模式，可以激活第四按钮540以选择白天巡航操作模式，可以激活第五按钮550以选择烟雾状况操作模式，可以激活第六按钮560以选择海岸线操作模式，并且可以激活第七按钮570以选择或关闭夜晚显示模式(S卩，夜晚色彩调色板)。在另一实施例中，可以使用用于控制面板单元500的单一按钮来触发操作模式510、520、530、540、550、560、570中的每一个， 而不脱离本公开的范围。图6示出了用于图示红外成像系统100AU00B的图像捕捉组件130的实施例的示意图。如所示的，图像捕捉组件130可以适于包括第一相机组件132、第二相机组件134、和 /或探照灯组件136。在各种实现中，可以将组件132、134、136中的每一个集成为图像捕捉组件130的一部分，或者组件132、134、136中的一个或多个可以与图像捕捉组件130分开， 而不脱离本公开的范围。在一个实施例中，第一相机组件132可以包括红外相机组件，其能够捕捉图170的红外图像数据。一般地，红外相机是适于使用红外辐射来形成图像的装置，其对于水中和/ 或黑暗中的救援操作可能是有用的。在一个实施例中，第二相机组件134可以包括另一红外相机组件或能够捕捉图像 170的可见光谱图像的相机。一般地，船舶180的乘务员可以使用可见波长相机来查看和检验图像170。例如，在日光中，可见波长相机可以辅助进行查看、标识、和定位人员落水。在各种实现中，相机组件132、134适于包括广的和/或窄的视场(例如，固定的或可变的视场)。例如，此特征可以包括伸缩镜头，其用于使得视场缩窄，以对于视场内的具体区域进行对焦。在一个实施例中，探照灯组件136包括能够朝向视场中的图像170来投射光束的装置。在一个实现中，探照灯组件136适于将光束对焦在相机组件132、134中的至少一个的视场内的目标上，从而例如标识和定位人员落水的位置，这可以允许船舶180的乘务员具有在黑暗中人员落水的改善的能见度。图7示出了用于图示用于监视红外成像系统100AU00B的图像数据的方法700的实施例的框图。在一个实现中，通过红外成像系统100AU00B的处理组件110来执行方法 700。如图7所示，获得图像数据(块710)。在各种实现中，可以直接从图像捕捉组件130 或者从存储组件120中的存储装置中获得图像数据。接下来，可以对所获得的图像数据进行处理(块714)。在一个实现中，可以使用图3B的人员落水操作模式320来处理所获得的图像数据，以收集图像数据，从而检测落入邻近船舶180的水中或处于邻近船舶180的水中的诸如人之类的对象。接下来，可以根据所处理的图像数据来标识人员落水(例如，人)(块718)。在一个实现中，该对象(例如，人)可以基于它与水之间的温度差异来进行分离。例如，当具有近似98度的体温的人落入具有近似60-70度或更少的水温的水中时，对于红外图像，所述温度之间的差异是可查看的，并因此，可以在水中对该人进行快速的标识和定位。在示例的实施例中，可以通过处理组件110来运行各种类型的传统图像处理软件 (例如，位于弗吉尼亚州(VA)雷斯顿(Reston)的对象视频(ObjectVideo)的软件包)，以执行图像分析，从而监视图像数据和检测人员落水状况。在示例实施例中，这种传统软件中的特征可以支持使用阈值状况或对象区别，例如以区分非生命对象(诸如，躺椅或其他无生命的对象)与人。利用诸如温度、形状、大小、纵横比、速度、或其他因子之类的阈值因子来对软件包进行编程可以在区别非生命的和/或非人类的对象的图像与人类的图像时辅助软件包。因而，用于在给定应用中当期望时进行使用的阈值状况可以提供例如可以忽略CN 102461156 A说明 书18/25 页
飞行经过相机视场的鸟类，如同下落的躺椅或向船外抛掷的热咖啡的杯子也将被忽略。当疑似或确定了人员落水状况时，可以警告或通知操作员(例如，乘务员)(块 722)，使得可以发起救援行动。在各种实现中，此警告或通知可以包括音频信号和/或可视信号，诸如警报、告警信号灯、汽笛、钟、蜂鸣器等。接下来，可以基于图像数据来标识人员落水的特定位置(块726)。在一个实现中， 标识人的位置可以包括缩窄图像捕捉组件130的视场。例如，红外相机的镜头可以伸缩到一位置，以用于对水中的对象或人进行变焦放大，或至少对水中的人的邻近位置进行变焦放大，或者可以将图像捕捉组件130的另一更窄的视场指向水中人的邻近位置。此外，可以将探照灯(例如，图像捕捉组件130的探照灯组件136)指向水中的人的邻近位置(块730)， 以辅助人落水的检索和救援。当检测到人员落水状况时，例如，根据实施例，可以连同图像数据一起来记录事件的时间和/或位置(例如，作为块722或726的一部分)，从而在搜索和救援操作中进行援助，和/或提供信息，以用于疑似人员落水事件的稍后分析。替换地，可以与图像数据一起规律地记录时间和/或位置。例如，处理组件110 (图la、lb)可以包括位置确定功能(例如，全球定位系统(GPS)接收机或通过其他传统的位置确定技术)，以接收精确的位置和/ 或时间信息，其可以连同图像数据一起来存储(例如，在存储组件120中)。然后，可以使用图像数据、连同位置信息和/或时间信息，例如以允许搜索和救援队离开该轮船(例如，游轮)，并且按照迅速的方式来在较小的舰艇或直升机中沿原路返回到人员落水状况的确切位置，而大型轮船一般将不能快速地停止和返回到人员落水事件的位置。根据本公开的实施例，操作员可以利用增强的视觉系统(EVS)来在变化的环境状况中对交通工具(例如，包括汽车的陆基交通工具、包括飞行器的空基交通工具、和包括船舶的水基交通工具)进行领航和导航。例如，EVS可以利用多个传感器，包括至少一个对于可见光敏感的传感器(例如，光学传感器)，用于提供环境光中的可查看的图像；和至少一个对于红外辐射敏感的传感器(例如，IR传感器)，用于提供黑暗中的可查看的图像。在其中存在可见光源(例如，机场灯、塔灯、浮标灯、街道灯等)的环境中，操作员可能期望观看这些可见光源，其中对于可见光光谱敏感的传感器能够对可见光源进行成像。在其中存在可见光源、但是当在黑暗中进行查看时所述可见光源具有相对不可见的结构特征的环境中，操作员可能期望观看这些结构特征，其中对于红外光谱敏感的传感器能够对结构特征的相对不可见热源进行成像。根据本公开的一个或多个实施例，图1A、1B的系统100AU00B 可以适于具有用于组合可见和红外波长传感器的图像的增强视觉能力。在一个方面中，可以利用组合或混合来自双传感器的图像信号(例如，组合来自可见传感器的图像信号与来自红外传感器的图像信号)，来生成保留例如来自可见传感器的色彩信息并示出来自红外传感器的红外辉度(例如，照射)的所组合的或所混合的信号。在另一方面中，可以通过这种系统来提供三种不同类型的图像显示模式，诸如仅仅可见模式、仅仅红外模式、和组合或混合模式。图8示出了用于在增强的视觉系统中实现双传感器应用的方法800的框图的一个实施例。如图8所示，可以在增强的视觉系统(诸如，适于具有增强的视觉能力的图IA的系统100A和/或图IB的系统100B)中利用多个信号路径(例如，视频信号路径)。增强的视觉系统100AU00B可以适于在三个模式中的至少一个中进行操作，所述三个模式诸如
2第一模式(即，模式1)，具有来自可见光传感器的彩色或单色影像；第二模式(即，模式2)， 具有来自红外传感器的单色或伪彩色影像；和第三模式(即，模式3)，具有通过混合或组合来自可见光传感器与红外传感器的图像信号所创建的彩色或单色影像。应该领会，下面参考数字视频信号来描述各个模式；然而，相似的系统可以使用模拟视频信号，而不脱离本公开的范围。在一个实现中，图IA的系统100A的图像捕捉组件130可以包括一个或多个可见光传感器，用于捕捉表示图像170的可见图像信号；和一个或多个红外传感器，用于捕捉表示图像170的红外图像信号。相似地，在另一实现中，图IB的系统100B的图像捕捉组件 130AU30BU30C中的每一个可以包括一个或多个可见光传感器，用于捕捉表示图像170的可见图像信号；和一个或多个红外传感器，用于捕捉表示图像170的红外图像信号。相应地，参考图8，系统100A、100B的图像捕捉组件130、130A、130B、130C分别包括至少两个传感器，其中第一传感器适于对于可见光谱中的环境光敏感，以提供可见光谱图像信号810，并且第二传感器适于对于红外光谱中的红外辐射(S卩，热辐射)敏感，以提供红外光谱图像信号830。在一个方面中，可以将第一和第二传感器安排为具有一致的或至少部分重叠的视场(FOV)。在另一方面中，为了改善的性能，第一和第二传感器可以具有同步的帧捕捉能力，使得由相应的传感器所捕捉的图像信号810、830表示相同的图像(例如，图像 170或表示图像170的场景)，仿佛对于来自两个传感器的一对给定帧，它表现在时间上大约相同的瞬间处。在模式1中，将来自可见光传感器的可见光谱图像信号810(即，彩色图像)转换为一般已知的YCrCb格式814(或用于将辉度与色度分离的任何其他格式)。取决于传感器的类型和在其下使用它的状况，可以将一些校正项应用812于可见光谱图像信号810。例如，这些校正项可以包括用于对于图像170执行色彩校正的查找表。在模式1中，选择824 用户输入控制参数820 (例如，其实现为至少一个图像控制钮)，并且将它适于影响仅仅可见图像810的辉度部分(Y)850。例如，用户可以通过利用参数ξ 821而应用可见图像810 的辉度缩放816来控制亮度。在通过不选择混合模式826Β而进行的辉度信号的可选的用户控制之后，将潜在修改的辉度部分(Y) 850与色度部分(Cr和Cb) 852进行融合，以形成彩色视频流860，以用于显示。可选地，可以丢弃色度部分(Cr和Cb)852，以产生单色的视频流。在模式2中，接收来自红外传感器的红外光谱图像信号830 (即，红外图像)，并且可以将校正项(诸如，增益和偏移校正)应用832于红外光谱图像信号830。在一个方面中， 由于红外传感器趋向于产生高动态范围信号(例如，上至14个比特=16384个灰度级)，可以执行834动态范围压缩和缩放，以将红外图像光谱信号830适配用于显示动态范围(例如，8个比特=256个灰度级)。这可以通过线性压缩来实现；然而，可以利用诸如直方图均衡之类的非线性方法。例如，当利用用户输入控制参数820来选择822Α 了仅仅红外模式时，用户可以利用单一参数ξ 821来控制动态范围压缩和缩放。在红外辉度的可选的用户控制之后，可以将几何变换应用836于信号830。接下来，如果没有选择混合模式826C，则可以将信号830的辉度部分(Y)854直接发送为单色视频或使用一些预定义的色彩调色板来对它进行伪着色，以形成红外视频流，从而用于显示862。在模式3中，在不选择仅仅红外模式822Α和不选择仅仅可见模式824之后，使用用户控制设置820来在混合模式826B、826C中处理可见和红外光谱图像信号810、830。在模式3中，用户输入控制参数ξ 821适于分别影响信号810、830的两个辉度组分850、854 的比例。在一个方面中，可以利用范围0(零)到1中的值来对ξ 821进行规格化，其中1 的值产生与在模式1中产生的可见图像860相似的混合图像864。另一方面，如果将ξ 821 设置为0，则利用与红外图像862的辉度相似的辉度来显示混合图像864。然而，在后者的实例中，可以保留来自可见图像810的色度(Cr和Cb)852。ξ 821的每个其他值适于产生混合图像864，其中辉度部分(Υ)850、854分别包括分别来自可见和红外图像810、830两者的信息。例如，在选择了混合模式826Α之后，将ξ 821与可见图像的辉度部分(Y) 850相乘 842，并且将它与通过将1-ξ821的值与红外图像的辉度部分(Y)854相乘所获得的值进行相加846。用于混合的辉度部分(Y)856的此相加的值用于提供混合图像864。应该领会，用于仅仅红外模式822Α、822Β的状况可以是指正被检查和/或验证的相同状况，其中经由用户输入控制参数820来选择仅仅红外操作模式。而且，还应该领会， 用于混合模式826A、826B、826C的状况是指正被检查和/或验证的相同状况，其中经由用户输入控制参数820来选择混合操作模式。还应该领会，在一个方面中，增强的视觉系统可以基于一天中的时间(例如，白天时间或夜晚时间)来自动地选择操作模式。还应该领会，在另一方面中，增强的视觉系统可以基于所捕捉的图像信号(例如，SNR:信噪比)来自动地选择操作模式。在一个实施例中，可以将混合算法称作真实彩色IR影像。例如，在日间成像中，混合图像可以包括可见彩色图像，该可见彩色图像包括辉度元素和色度元素，其中通过来自红外图像的辉度值来取代其辉度值。来自红外图像的辉度数据的使用导致真实可见彩色图像的强度基于对象的温度而变亮或变暗。照这样，混合算法提供IR成像，以用于日间或可见光图像。一般地，辉度是指在给定方向中行进的光的每个单位面积的辉度强度的光度测量。辉度表征光从平坦、漫射表面的发射或反射。辉度是如它可能对于人眼所表现的表面亮度的指标。在一个方面中，将辉度使用在视频产业中，以表征显示的亮度。色度(即，彩度) 是指相同辉度的色彩与基准色彩之间的差异(色调和饱和度)，其中利用Y(辉度)、Cr (红色差异(diff)彩度)和Cb(蓝色差异彩度)作为图像部分。色度(CrCb)是用于与伴随的辉度(Y)信号分开地传递图像的色彩信息的图像信号。可以将色度表示为两个色彩差异组分B' -Y'(蓝色-明度(Iuma))和R' -Y'(红色-明度)。将RGB( S卩，红色、绿色、蓝色)色彩信号分为辉度和色度允许要被分开计算的每个色彩带宽的确定。参考视频信号， 辉度表示图像和没有任何色彩的消色差图像的亮度，并且图像的色度表示色彩信息。图9示出了用于图示如参考本公开各个实施例所描述的、实现图8的增强视觉模式1-3和与之相关的红外处理技术的方法900的框图。在一个实施例中，模式1是指可见光处理操作模式，其以获得可见传感器数据920和对包括彩色视频数据的可见传感器数据 922进行预处理而开始；模式2是指热(红外)处理操作模式，其以获得热传感器数据910 和对包括热视频数据的热传感器数据912进行预处理而开始；并且模式3是指混合处理操作模式，其适于对热传感器数据910和可见传感器数据920进行混合，以产生包括混合视频图像信号的混合图像信号。在一个实施例中，参考图9，方法900的热处理模式集成了图4的模式410A-410E和与之相关的红外处理技术，如参考本公开的各个实施例所描述的。具体地，热操作模式包括与夜晚停靠模式410A、人员落水模式410B、夜晚巡航模式410C、白天巡航模式410D、和烟雾状况模式410E相关的处理技术。参考图9，图1A、1B的图像捕捉系统100AU00B的处理组件110适于如下地执行方法900。接收或获得所捕捉的图像(例如，图像170)的热传感器数据(即，红外图像数据) 和可见传感器数据(即，彩色图像数据)(分别地，块910、920)。接下来，对热传感器数据 910和可见传感器数据920进行预处理(分别地，块912、922)。在一个方面中，预处理可以包括将校正项和/或时间噪声减少应用于所接收的传感器数据。在一个实现中，在获得热传感器数据910并对热传感器数据进行预处理912之后，用户或操作员经由图像捕捉系统100AU00B的控制组件150来选择所选择的模式 410A-410E中的至少一个，并且处理组件110运行与所选择的模式相关联的对应处理技术。 在一个示例中，如果选择了夜晚停靠模式410A，则可以对传感器数据进行直方图均衡和缩放(例如，0-511)(块420)，可以对传感器数据进行线性缩放(例如，0-128)，以使得最高和最低(例如，)饱和(块422)，并且将直方图均衡后的传感器数据相加到线性缩放后的传感器数据，以将动态范围线性地映射到显示组件140 (块424)。在另一示例中，如果选择了人员落水模式410B，则可以对图像捕捉系统100AU00B的红外捕捉组件130进行移动或安置，使得地平线处于视野(FoV)的上方部分处，将高通滤波器(HPF)应用于传感器数据(块432)，并然后将高通滤波后的传感器数据的动态范围线性地映射为适合显示组件 140(块434)。在另一示例中，如果选择了夜晚巡航模式410C，则对传感器数据进行处理， 以利用高通滤波器来提取模糊的详细部分和背景部分(块440)，对背景部分进行直方图均衡和缩放(例如，0-450)(块442)，对详细部分进行缩放(例如，0-511)(块444)，并且将背景部分相加到详细部分，以将动态范围线性地映射到显示组件140 (块446)。在另一示例中，如果选择了白天巡航模式410D，则对传感器数据进行处理，以利用高通滤波器来提取模糊的详细部分和背景部分(块450)，对背景部分进行直方图均衡和缩放(例如，0-511)(块 452)，对详细部分进行缩放0-255 (块454)，并且将背景部分相加到详细部分，以将动态范围线性地映射到显示组件140 (块456)。在又一示例中，如果选择了烟雾状况模式410E，则将非线性低通滤波器(例如，中值)应用于传感器数据(块460)，然后对该传感器数据进行直方图均衡和缩放，以用于将动态范围线性地映射到显示组件140 (块462)。在另一实现中，在获得可见传感器数据920并对可见传感器数据进行预处理922 之后，处理组件110适于将辉度部分(Y)和色彩部分(CrCb)与可见传感器数据920分开 (块924)。接下来，如果用户选择了混合模式950，则处理组件110适于将来自可见传感器数据920的辉度部分(Y)与缩放后的热数据进行混合(块926)，如通过模式410A-410E中的至少一个所提供的。接下来，处理组件110适于添加来自可见传感器数据920的色度值 (CrCb)(块928)，并且显示混合模式图像(块952)。否则，在一个实现中，如果用户没有选择混合模式950，则按照如先前所描述的方式，来做出关于是否在夜晚模式中显示所处理的热传感器数据(即，应用夜晚色彩调色板) 的确定。如果是，则将夜晚色彩调色板应用于所处理的传感器数据(块482)，并且在夜晚模式中显示所处理的传感器数据(块484A)。如果不是，则按照非夜晚模式的方式(例如，黑热或白热调色板)来显示所处理的热传感器数据(块484B)。应该领会，在夜晚模式中，可以在红色或绿色色彩调色板中显示热传感器数据(即，红外图像数据)，以为了用户或操作员来改善夜晚视觉容量。在某些状况下，交通工具(例如，飞行器、船舶、陆基交通工具等)可能期望利用增强的视觉系统(EVS)来在操作和/或导航该交通工具时辅助领航员。例如，在夜间，由于热传感器即使在黑暗中也进行成像，所以使用对于红外辐射敏感的热传感器可能是有利的。 在另一示例中，在其中存在可见光源的环境下，领航员可能期望看到这些光。照这样，对于可见光光谱敏感的可见光传感器提供用于对可见光源进行成像的能力。相应地，图8-9的方法800、900分别虑及组合来自红外和可见波长传感器的图像，以用于交通工具应用。在一个方面中，通过组合来自可见光传感器的图像信号(例如，视频信号)与来自红外传感器的图像信号(例如，视频信号)，可以创建以下混合或组合的图像信号，其保留了来自可见光传感器的色彩信息(任何存在任何信息的话)，并且示出了来自红外传感器的红外辉度 (照射)。应该领会，可以在仅仅可见模式、仅仅红外模式、和可变的混合可见/红外模式中操作方法800、900，而不脱离本公开的范围。图10示出了用于图示如先前参考图2-4和8-9所描述的、用于在不同的操作模式之间进行选择的增强的视觉系统100AU00B的控制组件150的一个实施例的框图。在一个实施例中，红外成像系统100AU00B的控制组件150可以包括用户输入和/或接口装置，诸如控制面板单元1000 (例如，有线或无线手持控制单元)，该控制面板单元500具有一个或多个控制钮1080、1090以及按钮510、520、530、540、550、560、570(如参考图5所描述的)， 其适于与用户进行对接并接收用户输入控制值，并且进一步适于生成一个或多个输入控制信号并向处理组件100AU00B进行传送。在各个其他实施例中，控制面板单元1000可以包括用于选择期望模式的滑杆、按钮、旋钮、键盘等，而不脱离本公开的范围。例如，用于增强的视觉系统100AU00B的控制面板单元1000包括具有固定位置的可选择钮，所述固定位置诸如九个固定位置，在位置1和位置9具有硬停止。在一个实现中，第一位置(1)可以适于选择仅仅红外操作模式，第九位置(9)可以适于选择仅仅可见操作模式，并且第二到第八中间位置(2至8)可以适于选择和产生混合的视频图像，其具有用于每个所选择的增量的正被添加的可见辉度的增加量， 在这里更加详细地描述它。在另一实现中，控制面板单元1000可以包括操纵杆控制装置，诸如操纵杆控制单元(J⑶)、自动置于中心的J⑶等，其中比例控制用于从50% (例如，默认地)的开始的掺和或用户定义的默认掺和开始，添加(例如，利用顺时针(CW)旋转)或减去(例如，利用逆时针(CCW)旋转)可见频带含量。在任一旋转的极限位置(例如，CW或CCW)，存在分别表示出100%的可见图像光谱(VIS)或100%的红外图像光谱(IIS)输出的硬停止。在一个实现中，可以利用屏幕上显示(OSD)覆盖来指示用于混合可见和红外光谱的辉度的掺和的百分比(％)。在一个实施例中，可见相机和热相机可以仅仅虑及视频信号的一些最大增益。增益极限确保了图像中的噪声组分是有限的，使得视频信号是可用的。增益极限可以限制可见或热视频信号，使得它们不使用可用的全部输出动态范围。例如，可见信号辉度组分可以仅仅是在8比特域中的可用256个计数之中的100个计数。在此情况下，有利的是，对两个辉度组分(即，可见和热辉度组分)进行重新缩放，使得可见部分相对地小于用户或系统已经选择的内容。在一个方面中，用户可能已经设置了混合因子，使得在混合输出中的辉度的一半(例如，ξ =0.5)来自可见辉度信道。剩余的50%的辉度来自热视频组分。参考可见视频组分的有限动态范围，可以基于用户可能已经选择的控制参数(ξ)来计算所调整的混合因子ξ a，使得在一个示例中，ξ3= (1-ξ) + ξ ((256-100)/256) 0. 8。然后，辉度混合算法可以是Lblmd = ξ aLir+ ξ Lvis，其中、和Lvis分别是指热和可见辉度组分，并且Lblmd 是所得到的混合辉度。在一个实现中，如果辉度充分低，例如接近于黑色，则人类观测者可能难以注意到色彩变化。故此，作为辉度混合的改善，可以利用色度值来在每个像素的基础上调整混合百分比。在YCrCb格式中，通过正处于其动态范围的中点(例如，用于8比特表示的128)处的Cr和Cb值来表示灰色。在此示例中，当通过与其Cr和Cb信道的中心值的变化度来进行偏离时，可以将像素定义为包含更多的色彩信息。在一个方面中，色彩含量的测量可以包括与灰色的绝对差之和，例如，C = abS(Cr-128)+abS(Cb-128)，其中C可以被最初地解析为色彩的数量。假设色彩在原始可见视频流中是可见的，则可以在每个像素的级别上调整混合因子(ξ )，使得更加朝向可视传感器辉度来对具有相当大色彩含量(例如，用于C的大值)的像素进行加权。例如，可以定义混合参数λ μ (Ci, ρ，使得对于C的增加值，λ正单调地增加，例如，可以使用高斯函数，如图IlA所示。可以将色彩调整的混合因子ξ。定义为用户所选择的混合因子Iu与色彩因子λ之和。如果将ξ。限于范围0-1，则可以将混合等式写作Lblmd= (I-Ic)Lir+IcLvis0如将对于本领域技术人员清楚的，还可以使用其他的规格化加权方案，以对于具有相当大色彩含量的像素而朝向可见组分来移位辉度含量。在另一实现中，用于防止在混合视频中丢失黑暗区域中的色彩信息的另一方式在于使得黑暗区域变亮，如果它们具有色彩含量的话。例如，这可以通过将辉度偏移添加到具有一些预定义的阈值以上的一些色彩含量(如通过参考C所定义的色彩含量)的所有像素来实现。如果该偏移与C成比例，则实现了较为平滑的转变。对于与灰色的较大绝对差(例如，大C)，添加较大的辉度偏移。在一个方面中，不需要使得已经明亮的图像的部分进一步变亮，并因此，亮度偏移对于已经明亮的区域可以是较低的。可以定义亮度校正函数 ^Cm, L)，其中β对于用于C的增加值是增加的，而对于L的增加值是降低的。在图IlB中示出了这种函数的示例。在各种实现中，可以利用控制面板单元1000的多个控制钮1080、1090来在各种操作模式(即，仅仅可见显示、仅仅红外显示、和混合显示模式)之间进行选择，如先前参考图 8-9所描述的。在各种实现中，处理组件110可以适于感测来自控制面板单元1000的控制输入信号，并且响应于从控制钮1080、1090接收到的任何所感测的控制输入信号。处理组件 110可以适于将控制输入信号解析为值。在各种其他实现中，应该领会，控制面板单元1000 可以适于包括一个或多个其他控制钮或按钮(未示出)，以提供红外成像系统100AU00B的各种其他控制功能，诸如自动对焦、菜单激活和选择、视场(FoV)、和/或各种其他特征。在另一实施例中，控制面板单元1000可以包括单一控制钮，以选择图8-9的图像显示模式。在另一实施例中，控制面板单元1000可以适于被集成为显示组件140的一部分， 以用作用户输入装置和显示装置两者，诸如，适于从触摸显示屏幕的不同部分的用户接收输入信号的用户起动触摸屏幕装置。照这样，⑶I接口装置可以具有例如控制钮1080、1090 的一个或多个图像，所述控制钮适于与用户进行对接，并且经由显示组件140的触摸屏幕来接收用户输入控制值。在一个实施例中，参考图10，可以激活第一控制钮1080以选择增强视觉操作模式 (诸如，模式1 (即，仅仅可见模式)、模式2 (即，仅仅红外模式)、和模式3 (混合模式))中的至少一个。例如，参考图8，第一控制钮1080提供用户输入控制820的相同范围和特征。 在另一实施例中，可以使用用于控制面板单元1000的单一按钮来在增强显示模式1-3中的每一个之间进行触发，而不脱离本公开的范围。在一个实施例中，参考图10，可以激活第二控制钮1090，以选择用于参数ξ 821的来自0-1的值，如参考图8所描述的。如先前所描述的，ξ821(即，来自0-1)的每个值适于产生用于显示的混合图像，其中混合图像的辉度部分(Y)包括来自可见和红外光谱信号的信息。在海事应用中，本公开的实施例具有一些有价值的用途。例如，当在夜晚进行导航时，电光(Ε/0)相机可能典型地仅仅能够成像(或可能被管理为仅仅成像)一些点光源 (诸如，浮标、其他敞篷船上的光、陆地上的光、或灯塔)。在没有其他参考的情况下，可能难以确定该光属于这些源中的哪一个。热成像器可以适于清楚地示出浮标、岛屿、其他敞篷船等，但是可以不示出任何光的色彩。当注视显示器上两个传感器输出中的任一个时，敞篷船的操作员可能缺乏用于导航的实质信息。例如，在一个方面中，可能难以确定来自Ε/0成像器的在视频中可见的光是来自陆地上的源还是来自浮标。在另一方面中，在给定了点源正在提供海事导航指导的知识的情况下，单独地依赖于有限的Ε/0辐射度输出可能对于安全导航而言是不足的。相似地，在来自热成像器的视频中，几个浮标可能是清楚可见的，但是缺乏色彩信息，并且可以使得难以确定用于导航的适当路径。如在这里所描述的，熔结来自Ε/0和热成像器的信息在单一的视频流中向舰艇的操作员提供了所有的必要信息。具体地，对于用户，执行可见频带与红外频带相机之间的输出的校正，使得操作员可以能够分辨出哪个光属于陆地上的源(例如，小汽车)和哪个光属于游标。在用于飞行器的增强视觉系统中，在这里描述的视觉混合系统是重要的导航援助。当试图在夜晚(在用于热成像的合理状况下)进行着陆时，热相机向飞行器的操作员提供飞机场的及其周围情况的图像。对于乡村机场，热成像器可以检测阻挡物，诸如跑道上的交通工具、动物、和/或人。这些对象可能在不良或零光状况中也是可见的。对于可见光光谱中的光敏感的成像器(Ε/0成像器)可以仅仅(在上述的状况下)拾取可见光源，诸如跑道灯、告警信号灯、街灯、和/或其他飞机或交通工具上的灯。彩色Ε/0成像器可以能够例如区分红色光与绿色或白色光，这在一些情境中对于飞行器的操作员可能是重要的。在起飞、着陆期间，或者在滑行的同时，飞行员希望最小的注意力分散。注视两个单独的视频流、并且尝试断定由Ε/0系统成像的哪个光与由热系统成像的哪个结构相配可能是注意力分散。组合的视觉系统努力呈现出关键场景信息(例如，用于导航的着色光源和用于情境感知的热辐射度)的预关联的混合，以支持具有减少的操作员注意力分散的安全导航。在此情况下，示出了与来自热成像器的热视频融合的来自Ε/0视频的色彩信息的单一视频流是有利的，并且在最小的注意力分散的情况下向飞行员给出了最大的信息。在夜晚在郊外或乡村区域中进行驾驶将驾驶员视觉限制到由前灯和/或街灯所点亮的地区。热相机提供了情境概览，并且热相机具有以下的附加优点，即不会被来自接近中的车辆的前光束所“致盲”。与热成像器相比，Ε/0相机典型地能够以更多的细节和更大的对比度，来对交通标志、交通灯、牌照、交通工具告警信号灯、和道路标记进行成像。然而， 根据本公开的实施例，熔结或混合的图像向驾驶员、乘客、和/或远程操作员提供与独自的视频流中的任何一个相比更多的信息，作为单一输出，而不需要查看者将两个频带相机系统的单独显示之间的输出进行关联。在自动碰撞避免系统中，来自两个混合波段的添加信息还可以提供更好的准确度(例如，更小的错误行人检测率)。在具有E/0和热成像器两者的手持系统中，在这里所描述的视频混合方案用在多个情景中。当在夜晚进行操作时，当在混合模式中进行操作时，着色的光可以表现在场景的热表示中。例如，手电筒所点亮的区域也可以受益于E/0成像器所捕捉的色彩信息。具体地，通过注视混合视频流并且参考整个场景而清楚地观看来自手电筒的光束(这可能仅仅在热光谱中才是可见的)，用户可以易于观看哪个区域被点亮。在日间操作中，由于色彩信息(其非常类似于利用人眼所观看的内容)的保留，所以可以使用E/0成像器来实现最佳的情境概览。当利用热对比度来查找某物(诸如，人、动物、流体漏溢等)时，热成像器可以提供检测的更好机率。而且，在明亮的日间场景中，热成像器可以提供阴影区段中的辐射度信息，这对于用于处置光日间动态范围的E/0成像器将是丢失的。照这样，如在这里所描述的，融合波段可以利用热签名来向用户提供具有用于对象的添加对比度的场景的彩色概览，这使得这种工具在包括律实施、调查、和/或个人使用的多个应用中是有用的。当可应用时，可以使用硬件、软件、或硬件和软件的各种组合来实现本发明的各个实施例。当可应用时，可以将在这里所阐释的各种硬件组件和/或软件组件组合到包括软件、硬件和/或两者的合成组件中，而不脱离本公开的范围和功能。当可应用时，可以将在这里所阐释的各种硬件组件和/或软件组件分离为具有软件、硬件和/或两者的子组件，而不脱离本公开的范围和功能。当可应用时，设想出可以将软件组件实现为硬件组件，并且反之亦然。可以将根据本公开的软件(诸如，程序代码和/或数据)存储在一个或多个计算机可读介质上。还设想出可以使用一个或多个通用或专用计算机和/或计算机系统(被联网和/或没有被联网的)来实现在这里所标识的软件。当可应用时，在这里所描述的各个步骤的顺序可以被改变，被组合到合成步骤中，和/或被分离为子步骤，以提供在这里所描述的特征。在各个实施例中，可以将用于模式模块112A-112N的软件嵌入(即，硬编码)到处理组件110中，或存储在存储组件120上，以用于由处理组件110进行访问和运行。如先前所描述的，在一个实施例中，用于模式模块112A-112N的代码(即，软件和/或硬件)定义了预设的显示功能，该显示功能允许处理组件100AU0B在如参考图2-4和8-9所描述的一个或多个处理技术之间进行切换，以用于在显示组件140上显示所捕捉的和/或所处理的红外图像。上述实施例对本公开进行说明，但是没有限制本公开。还应该理解，根据本公开的原理，数个修改和变化是可能的。相应地，仅仅通过以下的权利要求来限定本公开的范围。
权利要求
1.一种增强的视觉系统，包括可见光传感器，适于捕捉可见光图像；红外传感器，适于捕捉红外图像；处理组件，适于从所捕捉的可见光图像中提取辉度部分，从所捕捉的红外图像中提取辉度部分，对所述辉度部分进行缩放，并且对所缩放的辉度部分进行融合，以生成输出图像；以及显示组件，适于显示该输出图像。
2.根据权利要求1的系统，其中该可见光传感器适于捕捉一个或多个可见光图像，并且提供与所捕捉的可见光图像相关的可见光传感器数据，该红外传感器适于捕捉一个或多个红外图像，并且提供与所捕捉的红外图像相关的红外传感器数据，该处理组件适于接收和处理该可见光传感器数据和该红外传感器数据，以生成输出图像数据，并且该显示组件适于基于由该处理组件所生成的输出图像数据来显示一个或多个输出图像。
3.根据权利要求2的系统，其中，该处理组件适于从该可见光传感器数据中提取辉度数据部分，从该红外传感器数据中提取辉度数据部分，对所述辉度数据部分进行缩放，并且对所缩放的辉度数据部分进行融合，以生成该输出图像数据。
4.根据权利要求1的系统，还包括控制组件，适于提供多个能选择的处理模式，并且生成指示所选择的处理模式的控制信号，其中，所述多个能选择的处理模式包括夜晚巡航模式、白天巡航模式和人员落水模式；其中，该处理组件适于从该控制组件接收所生成的控制信号，并且根据所选择的处理模式来处理所捕捉的红外图像。
5.根据权利要求1的系统，还包括第一控制组件，适于向用户提供多个能选择的处理模式，接收与用户所选择的处理模式对应的用户输入，并且生成指示用户所选择的处理模式的控制信号，其中，所述多个能选择的处理模式包括仅仅可见光模式、仅仅红外模式、和至少一个组合的可见红外模式，其中，该处理组件适于从该第一控制组件接收所生成的控制信号，根据用户所选择的处理模式来处理所捕捉的可见光图像和所捕捉的红外图像，并且基于由用户所选择的处理模式来生成一个或多个输出图像，并且其中，该显示组件适于基于由用户所选择的处理模式来显示所述输出图像。
6.根据权利要求5的系统，其中，所述多个能选择的处理模式包括仅仅可见光模式，用于使得该处理组件仅仅根据所捕捉的可见光图像来生成所处理的图像，并且其中，所述可见光图像包括来自可见光波长光谱的色彩信息或单色信息。
7.根据权利要求5的系统，其中，所述多个能选择的处理模式包括仅仅红外模式，用于使得该处理组件仅仅根据所捕捉的红外图像来生成所处理的图像，其中，所述红外图像包括来自红外波长光谱的热信息。
8.根据权利要求5的系统，其中，所述多个能选择的处理模式包括组合的可见红外模式，用于使得该处理组件通过组合所捕捉的可见光图像的缩放后的辉度部分与来自所捕捉的红外图像的缩放后的辉度部分来生成该输出图像。
9.根据权利要求1的系统，还包括第二控制组件，适于向该用户提供能选择的控制参数(ξ )，接收与用户所选择的控制参数(ξ)对应的用户输入，并且生成指示用户所选择的控制参数(ξ)的控制信号。
10.根据权利要求9的系统，其中，该能选择的控制参数(ξ)提供能选择的范围的值， 并且其中，第一值使得该处理组件仅仅根据所捕捉的可见光图像来生成所处理的图像，并且其中，第二值使得该处理组件仅仅根据所捕捉的红外图像来生成所处理的图像，并且其中，第一和第二值之间的一个或多个其他值使得该处理组件根据所捕捉的可见光图像和所捕捉的红外图像的辉度部分的比例值来生成所处理的图像，并且其中，对该能选择的控制参数(ξ )进行调整，以增加或降低辉度部分的增益值。
11.根据权利要求1的系统，其中，该显示组件适于显示该输出图像，作为仅仅可见光图像、仅仅红外图像、和组合的可见红外图像中的至少一个，该组合的可见红外图像具有该仅仅可见光图像和该仅仅红外图像两者的部分。
12.根据权利要求4的系统，还包括存储组件，适于存储所捕捉的可见光图像、所捕捉的红外图像、和该输出图像中的一个或多个；其中，所述多个能选择的处理模式包括烟雾状况模式，用于使得该处理组件对于所捕捉的红外图像应用非线性低通滤波器，并然后对所捕捉的红外图像进行直方图均衡和缩放；并且其中，该显示组件适于在夜晚显示模式中在红色色彩调色板或绿色色彩调色板中显示该输出图像。
13.根据权利要求1的系统，其中，所捕捉的可见光图像包括该辉度部分和色度部分， 并且其中，所捕捉的红外图像包括仅仅辉度部分，并且其中，该处理组件适于从所捕捉的可见光图像中提取该辉度部分和该色度部分，从所捕捉的红外图像中提取仅仅辉度部分，对所述辉度部分进行缩放，并且融合所述辉度部分和该色度部分，以生成该输出图像。
14.一种方法，包括获得图像的可见光传感器数据； 获得该图像的红外传感器数据； 从该可见光传感器数据中提取辉度数据部分； 从该红外传感器数据中提取辉度数据部分； 对所述辉度数据部分进行缩放；对所缩放的辉度数据部分进行融合，以生成输出图像数据；以及基于该输出图像数据来显示该输出图像。
15.根据权利要求14的方法，还包括捕捉一个或多个可见光图像，并且提供与所捕捉的可见光图像相关的可见光传感器数据，捕捉一个或多个红外图像，并且提供与所捕捉的红外图像相关的红外传感器数据， 向用户提供多个能选择的处理模式，其中，所述多个能选择的处理模式包括仅仅可见光模式、仅仅红外模式、和至少一个组合的可见红外模式； 接收与用户所选择的处理模式对应的用户输入；基于用户所选择的处理模式来处理所捕捉的可见光图像和所捕捉的红外图像； 基于用户所选择的处理模式来生成一个或多个输出图像；以及基于用户所选择的处理模式来显示所述一个或多个输出图像。
16.根据权利要求15的方法，其中当该用户选择了该仅仅可见光模式时，所述一个或多个图像包括仅仅可见光图像， 当该用户选择了该仅仅红外模式时，所述一个或多个图像包括仅仅红外图像，并且当该用户选择了该组合的可见红外模式时，所述一个或多个图像包括组合的可见红外图像。
17.根据权利要求16的方法，其中该可见光图像包括来自可见光波长光谱的色彩信息或单色信息， 该红外图像包括来自红外波长光谱的热信息，并且该组合的可见红外图像包括所捕捉的可见光图像和所捕捉的红外图像的混合辉度部分。
18.根据权利要求15的方法，还包括 向该用户提供能选择的控制参数(ξ )，接收与用户所选择的控制参数(ξ)对应的用户输入，以及生成指示用户所选择的控制参数(ξ)的控制信号， 其中，该能选择的控制参数(ξ)包括范围0(零)到1中的值， 其中，1的值用于仅仅根据所捕捉的可见光图像来生成一个或多个输出图像， 其中，0(零)的值用于仅仅根据所捕捉的红外图像来生成一个或多个输出图像， 其中，0(零)与1之间的值用于根据所捕捉的可见光图像和所捕捉的红外图像两者的比例部分来生成一个或多个输出图像，并且其中，能选择的控制参数(ξ)能进行调整，以增加或降低所捕捉的可见光图像和所捕捉的红外图像的增益值。
19.根据权利要求14的方法，其中，该显示该输出图像的步骤包括显示仅仅可见光图像、仅仅红外图像、和组合的可见红外图像中的至少一个，该组合的可见红外图像具有该仅仅可见光图像和该仅仅红外图像两者的部分。
20.根据权利要求14的方法，还包括存储该可见光传感器数据、该红外传感器数据、和该输出图像数据中的一个或多个； 提供多个能选择的处理模式，其中，所述多个能选择的处理模式包括夜晚停靠模式、人员落水模式、和夜晚巡航模式；以及根据所述能选择的处理模式之一来处理该红外传感器数据。
21.根据权利要求14的方法，其中，该可见光传感器数据包括辉度数据部分和色度数据部分，并且其中，该红外传感器数据包括仅仅辉度数据部分，并且其中，该方法还包括从该可见光传感器数据中提取该辉度数据部分和该色度数据部分，从该红外传感器数据中提取该辉度数据部分，对所述辉度部分进行缩放，并且对所述辉度部分和该色度部分进行融合，以生成该输出图像数据。
22.—种计算机可读介质，其上存储了用于执行方法的信息，该方法包括 捕捉可见光图像和红外图像；向用户提供多个能选择的处理模式，其中，所述多个能选择的处理模式包括仅仅可见光模式、仅仅红外模式、和组合的可见红外模式； 接收与用户所选择的处理模式对应的用户输入；根据用户所选择的处理模式来处理所捕捉的可见光图像和所捕捉的红外图像； 生成所处理的图像；以及显示所处理的图像，其中，当该用户选择了该仅仅可见光模式时，该所处理的图像包括仅仅可见光图像， 其中，当该用户选择了该仅仅红外模式时，该所处理的图像包括仅仅红外图像，并且其中，当该用户选择了该组合的可见红外模式时，该所处理的图像包括组合的可见红外图像。
23.根据权利要求22的计算机可读介质，其中，该可见光图像包括来自可见光波长光谱的色彩信息或单色信息，并且其中，该红外图像包括来自红外波长光谱的热信息，并且其中，该组合的可见红外图像通过组合所捕捉的可见光图像的一部分与所捕捉的红外图像的一部分来生成。
24.根据权利要求22的计算机可读介质，其中，所捕捉的可见光图像包括辉度部分和色度部分，并且其中，所捕捉的红外图像包括仅仅辉度部分，并且其中，该方法还包括从所捕捉的可见光图像中提取该辉度部分和该色度部分，从所捕捉的红外图像中提取该辉度部分，对所述辉度部分进行缩放，并且融合所述辉度部分和该色度部分，以基于由用户所选择的处理模式来生成所处理的图像。
全文摘要
在这里公开的系统和方法准备了用于双传感器应用的红外相机系统和方法。例如，在一个实施例中，一种增强的视觉系统包括可见光传感器，适于捕捉可见光图像。该系统同样包括红外传感器，适于捕捉红外图像。该系统同样包括处理组件，适于从所捕捉的可见光图像中提取辉度部分，从所捕捉的红外图像中提取辉度部分，对所述辉度部分进行缩放，并且对所缩放的辉度部分进行融合，以生成输出图像。该系统同样包括显示组件，适于显示该输出图像。
文档编号H04N5/33GK102461156SQ201080034417
公开日2012年5月16日 申请日期2010年6月3日 优先权日2009年6月3日
发明者A.A.理查兹, J.D.弗兰克, J.S.斯科特, J.T.乌拉维, N.霍加斯滕, P.B.理查森 申请人:弗莱尔系统公司