图像融合的系统和方法与流程
本申请一般涉及用于图像融合的方法、系统和介质。更具体地，本申请涉及用于融合可见光图像和红外光图像的方法、系统和介质。
背景技术：
可见光图像在安防监控系统中有着广泛的应用。通常，通过捕获包括在场景中的物体的反射的可见光来产生可见光图像。物体反射的可见光可以指示对象的相关信息。然而，在低亮度条件下，可见光图像中可能包括大量噪声，从而降低可见光图像的质量。为了解决这个问题，可以使用基于红外光反射捕获的红外光图像，而非可见光图像。红红外光图像在低亮度条件下可以包括比可见光图像更少的噪声。然而，红外光图像的质量可能受到场景中物体的材质和/或颜色的影响。因此，期望融合可见光图像和红外光图像以在低亮度条件下提供高质量图像。
技术实现要素：
本申请的一部分附加特性可以在以下描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各个方面的方法、手段和组合的实践或使用得以实现和达到。
根据本申请的第一方面，提供了一种用于图像融合的系统。该系统可以包括至少一个存储一组指令的存储介质和与至少一个存储介质通信的至少一个处理器。当执行该组指令时，至少一个处理器可以用于使系统获取包括至少两个第一像素的第一图像。第一图像可以由第一成像通道生成。至少一个处理器可以进一步用于获取包括至少两个第二像素的第二图像。第二图像可以由与第一成像通道不同的第二成像通道生成。至少两个第二像素中的每一个可以对应于至少两个第一像素的一个。至少一个处理器可以进一步用于使系统将至少两个第一像素分类为至少包括第一类别和第二类别的不同类别。至少一个处理器可以进一步用于使系统利用第二图像基于至少两个第一像素中的每一个和与其对应的第二像素之间的融合操作融合第一图像以产生融合图像，其中与属于第一类别的第一像素相关的融合操作和与属于第二类别的第一像素相关的融合操作根据不同的融合规则执行。
在一些实施例中，第一成像通道可以用于捕获可见光图像，并且第二成像通道可以用于捕获红外光图像。
在一些实施例中，第一类别可以至少包括白色点或近似于白色点的点。
在一些实施例中，第二类别可以至少包括非白色点。
在一些实施例中，为了执行与属于第一类别的第一像素相关的融合操作，至少一个处理器可以用于使系统确定属于第一类别的第一像素的色度分量。至少一个处理器还可以用于使系统指定所述属于第一类别的第一像素的色度分量作为融合图像中的第三像素的色度分量。
在一些实施例中，至少一个处理器可以进一步用于使系统基于属于第一类别的第一像素和属于第二类别的第一像素生成第一二进制图像。至少一个处理器可以进一步用于使系统对第一图像和第一二值图像执行卷积操作，使得属于第一类别的第一像素的色度分量保持不变。
在一些实施例中，为了执行与属于第二类别的第一像素相关的融合操作，至少一个处理器可以用于使系统确定属于第二类别的第一像素的色度分量。至少一个处理器可以进一步用于使系统确定色度增强系数。至少一个处理器可以进一步用于使系统基于属于第二类别的第一像素的色素分量和色度增强系数确定融合图像中的第四像素的色度分量。
在一些实施例中，色度增强系数可以基于属于第二类别的第一像素的亮度分量和对应于属于第二类别的第一像素的第二像素的亮度分量确定。
在一些实施例中，至少一个处理器可以用于使系统基于属于第一类别的第一像素和属于第二类别的第一像素来生成第二二进制图像。至少一个处理器可以用于使系统对第一图像和第二二进制图像执行卷积操作，使得属于第二类别的第一像素的色度分量保持不变。
在一些实施例中，为了执行与属于第一类别的第一像素相关的融合操作，至少一个处理器可以用于使系统确定属于第一类别的第一像素的亮度和对应于属于第一类别的第一像素的第二像素的亮度。至少一个处理器可以进一步用于使系统基于属于第一类别的第一像素的亮度和对应于属于第一类别的第一像素的第二像素的亮度来确定融合图像中的第五像素的亮度分量。
根据本申请的第二方面，提供了一种用于图像融合的方法。该方法可以包括获取包括至少两个第一像素的第一图像。第一图像可以由第一成像通道生成。该方法还可以包括获取包括至少两个第二像素的第二图像。可以由与第一成像通道不同的第二成像通道生成第二图像。至少两个第二像素中的每一个可以对应于至少两个第一像素中的一个。该方法还可以包括将至少两个第一像素分类为至少包括第一类别和第二类别的不同类别。该方法仍然可以包括利用第二图像基于至少两个第一像素中的每一个和与其对应的第二像素之间的融合操作融合第一图像以产生融合图像，其中与属于第一类别的第一像素相关的融合操作和与属于第二类别的第一像素相关的融合操作根据不同的融合规则执行。
根据本申请的第三方面，提供了一种用于图像采集的系统。该系统可以包括存储一组指令的至少一个存储介质和配置为与至少一个存储介质通信的至少一个处理器。当执行该组指令时，至少一个处理器可以用于使系统获取包括至少两个第一像素的第一图像。第一图像可以由第一成像通道生成。至少一个处理器可以进一步用于使系统获取包括至少两个第二像素的第二图像。第二图像可以由与第一成像通道不同的第二成像通道生成。至少两个第二像素中的每一个可以对应于至少两个第一像素中的一个。至少一个处理器可以进一步用于使系统将至少两个第一像素分类为至少包括第一类别和第二类别的不同类别。至少一个处理器可以进一步用于使系统利用第二图像基于至少两个第一像素中的每一个和与其对应的第二像素之间的融合操作融合第一图像以产生融合图像，其中与属于第一类别的第一像素相关的融合操作和与属于第二类别的第一像素相关的融合操作根据不同的融合规则执行。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
图1是根据本申请的一些实施例所示的示例性图像融合系统的示意图；
图2是根据本申请的一些实施例所示的计算设备的示例性硬件组件和软件组件的示意图；
图3是根据本申请的一些实施例所示的移动设备的示例性硬件组件和软件组件的示意图；
图4是根据本申请的一些实施例所示的示例性处理设备的示意图；
图5是根据本申请的一些实施例所示的用于产生融合图像的示例性过程的流程图；
图6是根据本申请的一些实施例所示的用于产生融合图像的示例性过程的流程图；
图7是根据本申请的一些实施例所示的用于确定融合像的y分量的示例性过程的流程图；
图8是根据本申请的一些实施例所示的用于确定对与白色点对应的融合图像的uv分量的示例性过程的流程图；以及
图9是根据本申请的一些实施例所示的用于确定与非白色点对应的融合图像的uv分量的示例性过程的流程图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。然而，本领域技术人员应该明白，可以在没有这些细节的情况下实施本申请。在其他情况下，已经以相对高的级别描述了公知的方法、程序、系统、组件和/或电路，以避免不必要地模糊本申请的各方面。对于本领域的普通技术人员来讲，显然可以对所披露的实施例做出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请不限于所示的实施例，而是符合与申请专利范围一致的最广泛范围。
应当理解，这里使用的术语“系统”、“单元、”和/或“引擎”是一种用于以升序区分不同级别的不同构件、元素、部件、部分或组件的方法。然而，如果可以达到相同目的，则这些术语可以被其他表达代替。
通常，这里使用的词语“模块”、“单元”或“块”是指体现在硬件或固件中的逻辑，或者是软件指令的集合。这里描述的模块、单元或块可以实现为软件和/或硬件，并且可以存储在任何类型的非暂时性计算机可读介质或其他存储设备中。在一些实施例中，可以编译软件模块/单元/块并将其链接到可执行程序中。应当理解，软件模块可以从其他模块/单元/块或从它们自身调用，和/或可以响应检测到的事件或中断来调用。可以在计算机可读介质上提供用于在计算设备上执行的软件模块/单元/块(例如，如图2所示的处理器210)，例如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质，或作为数字下载(并且可以最初以压缩或可安装的格式存储，需要在执行之前进行安装、解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中，并应用在计算设备的操作之中。软件指令可以植入在固件中，例如可擦可编程只读内存。还将意识到，硬件模块/单元/块可以包括在连接的逻辑组件中，例如门和触发器，和/或可以包括在可编程单元中，例如可编程门阵列或处理器。这里描述的模块/单元/块或计算设备功能可以实现为软件模块/单元/块，但是可以用硬件或固件表示。通常，这里描述的模块/单元/块指的是逻辑模块/单元/块，其可以与其他模块/单元/块组合或者分成子模块/子单元/子块，尽管它们是物理组织或存储器件。
将理解的是，当单元、模块或引擎被称为在另一单元、模块或引擎“上”、“连接”或“耦合至”另一单元、模块或引擎时，其可以直接在其它单元、模块或引擎上，与其它单元、模块或引擎连接或耦合或与之通信，或者可能存在中间单元、模块或引擎，除非上下文另有明确说明。在本申请中，术语“和/或”可包括任何一个或以上相关所列条目或其组合。
本申请中所使用的术语仅出于描述特定示例和实施例的目的，而非限制性的。如本申请使用的单数形式“一”、“一个”及“该”同样可以包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请说明书中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其它特征、整体、步骤、操作、组件、部件和/或其组合的情况。
图1是根据本申请的一些实施例所示的示例性图像融合系统的示意图。图像融合系统100可以包括图像捕获设备110，处理设备120，终端设备130，存储设备140，网络150和/或根据本申请的各种实施例的用于图像处理的任何其他合适的组件。
图像捕获设备110可用于获取图像。所获取的图像可以包括静止图像、运动图像、视频(离线或实时流)、视频帧等或其组合。在一些实施例中，获取的图像可以包括不同类型的图像。示例性图像的图像可以包括可见光图像、红外光图像等或其组合。在一些实施例中，图像捕获设备110可以具有不同的成像信道，其可以捕获对应于相同场景的不同类型的图像(例如，相同的静态场景或相同的动态场景)。例如，图像捕获设备110的两个成像通道可以分别捕获可见光图像和红外光图像。可见光图像和红外光图像可以同时或顺序捕获。
图像捕获设备110可以是能够捕获图像的任何合适的设备。图像捕获设备110可以是和/或包括相机、传感器、视频记录器等或其任何组合。图像捕获设备110可以是和/或包括任何合适类型的相机，例如固定摄像机、固定球型摄像机、隐藏式摄像机、变焦相机、热像仪等。图像捕获设备110可以是和/或包括任何合适类型的传感器，例如音频传感器、光传感器、风速传感器等或其组合。
在一些实施例中，光传感器(例如，可见光检测器、红外检测器等)可以检测光信号，例如可见光信号、红外光信号。基于不同光信号生成的图像可以包括不同的信息。例如，基于可见光信号产生的可见光图像可以提供高分辨率可见光图像。基于红外光信号产生的红外光图像可以提供与可见光图像不同的亮度信息。
由图像捕获设备110获取的数据(例如，图像、光信号等)可以保存在存储设备140中，经由网络150发送到处理设备120或终端设备130。在一些实施例中，图像捕获设备110可以集成在终端设备130中。
处理设备120可以处理与本申请中描述的一个或多个功能有关的图像和/或数据。例如，处理设备120可以通过网络150处理从图像捕获设备110接收的图像并将处理的图像输出到存储设备140和/或终端设备130。在一些实施例中，处理设备120可以通过根据图像类型使用不同的图像融合算法来融合由图像捕获设备110获取的图像。例如，处理设备120可以使用亮度增强融合算法来融合可见光图像和红外光图像。此外，处理设备120可以根据要融合的图像中包括的场景调整图像融合算法的一个或多个参数(例如，亮度增强系数和色度增强系数)。例如，相较于在低可见度环境(例如，有雾天气)中捕获的可见光图像和红外光图像，处理设备120可以使用更大的亮度增强系数来融合在低亮度环境(例如，黑暗环境)中捕获的可见光图像和红外光图像。在一些实施例中，处理设备120可以包括中央处理单元、特定应用集成电路、特定应用指令集处理器、图形处理单元、物理处理单元、数字信号处理器、现场可编程门阵列、可编程逻辑器件、控制器、微控制器单元、精简指令集计算机、微处理器等，或其任何组合。在一些实施例中，处理设备120可以集成在终端设备130中。
终端设备130可以接收、输出、显示和/或处理图像。例如，终端设备130可以从图像捕获设备110、处理设备120、存储设备140、网络150等接收图像。作为另一示例，终端设备130可以通过网络150将从图像捕获设备110接收的可见光图像和/或从处理设备120接收的融合图像输出或显示给用户。作为另一示例，终端设备130可以处理从图像捕获设备110、处理设备120、存储设备140、网络150等接收的图像。
终端设备130可以连接到处理设备120或与处理设备120通信。终端设备130可以允许一个或多个操作员(例如，执法人员等)控制显示器上的数据(例如，由图像捕获设备110捕获的图像)的生成和/或显示。终端设备130可以包括输入设备、输出设备、控制面板、显示器(图1中未示出)等，或其组合。
输入设备可以是键盘、触摸屏、鼠标、遥控器、可穿戴设备等，或其组合。输入设备可包括由键盘、触摸屏(例如，具有触觉或触觉反馈等)输入的字母数字键和其它键、语音输入、眼球追踪输入、大脑监控系统或任何其它类似的输入机制输入。通过输入设备接收的输入信息可以经由网络150传送到处理设备120以进一步处理。其它类型的输入设备可以包括光标控制设备，例如鼠标、轨迹球或光标方向键等，以将方向信息和命令选择传送到例如处理设备120并控制在显示器上或其他显示设备上的光标移动。
显示器可以显示接收的数据(例如，由图像捕获设备110捕获的图像)。该信息可以包括数据处理之前和/或之后的数据，对图像获取和/或处理的输入或参数等的请求或其组合。显示器可包括液晶显示器、发光二极管、基于显示器、平板显示器或弯曲屏幕(或电视)、阴极射线管等，或其组合。
存储设备140可以获取和/或存储图像融合系统100的组件(例如，图像捕获设备110、处理设备120或终端设备130等)的信息。例如，存储设备140可以从处理设备120获取和存储图像。在一些实施例中，获取和/或存储的信息可以包括程序、软件、算法、功能、文件、参数、数据、文本、数字、图像等或其任何组合。在一些实施例中，存储设备140可以存储从图像捕获设备110接收的可见光图像和/或红外光图像，以及从处理设备120接收的不同格式的融合图像，包括例如bmp、jpg、png、tiff、gif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw、wmf等，或其任何组合。在一些实施例中，存储设备140可以存储在处理设备120中应用的算法(例如，去雾算法、导向滤波器算法等)。在一些实施例中，存储设备140可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(rom)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态驱动器等。
网络150可以促进信息交换。在一些实施例中，图像融合系统100中的一个或多个组件(例如，图像捕获设备110、终端设备130、处理设备120和存储设备140)可以通过网络150将信息发送到图像融合系统100中的其他组件。例如，存储设备140可以通过网络150接收和存储可见光图像和/或红外光图像。在一些实施例中，网络150可以是任何类型的有线或无线网络，或其组合。仅作为示例，网络150可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局部区域网络、大都市区网络、公用交换电话网络、bluetoothtm网络、zigbeetm网络、近场通信网络等，或其组合。
应当注意，以上关于图像融合系统100的描述仅出于说明的目的而提供，而不是旨在限制本申请的范围。对于具有本领域普通技术人员，可以在本申请的指导下进行各种变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，图像捕获设备110可以集成在终端设备130中。在一些实施例中，由图像捕获设备110生成的部分或全部图像数据可以由终端设备130处理。在一些实施例中，图像捕获设备110和处理设备120可以在用于执行本申请中描述的图像捕获设备110和处理设备120的功能的单个设备中实现。在一些实施例中，终端设备130和存储设备140可以是单个设备作为的处理设备120的一部分。类似的修改应属于本申请的范围。
图2是根据本申请的一些实施例所示的可以在其上实现图像捕获设备110、处理设备120或终端设备130的计算设备的示例性硬件和/或软件组件的示意图。如图2所示，计算设备200可以包括处理器201、存储器203、输入/输出205和通信端口207。
处理器201可以执行计算机指令(程序代码)并根据本申请描述的技术执行处理设备的功能。计算机指令可以包括执行本申请描述的特定功能的例程、程序、对象、组件、信号、数据结构、过程、模块和功能。例如，处理设备120可以在计算设备200上实现，并且处理器201可以基于可见光图像和红外光图像生成融合图像。在一些实施例中，处理器201可以包括微控制器、微处理器、精简指令集计算机、特定应用集成电路、特定应用指令集处理器、中央处理单元、图形处理单元、物理处理单元、微控制器单元、数字信号处理器、现场可编程门阵列、高级精简指令系统处理器、可编程逻辑器件、能够执行一个或以上功能的任何电路或处理器等，或其组合。
仅用于说明目的，计算设备200中仅描述一个处理器。然而，应该注意，本申请中的计算设备200还可以包括多个处理器，因此如本申请中所述的一个处理器执行的操作和/或方法步骤也可以由多个处理器联合或单独执行。例如，如果在本申请中，计算设备200的处理器执行步骤a和步骤b，则应理解，步骤a和步骤b也可以由在计算设备200中的两个不同的处理器联合或单独地执行(例如，第一处理器执行步骤a和第二处理器执行步骤b，或者第一处理器和第二处理器联合执行步骤a和b)。
存储器203可以存储从计算设备200的任何其他组件(例如，处理器201)获取的数据/信息。在一些实施例中，存储器203可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器等，或其任何组合。例如，大容量存储设备可以包括磁盘、光盘、固态驱动等。可移动存储设备可以包括闪存驱动器、软盘、光盘、存储卡、压缩磁盘、磁带等。易失性读写存储器可以包括随机存取存储器。随机存取存储器可以包括动态随机存取存储器、双日期速率同步动态随机存取存储器、静态随机存取存储器、晶闸管随机存取存储器和零电容随机存取存储器等。只读存储器可以包括掩模型只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、光盘只读存储器和数字通用盘只读存储器等。在一些实施例中，存储器203可以存储一个或多个程序和/或指令以执行本申请中描述的示例性方法。例如，存储器203可以存储用于基于可见光图像和红外光图像生成融合图像的程序。作为另一示例，存储器203可以存储由图像捕获设备110捕获的图像。
输入/输出205可以输入或输出信号、数据或信息。在一些实施例中，输入/输出205可以使用户能够与处理设备进行交互。例如，可以通过输入/输出205显示捕获的图像。在一些实施例中，输入/输出205可以包括输入设备和输出设备。示例性输入设备可以包括键盘、鼠标、触摸屏、麦克风等或其组合。示例性输出设备可以包括显示设备、扬声器、打印机、投影仪等或其组合。示例性显示设备可以包括液晶显示器、基于发光二极管的显示器、平板显示器、弯曲屏幕、电视设备、阴极射线管等，或其组合。
通信端口207可以连接到网络以便于数据通信。通信端口207可以在计算设备200和外部设备(例如，智能电话)之间建立连接。该连接可以是有线连接、无线连接或两者的组合，以实现数据传输和接收有线连接可以包括电缆、光缆，电话线等或其任何组合。无线连接可以包括蓝牙、wi-fi、wimax、wlan、zigbee、移动网络(例如，3g、4g、5g等)等，或其组合。在一些实施例中，通信端口207可以是标准化通信端口，例如rs232、rs485等。
图3是根据本申请的一些实施例的示出的可以在其上实现图像捕获设备110、处理设备120或终端设备130的移动设备的示例性硬件和/或软件组件的示意图。如图3所示，移动设备300可以包括通信平台310、显示单元320、图形处理单元330、中央处理单元340、输入/输出350、内存360和存储器390。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。在一些实施例中，移动操作系统370(例如，iostm、androidtm、windowsphonetm等)和一个或多个应用程序380可以从存储器390加载到内存360中，以便由中央处理器340执行。应用程序380可以包括浏览器或任何其他合适的移动应用，用于从处理设备120接收和呈现与运输服务或其他信息有关的信息。用户与信息流的交互可以通过输入/输出350实现，并经由网络150提供给处理设备120和/或图像融合系统100的其他组件。
因此，如本申请所述的图像处理和/或其他过程的方法的各方面可以体现在编程中。可以将技术的程序方面视为通常以可执行代码和/或在某种类型的机器可读介质上体现的可执行代码和/或关联数据的形式的“产品”或“制品”。有形的非暂时性“存储”类型介质包括用于计算机、处理器等的任何或全部存储器或其他存储，或其相关模块，例如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可随时为软件编程提供存储。
软件的全部或部分有时可以通过诸如因特网或各种其他电信网络的网络传送。例如，这种通信使软件从一台计算机或处理器加载到另一台计算机或处理器中，例如，从调度系统的管理服务器或主计算机加载到计算环境的硬件平台或实现与图像处理相关的计算环境或类似功能的其他系统。因此，可以承载软件元件的另一种类型的介质包括光波，电波和电磁波，例如在本地设备之间的物理接口中使用，通过有线和光纤固定电话网络和各种空气链路。承载这种波的物理元件，例如有线或无线链路、光链路等，也可以作为承载软件的介质。如本申请所用，除非仅限于有形的“存储”媒体，否则诸如计算机或机器“可读介质”的术语是指参与向处理器提供指令的任何介质。
机器可读介质可以采用多种形式，包括但不限于有形存储介质，载波介质或物理传输介质。非易失性存储介质包括例如光学或磁盘，例如任何计算机中的任何存储设备等，其都可用于实现附图中所示的系统或其任何组件。易失性存储介质可以包括动态存储器，例如这种计算机平台的主存储器。有形传输介质可包括同轴电缆、铜线和光纤，包括在计算机系统内形成总线的电线。载波传输介质可以采用电子信号或电磁信号的形式，或诸如射频和红外数据通信期间产生的声波或光波。常见的计算机可读介质形式可以包括，例如：软盘、软磁盘、硬盘、磁带、任何其他磁介质、只读光盘、数字视频光盘或dvd-rom、任何其他光学介质、穿孔卡纸带、任何其他带有孔图案的物理存储介质、ram、prom和eprom、flash-eprom、任何其他存储芯片或盒带、用于传输数据或指令的载波，用于传输此类载波的电缆或链接、或者计算机可以从中读取编程代码和/或数据的任何其他介质。这些形式的计算机可读介质中的许多可以涉及将一个或多个指令的一个或多个序列传送到物理处理器以执行。
本领域技术人员将认识到，本教导可用于各种修改和/或增强。例如，尽管本申请描述的各种组件的实现可以体现在硬件设备中，它也可以实现为仅软件解决方案(例如，在现有服务器上的安装)。另外，如本申请所公开的图像处理可以实现为固件，固件/软件组合，固件/硬件组合或硬件/固件/软件组合。
图4是根据本申请的一些实施例所示的示例性处理设备的示意图。处理设备120可以包括获取模块410、预处理模块420、分类模块430和融合模块440。
获取模块410可以用于获取第一图像和第二图像。第一图像和第二图像可以表示相同的场景。例如，第一图像和第二图像都可以显示具有相同周围环境的相同对象。获取模块410可以通过不同的成像通道捕获第一图像和第二图像。在一些实施例中，不同的成像通道可以由不同的图像捕获设备表示，例如可见光相机和红外光相机。在一些实施例中，不同的成像通道可以由同一图像捕获设备(例如，图像捕获设备110)中的不同图像传感器表示，例如可见光传感器和红外传感器。在一些实施例中，不同的成像通道可以由图像捕获设备(例如，图像捕获设备110)的不同工作状态表示，例如可见光捕获状态和红外光捕获状态。
预处理模块420可以用于在一个或多个图像上执行预处理操作。示例性预处理可以包括通过例如滤波操作来降低噪声。滤波操作可以包括空间滤波、频域滤波等或其组合。空间滤波可以包括线性滤波(例如，均值滤波、高斯滤波、维纳滤波)和非线性滤波(例如，中值滤波)。具体地，由获取模块410获取的第一图像和/或第二图像可以是通过增强时域降噪算法进行预处理的预处理图像。增强时域降噪算法可以在第一图像和/或第二图像的原始图像中移除抖动的色彩噪声。抖动的色彩噪声可以是由例如硬件问题引起的异常颜色变化。在低亮度环境下，抖动的色彩噪声可能出现在可见光图像中的白色块区域(如果有)中。
分类模块430可以用于将图像中的像素分为不同的类别。不同的类别至少包括与白色点对应的第一类别和与非白色点对应的第二类别。
融合模块440可以用于使由获取模块410获取的第一图像和第二图像融合以产生融合图像。在融合过程中，融合模块440可以将第一图像和第二图像的相关信息组合到融合图像中。在一些实施例中，融合图像可以是具有增强亮度和色度的彩色图像。在一些实施例中，融合过程可以以像素到像素的方式进行。融合模块440可以在第一图像中的每个像素和对应的第二图像中的像素之间执行融合操作。在这种情况下，第一图像中的像素的信息可以与第二图像中的对应像素的信息组合，以生成融合图像中的对应像素的信息。
处理设备120中的模块可以通过有线连接或无线连接进行彼此连接或通信。有线连接可以包括金属电缆、光缆、混合电缆等或其任何组合。无线连接可以包括局域网络(lan)、广域网络(wan)、蓝牙、zigbee、近场通信(nfc)等或其任意组合。两个或以上模块可以组合为单个模块。所述模块中的任一个可以分成两个或以上单元。例如，获取模块410和预处理模块420可以组合成单个模块，该单个模块可以获取和预处理第一图像和第二图像。作为另一示例，获取模块410可以分成两个单元。第一单元可以获取第一图像。第二单元可以获取第二图像。
应当注意的是，以上描述仅出于说明的目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，处理设备120还可以包括存储模块(图4中未示出)。存储模块可以用于存储在由处理设备120的任何组件执行的在任何处理期间生成的数据。作为另一示例，处理设备120的每个组件可以分别对应于存储模块。附加地或替代地，处理设备120的组件可以共享公共存储模块。
图5是根据本申请的一些实施例所示的用于产生融合图像的示例性过程的流程图。在一些实施例中，过程500可以在图1所示的图像融合系统100中实现。例如，过程500可以以指令的形式存储在存储介质中(例如，存储设备140、存储器203、内存360或存储器390)，并且可以被处理设备120(例如，处理器210、中央处理单元340或者在图4中所示的处理设备120中的一个或多个模块)调用和/或执行。下面呈现的所示过程500的操作旨在说明。在一些实施例中，过程500可以利用一个或以上未描述的附加操作和/或没有讨论的一个或以上操作来完成。另外，图5中所示和以下描述的过程500的操作顺序并非旨在限制。在一些实施例中，可以执行处理过程500融合不同的图像以生成一个或多个融合图像。在一些实施例中，处理设备120可以通过重复过程500生成至少两个融合图像。
在操作510中，获取模块410可以获取第一图像和第二图像。获取模块410可以从例如图像捕获设备110或一个或多个存储设备(例如，存储设备140、存储器203和/或存储器390)获取第一图像和第二图像。
在一些实施例中，第一图像和第二图像可以是不同的类型。例如，第一图像可以是可见光图像，第二图像可以是红外光图像。在一些实施例中，第一图像和第二图像可以是相同的类型。例如，第一图像和第二图像可以都是可见光图像，并且第一图像可以在比第二图像更大的曝光量下捕获。
第一图像和第二图像可以通过不同的成像通道捕获。在一些实施例中，不同的成像通道可以由不同的图像捕获设备表示，例如可见光相机和红外光相机。在一些实施例中，不同的成像通道可以由同一图像捕获设备(例如，图像捕获设备110)中的不同图像传感器表示，例如可见光传感器和红外传感器。在一些实施例中，不同的成像通道可以由图像捕获设备(例如，图像捕获设备110)的不同工作状态表示，例如可见光捕获状态和红外光捕获状态。图像捕获设备可以通过至少调节或移动安装在其内的一个或多个滤光器来改变其工作状态。特定滤光器可以仅允许在特定范围内的光通过。
第一图像和第二图像可以表示相同的场景。例如，第一图像和第二图像都可以显示具有相同周围环境的相同对象。在一些实施例中，由第一图像和第二图像表示的场景可以是静态场景或动态场景。例如，第一图像(例如，可见光图像)和第二图像(例如，红外光图像)可以均显示电梯处于待机状态时的电梯入口的静态场景。作为另一示例，第一图像(例如，可见光图像)和第二图像(例如，红外光图像)可以均显示一个或多个车辆驶离停车场的动态场景。在一些实施例中，第一图像中的像素数和第二图像中的像素数可以相同或不同。第一图像中的每个像素可以对应于第二图像中的一个像素，并且第一图像中的每个像素以及第二图像中与第一图像中每个像素对应的像素可以表示场景中的相同物理点。
在一些实施例中，第一图像和/或第二图像可以以各种格式表示。例如，第一图像和/或第二图像可以是以rgb颜色空间表示的rgb格式图像或以yuv颜色空间表示yuv格式图像。rgb格式图像和yuv格式图像可以互相转换。在一些实施例中，根据不同的应用场景，第一图像和第二图像可以以相同的格式或不同的格式表示。
在一些实施例中，第一图像和/或第二图像可以是由预处理模块420生成的预处理图像。示例性预处理可以包括通过例如滤波操作来降低噪声。滤波操作可以包括空间滤波、频域滤波等或其组合。空间滤波可以包括线性滤波(例如，均值滤波、高斯滤波、维纳滤波)和非线性滤波(例如，中值滤波)。具体地，第一图像和/或第二图像可以是通过增强时域降噪算法预处理的预处理图像。增强时域降噪算法可以在第一图像和/或第二图像的原始图像中移除抖动色噪声。抖动色噪声可以是由例如硬件问题引起的异常颜色变化。在低亮度环境下，抖动色噪声可能出现在可见光图像中的白色块区域(如果有)中。白色块区域可以包括r值、g值和b值彼此近似相等的至少两个像素。
为简洁起见，假设第一图像是通过对视频的至少两个连续帧图像之一的yuv格式图像进行预处理而生成的，则增强时域降噪算法所执行的预处理可以描述如下，通过将相邻的帧图像(例如，与yuv格式图像相邻的一个或多个先前帧图像、与yuv格式图像相邻的一个或多个后续帧图像)以像素对像素方式与yuv格式图像进行比较，预处理模块420可以识别yuv格式图像和其相邻帧图像之间的像素值(例如，y、u和/或v值)的变化。如果yuv格式图像与其相邻的一个帧图像的某个像素值的变化超过阈值，则可以将与特定像素值相对应的yuv格式图像中的像素认为是抖动的色彩噪声。然后，预处理模块420可以通过在yuv格式图像中移除抖动的彩色噪声来生成第一图像。在一些实施例中，阈值可以设置为极低的值(例如，大致等于零的值)，使得可以有效地识别并进一步消除抖动的色彩噪声，从而降低了yuv格式图像的白色块区域中抖动的色彩噪声干扰。
在操作520中，分类模块430可以将第一图像中的像素分类为不同的类别。不同的类别可以至少包括与白色点对应的第一类别和与非白色点对应的第二类别。
如本实施例所用，白色点可以是色彩空间中颜色为“白色”的点。白色点在不同格式的图像中可能具有多种表示形式。例如，在rgb格式图像中，白色点可以是r值、g值和b值相同的点。作为另一示例，在yuv格式图像中，白色点可以是cie1931色彩空间的图中色度坐标为(1/3,1/3)的点。为了简洁起见，与白色点有关的描述可以以rgb格式的图像为例。
在一些实施例中，与白色点对应的第一类别可以包括第一图像中的白色点和近似于白色点的点。近似于白色点的点可以是r值、g值和b值彼此接近的点。如本实施例所用，两个值彼此接近可以指两个值之间的差小于特定阈值。在一些实施例中，某个阈值可以是由用户设置的固定值。在一些实施例中，某个阈值可以是可变的，例如，两个值之一的一个分数。分数可以是0.05、0.1、0.15、0.2、0.3、0.4等。与非白色点对应的第二类别可以包括除第一图像中白色点以及近似于白色点的点之外的其他点。具体地，与白色点对应的第一类别和与非白色点对应的第二类别是排除了抖动的色彩噪声的点，如本申请中的其他地方所述。
在操作530中，融合模块440可以将第一图像与第二图像融合，以产生融合图像。在融合过程中，融合模块440可以将第一图像和第二图像的相关信息组合到融合图像中。在一些实施例中，融合图像可以是具有增强亮度和色度的彩色图像。
在一些实施例中，融合模块440可以以像素对像素方式执行融合过程。融合模块440可以在第一图像中的每个像素和与其对应的第二图像中的像素之间执行融合操作。在这种情况下，第一图像中的像素的信息可以和与其对应的第二图像中的像素的信息组合，以生成融合图像中的对应像素的信息。如本实施例所用，第一图像中的像素和与其对应的第二图像中的像素可以表示现实世界中的小物理点。
在一些实施例中，融合模块440可以根据不同的融合规则来执行与第一类别中的像素相关的融合和与第二类别中的像素相关的融合。例如，与第一类别对应的融合图像中的像素可以根据第一融合规则生成。根据第一融合规则，融合模块440可以仅基于第一图像中的对应像素的信息(例如，第一图像中的对应像素的色度信息)来计算融合图像中的像素的色度信息。与第二类别对应的融合图像中的其他像素可以根据第二融合规则生成。根据第二融合规则，融合模块440可以基于第一图像中的对应像素的信息(例如，第一图像中对应像素的亮度信息)和第二图像中的对应像素的信息(例如，第二图像中相应像素的亮度信息)的两个信息来计算融合图像中像素的色度信息。如本实施例所用，像素的色度信息可以由像素的色度分量(例如，uv分量)表示，并且像素的亮度信息可以由亮度分量(例如，y分量)表示。
附加地或替代地，融合模块440可以基于第一图像中的对应像素的信息(例如，第一图像中的对应像素的亮度信息)和第二图像中的对应像素的信息(例如，第二图像中的对应像素的亮度信息)的两个信息来计算融合图像中的像素的亮度信息(例如，y分量)。关于融合过程的更多描述可以参见本申请的其他部分(例如，图6以及其描述)。
应当注意的是，以上描述仅出于说明的目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，操作510和/或操作520可以由图像捕获设备110执行。
图6是根据本申请的一些实施例所示的用于产生融合图像的示例性过程的流程图。在一些实施例中，过程600可以在图1所示的图像融合系统100中实现。例如，过程600可以以指令的形式存储在存储介质中(例如，存储设备140、存储器203、内存360或存储器390)，并且可以被处理设备120(例如，处理器210、中央处理单元340或者在图4中所示的处理设备120中的一个或多个模块)调用和/或执行。下面呈现的所示过程600的操作旨在进行说明。在一些实施例中，过程600可以利用一个或以上未描述的附加操作和/或没有讨论的一个或以上操作来完成。另外，图6中所示和以下描述的过程600的操作的顺序并非旨在限制。在一些实施例中，图5中所示的操作530可以根据过程600执行。
为了简洁起见，对融合图像的生成的描述可以以yuv格式的图像为例。应当注意，下面的描述仅仅是示例或实现。对于本领域普通技术人员，在本申请中的融合图像的生成也可以应用于其他格式图像，例如rgb格式图像。
在操作610中，融合模块440可以确定融合图像中的每个像素的y分量。像素的y分量可以表示像素的亮度信息。为简洁起见，融合图像中的像素也可以称为“融合像素”。
在一些实施例中，融合像素的y分量可以基于第一图像中的第一像素的y分量和第二图像中的第二像素的y分量确定。在一些实施例中，本实施例描述的第一图像和第二图像可以分别与图5中描述的第一图像和第二图像相同或类似。第一图像中的第一像素、第二图像中的第二像素、融合图像中的融合像素可以彼此对应，并且表示现实世界中的相同物理点。
例如，融合模块440可以将融合像素的y分量确定为第一像素的y分量和第二像素的y分量之间的较大者。作为另一示例，融合像素的y分量可以确定为第一像素的y分量和第二像素的y分量的平均值。作为又一个示例，融合像素的y分量可以通过将第一像素的y分量和第二像素的y分量的均值或较大值与亮度增强系数相乘确定。亮度增强系数可用于增强融合图像或其一部分的亮度。在一些实施例中，对应于不同融合像素的亮度增强系数可以是不同的。例如，对应于具有不同色度的融合像素的亮度增强系数可以是不同的。具体地，与红色融合像素相对应的亮度增强系数可以大于与灰色融合像素相对应的亮度增强系数。关于融合像素的y分量的更多描述可以参见本申请的其他部分(例如，图7以及其描述)。
在操作620中，融合模块440可以确定融合图像中与白色点对应的每个像素的uv分量。像素的uv分量可以表示像素的色度信息。为简洁起见，与白色点对应的融合像素可以称为“第一融合像素”。第一融合像素可以是第一图像中对应像素属于与白色点对应类别的融合像素。如本申请的其他部分(例如，操作520)所述，第一图像中的像素可以分为与白色点对应的第一类别和与非白色点对应的第二类别。与白色点对应的第一类别可以包括第一图像中的白色点和近似于白色点的点。与非白色点对应的第二类别可以包括除白色点和近似于白色点的点之外的第一图像中的其他点。
在一些实施例中，融合模块440可以根据第一融合规则基于第一图像中的对应像素的uv分量确定第一融合像素的uv分量。例如，根据第一融合规则，第一图像中的对应像素的uv分量可以直接指定为第一融合像素的uv分量。作为另一示例，根据第一融合规则，第一融合像素的uv分量可以通过将第一图像中的uv分量与比例因子相乘确定。比例因子可以是由用户设置的预定值。
在操作630中，融合模块440可以确定融合图像中与非白色点对应的每个像素的uv分量。为简洁起见，与非白色点对应的融合像素可以被称为“第二融合像素”。第二融合像素可以是第一图像中对应像素属于非白色点对应类别的融合像素。
在一些实施例中，第二融合像素的uv分量可以基于第一图像中的相应像素的uv分量和色度增强系数根据第二融合规则确定。根据第二融合规则，色度增强系数可以基于第二融合像素的亮度信息(例如，y分量)和第一图像中的对应像素的亮度信息(例如，y分量)确定。例如，假设第一图像中的像素c1对应融合图像中的第二融合像素c3，像素c1的y分量和uv分量分别表示为yc1和uvc1，以及第二融合像素c3的y分量可以表示为yc3。融合模块440可以基于yc3和yc1(例如，yc3至yc1的比值)计算值c，并将值c指定为色度增强系数。然后，融合模块440可以计算像素的uv分量c1(即，uvc1)和色度增强系数c的乘积，并且可以进一步将乘积的结果确定为第二融合像素c3的uv分量。
在操作640中，融合模块440可以基于融合像素的y分量和融合像素的uv分量(包括第一融合像素的uv分量和第二融合像素的uv分量)，生成融合图像。
应当注意的是，以上描述仅出于说明的目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，操作610至操作640中的至少一个可以由图像捕获设备110执行。作为另一示例，操作620可以在操作630之后执行，或者操作610和630可以同时执行。
图7是根据本申请的一些实施例所示的用于确定融合像素的y分量的示例性过程的流程图。在一些实施例中，过程700可以在图1所示的图像融合系统100中实现。例如，过程700可以以指令的形式存储在存储介质中(例如，存储设备140、存储器203、内存360或存储器390)，并且可以被处理设备120(例如，处理器210、中央处理单元340或者在图4中所示的处理设备120中的一个或多个模块)调用和/或执行。以下呈现的所示过程700的操作旨在说明。在一些实施例中，过程700可以利用一个或以上未描述的附加操作和/或没有讨论的一个或以上操作来完成。另外，图7中所示和以下描述的流程700的操作的顺序并非旨在限制。在一些实施例中，图6中的操作610可以根据过程700执行。
在操作710中，融合模块440可以将第一图像中的第一像素的y分量与第二图像中的第二像素的y分量进行比较。在一些实施例中，第一图像和第二图像可以分别与图5中描述的第一图像和第二图像相同或类似。第一图像中的第一像素和第二图像中的第二像素可以相互对应，并且表示现实世界中的相同物理点。
在操作720中，融合模块440可以确定第一像素的y分量是否大于第二像素的y分量。
如果第一像素的y分量大于第二像素的y分量，则融合模块440可以执行操作730。如果第一像素的y分量等于或小于第二像素的y分量，则融合模块440可以执行操作750。
在操作730中，融合模块440可以将第一像素的y分量指定为与第一像素对应的融合像素的y分量。
在操作740中，融合模块440可以将对应于第一像素的色度增强系数指定为第一值(例如，1)。在一些实施例中，对应于第一像素的色度增强系数可以进一步用于计算对应于第一像素的融合像素的色度信息。
在操作750中，融合模块440可以将第二像素的y分量指定为与第一像素对应的融合像素的y分量。
在操作760中，融合模块440可以将第二像素的y分量与第一像素的y分量的比值指定为第一像素对应的色度增强系数。
应当注意的是，以上描述仅出于说明的目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。
图8是根据本申请的一些实施例所示的用于确定与白色点对应的融合图像的uv分量的示例性过程的流程图。在一些实施例中，过程800可以在图1所示的图像融合系统100中实现。例如，过程800可以以指令的形式存储在存储介质中(例如，存储设备140、存储器203、内存360或存储器390)，并且可以被处理设备120(例如，处理器210、中央处理单元340或者在图4中所示的处理设备120中的一个或多个模块)调用和/或执行。下面呈现的所示过程800的操作旨在说明。在一些实施例中，过程800可以利用一个或以上未描述的附加操作和/或没有所讨论的一个或以上操作来完成。另外，图8所示和以下描述的过程800的操作的顺序并非旨在限制。在一些实施例中，图6中的操作620可以根据过程800执行。
在操作810中，融合模块440可以获取包括至少两个像素的第一图像。在一些实施例中，本实施例描述的第一图像可以与图5中描述的第一图像相同或类似。如本申请的其他部分所述，第一图像中的至少两个像素可以分为与白色点对应的第一类别和与非白色点对应的第二类别。
在操作820中，融合模块440可以基于第一图像生成第一二进制图像。例如，融合模块440可以将第一像素值(例如，“1”)分配给与白色点对应的第一类别的像素，将第二像素值(例如，“0”)分配给与非白色点对应的第二类别的像素。
在操作830中，融合模块440可以通过对第一图像和第一二进制图像执行卷积操作确定第三图像。
在一些实施例中，卷积操作可以包括计算第一图像中的像素的uv分量与第一二进制图像中的对应像素的二进制值的乘积。在第一二进制图像的二进制值为“1”或“0”的情况下，在执行卷积操作之后与白色点对应的第三图像中的像素的uv分量可以与第一图像的相同，而与非白色点对应的第三图像中的像素的uv分量可以设置为“0”。第三图像可以与一个或多个其他图像进一步融合以产生融合图像。在一些实施例中，与白色点对应的第三图像中的像素的uv分量可以直接用作融合图像中的对应像素的uv分量。
应当注意的是，以上描述仅出于说明的目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。
图9是根据本申请的一些实施例所示的用于确定与非白色点对应的融合图像的uv分量的示例性过程的流程图。在一些实施例中，过程900可以在图1所示的图像融合系统100中实现。例如，过程900可以以指令的形式存储在存储介质中(例如，存储设备140、存储器203、内存360或存储器390)，并且可以被处理设备120(例如，处理器210、中央处理单元340或者在图4中所示的处理设备120中的一个或多个模块)调用和/或执行。下面呈现的所示过程900的操作旨在说明。在一些实施例中，过程900可以利用一个或以上未描述的附加操作和/或没有所讨论的一个或以上操作来完成。另外，图9所示和以下描述的过程900的操作的顺序并非旨在限制。在一些实施例中，可以执行过程900以确定与非白色点对应的融合像素的uv分量。仅仅是示例，过程900可以包括执行颜色增强操作和颜色平滑操作，以确定与非白色点对应的融合图像中的融合像素的uv分量。在一些实施例中，图6中的操作630可以根据过程900执行。
在操作910中，融合模块440可以获取包括至少两个像素的第一图像。在一些实施例中，本实施例描述的第一图像可以与图5或图8中描述的第一图像相同或类似。如本申请的其他部分所述，第一图像的至少两个像素可以分为与白色点对应的第一类别和与非白色点对应的第二类别。
在操作920中，融合模块440可以基于第一图像产生第二二进制图像。例如，融合模块440可以将第三像素值(例如，“0”)分配给与白色点对应的第一类别的像素，并将第四像素值(例如，“1”)分配给与非白色点对应的第二类别的像素。
在操作930中，融合模块440可以通过对第一图像和第二二进制图像执行卷积操作确定第四图像。
在一些实施例中，卷积操作可以包括计算第一图像中的像素的uv分量和第二二进制图像中的对应像素的二进制值的乘积。在第二二进制图像的二进制值为“1”或“0”的情况下，在卷积操作之后，与非白色点对应的第四图像中的像素的uv分量可以与第一图像相同，而与白色点对应的第四图像中的像素的uv分量可以设置为“0”。
在操作940中，融合模块440可以通过对第四图像执行颜色增强操作确定第五图像。颜色增强操作可以通过增加第四图像的uv分量的至少一部分来增强第四图像的色度。例如，融合模块440可以计算与第四图像中的非白色点对应的像素的uv分量和色度增强系数的乘积，并将乘积结果确定为第五图像的相应像素的uv分量。关于色度增强的更多描述可以参见本申请的其他部分(例如，图6以及其描述)，在此不再重复。
在操作950中，融合模块440可以在第五图像和卷积核上执行卷积操作。在一些实施例中，卷积核可以预先确定。例如，卷积核可以表示为
此外，平滑的第五图像可以与一个或多个其他图像进一步融合以产生融合图像。例如，通过组合在平滑后的第五图像中的与非白色点相对应的像素的uv分量和图8中描述的在第三图像中的与白色点相对应的像素的uv分量，融合模块440可以确定融合图像中融合像素的uv分量。然后，融合像素的uv分量和融合像素的亮度分量(例如，如图6所述)可以进一步组合以产生融合图像。
应当注意的是，以上描述仅出于说明的目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。
上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。因此，本申请的各方面可以完全以硬件，完全以软件(包括固件、常驻软件、微代码等)或软件和硬件的组合方式来实现，这些实现方式在本文中通常都统称为“单元”、模块”或“系统”。此外，本发明的各方面可以采取计算机程序产品的形式，该计算机程序产品体现在一个或以上计算机可读介质中，其上包含计算机可读程序代码。
计算机可读信号介质可以包含一个内含有计算机程序代码的传播数据信号，例如，在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、设备或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf等，或任何上述介质的组合。
执行本申请各方面操作的计算机程序代码可以用一种或多种编程语言的任意组合编写，包括面向对象编程语言，如java、scala、smalltalk、eiffel、jade、emerald、c++、c#、vb.net、python或类似语言，传统的过程式编程语言，如“c”编程语言、visualbasic、fortran2003、perl、cobol2002、php、abap、动态编程语言如python、ruby和groovy或其他编程语言。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户计算机，或者可以与外部计算机建立连接(例如，通过使用网络服务提供商的网络)或在云计算环境中或作为服务提供，例如，软件服务(saas)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其它名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
- 还没有人留言评论。精彩留言会获得点赞！