三光融合智能成像仪及其方法与流程

本发明涉及光谱成像技术领域，特别涉及一种三光融合智能成像仪及其方法。

背景技术：

智能探测成像及多光谱成像在社区安防、工业生产、消防安全、森林防火、安检防爆等领域均有着重大的意义。在各个对象领域中，由于不同的待检测目标通常具有不同的光谱特征，因此单一光谱成像方案不能够准确的发现场景中的所有隐藏信息，从而导致对潜在威胁不能够及时准确的做出反应，导致了灾害的发生。以社区安防为例，目前的社区安防大多采用可见光相机+近红外光补光的成像方式，可以初步实现昼夜成像，但由于夜间环境光非常弱，仅采用近红外补光的方式只能模糊的辨识场景中的景物轮廓，无法仔细辨别景物特征。另如在高压电线输电领域，传统的红外热成像方式仅能够辨别异常热源，做到对异常部件发热而可能引起的潜在灾害做到提前预防，但是对输电过程中引起的高压电弧放电却无能为力。

传统的单一光谱成像主要覆盖三个波段，即可见光，红外光和紫外光波段。采用的设备解决方案是为每一个单一光谱成像器件制作一套系统进行铺设。在这样的产品思路下，若是要对对象区域进行多光谱观察就必须配备多个成像设备，不仅大大增加了铺设成本，整套方法也相当占体积，因此多成像设备共同架设的方案难以执行，但是该方案在实际的生产生活中又显得极其重要。

传统的多设备组合架设方案中，采用不同显示窗口分别显示不同光谱图像的方式，这给操作人员实际观察中带来了不可避免的使用不便。因为不同的光谱成像器件制作材料不同，工艺不同，导致每种设备的焦平面象元尺寸及间距都有较大的差异，导致在为每种成像器件配备镜头时，相同场景在不同设备上的成像视场大小各异，给操作人员在观察及寻找场景中相同目标的不同光谱特征及位置时带来了非常大的不便利性。操作人员只能用比对的方式来辨识被观测目标，大大降低了观测效率。

技术实现要素：

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种三光融合智能成像仪，能够将三种波段的成像特征的同步观测，并将各种特征融合在一起进行显示，能够提高观测效率。

为了实现上述目的，本发明提供一种三光融合智能成像仪，包括智能成像系统、成像设备；所述成像设备与智能成像系统进行通信；

所述成像设备用于采集图像数据，所述成像设备包括可见光成像器件、红外光成像器件、紫外光成像器件、超声波测距组件；

所述可见光成像器件用于采集利用可见光获得的图像数据；所述红外光成像器件用于采集利用红外光获得的图像数据；所述紫外光成像器件用于采集利用紫外光获得的图像数据；所述超声波测距组件用于测量被观测目标到成像设备的距离；

所述智能成像系统用于将成像设备采集到的三路波段图像数据进行多种方式融合，并在各种融合方式之间切换显示；所述智能成像系统包括后端处理系统、触摸屏控制单元、wifi单元；

所述后端处理系统用于对成像设备采集到的所有图像视频数据和智能成像系统中的控制信号、通信数据及触摸屏进行集总以及数据调度；

所述后端处理系统包括fpga芯片、arm芯片、存储单元；所述fpga芯片用于对采集到的每路波段图像数据进行预处理，首先依次对实时采集到的每路波段图像数据流进行场景配准和几何畸变校正处理，令三路波段图像数据可以逐像素点对齐，并且共同输出相同的场景信息；

所述arm芯片用于采用数据流总线调度架构对校正后的每路波段图像视频流进行异步隔离，将每路波段图像视频流各自的时钟域统一成arm芯片内部的相同时钟域，再利用融合算法将待融合的目标图像放在流水线架构上，依次对三路波段视频图像逐帧进行细节层提取及采样，进行融合处理；

所述存储单元用于将视频数据逐帧高速的写入其中进行缓存以供其他模块访问，在输出时同样先将数据从存储单元中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线；

所述触摸屏控制单元用于通过触摸屏显示融合处理的图像视频数据，以及所有的人机反馈信息；

所述wifi单元用于实现远程传输控制功能。

进一步的，所述存储单元包括ddr存储芯片、epcs串行存储芯片、flash芯片、tf卡；所述ddr存储芯片内存颗粒用以实现整套系统的内存管理及虚拟显存；epcs串行存储芯片用以存储整套系统的运行程序；flash芯片用以存储系统工作中的日志及参数，可以方便操作人员用于后期对设备进行维护，tf卡用于实时存储设备在工作过程中需要记录的场景照片及视频，供操作人员留档或复现之用。

进一步的，所述成像设备集可见光成像器件、红外光成像器件、紫外光成像器件、超声波测距组件于一体。

进一步的，还包括接口模块，所述接口模块至少包括usb接口、lan接口、vga接口、tf卡接口、cameralinkbase接口。

进一步的，所述智能成像系统还与多个辅助检测设备连接，所述辅助检测设备至少包括红外测温设备、二维码扫描设备。

进一步的，所述成像设备与智能成像系统通过接口或线缆连接。

本发明还提供一种三光融合智能成像方法，包括以下步骤：

步骤s1，采集三路波段图像数据；利用可见光成像器件、红外光成像器件、紫外光成像器件对同一被测目标进行图像数据采集，利用超声波测距组件测量被观测目标到成像设备的距离，并将采集到的三路波段图像数据以及测量距离传输给fpga芯片；

步骤s2，预处理；fpga芯片依次对实时采集到的每路波段图像数据流进行场景配准和几何畸变校正处理，令三路波段图像数据可以逐像素点对齐，并且共同输出相同的场景信息；

步骤s3，融合三路波段图像数据；校正后的每路波段图像数据被送至arm芯片中，arm芯片采用数据流总线调度架构，当三路波段图像数据送入时，由arm芯片内部的fifo对输入的波段图像数据进行异步隔离，将每路波段图像数据各自的时钟域统一成arm芯片内部的相同时钟域，继而利用存储单元内的ddr存储芯片的内存颗粒将视频数据逐帧高速的写入其中进行缓存以供其他模块访问，在输出时同样先将数据从ddr存储芯片中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线，在利用融合算法进行图像数据的融合；

融合算法采用改进的拉普拉斯金字塔作为分层规则，将待融合的目标图像放在流水线架构上，依次对三路波段视频图像数据逐帧进行细节层提取及采样，改进的拉普拉斯金字塔的分层结构共分为三层，每层的决策策略为将三路波段视频图像数据逐像素点进行绝对值求解比较，选出细节最强的灰度值作为融合结果并按照逆金字塔方式进行插值重建过程，直到从金字塔塔尖层恢复回塔底层时，即完成了整个算法的融合过程；

步骤s4，显示过程；融合后的数据经触摸屏进行显示，有助于操作人员观察到被测目标中的各种波段目标特征。

进一步的，在步骤s3中，融合算法的融合策略至少包括：可见光融合策略、红外光融合策略、紫外光融合策略、可见光与紫外光融合策略、可见光与紫外光融合策略、红外光与紫外光融合策略、可见光与红外光和紫外光的三光融合策略。

进一步的，在步骤s4中，触摸屏显示根据融合算法至少显示：可见光图像数据、红外光图像数据、紫外光图像数据、可见光与红外光融合后的图像数据、可见光与紫外光融合的图像数据、红外光与紫外光融合的图像数据、可见光与红外光和紫外光的三光融合图像数据。

进一步的，还包括步骤s5，arm芯片通过接口与上位机进行通讯，由上位机对智能成像系统和成像设备进行远程数据互通和固件更新。

本发明通过将可见光、红外光和紫外光这三种波段的成像器件集成到一套设备中，通过视场匹配校正算法提取并配准得到相同的待观测场景，继而通过性能优良的融合算法将三种波段的图像特征进行全方位融合，并在同一显示设备(即触摸屏)上显示出来，操作人员可以一目了然的观察到场景中的各种波段目标特征，也可以在各种融合方式之间轻松切换，以适应各种不同场景目标特征的观测需要，从而及时作出应对，大大提高观测效率。

本发明还是一种创新性的三光融合智能成像仪，在概念上实现了多光谱融合成像的创新，在技术上攻克了高速大数据并发实时处理的难题，仅以fpga芯片即完成了数据处理，算法实现及内外部控制，整套系统重量轻，体积小，功耗低，目前在市场上属于首创。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的三光融合智能成像仪的结构框图；

图2为本发明的三光融合智能成像仪的结构示意图；

图3为本发明的三光融合智能成像方法的总体流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

cameralink的接口有三种配置base、medium、full，主要是解决数据传输量的问题，这为不同速度的相机提供了适合的配置和连接方式。

本发明提供一种三光融合智能成像仪，参考附图1-2所示，包括智能成像系统2、成像设备1；成像设备1与智能成像系统2进行通信，可以通过接口或线缆连接，即优选用标准的cameralinkbase接口连接将两部分插接为一体，也可以通过不同长度的线缆将两部分远距离连接，方便整个系统的铺设。

成像设备1用于采集图像数据，成像设备1包括可见光成像器件11、红外光成像器件12、紫外光成像器件13、超声波测距组件14。

其中，可见光成像器件11用于采集利用可见光获得的图像数据；红外光成像器12件用于采集利用红外光获得的图像数据；紫外光成像器件13用于采集利用紫外光获得的图像数据；超声波测距组件14用于测量被观测目标到成像设备1的距离。对于同一被测目标采集时，成像设备1可以集可见光成像器件11、红外光成像器件12、紫外光成像器件13、超声波测距组件14于一体。

智能成像系统2用于将成像设备1采集到的三路波段图像数据进行多种方式融合，并在各种融合方式之间切换显示；智能成像系统2包括后端处理系统、触摸屏控制单元24、wifi单元23。

其中，后端处理系统用于对成像设备采集到的所有图像视频数据和智能成像系统中的控制信号、通信数据及触摸屏进行集总以及数据调度。

后端处理系统包括fpga芯片21、arm芯片22、存储单元；fpga芯片21用于对采集到的每路波段图像数据进行预处理，首先依次对实时采集到的每路波段图像数据流进行场景配准和几何畸变校正处理，令三路波段图像数据可以逐像素点对齐，并且共同输出相同的场景信息。

arm芯片22用于采用数据流总线调度架构(优选4级cache缓存总线架构，需要说明的是，上述优选架构并不是为了限制本发明的范围)对校正后的每路波段图像视频流进行异步隔离，将每路波段图像视频流各自的时钟域统一成arm芯片内部的相同时钟域，再利用融合算法将待融合的目标图像放在流水线架构上，依次对三路波段视频图像逐帧进行细节层提取及采样，进行融合处理。

存储单元用于将视频数据逐帧高速的写入其中进行缓存以供其他模块访问，在输出时同样先将数据从存储单元中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线。

存储单元包括ddr存储芯片、epcs串行存储芯片、flash芯片、tf卡；ddr存储芯片内存颗粒用以实现整套系统的内存管理及虚拟显存，根据本系统的架构设计最大可以实现4g的内存存储及512m的虚拟显存；epcs串行存储芯片用以存储整套系统的运行程序；flash芯片用以存储系统工作中的日志及参数，可以方便操作人员用于后期对设备进行维护，tf卡用于实时存储设备在工作过程中需要记录的场景照片及视频，供操作人员留档或复现之用。

触摸屏控制单元24用于通过触摸屏显示融合处理的图像视频数据，以及所有的人机反馈信息。

此外，智能成像系统2采用了双核arm芯片与fpga芯片协同工作的方式，因此系统内部特别设计并实现了一小型操作系统用以进行人机交互，取代了类似产品传统的多个实体按键的控制方式。此外，由于传统的实体按键控制方式下，用户在进行人机交互的过程中来自系统的反馈只能通过在外部显示器上叠加菜单的操作来进行，很大程度上遮挡了屏显视频内容，本系统中采用了触摸屏控制方式，所有的人机反馈均在触摸屏上直接显示，不会覆盖和遮挡显示器上的视频信息，给操作人员的场景辨识带来了便利性。

wifi单元23用于实现远程传输控制功能，即能够可实现电脑上位机客户端或手机app端对本系统的远程控制。

还包括pwr电源模块，pwr电源模块用于给整套系统提供电源；整套系统功耗＜6w，用4000ma锂电池可以保证持续工作3.3小时，便于长时间外场工作。

还包括接口模块，接口模块至少包括usb接口251、lan接口252、vga接口253、tf卡接口254、cameralinkbase接口等。通过usb接口和lan接口与上位机连接，实现与上位机之间的互通。

智能成像系统2还与多个辅助检测设备连接，辅助检测设备至少包括红外测温设备、二维码扫描设备，使得整套系统的集成度、功能性和智能性大大提升。

本发明的三光融合智能成像仪通过内嵌操作系统的方式智能的实现各组件之间的数据互联、系统控制调度及远程通信功能。通过触摸屏控制方式替代了传统此类产品实体按键的控制方式，使整套系统的工业设计更加简约、清楚，操作方式极度易于上手。通过独创性的多光谱图像的融合算法及优化的数据流总线调度架构优选采用4级cache缓存总线架构，可以非常方便的实现三种波段总共7种不同的图像融合方式(即可见光、红外光、紫外光、可见光+红外光，可见光+紫外光、红外光+紫外光、可见光+紫外光+红外光三光融合方式)，用户可以在各种融合方式之间轻松切换，以适应各种不同场景目标特征的观测需要。

本发明还提供一种三光融合智能成像方法，如图3所示，包括以下步骤：

步骤s1，采集三路波段图像数据；利用可见光成像器件、红外光成像器件、紫外光成像器件对同一被测目标进行图像数据采集，利用超声波测距组件测量被观测目标到成像设备的距离，并将采集到的三路波段图像数据以及测量距离传输给fpga芯片。

步骤s2，预处理；fpga芯片依次对实时采集到的每路波段图像数据流进行场景配准和几何畸变校正处理，令三路波段图像数据可以逐像素点对齐，并且共同输出相同的场景信息。

步骤s3，融合三路波段图像数据；校正后的每路波段图像数据被送至arm芯片中，由于三路波段图像数据的时钟频率不同，因此无法直接进行融合算法操作，arm芯片采用数据流总线调度架构，当三路波段图像数据送入时，由arm芯片内部的fifo对输入的波段图像数据进行异步隔离，将每路波段图像数据各自的时钟域统一成arm芯片内部的相同时钟域，继而利用存储单元内的ddr存储芯片的内存颗粒将视频数据逐帧高速的写入其中进行缓存以供其他模块访问，在输出时同样先将数据从ddr存储芯片中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线，在利用融合算法进行图像数据的融合。

融合算法采用改进的拉普拉斯金字塔作为分层规则，将待融合的目标图像放在流水线架构上，依次对三路波段视频图像数据逐帧进行细节层提取及采样，改进的拉普拉斯金字塔的分层结构共分为三层，每层的决策策略为将三路波段视频图像数据逐像素点进行绝对值求解比较，选出细节最强的灰度值作为融合结果并按照逆金字塔方式进行插值重建过程，直到从金字塔塔尖层恢复回塔底层时，即完成了整个算法的融合过程。

融合算法的融合策略至少包括：可见光融合策略、红外光融合策略、紫外光融合策略、可见光与紫外光融合策略、可见光与紫外光融合策略、红外光与紫外光融合策略、可见光与红外光和紫外光的三光融合策略。

步骤s4，显示过程；融合后的数据经触摸屏进行显示，有助于操作人员观察到被测目标中的各种波段目标特征。

触摸屏显示根据融合算法至少显示：可见光图像数据、红外光图像数据、紫外光图像数据、可见光与红外光融合后的图像数据、可见光与紫外光融合的图像数据、红外光与紫外光融合的图像数据、可见光与红外光和紫外光的三光融合图像数据。

步骤s5，arm芯片通过接口与上位机进行通讯，由上位机对智能成像系统和成像设备进行远程数据互通和固件更新。

由于三个不同波段的成像器件属于分立器件，因此即使按照水平光轴设计方式摆放，在结构上也不可避免的会出现当观察同一个场景时出现的视场中目标旋转，缩放问题，这些问题会引起融合图像失配现象。因此，本发明采用fpga芯片对输入图像进行预处理过程，即对实时采集到的图像数据流进行场景配准和几何畸变校正操作，令三路视频图像可以逐像素点对齐，并且共同输出相同的场景信息。

通过将可见光、红外光和紫外光这三种波段的成像器件集成到一套设备中，通过视场匹配校正算法提取并配准得到相同的待观测场景，继而通过性能优良的融合算法将三种波段的图像特征进行全方位融合，并在同一显示设备(即触摸屏)上显示出来，操作人员可以一目了然的观察到场景中的各种波段目标特征，也可以在各种融合方式之间轻松切换，以适应各种不同场景目标特征的观测需要，从而及时作出应对。

本发明能够在单套设备上实现多个光谱共同成像，还能够同时实现可见光、红外光和紫外光三种波段联合成像的设备来对场景中的目标进行多光谱实时同步检测和观察，从根本上解决成本、铺设难度、操作易用性及观测效率的问题。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。