一种激光照射器图像融合方法及系统与流程

文档序号:15389603发布日期:2018-09-08 00:58阅读:217来源:国知局

本发明涉及图像融合领域,特别是涉及一种激光照射器图像融合方法及系统。



背景技术:

激光照射器是激光半主动制导武器的关键部件之一。激光照射器的命中率是评价其空间特性的主要指标。激光照射器发射激光照射在靶板上,在靶板上形成激光光斑。激光光谱属于近红外光谱,靶板光谱属于可见光光谱,二者光谱相差很大,无法使用单一的可见光传感器或红外传感器同时对二者进行清晰成像。在现有技术中,激光照射器空间性能监测系统采用可见光、红外两个传感器分别对靶板和光斑进行单独成像,装有可见光带通滤波器的可见传感器对靶板图像进行成像(图像中只能看见靶板,看不见光斑),装有近红外窄带滤波器的红外传感器对激光光斑进行成像(图像中只能看见光斑,看不见靶板和背景信息)。由于双传感器的使用,在激光照射器空间性能监测系统中可见光和红外传感器采用非共轴成像系统,可见光与红外两个成像系统的参数:分辨率、视场、系统焦距和成像空间坐标均不相同,导致了靶板图像和光斑图像的分辨率、视场、图像中物体放缩比例和位置的不同。综上所述,使用靶板图像和光斑图像很难实现高精度的激光照射器命中率指标的测量。



技术实现要素:

本发明的目的是提供一种激光照射器图像融合方法及系统。解决了非共轴成像的图像融合精度低的问题。

为实现上述目的,本发明提供了如下方案:

一种激光照射器图像融合方法,包括:

获取由测量光学系统采集的光斑图像和靶板图像;所述测量光学系统用于采集激光照射器发射到目标靶板上的激光信号,根据所测量激光信号同步采集光斑图像和靶板图像;

根据所述光斑图像进行光斑区域的提取,得到光斑提取图像;

对所述光斑提取图像进行配准变换,得到光斑配准图像;

对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换,得到光斑校正图像和靶板校正图像;

对所述光斑校正图像和所述靶板校正图像进行融合,得到融合图像。

可选的,所述根据所述光斑图像进行光斑区域的提取,得到光斑提取图像具体包括:

根据最大类间方差法对所述光斑图像进行二值化操作,得到二值化图像;

对所述二值化图像进行多次闭运算,得到闭运算后图像;

对所述闭运算后图像进行八邻域连通域分析,得到所述闭运算后图像的连通区域;

根据所述连通区域进行特征提取,得到面积最大的连通区域,将面积最大的连通区域作为光斑区域;

对所述光斑区域,使用漫水填充法进行图像填充,得到填充后二值化图像;

根据所述光斑区域,对所述填充后二值化图像进行重置,将所述光斑区域内的图像与所述光斑区域外的图像进行区分重置,将所述进行区分重置后的填充后二值化图像作为重置后二值化图像;

根据所述重置后二值化图像和所述光斑图像,得到只保留光斑的图像,将所述只保留光斑的图像作为光斑提取图像。

可选的,所述对所述光斑提取图像进行配准变换,得到光斑配准图像具体包括:

读取光学测量系统配准参数,得到所述光斑图像的空间变换矩阵;

设定所述光斑提取图像的光斑图像矩阵;所述光斑图像矩阵由所述光斑提取图像的设定位置处的像素值组成;

将所述空间变换矩阵与所述光斑图像矩阵相乘,得到所述光斑配准图像的配准图像矩阵;所述配准图像矩阵的元素代表所述光斑配准图像的设定位置处的像素值;

根据所述配准图像矩阵得到所述光斑配准图像。

可选的,所述对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换,得到光斑校正图像和靶板校正图像具体包括:

读取所述目标靶板和所述测量光学系统的参数,构建成像模型;

根据所述成像模型和所述靶板图像中目标靶板的参数,计算透视畸变校正矩阵;

设定所述靶板图像的靶板图像矩阵,所述靶板图像矩阵由所述靶板图像的设定位置处的像素值组成;

将所述透视畸变校正矩阵与所述配准图像矩阵相乘,得到所述光斑校正图像矩阵;

根据所述光斑校正图像矩阵得到所述光斑校正图像;

将所述透视畸变校正矩阵与所述靶板图像矩阵相乘,得到靶板校正图像矩阵;

根据所述靶板校正图像矩阵得到所述靶板校正图像。

可选的,所述对所述光斑校正图像和所述靶板校正图像进行融合,得到融合图像具体包括:

设定待融合区域为所述光斑校正图像上的光斑区域,得到所述待融合区域的大小和位置;

根据所述待融合区域的大小和位置,得到所述待融合区域对应的所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值;

根据所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值,得到靶板校正图像加权系数和光斑校正图像加权系数;

根据所述靶板校正图像加权系数和所述光斑校正图像加权系数,对所述待融合区域内的所述靶板校正图像与所述光斑校正图像的所有对应像素点坐标下的像素值加权相加,得到融合图像的像素值;

根据所述融合图像的像素值得到所述融合图像。

一种激光照射器图像融合系统,包括:

待融合图像获取模块,用于获取由测量光学系统采集的光斑图像和靶板图像;所述测量光学系统用于采集激光照射器发射到目标靶板上的激光信号,根据所测量激光信号同步采集光斑图像和靶板图像;

光斑提取模块,用于根据所述光斑图像进行光斑区域的提取,得到光斑提取图像;

光斑配准模块,用于对所述光斑提取图像进行配准变换,得到光斑配准图像;

图像校正模块,用于对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换,得到光斑校正图像和靶板校正图像;

图像融合模块,用于对所述光斑校正图像和所述靶板校正图像进行融合,得到融合图像。

可选的,所述光斑提取模块具体包括:

二值化计算单元,用于根据最大类间方差法对所述光斑图像进行二值化操作,得到二值化图像;

闭运算单元,用于对所述二值化图像进行多次闭运算,得到闭运算后图像;

连通域分析单元,用于对所述闭运算后图像进行八邻域连通域分析,得到所述闭运算后图像的连通区域;

特征提取单元,用于根据所述连通区域进行特征提取,得到面积最大的连通区域作为光斑区域;

图像填充单元,用于对所述光斑区域使用漫水填充法进行图像填充,得到填充后二值化图像;

图像重置单元,用于根据所述光斑区域对所述填充后二值化图像进行重置,得到重置后二值化图像;

光斑提取图像获得单元,用于根据所述重置后二值化图像和所述光斑图像,得到光斑提取图像。

可选的,所述光斑配准模块具体包括:

空间变换矩阵获取单元,用于获取所述光斑图像的空间变换矩阵;所述空间变换矩阵包括所述光斑图像的平移、缩放、旋转的空间变换关系;

矩阵设定单元,用于设定所述光斑提取图像的光斑图像矩阵;所述光斑图像矩阵由所述光斑提取图像的设定位置处的像素值组成;

光斑图像矩阵变换单元,用于将所述空间变换矩阵与所述光斑图像矩阵相乘,得到所述光斑配准图像的配准图像矩阵;所述配准图像矩阵包括所述光斑配准图像的设定位置处的像素值;

光斑配准图像获得单元,用于根据所述配准图像矩阵得到所述光斑配准图像。

可选的,所述图像校正模块具体包括:

成像模型构建单元,用于读取所述目标靶板和所述测量光学系统的参数,构建成像模型;

校正矩阵计算单元,用于根据所述成像模型和所述靶板图像中目标靶板的参数,计算透视畸变校正矩阵;

靶板图像矩阵设定单元,用于设定所述靶板图像的靶板图像矩阵,所述靶板图像矩阵由所述靶板图像的设定位置处的像素值组成;

光斑校正图像矩阵计算单元,用于将所述透视畸变校正矩阵与所述配准图像矩阵相乘,得到光斑校正图像矩阵;

光斑校正图像获得单元,用于根据所述光斑校正图像矩阵得到所述光斑校正图像;

靶板校正图像矩阵计算单元,用于将所述透视畸变校正矩阵与所述靶板图像矩阵相乘,得到靶板校正图像矩阵;

靶板校正图像获得单元,用于根据所述靶板校正图像矩阵得到所述靶板校正图像。

可选的,所述图像融合模块具体包括:

待融合区域设定单元,用于设定待融合区域为所述光斑校正图像上的光斑区域,得到所述待融合区域的大小和位置;

最大像素值确定单元,用于根据所述待融合区域的大小和位置得到所述待融合区域对应的所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值;

加权系数设定单元,用于根据所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值,得到靶板校正图像加权系数和光斑校正图像加权系数;

像素值相加单元,用于根据所述靶板校正图像加权系数和所述光斑校正图像加权系数,对所述待融合区域内的所述靶板校正图像与所述光斑校正图像的所有对应像素点坐标下的像素值加权相加,得到融合图像的像素值;

融合图像获得单元,用于根据所述融合图像的像素值得到所述融合图像。

根据本发明提供的具体实施例,本发明公开了以下技术效果:

本发明中通过测量激光照射的光斑图像和靶板图像,根据光斑图像进行处理得到光斑提取图像,对光斑提取图像进行配准得到光斑配准图像,进而对光斑配准图像和靶板图像进行透视畸变的校正处理,得到光斑校正图像和靶板校正图像,对光斑校正图像和靶板校正图像进行融合得到最终的融合图像。本发明解决了非共轴成像、不同光谱、不同视场、不同分辨率、不同成像空间坐标图像融合的难题,提高了激光照射器空间性能命中率的测量精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例激光照射器图像融合方法流程图;

图2为本发明实施例激光照射器图像融合系统结构图;

图3为本发明实施例光斑提取图像方法流程图;

图4为本发明实施例光斑配准图像方法流程图;

图5为本发明实施例融合图像方法流程图;

图6为本发明实施例激光照射器图像融合装置示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的目的是提供一种激光照射器图像融合方法及系统。解决了非共轴成像的图像融合精度低的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例激光照射器图像融合方法流程图。参见图1,一种激光照射器图像融合方法,包括:

步骤101:获取由测量光学系统采集的光斑图像和靶板图像;所述测量光学系统用于采集激光照射器发射到目标靶板上的激光信号,根据所测量激光信号同步采集光斑图像和靶板图像;

步骤102:根据所述光斑图像进行光斑区域的提取,得到光斑提取图像;

步骤103:对所述光斑提取图像进行配准变换,得到光斑配准图像;

步骤104:对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换,得到光斑校正图像和靶板校正图像;

步骤105:对所述光斑校正图像和所述靶板校正图像进行融合,得到融合图像。

采用上述方法解决了非共轴成像、不同光谱、不同视场、不同分辨率、不同成像空间坐标图像融合的难题,提高了激光照射器空间性能命中率的测量精度。

图3为本发明实施例光斑提取图像方法流程图;参见图3,步骤102具体包括:

步骤1021:根据最大类间方差法对所述光斑图像进行二值化操作,得到二值化图像;

步骤1022:对所述二值化图像进行多次闭运算,得到闭运算后图像;

步骤1023:对所述闭运算后图像进行八邻域连通域分析,得到所述闭运算后图像的连通区域;

步骤1024:根据所述连通区域进行特征提取,得到面积最大的连通区域,将面积最大的连通区域作为光斑区域;

步骤1025:对所述光斑区域,使用漫水填充法进行图像填充,得到填充后二值化图像;

步骤1026:根据所述光斑区域,对所述填充后二值化图像进行重置,将所述光斑区域内的图像与所述光斑区域外的图像进行区分重置,将所述进行区分重置后的填充后二值化图像作为重置后二值化图像;

步骤1027:根据所述重置后二值化图像和所述光斑图像,得到只保留光斑的图像,将所述只保留光斑的图像作为光斑提取图像。

图4为本发明实施例光斑配准图像方法流程图。参见图4,步骤103具体包括:

步骤1031:读取光学测量系统配准参数,得到所述光斑图像的空间变换矩阵;

步骤1032:设定所述光斑提取图像的光斑图像矩阵;所述光斑图像矩阵由所述光斑提取图像的设定位置处的像素值组成;

步骤1033:将所述空间变换矩阵与所述光斑图像矩阵相乘,得到所述光斑配准图像的配准图像矩阵;所述配准图像矩阵的元素代表所述光斑配准图像的设定位置处的像素值;

步骤1034:根据所述配准图像矩阵得到所述光斑配准图像。

步骤104具体包括:

读取所述目标靶板和所述测量光学系统的参数,构建成像模型;

根据所述成像模型和所述靶板图像中目标靶板的参数,计算透视畸变校正矩阵;

设定所述靶板图像的靶板图像矩阵,所述靶板图像矩阵由所述靶板图像的设定位置处的像素值组成;

将所述透视畸变校正矩阵与所述配准图像矩阵相乘,得到所述光斑校正图像矩阵;

根据所述光斑校正图像矩阵得到所述光斑校正图像;

将所述透视畸变校正矩阵与所述靶板图像矩阵相乘,得到靶板校正图像矩阵;

根据所述靶板校正图像矩阵得到所述靶板校正图像。

图5为本发明实施例融合图像方法流程图。参见图5,步骤105具体包括:

步骤1051:设定待融合区域为所述光斑校正图像上的光斑区域,得到所述待融合区域的大小和位置;

步骤1052:根据所述待融合区域的大小和位置,得到所述待融合区域对应的所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值;

步骤1053:根据所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值,得到靶板校正图像加权系数和光斑校正图像加权系数;

步骤1054:根据所述靶板校正图像加权系数和所述光斑校正图像加权系数,对所述待融合区域内的所述靶板校正图像与所述光斑校正图像的所有对应像素点坐标下的像素值加权相加,得到融合图像的像素值;

步骤1055:根据所述融合图像的像素值得到所述融合图像。

图2为本发明实施例激光照射器图像融合系统结构图。参见图2,一种激光照射器图像融合系统,包括:

待融合图像获取模块201,用于获取由测量光学系统采集的光斑图像和靶板图像;所述测量光学系统用于采集激光照射器发射到目标靶板上的激光信号,根据所测量激光信号同步采集光斑图像和靶板图像;

光斑提取模块202,用于根据所述光斑图像进行光斑区域的提取,得到光斑提取图像;

光斑配准模块203,用于对所述光斑提取图像进行配准变换,得到光斑配准图像;

图像校正模块204,用于对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换,得到光斑校正图像和靶板校正图像;

图像融合模块205,用于对所述光斑校正图像和所述靶板校正图像进行融合,得到融合图像。

本发明中系统采用双传感器代替单传感器提高了采集的靶板图像和光斑图像的信噪比,双传感器测量激光照射器空间性能命中率指标,存在非共轴成像、不同光谱、不同视场、不同分辨率、不同成像空间坐标图像融合的难题,提高了激光照射器空间性能命中率的测量精度。

其中,所述光斑提取模块202具体包括:

二值化计算单元,用于根据最大类间方差法对所述光斑图像进行二值化操作,得到二值化图像;

闭运算单元,用于对所述二值化图像进行多次闭运算,得到闭运算后图像;

连通域分析单元,用于对所述闭运算后图像进行八邻域连通域分析,得到所述闭运算后图像的连通区域;

特征提取单元,用于根据所述连通区域进行特征提取,得到面积最大的连通区域作为光斑区域;

图像填充单元,用于对所述光斑区域使用漫水填充法进行图像填充,得到填充后二值化图像;

图像重置单元,用于根据所述光斑区域对所述填充后二值化图像进行重置,得到重置后二值化图像;

光斑提取图像获得单元,用于根据所述重置后二值化图像和所述光斑图像,得到光斑提取图像。

光斑配准模块203具体包括:

空间变换矩阵获取单元,用于获取所述光斑图像的空间变换矩阵;所述空间变换矩阵包括所述光斑图像的平移、缩放、旋转的空间变换关系;

矩阵设定单元,用于设定所述光斑提取图像的光斑图像矩阵;所述光斑图像矩阵由所述光斑提取图像的设定位置处的像素值组成;

光斑图像矩阵变换单元,用于将所述空间变换矩阵与所述光斑图像矩阵相乘,得到所述光斑配准图像的配准图像矩阵;所述配准图像矩阵包括所述光斑配准图像的设定位置处的像素值;

光斑配准图像获得单元,用于根据所述配准图像矩阵得到所述光斑配准图像。

图像校正模块204具体包括:

成像模型构建单元,用于读取所述目标靶板和所述测量光学系统的参数,构建成像模型;

校正矩阵计算单元,用于根据所述成像模型和所述靶板图像中目标靶板的参数,计算透视畸变校正矩阵;

靶板图像矩阵设定单元,用于设定所述靶板图像的靶板图像矩阵,所述靶板图像矩阵由所述靶板图像的设定位置处的像素值组成;

光斑校正图像矩阵计算单元,用于将所述透视畸变校正矩阵与所述配准图像矩阵相乘,得到光斑校正图像矩阵;

光斑校正图像获得单元,用于根据所述光斑校正图像矩阵得到所述光斑校正图像;

靶板校正图像矩阵计算单元,用于将所述透视畸变校正矩阵与所述靶板图像矩阵相乘,得到靶板校正图像矩阵;

靶板校正图像获得单元,用于根据所述靶板校正图像矩阵得到所述靶板校正图像。

图像融合模块205具体包括:

待融合区域设定单元,用于设定待融合区域为所述光斑校正图像上的光斑区域,得到所述待融合区域的大小和位置;

最大像素值确定单元,用于根据所述待融合区域的大小和位置得到所述待融合区域对应的所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值;

加权系数设定单元,用于根据所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值,得到靶板校正图像加权系数和光斑校正图像加权系数;

像素值相加单元,用于根据所述靶板校正图像加权系数和所述光斑校正图像加权系数,对所述待融合区域内的所述靶板校正图像与所述光斑校正图像的所有对应像素点坐标下的像素值加权相加,得到融合图像的像素值;

融合图像获得单元,用于根据所述融合图像的像素值得到所述融合图像。

图6为本发明实施例激光照射器图像融合装置示意图。参见图6,601为激光照射器,602为靶板,603为转台,604为测量光学系统,605为激光回波探测器。本发明上述方法所需设备和实现步骤如下:

所需设备:激光照射器601,靶板602,转台603,测量光学系统604,激光回波探测器605

实施步骤:

步骤1,图像采集:测量光学系统604和激光回波探测器605平行装载在转台603上,转台603跟踪目标靶板602,并随着目标靶板602的移动而转动,激光照射器601发射激光照射在目标靶板602上,激光回波探测器605探测到目标靶板602上反射的激光回波信号,回波信号经过处理后产生同步触发信号,同步触发信号触发测量光学系统604中的红外传感器和可见光传感器同时采集靶板图像和光斑图像;。

步骤2,光斑提取:

对光斑图像用ostu阈值算法进行二值化得到二值化图像,对二值化图像做两次闭运算,再进行八邻域连通域分析,对分析得出的连通域进行特征提取,提取出的面积最大的连通域即为光斑区域,对光斑区域使用漫水填充法进行图像填充,对二值化图像进行图像重置,把光斑区域外的图像置为0,把光斑区域内的图像置为1,最后使用图像相乘把经过上述处理的二值化图像与原光斑图像相乘,得到只保留光斑的光斑提取图像,完成光斑提取。

步骤3,图像配准:对光学系统进行标定后,可获取靶板图像和光斑图像的空间变换矩阵t,空间变换矩阵t为3×3的方阵,包括靶板图像和光斑图像的平移、缩放、旋转的空间变换关系;在实时采集图像的过程中,根据测量光学系统参数与目标靶板参数构建成像模型,并根据成像模型靶板图像中靶板的四个角点参数可计算出透视畸变校正矩阵c,透视畸变校正矩阵c为3*3的方阵,包括无畸变成像空间与畸变成像空间二者的空间坐标系之间的平移、缩放、旋转、透视的变换关系。图像配准算法如下:

定义符号“*”为矩阵相乘符号,定义光斑提取图像的图像矩阵为am×n,使用空间变换矩阵t对光斑提取图像变换,变换公式为bp×q=t*am×n,矩阵bp×q为变换得出的光斑配准图像的图像矩阵,光斑配准图像的视场、分辨率、成像空间与靶板图像相同,定义靶板图像的图像矩阵gp×q,使用透视畸变校正矩阵c对光斑配准图像和靶板图像变换,变换公式为ep×q=c*bp×q和dp×q=c*gp×q,得出的矩阵ep×q和dp×q分别光斑校正图像和靶板校正图像的图像矩阵,光斑校正图像和靶板校正图像是无透视畸变的。

步骤4,图像融合:定义区域r为光斑校正图像上光斑区域,求取区域r的大小和位置,找到区域r上靶板校正图像的最大像素值为maxvisble与光斑校正图像的最大像素值为maxir,定义靶板校正图像加权系数α,α的计算方法为:

定义光斑校正图像的加权系数β,其计算方法为:

β=1-α

对靶板校正图像与光斑校正图像所有对应像素点坐标下的像素值加权相加,得到融合图像,加权相加的计算方法为:

f=α*v+β*i

式中v、i、f分别表示靶板校正图像、光斑校正图像、融合图像在同一坐标处的像素值。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1