一种基于神经网络的动态目标鬼成像系统与方法

1.本发明涉及光学成像技术，尤其是一种基于神经网络的动态目标鬼成像系统与方法。


背景技术：

2.光学成像技术是人类对客观世界进行观测和感知的重要手段，利用成像系统及光学观测技术对光束自由传播及与介质相互作用过程中的基本特征量进行观测采集，从而获取可处理的客观场景世界的信息。传统成像系统使用由物体透射或反向散射的光在胶片或焦平面检测器阵列上形成图像，即以标量衍射理论作为光波传播时遵循规律以表征对离散目标点分辨力，这也表明传统成像系统的信息获取处理存在极限且易受到环境的影响，观测场景与成像设备间具有环境不确定性，例如光在自由空间传播过程中受到大气湍流、空气分子和悬浮粒子(气溶胶粒子、降水质点)等影响,将出现衰减、闪烁、偏移、强度和相位起伏且其光学条件随时空变化而不断变化等，使原本有序的波前相位严重畸变,在对目标进行观测成像时，因接收无序光场信号在观测面上会形成散斑图案，并导致目标图像缺乏细节特征、成像信噪比低易被复杂背景淹没等问题。为了使光学成像技术在无人驾驶、机器人视觉、智能家居、遥感、显微和监控安防等领域有着更广泛的应用，对光学成像中的信息获取与处理有着更高要求。计算鬼成像作为一种新型光学成像技术，通过与深度学习、单像素传感器等结合，不仅具备超越传统成像方法的新能力，也为动态场景高分辨率成像提供了解决问题新方案。计算鬼成像技术基于随机光场与光强探测传感器探测光强的二阶关联运算解耦来获取图像信息，利于保持所采集光强信息涨落趋势，对散射介质成像及远距离探测等大范围动态场景实现高分辨成像具有独特优势。实际应用过程中，大部分目标相对于成像系统是运动的，而在鬼成像系统中重建高质量的图像需要大量的采样，因此采样过程与图像恢复过程中会消耗大量时间，因此对于运动物体的进行动态计算鬼成像时会在恢复图像中产生因高速运动而导致的运动模糊，使得对运动物体成像的质量下降甚至无法重构。
3.需要说明的是，在上述背景技术部分公开的信息仅用于对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

4.本发明的主要目的在于克服上述背景技术的缺陷，提供一种基于神经网络的动态目标鬼成像系统与方法。
5.为实现上述目的，本发明采用以下技术方案：
6.一种基于神经网络的动态目标鬼成像系统，包括照明激光光源、空间光调制模块、光强探测采集模块以及数据处理模块，其中，所述空间光调制模块通过加载傅里叶模式矩阵对激光光源的出射光进行傅里叶基底调制，并将调制后的模式光投射到运动目标所在场景上；所述光强探测采集模块从目标场景采集光强，实现基于傅里叶鬼成像的图像信息采
集，所述数据处理模块将采集的光强序列输入傅里叶鬼成像神经网络获得对应目标预测图，输出重构的运动目标成像结果，实现对运动物体的高分辨成像。
7.进一步地：
8.所述傅里叶鬼成像神经网络为从光电信号到二维图像的端到端深度学习网络，通过所述光强探测采集模块采集的一维信号重建运动目标的高分辨图像。
9.所述光强探测采集模块为桶探测器。
10.所述数据处理模块利用采集的场景光强序列参数对运动目标进行表征，获得目标场景内的散射场景下的频谱信息，通过所述傅里叶鬼成像神经网络对运动目标进行重构。
11.基于压缩采样的傅里叶鬼成像模式，根据所述光强探测采集模块接收到的光强序列获得场景的频谱信息，其中，傅里叶基底根据式(1)确定：
12.t(x,y；f
x
,f
y
；θ)＝a+bcos(2πf
x
x+2πf
y
y+θ)
ꢀꢀ
(1)
13.其中a,b为平移和缩放系数，在(f
x
,f
y
)频域点处的值由t(x,y；f
x
,f
y
；θ)示出，其中每对频域点处由四个不同的相位控制
14.所述基于傅里叶鬼成像的图像信息采集包括对目标进行状态感知并采取策略消除相对运动；根据场景的不同生成不同频率采样率的模式进行光强信号采集。
15.根据场景中的目标进行平移时其频谱信息与目标静态时具有的相关性，通过傅里叶模式下采集的频谱信息获得移动目标的相关信息。
16.所述基于傅里叶鬼成像的图像信息采集包括：当目标在场景中进行相对系统的切向平移移动时，采集切向平面上目标不同运动速度和方向下的全局场景光强序列。
17.所述傅里叶鬼成像神经网络是采用不同静态目标在场景下的频谱信息作为输入数据输入，目标空域像素信息作为标签，来训练得到。
18.一种基于神经网络的动态目标鬼成像方法，使用所述的动态目标鬼成像系统实现动态目标鬼成像。
19.本发明具有如下有益效果：
20.本发明提供一种基于神经网络的动态目标鬼成像系统与方法，建立对应于运动目标散射场景下的成像方案，通过生成傅里叶模式进行主动照明式的计算鬼成像，其中，以傅里叶鬼成像系统对采集的场景光强序列参数对运动目标进行表征，利用采集的光强信号可获得场景内的频谱信息，并在神经网络中优化，可实现对运动目标进行重构。本发明从傅里叶鬼成像系统采集获得的光强序列参数出发，可以快速地获取散射场景下的频谱信息，并根据测量得到的数据作为输入，输入给训练好的深度神经网络中进行移动目标图像重构。优选地，傅里叶鬼成像神经网络采用深度神经网络，可通过桶探测器采集的一维信号来重建移动目标的高分辨图像。测试结果表明，本发明的系统与方法可以对场景下运动目标进行快速精确的预测，提高运动物体成像的质量，实现在散射场景下的运动目标高分辨成像，避免在恢复图像中产生因高速运动而导致的运动模糊。
附图说明
21.图1为本发明一种实施例的运动目标鬼成像系统结构示意图。
22.图2为本发明一种实施例的运动目标在平面内不同方向的傅里叶鬼成像。
23.图3为本发明一种实施例的运动目标在平面内不同方向的傅里叶鬼成像预测结果。
具体实施方式
24.以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
25.参阅图1和图2，本发明实施例提供一种基于神经网络的动态目标鬼成像系统，包括照明激光光源、空间光调制模块、光强探测采集模块以及数据处理模块，其中，所述空间光调制模块通过加载傅里叶模式矩阵对激光光源的出射光进行傅里叶基底调制，并将调制后的模式光投射到运动目标上；所述光强探测采集模块优选采用桶探测器，从目标场景采集总光强，实现基于傅里叶鬼成像的图像信息采集，所述数据处理模块将采集的光强序列输入傅里叶鬼成像神经网络获得对应目标预测图，输出重构的运动目标成像结果，实现对运动物体的高分辨成像。
26.在优选的实施例中，所述傅里叶鬼成像神经网络采用从光电信号到二维图像的端到端深度学习网络，其通过所述光强探测采集模块采集的一维信号重建运动目标的高分辨图像。
27.在一些实施例中，本发明通过生成傅里叶模式进行主动照明式的计算鬼成像，其基于压缩采样的傅里叶鬼成像模式可采集场景下桶探测器接受到的光强序列从而获得场景的频谱信息。通过傅里叶基底可以快速精确重建目标的低频特征并对目标振动有较好鲁棒性。
28.以下进一步描述本发明的具体实施例。
29.基于傅里叶鬼成像图像信息采集
30.计算鬼成像技术通过采集光强涨落信号在有散射鬼成像中具备抵抗散射介质衰减和动态介质失真的特点，为了解决运动目标由于未知旋转和平移状态对鬼成像采样带来的模糊误差，对目标进行状态感知并由采取策略消除相对运动。假设目标的中心偏移量为ζ，由鬼成像的二阶关联重建算法可得：
[0031][0032]
式中这表明目标运动时，通过二阶关联算法获取图像质量与目标中心偏移量有关，对于运动目标成像而言，目标的偏移量ζ一直处在变化当中，如果无法在ζ的邻域内获取足够丰富的统计样本，而使用全程不用ζ时的失真样本进行计算，成像分辨率和质量将会急剧下降，即出现运动模糊甚至无法获取目标的任何信息。
[0033]
首先，通过生成傅里叶模式进行主动照明式的计算鬼成像，其基于压缩采样的傅里叶鬼成像模式可采集场景下桶探测器接受到的光强序列，从而获得场景的频谱信息。由于目标主要有效信息90％存在于低频部分，因此，通过傅里叶基底可以快速精确重建目标的低频特征并对目标震动有较好鲁棒性。其基底公式为：
[0034]
t(x,y；f
x
,f
y
；θ)＝a+bcos（2πf
x
x+2πf
y
y+θ)
ꢀꢀ
(1)
[0035]
其中a,b为平移和缩放系数，在(f
x
,f
y
)频域点处的值由t(x,y；f
x
,f
y
；θ)示出，其中
每对频域点处由四个不同的相位控制
[0036]
根据场景的不同可以生成不同频率采样率的模式进行光强信号采集，即重构中的频谱中心化后所占比例，而场景中的目标进行平移时其频谱信息与目标静态时具有相关性，可以通过傅里叶模式下采集的频谱信息获得移动目标的相关信息。
[0037]
图1示出本发明一种实施例的运动目标鬼成像系统结构。当目标在场景中进行相对系统的切向平移移动，采用计算鬼成像系统在傅里叶主动照明模式下通过桶探测器采集切向平面上目标不同运动速度和方向下全局场景光强序列，采集的光强序列信号可获得场景下的频谱信息，而重构的图像由于目标运动导致成像模糊(参见图2)。仿真照明场景尺寸为128*128像素，模式采样数为16384张，加载数字运动目标尺寸为28*28个像素大小。目标运动轨迹为平面内平移的不同方向。图2示出运动目标在平面内不同方向的傅里叶鬼成像及频谱图(频率采样率25％)。
[0038]
基于频谱信息的神经网络预测
[0039]
在鬼成像系统的成像视场比较大的前提下，为了消除运动模糊进而获得高分辨成像。当目标在场景中进行相对系统的切向平移移动，重构的图像由于目标运动导致成像模糊。计算鬼成像可以将散射介质对成像的影响大大降低，为了追求成像速度、噪声鲁棒性，从光电信号到二维图像的端到端深度学习网络引入鬼成像框架中。采用不同静态目标在场景下的频谱信息作为输入数据输入神经网络，标签为目标空域像素信息可获得训练好的神经网络。将傅里叶基底照明下的采集的运动目标的光强信号输入训练好的神经网络中就可得到运动的目标图像。根据运动目标移动速度可以获得不同采样速度，如图3示出本发明一种实施例的运动目标在平面内不同方向的傅里叶鬼成像预测结果和傅里叶鬼成像重构对比，其仿真场景下运动目标采样速度为512帧/像素。
[0040]
测试结果
[0041]
将本发明所提出的用于散射场景下不同运动目标的计算鬼成像重构方法，可得到如图3所示的效果。以ram为16g的64位windows10操作系统中的matlab2019a、python3.7为测试平台。基于傅里叶鬼成像的常用方法对运动目标的重构(频率采样率25％)结果模糊，而本发明提出的基于神经网络预测的傅里叶鬼成像方法重构结果psnr>16，且目标在平面内不同平移方向均可通过本方法获得目标的重构结果。从对比图中可以明显看出运动目标轮廓及周围的细节效果。综上，本发明所提出的成像系统和方法具有很好的实用价值。
[0042]
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
[0043]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例
中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。