一种基于深度学习的多传感器采集单像素成像方法

1.本发明涉及计算机成像领域，具体是一种基于自注意力条件生成对抗网络提高单像素成像质量的方法。


背景技术：

2.单像素成像是一种新颖的成像技术。相比传统的电荷耦合器件和互补金属氧化物半导体相机，该技术通过使用不同的照明图案照射目标场景，利用光强度传感器同步采集反射的光强度获取空间信息，采集到的光强度序列通过算法重构图像。单像素成像具有独特的优势，尤其是可见光波长之外的成像，鉴于这些优势，单像素成像已经应用在三维成像、太赫兹成像、遥感成像、生物医学成像等领域。
3.低采样率下重构图像的质量是单像素成像的难点之一，不同重构方法提出来用于提高成像质量。从照明图案方面考虑，有提出基于快速傅里叶变换的二进制光照图案，对傅里叶变换基底进行二进制化，加载到数字微镜设备中产生光照图案；由于哈达玛矩阵具有正交性和易于二进制化的特点，基于哈达玛矩阵的照明图案也被提出来。从重构算法方面考虑，有两步迭代阈值收缩重构算法和总变分增强拉格朗日交替方向算法，这些重构算法在成像质量和成像速度上都有较大的提升。


技术实现要素：

4.本发明的目的是提供一种基于深度学习的多传感器采集单像素成像方法，该方法利用多个光强度传感器进行测量分别进行成像，对多张图像再使用深度学习生成一张高分辨率的图像，以使单像素成像拥有更加广泛的应用。
5.实现本发明目的的技术方案是：
6.一种基于深度学习的多传感器采集单像素成像方法，包括如下步骤：
7.(1)使用led阵列面板产生不同的照明图像去照射场景，选取合适的角度在不同的位置布置光强度传感器，要求不同位置的光强度传感器处于一定半径的球体范围内，获取不同位置上反射回来光强度的量化数据；
8.(2)对所有位置上的量化数据进行处理，将每个位置上的数据都排列成一个列向量，将得到的所有列向量使用单像素成像的方法分别重构出图像；
9.(3)将每个图像进行特征展开，将展开后的特征输入自注意力模块，通过模型的迭代训练获取每张图像对高质量成像最为有效的特征；
10.(4)使用一个卷积网络对特征进行融合，并输入到条件生成对抗网络迭代训练进行成像，最终得到一张高分辨率的图像。
11.步骤(1)所述不同的照明图案去照射场景，采集光强度的量化数据的方法，包括如下步骤：
12.1)照明图案的产生使用四块led阵列面板，面板长度为1米，宽度为1米，每块面板包含25颗能够独立控制的led灯珠；
13.2)led阵列面板安装在支架底座上，支架底座支持对led阵列面板的排列方式进行调整，可呈“一”字排列、“日”字排列或“田”字排列；支架底座支持对led阵列面板的俯仰角度、水平旋转和垂直旋转进行调节；
14.3)led阵列通过labview程序进行自动化控制，独立控制每一颗led灯珠，在控制产生不同照射图案的同时，不同位置上的光强度传感器同步获取反射回来的光强度，光强度传感器能够将采集到的光强进行模数转换；通过一系列的照射图案，每个位置上的传感器将会得到一系列的测量值。
15.步骤(2)所述排列成列向量并重构图像的方法，包括如下步骤：
16.1)首先将采集到得量化数据按照时间顺序进行排序，每一个传感器采集到的数据都分别排列成一个列向量；
17.2)一幅图像i可以在某组基ψ下稀疏表示，i＝ψθ，θ是图像在该基下的系数，其元素只有少部分非零，ψ可以选取小波基、傅里叶基、离散余弦基；在已知稀疏基的条件下，找到该图像的稀疏向量，便可重构图像。
18.进一步的，步骤2)图像重构的具体原理是：
[0019][0020]
其中||θ||0为0范数，表示向量中非零元素的个数，φ为采样基，ψ为稀疏基，s为采样得到的向量；由于0范数的组合优化是一个np-hard问题，通常采用1范数或非凸正则化函数作为0范数的松弛，构建目标方程进行求解：
[0021][0022]
在求解出稀疏系数后，最终重构的图像为
[0023]
步骤(3)所述利用自注意力提取特征的方法，包括如下步骤：
[0024]
1)根据单像素成像方法得到的图像集p＝{i1，i2，
…
，ic}，ii为第i个传感器重构得到的图像，将所有图像进行特征展开分别送入自注意力模块提取特征：
[0025][0026]
其中，为自注意力特征提取网络；
[0027]
2)根据提取出来的特征，对特征进行加权融合，权重由权重学习网络产生，权重学习网络由卷积和softplus激活函数构成；最终融合的特征为：
[0028][0029]
进一步的，步骤1)所述的自注意力模块提取特征的具体方法是：
[0030]
f(x)＝wfx，g(x)＝wgx，h(x)＝whx，
[0031]skj
＝f(xk)
t
g(xj)，
[0032]
[0033][0034]
其中x表示图像的特征展开，w
(
·
)
表示权重矩阵，β
j，k
表示第j个合成区域与第k个图像内容的关联程度。
[0035]
步骤(4)所述利用条件生成对抗网络重构图像的方法，包括如下步骤：
[0036]
1)条件生成对抗网络由生成器和判别器构成，在求出融合的特征图后，将特征图输入生成器生成目标图像，将生成的图像输入判别器进行损失的计算，对网络进行迭代训练，直至损失收敛后停止训练；
[0037]
2)将由不同的位置传感器生成的图像输入训练好的生成器即可得到一张高分辨率的图像。
[0038]
本发明的优点是：使用自注意力条件生成对抗网络的方法对图像进行重构，重构图像的过程中不仅充分考虑了全局的特征，还通过自注意力的方式提取对重构高分辨的图像最为有效的特征进行融合；对训练好的网络，通过输入传感器采集到的数据就能够较快的重构出图像，在一些特定的领域中，能够对重构高分辨率的图像提供技术基础。
附图说明
[0039]
图1是本发明实施例提供的led照明方式的结构示意图；
[0040]
图2是本发明实施例提供的一种网络训练模型的结构示意图；
[0041]
图3是本发明实施例提供的一种多传感器采集的单像素成像方法流程示意图。
具体实施方式
[0042]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
本发明首先对数据进行采集，由于led具有快速开关的特点，使用led阵列产生快速变化的照明图案照明场景，并使用传感器同步采集场景反射回来的光强。不同位置上的传感器单独成像，一部分数据用于自注意力生成对抗网络的训练，一部分用于测试训练好的生成器。训练好的生成对抗网络输入由单像素成像生成的图像集即可重构一张高质量的图像。
[0044]
本发明所述的基于深度学习的多传感器采集单像素成像方法，依次包含以下步骤：
[0045]
s101、使用led阵列面板产生不同的照明图案去照射场景，选取合适的角度在不同的位置布置光强度传感器，要求不同位置的光强度传感器处于一定半径的球体范围内，获取不同位置上反射回来光强度的量化数据；具体包括以下步骤：
[0046]
s1011、照明图案的产生使用四块led阵列面板，面板长度为1米，宽度为1米，每块面板包含25颗能够独立控制的led灯珠；
[0047]
s1012、led阵列面板安装在支架底座上，支架底座支持对led阵列面板的排列方式
进行调整，可呈“一”字排列、“日”字排列或“田”字排列；支架底座支持对led阵列面板的俯仰角度、水平旋转和垂直旋转进行调节；
[0048]
s1013、led阵列通过labview程序进行自动化控制，能够实现独立控制每一颗led灯珠，在控制产生不同照射图案的同时，不同位置上的光强度传感器同步获取反射回来的光强度，光强度传感器能够将采集到的光强进行模数转换。通过一系列的照射图案，每个位置上的传感器将会得到一系列的测量值；
[0049]
s102、对所有位置上的量化数据进行处理，将每个位置上的数据都排列成一个列向量，将得到的所有列向量使用单像素成像的方法分别重构出图像；具体包括以下步骤：
[0050]
s1021、首先，将采集到得量化数据按照时间顺序进行排序，每一个传感器采集到的数据都分别排列成一个列向量；
[0051]
s1022、一幅图像i可以在某组基ψ下稀疏表示，i＝ψθ，θ是图像在该基下的系数，其元素只有少部分非零，ψ可以选取小波基、傅里叶基、离散余弦基等。在已知稀疏基的条件下，找到该图像的稀疏向量，就能重构图像；
[0052]
s103、将每个图像进行特征展开，将展开后的特征输入自注意力模块，通过模型的迭代训练获取每张图像对高质量成像最为有效的特征；具体包括以下步骤：
[0053]
s1031、根据单像素成像方法得到的图像集p＝{i1，i2，
…
，ic}，ii为第i个传感器重构得到的图像，将所有图像进行特征展开分别送入自注意力模块提取特征：
[0054][0055]
其中，为自注意力特征提取网络；
[0056]
s1032、根据提取出来的特征，对特征进行加权融合，权重由权重学习网络产生，权重学习网络由卷积和softplus激活函数构成。最终融合的特征为：
[0057][0058]
s104、使用一个卷积网络对特征进行融合，并输入到条件生成对抗网络迭代训练进行成像，最终得到一张高分辨率的图像；具体包括以下具体步骤：
[0059]
s1041、条件生成对抗网络由生成器和判别器构成，在求出融合的特征图后，将特征图输入生成器生成目标图像，将生成的图像输入判别器进行损失的计算，对网络进行迭代训练，直至损失收敛后停止训练；
[0060]
s1042、将由不同的位置传感器生成的图像输入训练好的生成器即可得到一张高分辨率的图像。