一种自适应曝光驱动相机摄影水下图像处理系统

1.本发明涉及海底勘测及图像处理技术领域，特别涉及一种自适应曝光驱动相机摄影水下图像处理系统。


背景技术：

2.水下机器人在执行海底勘测、海洋生物多样性调查、事故调查、目标检测和路径规划等任务时，由于海水对自然光中不同波长的光衰减率不同，水下摄像头传输的影像会存在颜色失真的问题。此外，海水中大量的悬浮颗粒对光线传播产生影响，导致拍摄的图像对比度较低，难以提取到高价值特征。
3.目前，在水下图像颜色矫正和特征增强方面，前人的研究专注于对已完成拍摄的水下图像的特征提取及处理。基于物理的方法是利用光线在水中传播的物理模型，通过在水中应用成像散射模型，估计海水对不同波长光线的吸收量以及水中悬浮粒子的散射作用。然而，物理方法需基于严格的数学计算，对各项数据的精度要求较高，并且散射系数估计与图像对应水域的水质等密切相关，导致在深度、水质等差异大的图像数据集中难以应用。
4.另一种去水思路是使用端到端的深度去水网络，通常采用卷积神经网络提取特征，利用深度网络训练卷积核对水下图像进行处理。而现有方法未考虑被摄物体距相机距离对成像结果的影响，即在距离相机较远处的被摄物体受海水影响造成的偏色和模糊效果更强。现有方法在训练时仍然将一张图像视为整体，未考虑同一图像不同区域内受海水影响效果的轻重，导致图像去水效果有限。
5.然而，无论是基于物理的方法还是基于深度网络的方法，它们都以摄像头拍摄完成的图片作为输入，并没有考虑到拍摄时相机的参数对拍摄得到的图像及其后处理的影响。目前的照片都是以“人眼”的视觉感受来进行自动曝光与拍摄，但对于深度神经网络来说，“人眼”视觉感受好的并不代表其易于让网络提取特征。
6.因此，如何在拍摄过程中调整参数并获得深度网络易于提取特征的图像是一个值得研究的问题。


技术实现要素：

7.本发明的主要目的在于提出一种自适应曝光驱动相机摄影水下图像处理系统，可以解决上述技术问题，在拍摄阶段，创新性地利用自适应曝光模块的强化学习智能体动态调节可编程相机各项拍摄参数，保证拍摄到的原图像利于深度网络提取并利用特征；在处理阶段，采用基于双层优化框架下的特征融合注意力网络，根据图像中海水影响程度轻重为每一个图像区块赋予相应权重，从而更高效的训练网络并取得更优质的效果。
8.为实现上述目的，本发明采取的技术方案为：
9.本发明实施例提供一种自适应曝光驱动相机摄影水下图像处理系统，包括：可编程相机和计算处理设备；
10.所述计算处理设备包括：自适应曝光模块和预训练水下图像复原模块；
11.其中，所述可编程相机，用于获得水下场景的目标图像，并传输给自适应曝光模块和预训练水下图像复原模块；还用于接收调参指令，更新拍摄参数；
12.所述自适应曝光模块对所述目标图像的拍摄质量进行动态感知，产生实时调整所述可编程相机设备的拍摄参数的指令，并传输给所述可编程相机；
13.所述预训练水下图像复原模块，在训练阶段对所述目标图像进行评价，给予奖励到所述自适应曝光模块；在应用阶段，对需要处理的目标图像进行优化，输出经过颜色矫正与特征增强的水下图像。
14.进一步地，所述可编程相机包括：拍摄模块与通信模块；
15.所述拍摄模块利用图像传感器捕捉外界图像，将图像通过通信模块传输给自适应曝光模块和预训练水下图像复原模块；并接收来自强化学习智能体的指令，改变拍摄参数；所述拍摄参数包括：感光度、快门速度和光圈。
16.进一步地，所述自适应曝光模块采用动作-价值框架，由动作网络和价值网络构成的深度网络；将可编程相机上一帧输出的图像编码后作为输入，经过动作网络处理，输出对相机拍摄参数的调整动作，完成对可编程相机拍摄参数的动态调整。
17.进一步地，所述动作网络，包括：第一多层感知机模块、第一循环神经网络模块和激活函数模块；
18.通过第一多层感知机模块对接收到的图像以及包含历史图像和相机动作的轨迹信息进行处理，通过第一循环神经网络模块考虑其时间轴上历史图像和相机动作的影响，并将处理后的信息输送给第一多层感知机模块提取相关信息，最终经过激活函数激活后形成生成策略的动作网络。
19.进一步地，所述动作网络的参数更新流程如下：
20.步骤一：从经验回放池中采样一条训练轨迹s，所述训练轨迹s包括：历史时刻拍摄到的图像和对应的相机动作；所述相机动作为对应的拍摄参数；
21.步骤二：将所述训练轨迹s作为样本信息输入更新前的动作网络，得到可编程相机执行动作的概率分布，选定执行动作a；
22.步骤三：利用动作a和价值网络输出的价值函数q(s,a)对动作网络求梯度反向传播更新动作网络参数π
θ
；
23.上式中，s表示上一时刻的获取的图像，表示对于动作网络的参数θ求梯度，o表示自适应曝光模块接收到的信息，π
θ
即表示自适应曝光模块的动作网络，根据输入的信息o输出有关动作的概率分布。
24.进一步地，所述价值网络用于辅助动作网络的训练，包括：第二多层感知机模块和第二循环神经网络模块；
25.通过第二多层感知机模块对接收到的图像以及包含历史图像和相机动作的轨迹信息进行处理，通过第二循环神经网络模块考虑其时间轴上历史图像和相机动作的影响，并将处理后的信息输送给第二多层感知机模块提取相关信息，最终输出关于当前状态的价值评价。
26.进一步地，在训练时，所述价值网络参数更新流程如下：
27.步骤一：从经验回放池中采样一条轨迹s，获得转变前状态获取的图像s、转变后状态获取的图像s'以及环境给予的奖励r；
28.步骤二：将转变前状态获取的图像s、转变后状态获取的图像s'输入价值网络，得到价值函数q(s,a)和q(s',a')；
29.步骤三：接收来自环境的奖励r，计算损失函数lc＝r+γq(s',a')-q(s,a)，更新价值网络的参数；其中γ为折扣因子。
30.进一步地，所述预训练水下图像复原模块，采用双层优化框架；其中，上层网络估计图像中不同区域间损失的权重，下层网络利用多个特征融合注意力网络表示并提取特征，最终输出经过颜色校正和特征增强的图像。
31.进一步地，所述预训练水下图像复原模块，利用现有数据集进行预训练，并根据输出图像的得分对自适应曝光模块给予奖励；
32.其网络参数更新如下：
33.步骤一：编码后的图像在上层网络被送入全连接层，获取权重分配矩阵；
34.步骤二：编码后的图像在下层网络被送入特征融合注意力模块群，获得处理后的图像；
35.步骤三：利用处理后的图像与真值图像求解l1损失；
36.步骤四：利用上层网络的权重分配矩阵对损失加权，并更新参数。
37.与现有技术相比，本发明具有如下有益效果：
38.本发明实施例提供的一种自适应曝光驱动相机摄影水下图像处理系统，将可编程相机前一帧捕捉到的图像编码后送入自适应曝光模块中，通过对前一帧图像的处理，对可编程相机快门速度、感光度、光圈等参数进行全面调整；保证拍摄到的原图像利于深度网络提取并利用特征；最后经过预训练水下图像复原模块，评判智能体执行动作的优劣并输出得到颜色校正和特征增强之后的图像，取得更优质的效果，可提高水下作业的效率和准确度。
附图说明
39.图1为本发明实施例提供的自适应曝光驱动相机摄影水下图像处理的系统的原理示意图；
40.图2为本发明实施例提供的在训练时动作网络参数更新流程图；
41.图3为本发明实施例提供的在训练时价值网络参数更新流程图；
42.图4为本发明实施例提供的预训练水下图像复原模块的框架图。
具体实施方式
43.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
44.在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第
二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
45.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
46.本发明所提出的自适应曝光驱动相机摄影水下图像处理系统，主要的应用场景为水下机器人图像传感器、海底任务数据集拍摄、水下目标检测等需要在水下进行图像捕捉与传输的场景，可以智能化、高效化、实现水下图像获取过程。
47.其包括：可编程相机和计算处理设备；该计算处理设备可以是一个或多个，其上加载自适应曝光模块和预训练水下图像复原模块，如图1所示：
48.可编程相机，用于获得水下场景的目标图像，并传输给自适应曝光模块和预训练水下图像复原模块；还用于接收调参指令，更新拍摄参数；可编程相机拥有高度自主可控性，并提供python代码接口，能够快速高效调整感光度、快门速度、光圈等拍摄参数，并稳定持续地输出高质量图像。
49.自适应曝光模块对目标图像的拍摄质量进行动态感知，产生实时调整所述可编程相机设备的拍摄参数的指令，并传输给可编程相机；其模块为基于动作-价值(actor-critic)算法框架的强化学习智能体，主体为由深度网络构成的动作网络和价值网络。输入智能体的图像经过多层感知机编码后送入全连接层，一方面为动作网络生成高斯分布的参数，在此高斯分布中随机采样得到对相机参数的调整；另一方面为价值网络生成预期回报。
50.预训练水下图像复原模块，采用基于双层优化框架的深度学习网络，应用特征融合注意力网络处理并提取特征，并根据处理结果为强化学习智能体提供奖励。其在训练阶段对目标图像进行评价，给予奖励到自适应曝光模块；在应用阶段，对需要处理的目标图像进行优化，输出经过颜色矫正与特征增强的水下图像。
51.该处理系统通过自适应曝光模块对拍摄质量的动态感知，智能调整可编程相机的拍摄参数，最后通过基于双层优化框架的端到端图像特征增强网络处理图像，并输出经过颜色矫正与特征增强的水下图像，实现从拍摄参数设置到输出最终图像的整套工作流程，为水下目标探测、海底任务等输送高质量数据。
52.在具体实施时，该自适应曝光驱动相机摄影水下图像处理系统，可设计为具有完整封装的高算力、低功耗的图像拍摄系统，其主要由可编程相机、基于动作-价值(actor-critic)框架的强化学习智能体、预训练水下图像复原模块等三个模块构成，能够实现对水下图像的颜色校正与特征增强。具体模块组成
①②③
及功能介绍如下：
53.①
可编程相机：包括拍摄模块与通信模块。拍摄模块利用图像传感器捕捉外界图像，将图像通过通信模块传输给强化学习智能体和预训练水下图像复原模块，同时接收来自强化学习智能体的指令，改变感光度、快门速度、光圈等拍摄参数。其中，图像传感器具有调参的功能即可，通信模块，比如为wifi模块、5g、蓝牙或近场通讯nfc等。
54.②
基于动作-价值(actor-critic)框架的自适应曝光模块：该模块采用动作-价值(actor-critic)框架，将可编程相机模块上一帧输出的图像编码后作为输入，经过策略网络处理，输出对相机拍摄参数(快门速度、感光度、光圈等)的调整动作，完成对可编程相机
拍摄参数的动态调整。
55.强化学习按照更新方式的不同可以分为基于策略的方法和基于价值的方法。基于策略的方法训练一个策略网络，以智能体接收到的态势信息为输入，输出关于智能体所有可执行动作的概率分布，然后以此概率分布进行抽样选择执行的动作；基于价值的方法训练一个价值网络，同样以智能体接收到的态势信息为输入，输出一个评判当前状态下执行某动作结果优劣的值。动作-价值(actor-critic)算法将以上两种方法的相结合，训练了动作网络和价值网络：动作网络由基于策略的方法发展而来，能够高效地在连续动作空间选择合适的动作；价值网络由基于价值的方法发展而来，能够实时评价当前策略的优劣并给予及时的纠正。动作-价值(actor-critic)算法整合生成策略的动作网络和评价策略的价值网络，同时更新策略网络和价值网络进行互补式的训练，能够达到比传统基于策略的方法和基于价值的方法更快的更新速度。
56.(1)动作网络模块：包括多层感知机模块、循环神经网络模块和激活函数模块等组件。该模块通过多层感知机对智能体接收到的观察信息以及包含历史观测和动作的轨迹信息进行处理，通过循环神经网络模块考虑其时间轴上历史观测和动作的影响，并将处理后的信息输送给多层感知机模块提取相关信息，最终经过激活函数激活后形成生成策略的动作网络。
57.上述轨迹信息中包含：历史观测和动作；历史观测指此之前的时刻拍摄到的图像；动作则表示在强化学习中指智能体输出的动作，在此处即为之前对相机做出的调整；(比如在1秒之前，读入了某张图像，并对相机的感光度+100)轨迹信息即为一系列图像-动作的序列，比如《图像1，感光度+100》《图像2，快门速度1/10》
……
等等，这在强化学习中是常用的考虑时间序列上信息的方式。
58.如图2所示，在训练时，动作网络参数更新流程如下：
59.步骤一：从经验回放池中采样一条训练轨迹s，该训练轨迹s包括：历史时刻拍摄到的图像和对应的相机动作；相机动作为对应的拍摄参数。在强化学习中需要大量的训练样本，因此，使用智能体与环境互动得到可以用于训练的数据。据轨迹中的一小段为例子：包含s
tat
,r
t
,s
t+1
,意义为：在时刻t，环境状态为s
t
，智能体在此环境下采取动作a
t
，采取动作后环境发生变化至s
t+1
，同时给予智能体奖励r
t
，在t+1时刻同理。这种形式构成的一个长列表叫做一条轨迹，代表一个智能体与环境完整互动一次直到结束的全过程的记录。
60.步骤二：将训练轨迹s作为样本信息输入更新前的动作网络，得到智能体执行动作的概率分布，选定执行动作a。
61.步骤三：利用动作a和价值网络输出的价值函数q(s,a)对动作网络求梯度反向传播更新动作网络参数π
θ
。
62.上式中，s表示上一时刻的获取的图像，代表对于动作网络的参数θ求梯度，o代表智能体接收到的信息，即拍摄到的图像，可以从历史轨迹s中获得；π
θ
即表示自适应曝光模块的动作网络，根据输入的信息o输出有关动作的概率分布。
63.(2)价值网络：该模块包括多层感知机模块和循环神经网络模块。该模块通过多层感知机模块对智能体接收到的观察信息以及包含历史观测和动作的轨迹信息进行处理，通过循环神经网络模块考虑其时间轴上历史观测和动作的影响，并将处理后的信息输送给多
层感知机模块提取相关信息，最终输出关于当前状态的价值评价。价值网络用于辅助动作网络的训练，仅在智能体训练阶段起到作用，在应用时不起作用。
64.如图3所示，在训练时，价值网络参数更新流程如下：
65.步骤一：从经验回放池中采样一条轨迹s，获得转变前状态获取的图像s、转变后状态获取的图像s'以及环境给予的奖励r。比如，在时刻t，环境状态获取的图像为s
t
，智能体在此环境下采取动作a
t
，采取动作后环境发生变化获取的图像至s
t+1
，同时给予智能体奖励r
t
，在t+1时刻同理。
66.步骤二：将转变前状态获取的图像s、转变后状态获取的图像s'输入价值网络，得到价值函数q(s,a)和q(s',a')。
67.步骤三：接收来自环境的奖励r，计算损失函数
68.lc＝r+γq(s',a')-q(s,a)，更新价值网络的参数，其中γ为折扣因子。γ是强化学习中的超参数，大小为0至1，代表智能体执行动作后所获得的奖励随时间被稀释。例如，在时刻t采取动作a之后，若在t时刻获取奖励1，则可认为此奖励完全与a有关；之后再t+1时刻获取奖励2，则此奖励部分与a有关，因此，乘以折扣因子γ，表示部分影响。
69.在应用时，动作网络接收到本时刻的信息，并通过深度网络输出对相机感光度、快门速度、光圈等参数的调整，实现对于相机拍摄的动态调节；价值网络仅辅助动作网络训练用，在应用时不起作用。
70.③
预训练水下图像复原模块：利用双层优化框架，上层网络估计不同区域间损失的权重，下层网络利用多个特征融合注意力网络(ffa-net)表示并提取特征，最终输出经过颜色校正和特征增强的图像。该网络利用现有开源数据集(包含大量的不同颜色、不同环境下的水下场景图像)进行预训练，并根据输出图像的得分对强化学习智能体给予奖励。
71.特征融合注意力网络(fusion feature attention network,ffa-net)作为图像增强领域处理能力优秀的方法，将特征注意力模块(feature attention,fa)与局部残差学习模块(local residual learning,lrl)相结合，利用特征注意力模块将多个局部残差学习模块的特征有机融合，并将其传递到全局残差学习模块，实现对图像的特征增强。
72.在利用多层感知机模块对图像进行编码后，如图4所示，分别送入上层网络和下层网络。上层网络将编码后的图像进一步送入全连接层，提取特征信息分辨图像上不同部分受海水影响的轻重程度，并获得针对图像的权重分配矩阵；下层网络将编码后的图像进一步送入六个特征融合注意力模块(ffa模块)，对图像进行特征提取与处理。网络参数更新流程如下：
73.步骤一：编码后的图像在上层网络被送入全连接层，获取权重分配矩阵；
74.步骤二：编码后的图像在下层网络被送入特征融合注意力模块群，获得处理后的图像；
75.步骤三：利用处理后的图像与真值图像求解l1损失；
76.步骤四：利用上层网络的权重分配矩阵对损失加权，并更新参数。
77.利用已训练完成的双层优化端到端图像增强网络，进行图像的处理，同时在训练的时候，根据这个图像处理的好坏，给予自适应曝光模块奖励(比如效果好得到奖励+1，效果差得到奖励-1)。
78.本发明提供的自适应曝光驱动相机摄影水下图像处理系统，根据系统每一帧得到
的图像输入，利用自适应曝光模块的强化学习智能体动态调节可编程相机的拍摄参数，实现在图像采集端对原始图像的特征增强，进而提高端到端深度网络对图像进行颜色校正及特征增强的效果，提高水下作业的效率和准确度。
79.本发明采用基于动作-价值(actor-critic)算法的强化学习智能体控制可编程相机快门速度、感光度、光圈等各项拍摄参数，通过对动作网络和价值网络的训练，能够拍摄出更利于端到端深度网络提取并利用特征的图像。此外，在实际应用中出现海水浑浊度差异明显、水下工作深度大幅变化等影响光照条件的工作场景时，智能体能够根据拍摄的图像快速动态调整相机各项拍摄参数，抗干扰能力更强，并提高拍摄系统鲁棒性。
80.比如，以水下生物多样性探查为例：
81.在使用水下摄像头对海洋生物进行探查的过程中，由于水体浑浊度复杂、海洋深度变化大及海水本身对不同波段光线吸收率不同等原因，回传的图像会出现颜色失真、对比度低、难以提取特征的特点，无法直接应用现有的实例分割算法取得较好效果，本发明提出的自适应曝光驱动相机摄影水下图像处理系统，可以基于当前场景的拍摄环境动态调整可编程相机的各项拍摄参数。具体实施步骤如下：
82.1、在现有数据集上预先训练本发明的处理系统，获得自适应曝光模块和预训练水下图像复原模块的网络参数。
83.2、可编程相机进入海底环境，拍摄模块捕捉当前图像并送入自适应曝光模块和预训练水下图像复原模块。
84.3、自适应曝光模块根据捕捉的当前图像，输出对可编程相机相关参数的调整指令，改善拍摄模块拍摄图片的质量。
85.4、预训练水下图像复原模块，处理相机模块捕捉的图像，并输出经过颜色校正和特征增强的图像。
86.5、使用现有实例分割算法识别图像中的物种。
87.6、多次迭代上述2-5过程直至完成水下生物多样性探查任务。
88.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。