无人船控制方法、设备及计算机可读存储介质

1.本发明涉及数据处理技术领域，尤其涉及一种无人船控制方法、设备及计算机可读存储介质。


背景技术：

2.众所周知，实时、可靠的数据通信是保证多无人船高效协同控制的重要环节，而通信拒止环境下的常规通信手段失效，给多无人船编队控制带来了新的技术挑战。在通信拒止环境下，无人船与岸上指挥系统、无人船个体相互之间的通信均受到干扰，难以保证高速、可靠的通信与数据传输，甚至会导致无人船之间的相对状态的获取失效，使得无人船偏离航向，严重影响无人船编队性能。


技术实现要素：

3.本发明的主要目的在于提供一种无人船控制方法、设备及计算机可读存储介质，旨在解决在通信拒止环境下，无人船如何有效的获取水面目标的相对状态信息，避免无人船偏离航向的技术问题。
4.为实现上述目的，本发明提供一种无人船控制方法，应用于无人船，包括以下步骤：当检测到无人船在航行过程中发生剧烈晃动时，根据输入的期望姿态对所述无人船中的云台相机进行机械增稳；确定经过所述机械增稳后的所述云台相机采集的采集图像，并确定所述采集图像中的原始视频序列，计算所述原始视频序列中相邻帧间图像的平移向量；根据所述平移向量构建目标抖动曲线，并根据所述目标抖动曲线计算补偿值，根据所述补偿值对所述采集图像进行增稳补偿，得到目标环境图像；确定所述目标环境图像中的水面目标，并根据所述水面目标的轮廓结构特征确定所述水面目标在所述目标环境图像的成像平面中的方向角；根据所述方向角计算所述水面目标的航向角，基于所述航向角确定所述水面目标对应的相对状态信息，根据所述相对状态信息控制所述无人船运行。
5.可选地，计算所述原始视频序列中相邻帧间图像的平移向量的步骤，包括：确定所述原始视频序列中的所有帧间图像，并确定各所述帧间图像中的前一帧图像和当前帧图像；对所述前一帧图像进行翘曲变换，得到变换图像，提取所述变换图像中的第一图像特征，并提取所述当前帧图像的第二图像特征；对所述第一图像特征和所述第二图像特征进行多尺度互相关拼接，并经过预设的全连接层处理，得到所述当前帧图像和所述前一帧图像的平移向量。
6.可选地，所述目标抖动曲线包括历史抖动曲线和预测未来抖动曲线，根据所述平移向量构建目标抖动曲线，并根据所述目标抖动曲线计算补偿值的步骤，包括：
根据所述平移向量构建历史抖动曲线，对所述历史抖动曲线进行归一化处理；将经过归一化处理后的所述历史抖动曲线输入至预设的循环神经网络模型中进行模型训练，得到预测未来抖动曲线；根据所述历史抖动曲线和所述预测未来抖动曲线计算所述相邻帧间图像对应的补偿值。
7.可选地，根据所述平移向量构建历史抖动曲线的步骤，包括：根据所述平移向量进行前一帧图像的像素点的偏移，得到平移后图像；对当前帧图像进行裁剪操作，得到第一裁剪图像，对所述平移后图像进行裁剪操作，得到第二裁剪图像；基于所述第一裁剪图像、所述第二裁剪图像和预设的结构相似度损失函数进行反向传播，以构建所述云台相机的历史抖动曲线。
8.可选地，根据所述方向角计算所述水面目标的航向角的步骤，包括：在所述目标环境图像的成像平面中构建图像坐标系，并确定所述水面目标的中心点在所述图像坐标系中的成像点；根据所述方向角和所述图像坐标系计算所述水面目标的成像平面方向向量的末端点；确定所述图像坐标系和预设的世界坐标系之间的转换关系，根据所述转换关系将所述成像点转换为所述世界坐标系下的第一坐标，并根据所述转换关系将所述末端点转换为所述世界坐标系下的第二坐标，根据所述第一坐标和所述第二坐标计算所述水面目标的航向角。
9.可选地，根据所述水面目标的轮廓结构特征确定所述水面目标在所述目标环境图像的成像平面中的方向角的步骤，包括：提取所述水面目标的轮廓结构特征，将所述轮廓结构特征输入至已训练好的轻量化神经网络模型进行模型训练，得到所述水面目标在所述目标环境图像的成像平面中的方向角，其中，将预设的训练方向角以单位圆上的点位进行表示，根据所述点位对预设的方向角损失函数进行求导，根据求导结果对预设的轻量化神经网络模型进行模型训练，得到已训练好的轻量化神经网络模型。
10.可选地，根据输入的期望姿态对所述无人船中的云台相机进行机械增稳的步骤，包括：根据输入的期望姿态和采集的姿态计算姿态误差，根据所述姿态误差计算电机控制值，基于所述电机控制值对所述无人船中的云台相机进行机械增稳。
11.此外，为实现上述目的，本发明还提供一种无人船控制方法，应用于无人船编队包括：根据如上述所述的无人船控制方法，生成所述无人船对应的水面目标的相对状态信息，其中，所述水面目标包括无人船编队的其它无人船；根据所述相对状态信息确定每个所述无人船在预设的有向拓扑图中的节点，根据所述有向拓扑图中的节点确定所述无人船编队中的领航者和跟随者；计算每个所述跟随者相对于所述领航者的位置状态偏差，并根据预设的拉普拉斯矩阵、所述位置状态偏差和所述相对状态信息构建自适应分布控制协议；
根据所述自适应分布控制协议进行无人船编队控制。
12.此外，为实现上述目的，本发明还提供一种无人船控制设备，无人船控制设备包括存储器、处理器及存储在存储器上并可在处理器上运行的无人船控制程序，无人船控制程序被处理器执行时实现如上述的无人船控制方法的步骤。
13.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有无人船控制程序，无人船控制程序被处理器执行时实现如上述的无人船控制方法的步骤。
14.本发明通过在检测到无人船发生剧烈晃动时，先根据期望姿态对云台相机进行机械增稳，然后再对采集图像进行数字增稳，从而实现无人船在面向大风浪、多扰动的复杂海洋环境时，融合机械增稳对强扰动的良好抵抗能力与数字增稳对微抖动的灵敏补偿能力，使得无人船能达到看清环境的目的。并且是对云台相机采集的采集图像的原始视频序列计算相邻帧间图像的平移向量，再根据平移向量构建目标抖动曲线，根据目标抖动曲线计算补偿值，根据补偿值对采集图像进行增稳补偿，得到目标环境图像，即对每一帧图像进行补偿，使得最终得到的目标环境图像更加高清无抖，而且会计算目标环境图像中的水面目标的方向角，并根据方向角计算航向角，基于航向角来获取水面目标的相对状态信息，再根据相对状态信息控制无人船运行，从而可以使得无人船能有效准确的获取到水面目标的相对状态信息，再根据相对状态信息控制无人船运行，避免无人船偏离航向。
附图说明
15.图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；图2为本发明无人船控制方法第一实施例的流程示意图；图3为本发明无人船控制方法第三实施例的流程示意图；图4为本发明无人船控制方法机械增稳和数字增稳的流程示意图；图5为本发明无人船控制方法的整体流程示意图；图6为本发明无人船控制方法的自监督孪生学习网络示意图；图7为本发明无人船控制方法的相机抖动网络预测示意图；图8为本发明无人船控制方法的水面目标朝向视觉测量模型示意图；图9为本发明无人船控制方法中目标方向角估计网络的流程示意图。
16.本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
17.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
19.本发明实施例终端为无人船控制设备。
20.如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如wi-fi接口）。存储器1005可以是高速ram存储器，也可以是稳定的存储器
（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
21.可选地，终端还可以包括摄像头、rf（radio frequency，射频）电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
22.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
23.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及无人船控制程序。
24.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的无人船控制程序，并执行以下操作：参照图2，本发明提供一种无人船控制方法，无人船控制方法应用于无人船，在无人船控制方法的第一实施例中，无人船控制方法包括以下步骤：步骤s10，当检测到无人船在航行过程中发生剧烈晃动时，根据输入的期望姿态对所述无人船中的云台相机进行机械增稳；在通信拒止环境下，无人船与岸上指挥系统、无人船个体相互之间的传统通信方式均受到干扰，难以保证高速、可靠的通信与数据传输，甚至会导致无人船之间的相对状态的获取失效，严重影响编队性能。并且随着人工智能的迅猛发展，机器人视觉已成为机器人感知环境的重要手段，常见的电磁干扰、卫星失效等导致通信拒止的主要因素，对于视觉感知干扰较小。因此，基于无人船的主动视觉感知能力建立通信拒止环境下新型有向联络架构，探究无全局指挥信息条件下的分布式视觉编队控制方法具有重要的理论意义与应用价值。
25.因此，在本实施例中，构建了“看清环境
”→“
认准位置
”→“
做好协同”的基于视觉的编队控制框架，提出了高海浪环境下云台相机级联增稳、基于轻量化深度学习网络的目标航向角实时估计以及有向切换拓扑下多无人船分布式编队控制等。
26.并且由于船载相机具备持续获取稳定图像的能力是通信拒止环境下构建基于视觉的新型联络架构的基础。面向大风浪、多扰动的复杂海洋环境，融合机械增稳对强扰动的良好抵抗能力与数字增稳对微抖动的灵敏补偿能力，设计相机云台级联增稳方案。同时，探究基于自监督孪生学习的帧间相机运动估计方法以拟合历史相机抖动曲线，并依托历史抖动数据提出基于长短期记忆网络（long short-term memory，lstm）的海浪环境下相机节律性抖动曲线预测算法，进而实现对相机图像的增稳补偿，获取清晰无抖的视频序列，为基于视觉联络架构的编队控制提供高品质的感知信息。
27.而针对通信拒止环境下基本无法获取无人船全局状态信息的问题，利用无人船主动视觉估计其与邻近个体的相对状态，可建立起编队中个体间的有效联系。为此，构建水面目标朝向的视觉测量模型，分析景物平面目标朝向与成像平面目标方向的映射关系；同时，
提出基于轻量化神经网络的成像平面目标方向估计方法，进而依托映射关系实现准确实时的目标航向角估计，最终为分布式编队控制提供实时可靠的无人船间相对状态信息。
28.而针对通信拒止环境下新型视觉联络架构的有向特性与复杂海况干扰下的切换拓扑问题，基于邻近无人船之间的相对状态信息，提出有向通信拓扑下具有时变增益的自适应编队控制协议设计方法；同时，探究多无人船系统在切换拓扑结构下能够保持预期编队队形且达到期望速度的充要条件，最终实现复杂海况下稳定协调的分布式编队控制在本实施例中，无人船在航行过程中，往往会受到海浪的影响，产生剧烈晃动。搭载于无人船上的相机系统，会随船体晃动，进而造成相机图像的强烈抖动，以至无法为后端的模式识别与运动控制模块提供有效的感知信息，严重影响多无人船编队控制的安全性与稳定性。因此在检测到无人船在航行过程发生剧烈晃动时，可以对无人船上的云台相机进行级联增稳，包括机械增稳和数字增稳。机械增稳是通过控制相机在干扰环境中保持期望姿态，可消除大幅度的图像抖动。本实施例中的级联增稳包括一级机械增稳和二级数字增稳，机械增稳是根据输入的期望姿态计算姿态误差，将姿态误差输入到具有抗干扰能力的自适应控制器中，计算出对应各轴电机的控制值，最终实现云台相机的机械增稳。数字增稳是利用原始视频序列对帧间相机运动进行估计，进而预测海浪环境下节律性的相机抖动运动曲线，基于此对输入图像进行增稳补偿，最终获取高清无抖的图像信息。例如，如图4所示，在一级机械增稳环节中，先获取输入的期望姿态，并经过抗扰传感器传递到无人船上的三轴云台，且三轴云台上安装有云台相机，由于无人船是行驶在海上，因此会存在海浪干扰，此时通过姿态传感器采集三轴云台实际的姿态，并计算姿态误差，传递到抗扰控制器，计算出对应各轴电机的控制值，以完成对三轴云台的机械增稳，然后再进入二级数字增稳环节，通过三轴云台上的云台相机获取原始视频序列（即采集图像），对帧间运动估计（即计算相邻帧间图像的平移向量），相机运动预测（即预测相机的运动曲线），进行增稳补偿（即计算补偿值，并对每一帧图像进行补偿），得到增稳后视频序列。
29.步骤s20，确定经过所述机械增稳后的所述云台相机采集的采集图像，并确定所述采集图像中的原始视频序列，计算所述原始视频序列中相邻帧间图像的平移向量；由于世界坐标系下同一位置点在视频序列相邻两帧中对应的像素位置满足以下仿射关系，即： p
t
= αh
3x3
p
t-1
+β；其中，p
t
和p
t-1
分别表示世界坐标系下同一位置点在t和t-1时刻的齐次像素坐标，h
3x3
为8自由度单应矩阵，β为齐次平移向量。由于相邻两帧时间间隔非常小，可以忽略不计，故仅考虑相机的平面运动，即α=0。而由于单位矩阵h
3x3
由相机云台的imu（inertial measurement unit，惯性测量单元）传感器解算得到，因此只需要确定相邻两帧间的平移向量β即可。
30.在本实施例中，当完成对云台相机的机械增稳后，需要进行数字增稳。而数字增稳需要获取两帧间平移向量。因此可以先获取云台相机采集的采集图像，然后对确定采集图像中的原始视频序列（即以每一帧图像排列的视频序列），确定原始视频序列中的每一帧图像，并确定相邻帧间图像的平移向量，而确定相邻帧间图像的平移向量的方式可以是基于自监督孪生学习的帧间相机运动估计方式进行，以实现确定相邻帧间图像的平移向量。
31.步骤s30，根据所述平移向量构建目标抖动曲线，并根据所述目标抖动曲线计算补
偿值，根据所述补偿值对所述采集图像进行增稳补偿，得到目标环境图像；在本实施例中，目标抖动曲线可以包括历史抖动曲线和预测未来抖动曲线。当得到相邻帧间图像的平移向量后，可以通过累加的方式拟合出相机的历史抖动曲线，由于海浪环境下相机的抖动呈现节律性，因此可以根据历史抖动曲线估计预测未来抖动曲线，再根据历史抖动曲线和预测未来抖动曲线计算补偿值。此外在另一场景中还可以直接根据平移向量计算补偿值。然后再根据补偿值对采集图像中的当前帧图像进行增稳补偿，并在每一帧图像都进行增稳补偿后，就可以将其整体作为目标环境图像。以实现无人船能看清环境。
32.步骤s40，确定所述目标环境图像中的水面目标，并根据所述水面目标的轮廓结构特征确定所述水面目标在所述目标环境图像的成像平面中的方向角；步骤s50，根据所述方向角计算所述水面目标的航向角，基于所述航向角确定所述水面目标对应的相对状态信息，根据所述相对状态信息控制所述无人船运行。
33.在通信拒止环境下，无法利用卫星定位等方式获取编队中个体的全局状态，同时也难以通过局域通信的方式实现个体状态共享。因此，在本实施例中，除了让无人船能获取到清晰的目标环境图像，以看清周边环境，还需要进行航向角的估计，以认准无人船的位置。因此可以利用无人船个体的主动视觉实现对水面目标（如邻近无人船）相对运动状态的感知，以赋予无人船“认准位置”的能力。从而建立起多无人船之间的有效联系，进而保障系统分布式编队的控制效果。因此需要根据目标环境图像对水面目标（如目标无人船）进行位置测量，位置测量的方式可以是通过双目测距方式获得。对水面目标进行速度测量，速度测量的方式可以是利用位置结果进行差分运算得到。此外还需要技术水面目标的航向角。并将航向角、速度、位置等参数作为水面目标对应的相对状态信息，然后再根据水面目标状态信息控制无人船的运行。其中，在计算航向角时，可以先基于轻量化神经网络的成像平面目标方向估计水面目标在成像平面的方向角，即可以将水面目标的轮廓结构特征输入到已训练好的轻量化神经网络模型进行模型训练，得到水面目标在成像平面的方向角。再计算水面目标朝向的视觉测量模型，进而计算得到水面目标的航向角。
34.为辅助理解本实施例中的无人船控制方式的原理，下面进行举例说明。
35.例如，如图5所示，构建了“看清环境
”→“
认准位置
”→“
做好协同”的基于视觉的编队控制框架。在看清环境环节中，进行高海浪环境下云台相机级联增稳（包括一级机械增稳和二级数字增稳），并且是设计云台相机级联增稳方案，研究基于自监督孪生学习的相机运动估计算法，研究基于lstm的相机抖动曲线预测。通过看清环境环节为认准位置环节提供低抖动的视觉信息，并在认准位置环节，基于轻量深度学习的视觉目标航向角实时估计，构建水面目标朝向视觉测量模型，研究基于轻量化深度神经网络的成像平面目标方向估计方法。然后基于看清环境环节和认准位置环节构建通信拒止环境下基于视觉的有向、鲁棒、实时的新型联络架构，并为做好协同环节提供实时可靠的相对状态信息。在做好协同环节，进行有向切换拓扑下多无人船分布式编队控制，并设计具有时变增益的自适应编队控制协议，开展编队控制协议在切换拓扑条件下有效性的理论分析。并且通过看清环境环节、认准位置环节和做好协同环节来支撑系统集成与实验验证。例如，进行室内水池实验、野外水域测试和大规模集群仿真等。并基于实验验证结果对看清环境环节、认准位置环节和做好协同环节进行优化及改进。
36.在本实施例中，通过在检测到无人船发生剧烈晃动时，先根据期望姿态对云台相机进行机械增稳，然后再对采集图像进行数字增稳，从而实现无人船在面向大风浪、多扰动的复杂海洋环境时，融合机械增稳对强扰动的良好抵抗能力与数字增稳对微抖动的灵敏补偿能力，使得无人船能达到看清环境的目的。并且是对云台相机采集的采集图像的原始视频序列计算相邻帧间图像的平移向量，再根据平移向量构建目标抖动曲线，根据目标抖动曲线计算补偿值，根据补偿值对采集图像进行增稳补偿，得到目标环境图像，即对每一帧图像进行补偿，使得最终得到的目标环境图像更加高清无抖，而且会计算目标环境图像中的水面目标的方向角，并根据方向角计算航向角，基于航向角来获取水面目标的相对状态信息，再根据相对状态信息控制无人船运行，从而可以使得无人船能有效准确的获取到水面目标的相对状态信息，再根据相对状态信息控制无人船运行，避免无人船偏离航向。
37.进一步地，基于上述本发明的第一实施例，提出本发明无人船控制方法的第二实施例，在本实施例中，上述实施例步骤s20，计算所述原始视频序列中相邻帧间图像的平移向量的步骤的细化，包括：步骤a，确定所述原始视频序列中的所有帧间图像，并确定各所述帧间图像中的前一帧图像和当前帧图像；步骤b，对所述前一帧图像进行翘曲变换，得到变换图像，提取所述变换图像中的第一图像特征，并提取所述当前帧图像的第二图像特征；步骤c，对所述第一图像特征和所述第二图像特征进行多尺度互相关拼接，并经过预设的全连接层处理，得到所述当前帧图像和所述前一帧图像的平移向量。
38.在本实施例中，当获取到云台相机采集的采集图像后，确定采集图像中原始视频序列的每一帧图像，即帧间图像，然后再计算每一帧图像与自身相邻的前一帧图像之间的平移向量。因此可以遍历各帧间图像，以确定当前帧图像和与当前帧图像相邻的前一帧图像，然后再通过提前设置好的自监督孪生学习网络进行模型训练，得到平移向量估计值，即当前帧的平移向量。其中，在通过自监督孪生学习网络进行模型训练进行模型训练之前，需要先对前一帧图像进行翘曲变换，得到变换图像，具体地，利用基于imu（(inertial measurement unit，惯性测量单元）估计的h
3x3
矩阵进行翘曲变换（即翘曲透视变换）得到变换图像。然后将变换图像和当前帧图像输入到自监督孪生学习网络中进行模型训练，得到平移向量。
39.具体地，由于孪生神经网络（即自监督孪生学习网络）是一类包含两个或多个相同子网络的神经网络架构。各子网络具有相同的参数和权重，且参数更新在两个子网上同时进行。即本实施例中的自监督孪生学习网络可以实现子网络共享权重，所需优化的参数较少，基于更少的数据即可成功训练网络，且不容易出现过拟合现象。因此，在本实施例中，是对相邻帧图像进行比较以估计其平移变换向量，即平移向量，网络输入为相似的图像。其中，本本实施例中的自监督孪生学习网络包括孪生特征提取网络、多尺度互相关拼接模块、全连接层、平移采样器以及自监督学习机制。例如，如图6所示，获取当前帧图像i
t
和前一帧图像i
t-1
。再对前一帧图像i
t-1
进行翘曲变换，得到变换图像w
t-1
。将当前帧图像i
t
和变换图像w
t-1
输入到孪生特征提取网络中进行特征提取，得到第一图像特征和第二图像特征，其中孪生特征提取网络包括两个网络架构相同的子网络，即cnn（convolutional neural networks，卷积神经网络）。即当前帧图像i
t
经过cnn网络、14*14*32的卷积核、3*3和5*5卷
积核生成的特征张量，变换图像w
t-1
经过cnn网络、14*14*32的卷积层、3*3和5*5卷积层生成的特征张量。再将两个特征张量进行多尺度互相关拼接，经过7*7*128卷积层，再经过全连接层进行拼接，得到平移向量。然后利用平移采样器基于平移向量确定平移后图像，即根据平移向量进行逐个像素点增加偏移量。然后再对平移后图像和当前帧图像进行cropping（裁剪）操作，再进行结构相似度（structural similarity，ssim）比较。进而利用基于ssim的损失函数进行反向传播，实现网络参数的高效优化。其中，反向传播是利用损失函数链式法则求梯度，进而实现神经网络参数训练。
40.其中，对第一图像特征和第二图像特征进行多尺度互相关拼接是对第一图像特征的特征张量和第二图像特征的特征张量进行多尺度互相关。多尺度互相关是利用不同尺寸卷积核的感受野，提取到多种尺度的图像特征，经互相关拼接以丰富特征多样性。具体地，多尺度互相关包括：。
41.其中，x1和x2为输入特征图，和分别为输入特征图由不同尺寸卷积核生成的特征张量，“*”为互相关操作。a为多尺度互相关后的图像特征。
42.在本实施例中，通过先确定采集图像中所有帧间图像的前一帧图像和当前帧图像，对前一帧图像进行翘曲变换再提取第一图像特征，对当前帧图像直接提取第二图像特征，将两个图像特征进行多尺度互相关拼接，经全连接层处理，得到平移向量。从而保障了获取到的平移向量的准确有效性。
43.具体地，根据所述平移向量构建目标抖动曲线，并根据所述目标抖动曲线计算补偿值的步骤，包括：步骤d，根据所述平移向量构建历史抖动曲线，对所述历史抖动曲线进行归一化处理；步骤e，将经过归一化处理后的所述历史抖动曲线输入至预设的循环神经网络模型中进行模型训练，得到预测未来抖动曲线；步骤f，根据所述历史抖动曲线和所述预测未来抖动曲线计算所述相邻帧间图像对应的补偿值。
44.在本实施例中，目标抖动曲线包括历史抖动曲线和预测未来抖动曲线。当获取到平移向量后，可以通过累加的方式拟合出相机的历史抖动曲线，再对历史抖动曲线进行归一化处理，并将其输入到lstm（long short-term memory，长短期记忆网络）网络（循环神经网络）中进行训练，得到归一化的未来抖动曲线，并将其作为预测未来抖动曲线。并且为使增稳补偿更加光滑，可以采用如下计算公式计算当前帧图像的补偿值。即：；其中，表示历史抖动曲线中的最后一个中心点。表示由预测未来抖动曲线确定的下一个中心点。和分别表示当前帧图像平移变换向量计算出的补偿点距离历史抖动曲线中的最后一个中心点、以及预测未来抖动曲线确定的下一个中心点的距
离。表示当前帧图像的补偿值。
45.例如，本实施例中的lstm网络可以如图7所示，历史抖动曲线经过归一化后通过lstm进行模型训练，即通过lstm进行前向传播，得到归一化后的预测抖动曲线，即预测未来抖动曲线。然后再对预测未来抖动曲线进行反向优化，即根据预测未来抖动曲线和未来抖动曲线真值通过正则平方误差损失函数运算，进行adam优化。
46.在本实施例中，通过先根据平移向量构建历史抖动曲线，再通过循环神经网络模型预测未来抖动曲线，然后根据两个曲线来计算相邻帧间图像对应的补偿值，从而保障了相邻帧间图像的补偿更加光滑。
47.具体地，根据所述平移向量构建历史抖动曲线的步骤，包括：步骤g，根据所述平移向量进行前一帧图像的像素点的偏移，得到平移后图像；步骤h，对当前帧图像进行裁剪操作，得到第一裁剪图像，对所述平移后图像进行裁剪操作，得到第二裁剪图像；步骤i，基于所述第一裁剪图像、所述第二裁剪图像和预设的结构相似度损失函数进行反向传播，以构建所述云台相机的历史抖动曲线。
48.在本实施例中，当获取到当前帧的平移向量后，可以通过提前设置的平移采样器对前一帧图像的像素点进行偏移，即针对每个像素点增加一定的偏移量，而偏移量可以根据平移向量来确定。将经过像素点偏移后的图像作为平移后图像。然后按照一定的尺寸大小如32x32。对平移后图像进行裁剪操作，得到第二裁剪图像。并按照同样的裁剪方式对当前帧图像进行裁剪操作，得到第一裁剪图像。然后再将第一裁剪图像和第二裁剪图像输入到预设的结构相似度损失函数ssim（structural similarity，结构相似性）中进行模型训练，根据训练结果进行反向传播，以便得到足够多的平移向量来构建云台相机的历史抖动曲线。
49.在本实施例中，通过根据平移向量进行前一帧图像的像素点的偏移，得到平移后图像，再对平移后图像和当前帧图像进行裁剪操作，并根据结构相似度损失函数进行反向传播，以构建历史抖动曲线，从而保障了构建的历史抖动曲线的准确有效性。
50.近一步地，根据所述方向角计算所述水面目标的航向角的步骤，包括：步骤j，在所述目标环境图像的成像平面中构建图像坐标系，并确定所述水面目标的中心点在所述图像坐标系中的成像点；步骤k，根据所述方向角和所述图像坐标系计算所述水面目标的成像平面方向向量的末端点；步骤l，确定所述图像坐标系和预设的世界坐标系之间的转换关系，根据所述转换关系将所述成像点转换为所述世界坐标系下的第一坐标，并根据所述转换关系将所述末端点转换为所述世界坐标系下的第二坐标，根据所述第一坐标和所述第二坐标计算所述水面目标的航向角。
51.在本实施例中，在云台相机的摄像机镜头畸变可以忽略不计的条件下，可以确定相机光轴与景象平面倾斜时，对水面目标朝向进行视觉测量。例如，如图8所示，可以在目标环境图像的成像平面中构建图像坐标系，即以ow为坐标原点，x轴方向为xw，y轴方向为yw，z轴方向为zw。并且假设水面目标为水面无人船时，水面无人船中心位置在成像平面的成像
点为。水面无人船在成像平面的方向角（相对于u轴的角度）为。定义成像平面方向向量的长度系数为。则成像平面方向向量的末端点为。
52.并且由于景象平面内所有点在世界坐标系下满足zw=0。根据faugeras（基础矩阵）标定法则可得：；其中，，。因此需要确定m
/
，以便根据m
/
确定世界坐标系与图像坐标系之间的转换关系。可以利用标定板，4个已知点求出m
/
。当获取到m
/
后，景象平面（即成像平面）内点的二维坐标可以根据以下公式进行计算得到。即：;至此，可分别求出水面无人船中心点在世界坐标系下的坐标，即第一坐标，和朝向向量末端（即末端点）的坐标，即第二坐标，进而水面无人船的朝向即航向角可由下式求出： ,在本实施例中，通过先在目标环境图像的成像平面中构建图像坐标系，然后确定水面目标的中心点在图像坐标系中的成像点，计算水面目标的成像平面方向向量的末端点，再根据图像坐标系和世界坐标系之间的转换关系对成像点和末端点进行坐标转换，根据转换后的第一坐标和第二坐标计算水面目标的航向角，从而保障了计算得到的航向角的准确有效性。
53.具体地，根据所述水面目标的轮廓结构特征确定所述水面目标在所述目标环境图像的成像平面中的方向角的步骤，包括：步骤m，提取所述水面目标的轮廓结构特征，将所述轮廓结构特征输入至已训练好的轻量化神经网络模型进行模型训练，得到所述水面目标在所述目标环境图像的成像平面中的方向角，其中，将预设的训练方向角以单位圆上的点位进行表示，根据所述点位对预设的方向角损失函数进行求导，根据求导结果对预设的轻量化神经网络模型进行模型训练，得到已训练好的轻量化神经网络模型。
54.在本实施例中，确定水面目标的方向角时，可以先在当前帧图像中进行水面目标的轮廓结构特征提取，并将其输入到已经提前训练好的轻量化神经网络模型进行模型训练，得到水面目标的方向角。也就是在本实施例中，会提供一种基于mobilenetv2的轻量化神经网络以实现成像平面目标方向角的实时估计。其中，mobilenetv2神经网络通过重新设计卷积神经网络的结构，将传统卷积拆分为深度型和逐点型两种卷积，有效降低了模型的计算复杂度，同时引入倒残差结构来提取更多特征，提高模型计算的准确性。倒残差结构是
由resnet神经网络中的残差结构演变而来，不同于残差结构中先降维度后升维度的结构特点，倒残差结构采用先升维后降维的方式来构成模型的基本骨干网络，整个结构不仅有效保留特征信息，还可以大幅度减少模型的参数量和计算量。
55.在对预设的轻量化神经网络模型进行模型训练时，可以先将训练的训练方向角（提前设置的）以单位圆上的点位表示，即通过定义单位圆，将目标的方向角用单位圆上的点位进行表示，如。网络的输出，满足。在进行反向传播时，利用标准的smooth-l2范数损失，或者定义与方向角度相关的损失函数，即：；其中，是目标方向角的真值，其满足单位圆约束。此外，为了便于网络参数的优化，对与方向角度相关的损失函数进行沿x轴方向和沿y轴方向进行求导。
56.其中，轻量化神经网络模型的网络架构可以如图9所示，先从目标环境图像中进行目标检测，再进行轮廓结构特征提取，并将其输入到conv2d，再经过倒残差网络，经过conv2d，并经过回归层输出水面目标的方向角。其中，倒残差网络包括至少来那层网络架构（1x1 pw，3x3dw；1x1conv）。
57.在本实施例中，通过将水面目标的轮廓结构特征输入到已训练好的轻量化神经网络模型进行模型训练，得到水面目标的方向角，从而保障了获取到的方向角的准确有效性。
58.进一步地，根据输入的期望姿态对所述无人船中的云台相机进行机械增稳的步骤，包括：步骤n，根据输入的期望姿态和采集的姿态计算姿态误差，根据所述姿态误差计算电机控制值，基于所述电机控制值对所述无人船中的云台相机进行机械增稳。
59.在本实施例中，在对无人船进行控制，让无人船拍摄到更加清晰的照片时，需要先对无人船进行机械增稳，即可以先获取输入的无人船的期望姿态，并通过抗扰传感器传递到云台，然后再通过姿态传感器采集实际的姿态，并根据实际的姿态和期望姿态计算姿态误差，将姿态误差输入到具有抗干扰能力的自适应控制器中，计算出对应各轴电机的电机控制值，根据电机控制值对各电机进行控制，以达到对无人船中的云台相机的机械增稳，提高云台相机的稳定性。
60.在本实施例中，通过根据期望姿态和采集的姿态计算姿态误差，然后再根据姿态误差计算电机控制值，根据电机控制值对无人船中的云台相机进行机械增稳，从而消除大幅度的图像抖动，使得云台相机处于一个期望姿态。
61.此外，参照图3，基于上述第一至第二任一实施例，提出了本发明无人船控制方法的第三实施例，在本发明实施例中，无人船控制方法应用于无人船编队，包括以下步骤：步骤s100，根据如上述实施例所述的无人船控制方法，生成所述无人船对应的水面目标的相对状态信息，其中，所述水面目标包括无人船编队的其它无人船；步骤s200，根据所述相对状态信息确定每个所述无人船在预设的有向拓扑图中的节点，根据所述有向拓扑图中的节点确定所述无人船编队中的领航者和跟随者；步骤s300，计算每个所述跟随者相对于所述领航者的位置状态偏差，并根据预设
的拉普拉斯矩阵、所述位置状态偏差和所述相对状态信息构建自适应分布控制协议；步骤s400，根据所述自适应分布控制协议进行无人船编队控制。
62.在本实施例中，无人船编队中的每一艘无人船都可以采用上述任一实施例中的无人船控制方法，并且可以将水面目标设置为无人船编队的其它无人船，例如，在无人船为跟随者时，可以将水面目标设置为领航者。
63.并且在通信拒止环境下，基于视觉感知建立起的无人船间联络是单方向的，而在复杂海况中，风浪干扰又会造成基于视觉联络的有向通信拓扑的不断切换。因此，在本实施例中，是基于二阶多智能体模型，提供针对有向通信拓扑的自适应分布式编队控制方法，以确保多无人船系统“做好协同”，并且在本实施例中是设置一个领导者智能体（即领航者）和n个跟随者智能体（即跟随者）组成的多智能体系统，并构建有向拓扑图，在有向拓扑图中，节点表示领航者，节点表示跟随者。则第i个智能体（即无人船）的动态公式可以如下所示：其中，分别表示第i个智能体的位置、速度和控制输入。同时根据有向拓扑图，定义多智能体的拉普拉斯矩阵。并且拉普拉斯矩阵满足如下关系：；；然后根据预设的拉普拉斯矩阵、位置状态偏差和相对状态信息构建自适应分布控制协议，即：；；其中，为期望编队参数，表示第i个跟随者相对于领航者的位置状态偏差。为期望编队参数，表示第j个跟随者相对于领航者的位置状态偏差。表示提前设置的常数参数。
64.当构建好自适应分布控制协议后，就可以根据词协议进行无人船编队控制，例如利用3~5艘智能无人船搜寻水面受灾人群并输送逃生物资。
65.并且，本实施例为应对通信拒止环境下多无人船协同编队任务的技术挑战，综合运用计算机视觉、人工智能、控制科学、模式识别、机器人学等多学科理论知识和方法，通过提出高海浪环境下的相机云台级联增稳方法以及基于轻量化深度学习的视觉目标航向角估计方法，为常规通信手段失效情境下的多无人船编队建立基于视觉的有向、鲁棒、实时的新型联络架构，并基于此新型联络架构提出有向切换拓扑条件下的多无人船分布式编队控制方法，最终实现多无人船系统在通信拒止与复杂海况共存的极端条件下稳定、鲁棒的分布式编队控制。
66.在本实施例中，通过先获取无人船编队中无人船的相对状态信息，再根据相对状态信息确定有向拓扑图中的节点，并根据节点确定领航者和跟随者，根据跟随者相对于领航者的位置状态偏差、拉普拉斯矩阵和相对状态信息构建自适应分布控制协议，再根据自适应分布控制吸引进行无人船编队控制，从而可以实现在通信拒止环境下，无人船能有效的获取水面目标的相对状态信息，并能根据相对状态信息进行无人船编队的整体控制，避免出现无人船偏离航向的现象发生。
67.此外，本发明还提供一种无人船控制设备，所述无人船控制设备包括：存储器、处理器及存储在所述存储器上的无人船控制程序；所述处理器用于执行所述无人船控制程序，以实现上述无人船控制方法各实施例的步骤。
68.本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述无人船控制方法各实施例的步骤。
69.本发明计算机可读存储介质具体实施方式与上述无人船控制方法各实施例基本相同，在此不再赘述。
70.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
71.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
72.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
73.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。