一种海上目标检测方法与流程

1.本发明涉及船舶领域的图像处理，特别是涉及一种海上目标检测方法。


背景技术：

2.近年来，随着电子设备算力的不断提升和人工智能技术的快速发展，无人船技术也在不断迭代和快速发展。无人船能够在水面环境中自主航行并完成相应的任务，因此相比传统的有人驾驶船舶来说，无人船能够在一些人类不可达的场景中作业。
3.无人船要想在水上实现安全可靠的自主航行，需要各算法模块的密切配合，感知算法也是其中重要的一环。感知算法能够探测周围障碍物，进而规划出一条更安全的轨迹；不仅如此，感知算法还能用于检测海上目标，对于无人船执行各种任务具有重要意义。然而，由于恶劣的海洋环境，开发出一套准确且鲁棒的感知算法并非易事。
4.现有技术1：申请号为201911156854.8的一种海上船舶目标的自动检测和识别方法及目标检测器，提出了一种海上船舶目标的自动检测和识别方法，具体地：(1)采用可见光相机采集包含海上船舶目标的图像样本，基于该图像样本制作海上船舶目标图像库，包括训练集和测试集；(2)构建基于faster-rcnn算法的深度神经网络，并设置相应参数；(3)基于训练集对该神经网络进行离线训练，得到海上船舶目标检测器；(4)输入测试集图像，利用海上船舶目标检测器进行检测。
5.现有技术2：申请号为202110608597.8的一种用于航行船舶识别的图像增强去噪方法，提出了一种航行船舶识别的图像增强去噪方法，先将图像进行去噪，然后送入后续算法，以此减轻复杂环境下大雾和风浪对检测效果造成的影响，具体流程如说明书附图1所示。
6.现有技术3：申请号为202010785724.7的一种海上图像去雾方法及装置，提出了一种海上图像去雾方法及装置，该专利提出一种图像去雾算法，以提高图像质量。具体流程如说明书附图2所示。
7.现有技术的缺点：现有技术1通过深度学习方法进行目标检测，相比传统目标检测方法来说由于卷积层数较多，算法的非线性拟合能力较强，检测精度更高，但是不能对大雾天气下采集的图像有较好的识别精度；现有技术2在目标检测之前增加一个图像增强算法，采用的图像增强算法为去噪算法，增加了图像增强算法以后目标检测的精度能够提升，但是这种两阶段的图像处理流程使得算法复杂度也更大。


技术实现要素：

8.本发明旨在解决背景技术中的上述问题，提供了一种海上目标检测方法。
9.本发明解决技术问题所采用的方案是：一种海上目标检测方法，包括如下步骤：步骤一：获取海上图像；步骤二：采用第一算法方案计算得到上述步骤一的图像中目标物体的置信度；步骤三：若上述步骤二的置信度略低于阈值，则采用第二算法方案再次进行目标检测；步骤四：输出上述第一算法方案或者第二算法方案的检测结果作为目标检测输出结果。
10.进一步的，所述步骤一通过感知传感器获取待进行目标识别的海上图像。
11.进一步的，所述步骤二的第一算法方案包括第一检测算法，即yolo目标检测网络，第一检测算法输出目标物体框的置信度，当置信度大于阈值时，认为结果可靠，即为目标检测结果；其中，第一算法方案采用yolo v4目标检测算法，具体流程为：首先采集大量带标签的目标检测数据集，将其分为训练集和测试集；然后，采用训练数据训练好备选模型以后再采用测试集测试算法精度，以此选出精度最高的模型；最后，利用上述模型进行目标检测，输出目标检测的置信度。
12.进一步的，所述步骤三的第二算法方案包括去雾算法或超分辨率算法或者二者的组合。
13.进一步的，所述步骤三根据上述置信度决定是否继续采用第二算法方案再次进行目标检测；若第一算法方案检测目标物体框的置信度低于阈值，则采用第二算法方案再次进行目标检测。
14.所述第二算法方案是对目标图像或者目标区域进行图像增强处理后得到的图像，采用去雾算法进行处理，或者采用超分辨率算法提高目标图像的清晰度，裁剪出该区域的内容，并对区域内图像做去雾和分辨率的增强，然后再输入给第一检测算法进行检测，采用步骤二中的第一检测算法进行处理，输出检测结果；其中，裁剪出置信度较低的目标区域作为待进行算法增强的目标区域；其中，对置信度较低的目标区域进行扩张，将扩张后的图像作为待进行算法增强的目标区域。
15.进一步的，所述去雾算法为cvpr 2019中的基于暗通道先验的单帧图像去雾算法。
16.进一步的，所述去雾算法为申请号202010785724.7的图像去雾方法。
17.进一步的，所述超分辨率算法为srgan算法。
18.进一步的，所述步骤四：如果继续采用第二算法方案进行目标检测，得到目标检测结果；否则输出第一算法方案的目标检测结果；如果第一算法输出的置信度大于阈值，那么直接输出该目标检测结果；如果第一算法输出的置信度略低于阈值，那么根据步骤三的要求，进行了第二算法方案的目标检测，输出第二算法方案的目标检测结果。
19.积极效果：1.相比现有技术中无差的对所有场景进行多阶段目标检测方案来说能够有效节省算法开销；
2.相比现有技术中直接用faster-rcnn或yolo v4等典型目标检测算法直接输出检测结果的方案来说，能更加有效抑制由于海上雾气造成的影响，并且对低质图像有很好的检测效果。
20.本发明当第一算法得到的检测结果不确信是否为目标物体时，再次采用第二算法方案进行目标检测，能够提高目标检测的识别精度。适宜作为一种海上目标检测方法应用。
附图说明
21.图1为现有技术2技术流程框图；图2为现有技术3技术流程框图；图3为本发明技术方案流程框图；图4为本发明实施例1的技术流程框图；图5为本发明实施例2的技术流程框图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.一种海上目标检测方法，包括如下步骤：步骤一：采用感知传感器获取待进行目标识别的图像；可选的，所述感知传感器可以应用摄像机。
24.步骤二：采用第一算法方案计算得到上述图像中目标物体的置信度；可选的，本技术中采用的第一算法方案包括第一检测算法，比如业界广泛采用yolo目标检测网络，该算法会输出目标物体框的置信度，当置信度大于阈值时，认为结果可靠，即为目标检测结果；其中，第一算法方案采用yolo v4目标检测算法，具体流程为：首先采集大量带标签的目标检测数据集，将其分为训练集和测试集，采用训练数据训练好备选模型以后再采用测试集测试算法精度，以此选出精度最高的模型；利用上述模型进行目标检测，输出目标检测的置信度。
25.步骤三：根据上述置信度决定是否继续采用第二算法方案再次进行目标检测；这一步主要是考虑到海上环境比较恶劣，经常出现雾气，如果海上有雾气，那么采用步骤二中的算法方案得到的结果可信度降低，为了提高端到端目标检测的准确度，引入第二算法方案再次进行目标检测。
26.可选的，第二算法方案可以是去雾算法或者超分辨率算法，具体实现流程见实施例1和实施例2。
27.步骤四：若继续采用第二算法方案进行目标检测，得到目标检测结果；否则输出第一算法方案的目标检测结果。
28.实施例1：据图4所示，本发明提出的一种海上目标检测方法，通过判断第一算法方案的检测结果置信度决定是否采用第二算法方案以提高检测精度，具体步骤如下：步骤一：采用感知传感器获取待进行目标识别的图像。
29.可选的，所述感知传感器可以应用摄像机。
30.步骤二：采用yolo v4目标检测模型计算得到上述图像中目标检测的置信度。
31.步骤三：如果上述置信度略低于可信阈值，那么采用去雾算法对步骤一中的图像进行去雾处理，然后再采用yolo v4目标检测模型进行检测，输出检测结果。
32.在进行目标检测时，yolo网络会输出物体的置信度，这是位于区间[0,1]之间的值，通常结合算法在自己数据集上的表现结果规定一个可以信赖的置信度，本实施例中假设这个可信任的置信度为0.95，当实际目标检测结果大于这个置信度时认为检测结果可靠，当实际目标检测结果小于这个置信度时会舍弃这样的检测结果。
[0033]
由于海上环境多变，在正常工作天气条件下采集的数据训练得到的检测模型难以在低质图像上有较好的表现效果。比如说，在晴朗天气下采集的数据训练的检测模型在多雾气的低质图像上的检测精度会大幅降低。当然可以将所有天气下的数据都进行采集以丰富训练数据，但那样会使得检测模型变大、推算速度变慢，高时延的算法不利于海事安全。
[0034]
步骤四：如果上述置信度远低于阈值，那么以步骤二中的检测结果作为最终的感知输出。
[0035]
实施例2：据图5所述，本发明提出了一种海上目标检测方法，当第一算法方案的检测置信度不够高时，裁剪得到检测区域，并对该区域进行图像增强，然后再进行目标检测，以此提高目标检测精度，具体步骤如下：步骤一：采用感知传感器获取待进行目标识别的图像。
[0036]
步骤二：采用yolo v4目标检测模型计算得到上述图像中目标检测的置信度。
[0037]
步骤三：如果上述置信度略低于阈值，那么裁剪出该区域的内容，并对区域内图像做去雾和超分辨率的增强，然后采用步骤二中的算法进行处理，输出检测结果。
[0038]
优点是，当检测到区域[x,y,w,h]范围内目标物的置信度低于阈值时，这里可能存在目标，为进一步确定该图像区域是否有目标，先裁剪出此区域，然后再对这区域进行图像增强，可以有效减小算法开销；可选的，可以对该区域进行一个扩张，比如将该区域沿高度方向扩张1.5倍，延另一方向扩张1.2倍，得到的新的目标区域为[x,y,1.2w,1.5h]；可选的，还可以将图像增强区域扩张到整帧图片；对置信度较低的目标区域进行扩张，将扩张后的图像作为待进行算法增强的目标区域，不仅可以有效节省算法开销，还能有效消除由于第一算法检测不准引入的目标区域不准问题；本实施例中采用去雾和超分辨率的目的是增强算法清晰度，以提高检测精度；本实施例中的去雾算法可以利用当前业界主流的vision transformer技术，参考论文《vision transformers for single image dehazing》。同论文有所区别的是，本实施例中在准备训练数据时候采用海上实际采集的晴朗天气下的数据作为去雾后的照片，记为
domain a，同时还需要采集海上有雾天气下的照片，记为domain b,然后利用cyclegan技术把domain a的照片朝着domain b的目标进行迁移，得到domain a’，至此得到配对的去雾训练数据对。然后利用论文中的训练方式训练得到本实施例中的海上去雾算法。
[0039]
可选的，可以只采用去雾算法或者只采用超分辨率算法，或者先采用去雾算法然后采用超分辨率算法。
[0040]
本实施例中先采用去雾算法，然后采用超分辨率算法的目的是，去雾后图像纹理细节可能丢失，然后采用超分辨率算法能够对丢失的纹理进行重建，以提高目标检测的精度。
[0041]
可选的，本实施例中采用的去雾算法可利用申请号为202010785724.7的一种海上图像去雾方法及装置中的去雾方法。
[0042]
可选的，本实施例中采用的超分辨率算法可为srgan算法。
[0043]
步骤四：如果上述置信度远低于阈值，那么以步骤二中的检测结果作为最终的感知输出。
[0044]
本发明的特点：传统的目标检测算法是端到端的目标检测结果输出，如yolo，faster-rcnn等，是对目标图像进行增强后再进行目标检测。本发明的出发点在于算法流程的创新，具有如下特点：1）本发明通过对检测结果置信度不高的给取出来，然后对该区域进行图像增强后再次进行目标检测，可以有效消除由于海上雾气原因造成图像质量低进而导致目标检测不准的问题；2）相比端到端得到输出结果的算法方案，本发明检测结果更加准确；相比先对图像进行增强再进行目标检测的方案，有益效果是，在同样的检测精度条件下有效节省算法开销；3）不仅如此，考虑到低置信度目标区域相对准确率低，本发明将该区域进行裁剪或者将裁剪区域扩张后得到新的区域，然后对新的区域进行图像增强和目标检测，不仅可以有效消除由于第一算法检测不准引入的目标区域不准问题，还可以有效避免第一算法检测不准带来的目标检测精度问题，有效提升检测精度。
[0045]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。