一种基于图像的智能船舶身份识别方法

1.本发明涉及图像处理技术领域，特别涉及一种基于图像的智能船舶身份识别方法。


背景技术：

2.我国拥有丰富的海洋资源，以海洋等水体为载体，发展出了发达的水上运输体系。而且水上运输具有运量大、价格低廉等优点称为多个行业的首选。
3.随着运输需求的增大，我国水上运输也日渐繁忙起来，因此对水上船舶的管理也逐渐成为海事监管部门的重点工作内容。不同于陆上交通的管理，水上交通有其特殊性，通常情况下水上船舶会通过ais(automatic identification system，船舶自动识别系统)向附近船舶或设备广播自己的信息，以避免发生碰撞等事故，而且ais信息也有助于海事监管部门确认船舶的身份，达到水上船舶管理的目的。
4.然而，ais信息容易受到篡改，而且ais也可人工关闭，一旦ais被关闭或信息被篡改，则海事监管部门无法获得及时、真实的确认船舶的身份，对船舶管理带来了很大的不便。针对这种情况，现有基础发展出了基于图像的船舶身份识别方法，该方法主要依靠船舶的光学或遥感卫星图像识别船舶身份，和基于ais信息的身份识别方法相比，可靠性有了保证。但是，水面上的船舶大小差异非常大，小型船舶仅有数米至十数米，而大型船舶可达数百米，如此大的差异会导致反应在图像上信息也存在巨大差异，对于大型船舶可以确保图像中的船舶具有较高的分辨率，而小型船舶则由于在图像中占据的面积很小，导致图像中的分辨率较低，为后续的图像处理带来了不便。


技术实现要素：

5.本发明实施例提供了一种基于图像的智能船舶身份识别方法，用以解决现有技术中由于船舶大小差距过大导致的小型船舶的图像分辨率过低的问题。
6.一方面，本发明实施例提供了一种基于图像的智能船舶身份识别方法，包括：
7.获取目标船舶的图像；
8.确定目标船舶在图像中的大小比例；
9.根据大小比例以及预设的阈值确定对图像中目标船舶的重建倍数；
10.根据重建倍数对图像进行重建，获得重建图像；
11.根据重建图像识别目标船舶的身份。
12.在一种可能的实现方式中，根据重建图像识别目标船舶的身份，包括：建立特征提取模型；将重建图像输入特征提取模型，获得目标船舶的特征信息；在数据库中查询与特征信息匹配的船舶信息；将查询到的船舶信息作为目标船舶的身份信息。
13.在一种可能的实现方式中，在将查询到的船舶信息作为目标船舶的身份信息之前，还包括：获取与目标船舶之间的距离；根据距离确定目标船舶的尺寸信息；在数据库中查询与尺寸信息匹配的船舶信息；将根据尺寸信息查询到的船舶信息与根据特征信息查询
到的船舶信息进行比对；当根据尺寸信息查询到的船舶信息与根据特征信息查询到的船舶信息一致时，将根据尺寸信息查询到的船舶信息或根据特征信息查询到的船舶信息作为目标船舶的身份信息。
14.在一种可能的实现方式中，当根据尺寸信息查询到的船舶信息与根据特征信息查询到的船舶信息不一致时，还包括：发出警示信息。
15.在一种可能的实现方式中，获取与目标船舶之间的距离，包括：确定目标船舶在图像中的位置；调整图像获取设备的方向，使目标船舶处在图像中的特定位置；获取图像获取设备和目标船舶之间的距离。
16.在一种可能的实现方式中，还包括：获取多个船舶的ais信息；提取多个ais信息中的位置信息，建立位置信息表；根据当前的方向和距离确定目标船舶的位置信息；在位置信息表中查询与确定的位置信息匹配的位置信息，获得实际位置信息；在多个ais信息中查询具有实际位置信息的ais信息；提取查询到的ais信息中的身份信息；将查询到的身份信息与目标船舶的身份信息进行比对；当查询到的身份信息与目标船舶的身份信息不一致时，发出警示信息。
17.在一种可能的实现方式中，在获取目标船舶的图像之后，还包括：将图像输入目标检测模型，已确定图像中是否存在目标船舶；当确定图像中存在目标船舶时，确定目标船舶在图像中的大小比例。
18.在一种可能的实现方式中，在获取目标船舶的图像之后，还包括：确定图像是否发生抖动；在确定图像发生抖动后，对图像进行抖动消除处理。
19.在一种可能的实现方式中，确定图像是否发生抖动，包括：获取图像获取设备的速度信息，获得速度信息表，速度信息表中包括记录图像获取设备速度的时间以及对应的速度；确定获取图像的时间；根据获取图像的时间在速度信息表中查询匹配的记录时间；根据记录时间确定对应的速度；根据确定的速度确定图像是否发生抖动。
20.本发明中的一种基于图像的智能船舶身份识别方法，具有以下优点：
21.通过确定目标船舶在图像中的大小比例，并对图像进行超分辨率重建，可以使目标船舶无论具有怎样的大小，在进行超分辨率重建后都可以确保图像中的目标船舶都具有相对固定的分辨率，为后续的身份识别提供了极大的便利。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明第一实施例提供的一种基于图像的智能船舶身份识别方法的流程图；
24.图2为本发明第二实施例提供的一种基于图像的智能船舶身份识别方法的流程图；
25.图3为本发明第三实施例提供的一种基于图像的智能船舶身份识别方法的流程图；
26.图4为本发明第四实施例提供的一种基于图像的智能船舶身份识别方法的流程图；
27.图5为本发明第五实施例提供的一种基于图像的智能船舶身份识别方法的流程图；
28.图6为本发明第六实施例提供的一种基于图像的智能船舶身份识别方法的流程图；
29.图7为本发明第七实施例提供的一种基于图像的智能船舶身份识别方法的流程图；
30.图8为本发明第八实施例提供的一种基于图像的智能船舶身份识别方法的流程图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.图1-8为本发明实施例提供的一种基于图像的智能船舶身份识别方法的流程图。本发明实施例提供了一种基于图像的智能船舶身份识别方法，包括：
33.s100、获取目标船舶的图像。
34.示例性地，可以采用图像获取设备获取目标船舶的图像，该图像获取设备可以定时启动并获取视野范围内的图像，并将获取的图像进行临时存储后发送给后台的数据处理设备。
35.在本分明的实施例中，图像获取设备的设置位置可以为岸边或执法船只。设置在岸边时，可以在岸边设置固定柱，然后在固定柱上设置图像获取设备。设置在执法船只上时，可以借用执法船只上已经安装的设备，而无需单独安装。
36.s110、确定目标船舶在图像中的大小比例。
37.示例性地，对于图像中的目标船舶，可以采用canny边缘检测算法确定图像中目标船舶的边缘，根据该边缘确定外接矩形，然后确定外接矩形的某个参数与整个图像的对应参数的比值，将该比值作为上述大小比例。例如，可以计算外接矩形长度方向上的像素值与整体图像长度方向上的像素值的比值、外接矩形宽度方向上的像素值与整体图像宽度方向上的像素值的比值、或外接矩形所在范围内的像素值与整体图像的像素值的比值。
38.s120、根据大小比例以及预设的阈值确定对图像中目标船舶的重建倍数。
39.示例性地，由于大小差异过大的船舶在图像中反应出来的像素也存在很大差异，例如一艘万吨集装箱船的尺寸非常大，几乎占满了整个图像，因此作为目标船舶时具有很高的分辨率，而对于一艘小型快艇而言，在图像中占的比例很小，导致作为目标船舶时分辨率也比较低。相对而言，小型快艇在后续的身份识别过程中因分辨率较低导致身份识别困难。鉴于此，本发明实施例根据目标船舶在图像中所占的比例大小确定重建倍数，然后根据该重建倍数进行超分辨率重建，以使尺寸较小的目标船舶也能具有较高的分辨率，方便后续的身份识别。
40.在本分明实施例中，当大小比例大于0.9时，将重建倍数确定为1倍，即不进行超分辨率重建，当大小比例介于0.5-0.9之间时，将重建倍数确定为2倍，当大小比例小于0.5时，将重建倍数确定为4倍。通过上述方法，可以达到图像超分辨重建的自适应，确保了超分辨率重建后的重建图像中目标船舶具有相对固定的分辨率，不会受到船舶实际大小的过大影响。
41.s130、根据重建倍数对图像进行重建，获得重建图像。
42.示例性地，可以获取多帧相邻的图像，然后根据该多帧相邻图像进行超分辨率重建，以增强图像的分辨率。
43.s140、根据重建图像识别目标船舶的身份。
44.示例性地，s140具体包括以下步骤：
45.s200、建立特征提取模型；s210、将重建图像输入特征提取模型，获得目标船舶的特征信息；s220、在数据库中查询与特征信息匹配的船舶信息；s230、将查询到的船舶信息作为目标船舶的身份信息。
46.上述特征提取模型可以提取的特征信息包括surf特征、vgg16特征等。数据库中预先存储有所有已注册船舶的信息，包括船舶的名称、类型、尺寸、图像等。在数据库中查询与特征信息匹配的船舶信息时，可以提取数据库中船舶图像的特征信息，然后计算从数据库中提取的特征信息与从重建图像中提取的特征信息的汉明距离，当该汉明距离达到或小于设定的距离阈值，即可认为查询到了与特征信息匹配的船舶信息。
47.在一种可能的实施例中，在s230之前，还包括：
48.s300、获取与目标船舶之间的距离；s310、根据距离确定目标船舶的尺寸信息；s320、在数据库中查询与尺寸信息匹配的船舶信息；s330、将根据尺寸信息查询到的船舶信息与根据特征信息查询到的船舶信息进行比对；s340、当根据尺寸信息查询到的船舶信息与根据特征信息查询到的船舶信息一致时，将根据尺寸信息查询到的船舶信息或根据特征信息查询到的船舶信息作为目标船舶的身份信息。
49.示例性地，上述距离为图像获取设备与目标船舶之间的距离，具体可以采用测距设备获取该距离。在根据距离确定目标船舶的尺寸信息时，还需要对图像获取设备进行标定，以确定距离和尺寸之间的数学关系。由于实际物体在观察时存在透视效果，即近大远小，而该透视效果与距离存在直接关系，在标定图像获取设备时，可以在其前方一定距离放置一个大小已知的物体，获取该物体的图像后，确定图像中物体的大小，即长度、宽度等方向的像素值，然后确定该大小与距离比例关系，即可完成标定工作。在后续的处理中，可以根据该比例关系以及获取的距离反向推断得到目标船舶的尺寸。
50.上述尺寸信息包括船舶的长度、宽度、高度等多个数据中的一个或多个，当然仅靠这些粗略的数据无法唯一确定船舶的身份，还需要确定目标船舶的细节尺寸信息，例如桅杆高度、雷达尺寸、指挥室长度和宽度等，这些数据都可以从重建图像中获得。由于这些数据代表的对象较小，需要采用目标检测模型来识别，识别到这些对象后，再根据标定获得的比例关系确定各个对象的尺寸信息。
51.在上述方案中，如果根据尺寸信息查询到的船舶信息与根据特征信息查询到的船舶信息不一致，可以发出警示信息。
52.在一种可能的实施例中，s300具体包括：
53.s400、确定目标船舶在图像中的位置；s410、调整图像获取设备的方向，使目标船舶处在图像中的特定位置；s420、获取图像获取设备和目标船舶之间的距离。
54.示例性地，可以将图像获取设备和测距设备集成在一起，且设置为可调整方向，即可转动的方式。采用此设置方式后，可以使测距设备的测距方向和图像获取设备的视野中心相同。因此当目标船舶在图像中的位置偏离中心位置时，测距设备就无法获取到真实的距离，因此需要调整图像获取设备的方向，以使目标船舶在图像中的位置处在图像中心。
55.在一种可能的实施例中，还包括：
56.s500、获取多个船舶的ais信息；s510、提取多个ais信息中的位置信息，建立位置信息表；s520、根据当前的方向和距离确定目标船舶的位置信息；s530、在位置信息表中查询与确定的位置信息匹配的位置信息，获得实际位置信息；s540、在多个ais信息中查询具有实际位置信息的ais信息；s550、提取查询到的ais信息中的身份信息；s560、将查询到的身份信息与目标船舶的身份信息进行比对；s570、当查询到的身份信息与目标船舶的身份信息不一致时，发出警示信息。
57.示例性地，在附近的多个船舶都开启ais系统时，可以接收到多个船舶的ais信息，ais信息中包含了船舶的身份、位置等信息。但是鉴于ais信息的真实性存疑，因此其中的位置信息也不能确定一定真实，故可以根据图像获取设备自身的位置、朝向、和目标船舶的距离来确定目标船舶的位置，进而将该计算出来的位置信息和ais信息中的位置信息进行匹配，如果两个位置信息的差值小于设定的距离阈值，则可以认为ais信息中的位置信息无误。而同样基于ais信息的不可靠，即使其中的位置信息无误，也不能确定其身份信息也正确，因此需要将通过ais信息获取的船舶身份和前面已经确定的船舶身份进行比较，如果二者一致，可以将其中的任意一个作为目标船舶的身份，如果不一致，说明ais信息被篡改，可以发出警示信息。
58.在一种可能的实施例中，在s100之后，还包括：
59.s600、将图像输入目标检测模型，已确定图像中是否存在目标船舶；s610、当确定图像中存在目标船舶时，确定目标船舶在图像中的大小比例。
60.示例性地，由于图像获取设备定时获取图像，因此图像中不一定存在目标船舶，故需要目标检测模型来确定图像中是否存在目标船舶。上述目标检测模型在使用前需要进行训练，以提高目标检测的准确率，具体可以使用yolo模型进行目标检测。
61.在一种可能的实施例中，在s100之后，还包括：
62.s700、确定图像是否发生抖动；s710、在确定图像发生抖动后，对图像进行抖动消除处理。
63.示例性地，可以采用eis电子防抖算法对图像中的抖动进行消除处理，提升图像的分辨率。
64.上述s700包括：
65.s800、获取图像获取设备的速度信息，获得速度信息表，速度信息表中包括记录图像获取设备速度的时间以及对应的速度；s810、确定获取图像的时间；s820、根据获取图像的时间在速度信息表中查询匹配的记录时间；s830、根据记录时间确定对应的速度；s840、根据确定的速度确定图像是否发生抖动。
66.可以在图像获取设备中设置陀螺仪，该陀螺仪实时检测图像获取设备的速度、加
速度等信息，然后进行保存，同时还可以保存或者这些信息的时间。在图像获取设备获取图像时，也对获取图像的时间进行记录，将该记录的时间与记录速度、加速度等信息的时间进行比对，如果时间一致或相差很小，就可以确定获取图像时图像获取设备的速度。如果这个速度很小，则可以认为未发生抖动，反之当认为发生抖动时，就可以对图像进行防抖处理。
67.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
68.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。