基于机器视觉的船舶空重载识别方法与流程

本发明涉及图像处理技术领域，尤其涉及基于机器视觉的船舶空重载识别方法。

背景技术：

船舶作为交通运输工具的一种，在运输业中发挥着重要的作用，进出口货物重量鉴定是港口的重要工作之一，船舶载重计算的基础是船舶吃水的测量，船舶吃水测量的精度决定了船舶载货量计算的准确性，同时计重结果可作为商业纠纷，例如商品的交接结算，处理索赔，港口使用费和通关计税等的依据，所以船舶水尺测量的准确性对保护托运人、发货人和收货人的利益都具有重要意义，目前主要的鉴定方法是水尺计重，吃水线的检测结果直接影响货物计重的准确性，关乎商品的交接结算，纠纷索赔，港口计价费和关税计算等问题，因此，如何快速准确测量吃水线得到越来越多的重视，目前通常采用压力传感器检测、激光水位检测以及图像检测来代替人工测量方法，实现轮船吃水线的估算，提高港口管理的实时性和计重准确性，但以上三种方法均存在一定的局限性，随着图像处理技术的发展和日益完善，通过图像处理来自动测量船舶水尺刻度已经成为了可能，通过分析水尺的视频图像，船舶水尺上的刻度字可以由计算机自动识别、读取结果，这样既能克服前面所介绍的各种测量方法引起的一系列问题，又可以完整地记录整个观测阶段的水尺刻度和吃水线位置，使后续的数据处理成为可能，同时，拍摄到的吃水线照片可以作为测量记录的证据保存，为今后复核查对、解决纠纷提供依据，并且由于拍摄设备性能的不断完善，设备的分辨率能够达到很高的精度要求，拍摄的图片清晰度非常高，使吃水线的求取能够更加精确，所以利用图像处理技术对船舶水尺的自动识别，已经受到越来越多人的关注。

经检索，中国专利申请号为cn201210509998.9的专利，公开了一种基于机器视觉的便携式船舶水尺自动检测和识别方法，以水上环境下船舶水尺视频数据为主要研究对象，以机器视觉和图像处理理论作为主要手段，检测并识别船舶水尺刻度，并对视频连续帧的检测结果进行统计分析，最终得出船舶吃水值。上述专利中的基于机器视觉的便携式船舶水尺自动检测和识别方法存在以下不足：对船舶水线的拍摄比较复杂，需要反复搬运设备，增加测量工作复杂性，降低效率。

技术实现要素：

本发明的目的是为了解决现有技术中存在的缺点，而提出的基于机器视觉的船舶空重载识别方法。

为了实现上述目的，本发明采用了如下技术方案：

基于机器视觉的船舶空重载识别方法，包括如下步骤：

s1：远程控制水上无人机在水面上运动，采集船舶表面的水尺视频数据；

s2：对采集的水尺视频数据进行预处理，截取水尺感兴趣区域；

s3：根据截取水尺感兴趣区域，判定吃水线水平方向上的预测区间；

s4：得到的水平方向上预测区间，计算曲线斜率得到吃水线竖直方向上的预测区间；

s5：根据得到的水平方向上预测区间和竖直方向上预测区间，识别出船舶吃水线及相应字符具体位置，得出船舶当前的空重载量。

优选地：所述s1中采集船舶表面的水尺视频数据具体包括船舶的船首、船尾、两侧船舷均设有吃水刻度线，且水尺为白色标记，搭载有摄像头的水上无人机靠近船首、船尾和两侧船舷拍摄。

优选地：所述s1中水上无人机包括动力推进模块、摄像模块和无线通信模块，远程控制端控制水上无人机运动和采集水尺视频数据。

优选地：所述s1中水上无人机于离船体表面8米范围内，船舶吃水线处采集船舶表面的水尺视频数据，对采集的视频文件进行保存，对拍摄的视频图像按照固定帧数截取得到处理图片。

优选地：所述s2中对采集的水尺视频数据进行预处理，包括图像去噪、高斯平滑、直方图均衡化和增强图像对比度。

优选地：所述s2中截取水尺感兴趣区域包括如下步骤：

s11：将图片放缩到规定的输入尺寸(960，680)，长宽小于规定尺寸则进行像素值为128的像素填充；

s12：阈值化处理，将图片变为二值图片；

s13：提取二值图片轮廓信息，提取图片上所有连通域的轮廓，对s12得到的二值图片进行处理，通过处理后的二值图片进行颜色聚类，颜色聚类后的图片进行竖直方向上的投影；

s14：对图像在竖直方向上进行直方图投影，在投影图上进行滑动窗口搜索。

优选地：所述s12中阈值化处理包括将图片变为二值图片，包括如下步骤：

s21：对采集的船舶水尺图像进行灰度化处理，将图片输入到双边滤波器中，使得保留图片内部边缘并且降低噪声，输出像素的值依赖于邻域像素值的加权值组合：

s22：基于滤波降噪后的图像，根据局部邻域内像素值确定阈值，利用自适应阈值处理得到二值图片。

优选地：所述s3中判定吃水线水平方向上的预测区间，包括如下步骤：

s31：在s12中得到的二值图片上进行查找轮廓的操作，得到整张图片中所有轮廓及其坐标位置；

s32：将整张图片的宽度划分为k个区间:len＝width/k；

s33：根据s31得到的轮廓所在坐标位置，以及划分区间，将s31得到的轮廓所在坐标位置划归到对应的区间，记第n个区间内包含的轮廓数为cn；

s34：从图片左侧开始筛选包含轮廓最大的区间，但要求轮廓数多于50个，并且满足和上一区间轮廓数、下一区间轮廓数相加都不大于300个，则在水平方向上认为该区间为水线范围：cpmax＝max{cp}；

s35：拥有符合要求的最大轮廓数cpmax所在的区间len(p-1,p)被认定为水平方向上的水线范围，将此水平方向上的水线范围作为水平方向上预测区间。

优选地：所述s14中滑动窗口搜索包括如下步骤：

s41：确定滑动搜索框的大小，滑动框大小与检测图片中数字大小相适应，确保滑动框的宽度能比水尺读数部分如包括数字、单位的最大宽度大一些；

s42：确定滑动搜索框的起始点；

s43：确定滑动搜索框的搜索策略，水尺读数区域的像素聚集在某个区域，具有一定的连续性；

s44：确定滑动搜索的终止条件；

s45：根据滑动框滑动区域，截取感兴趣的水尺读数区域。

本发明的有益效果为：可以近距离靠近船舶，能够从多个角度拍摄到船舶水尺的高清视频数据，实现基于高清数字摄影的船舶拍摄，进而实现基于机器视觉的船舶吃水线区域快速、准确识别，水上无人机采集识别可以避免安装压力传感器、激光水位检测等设备，降低读取吃水线的设备成本，具有良好的可操作性，可以根据船舶水尺字符以及水线作为标志物实现吃水线的精确定位，有效克服港口环境复杂场景对水线定位的影响，可以在复杂的图像环境下快速、准确识别出水线区域，快速搜索到船舶水尺部分的相关区域，准确、实时地对进港船只进行空重载识别，解决了人工读数低效、不准确，依赖高精度测量仪器成本高、维护困难的问题。

附图说明

图1为本发明提出的基于机器视觉的船舶空重载识别方法的流程结构示意图；

图2为本发明提出的基于机器视觉的船舶空重载识别方法的对采集的水尺视频数据进行预处理流程结构示意图；

图3为本发明提出的基于机器视觉的船舶空重载识别方法的截取水尺感兴趣区域流程结构示意图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。

在本专利的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利的限制。

在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。

实施例1：

基于机器视觉的船舶空重载识别方法，如图1-3所示，包括如下步骤：

s1：远程控制水上无人机在水面上运动，采集船舶表面的水尺视频数据；

s2：对采集的水尺视频数据进行预处理，截取水尺感兴趣区域；

s3：根据截取水尺感兴趣区域，判定吃水线水平方向上的预测区间；

s4：得到的水平方向上预测区间，计算曲线斜率得到吃水线竖直方向上的预测区间；

s5：根据得到的水平方向上预测区间和竖直方向上预测区间，识别出船舶吃水线及相应字符具体位置，得出船舶当前的空重载量。

所述s1中采集船舶表面的水尺视频数据具体包括船舶的船首、船尾、两侧船舷均设有吃水刻度线，且水尺为白色标记，搭载有摄像头的水上无人机靠近船首、船尾和两侧船舷拍摄。

所述s1中水上无人机包括动力推进模块、摄像模块和无线通信模块，远程控制端控制水上无人机运动和采集水尺视频数据。

所述s2中对采集的水尺视频数据进行预处理，包括图像去噪、高斯平滑、直方图均衡化和增强图像对比度。

所述s2中截取水尺感兴趣区域包括如下步骤：

s11：将图片放缩到规定的输入尺寸(960，680)，长宽小于规定尺寸则进行像素值为128的像素填充；

s12：阈值化处理，将图片变为二值图片；

s13：提取二值图片轮廓信息，提取图片上所有连通域的轮廓，对s12得到的二值图片进行处理，通过处理后的二值图片进行颜色聚类，颜色聚类后的图片进行竖直方向上的投影。

所述s12中阈值化处理包括将图片变为二值图片，包括如下步骤：

s21：对采集的船舶水尺图像进行灰度化处理，将图片输入到双边滤波器中，使得保留图片内部边缘并且降低噪声，输出像素的值依赖于邻域像素值的加权值组合：

s22：基于滤波降噪后的图像，根据局部邻域内像素值确定阈值，利用自适应阈值理得到二值图片。

处

其中，id(i,j)表示横坐标为i，纵坐标为j的像素点降噪后的值，k，l表示以(i,j)为中心的邻域区域，i(i,j)和i(k,l)分别表示像素点(i,j)和(k,l)的初始值，w(i,j,k,l)表示加权系数，σd和σr表示平滑参数。

所述s3中判定吃水线水平方向上的预测区间，包括如下步骤：

s31：在s12中得到的二值图片上进行查找轮廓的操作，得到整张图片中所有轮廓及其坐标位置；

s32：将整张图片的宽度划分为k个区间:len＝width/k；

s33：根据s31得到的轮廓所在坐标位置，以及划分区间，将s31得到的轮廓所在坐标位置划归到对应的区间，记第n个区间内包含的轮廓数为cn；

s34：从图片左侧开始筛选包含轮廓最大的区间，但要求轮廓数多于50个，并且满足和上一区间轮廓数、下一区间轮廓数相加都不大于300个，则在水平方向上认为该区间为水线范围：cpmax＝max{cp}，p＝1,2,…,k；cp≥50；s.t.cp+cp-1≤300；cp+cp+1≤300；

s35：拥有符合要求的最大轮廓数cpmax所在的区间len(p-1,p)被认定为水平方向上的水线范围，将此水平方向上的水线范围作为水平方向上预测区间。

其中，width表示整张图片的宽度，len表示所划的一个区间的宽度，故第n个区间的宽度范围表示为len(n-1,n)。

所述s4中吃水线竖直方向上的预测区间，包括如下步骤：

s51：根据得到的水平方向上预测区间将二值图片裁剪至该范围，将rgb图像转换为lab色彩空间；

s52：基于获得的lab色彩空间图，采用聚类方法，将图像颜色分为两类，确定分成的簇数为2，迭代次数为r，从样本空间数据集上m个对象xo中，随机选取2个点作为初始聚类中心cq(r)，其中，o＝1,2,3,…,m，q＝1,2，r＝1,2,3,…,r；

s53：计算样本空间中各样本到聚类中心的相似度距离d(xo,cq(r))，将对象划分到距离聚类中心最小的类中，满足d(xo,cq(r))＝||xo-cq(r)||2；

s54：分别计算新生成的各个类wq中所有对象的均值，得到2个新的聚类中心：

其中，cq(r+1)表示新生成的聚类中心，表示聚类q中像素点的值，m(q)表示聚类q中包含像素点的个数；

s55：规定聚类准则目标函数值j为：

经过多次迭代，若目标函数在最小化过程中前后变化小于某一设定值ε时，说明聚类准则函数已经收敛，就停止迭代；否则返回s53，继续迭代：|j(r+1)-j(r)|＜ε

s56：经聚类处理得到的图片进行竖直方向上的投影，根据投影曲线，计算各点斜率，得到变化率最大的竖直方向坐标，同时要求坐标不得位于图像上端1/4，否则无法获得较为完整的水线字符；

s57：得到的投影曲线上变化率最大的竖直方向坐标，向上截取图像竖直长度的1/4，向下截取图像竖直长度的1/10，从而得到竖直方向上的水线范围，将此竖直方向上的水线范围作为竖直方向上预测区间。

实施例2：

基于机器视觉的船舶空重载识别方法，如图1-3所示，包括如下步骤：

s1：远程控制水上无人机在水面上运动，采集船舶表面的水尺视频数据；

s2：对采集的水尺视频数据进行预处理，截取水尺感兴趣区域；

s3：根据截取水尺感兴趣区域，判定吃水线水平方向上的预测区间；

s4：得到的水平方向上预测区间，计算曲线斜率得到吃水线竖直方向上的预测区间；

s5：根据得到的水平方向上预测区间和竖直方向上预测区间，识别出船舶吃水线及相应字符具体位置，得出船舶当前的空重载量。

所述s1中采集船舶表面的水尺视频数据具体包括船舶的船首、船尾、两侧船舷均设有吃水刻度线，且水尺为白色标记，搭载有摄像头的水上无人机靠近船首、船尾和两侧船舷拍摄。

所述s1中水上无人机包括动力推进模块、摄像模块和无线通信模块，远程控制端控制水上无人机运动和采集水尺视频数据。

所述s1中水上无人机于离船体表面8米范围内，船舶吃水线处采集船舶表面的水尺视频数据，对采集的视频文件进行保存，对拍摄的视频图像按照固定帧数截取得到处理图片。

所述s2中对采集的水尺视频数据进行预处理，包括图像去噪、高斯平滑、直方图均衡化和增强图像对比度。

所述s2中截取水尺感兴趣区域包括如下步骤：

s11：将图片放缩到规定的输入尺寸(960，680)，长宽小于规定尺寸则进行像素值为128的像素填充；

s12：阈值化处理，将图片变为二值图片；

s13：提取二值图片轮廓信息，提取图片上所有连通域的轮廓，对s12得到的二值图片进行处理，通过处理后的二值图片进行颜色聚类，颜色聚类后的图片进行竖直方向上的投影；

s14：对图像在竖直方向上进行直方图投影，在投影图上进行滑动窗口搜索。

所述s12中阈值化处理包括将图片变为二值图片，包括如下步骤：

s21：对采集的船舶水尺图像进行灰度化处理，将图片输入到双边滤波器中，使得保留图片内部边缘并且降低噪声，输出像素的值依赖于邻域像素值的加权值组合：

s22：基于滤波降噪后的图像，根据局部邻域内像素值确定阈值，利用自适应阈值处理得到二值图片。

其中，id(i,j)表示横坐标为i，纵坐标为j的像素点降噪后的值，k，l表示以(i,j)为中心的邻域区域，i(i,j)和i(k,l)分别表示像素点(i,j)和(k,l)的初始值，w(i,j,k,l)表示加权系数，σd和σr表示平滑参数。

所述s3中判定吃水线水平方向上的预测区间，包括如下步骤：

s31：在s12中得到的二值图片上进行查找轮廓的操作，得到整张图片中所有轮廓及其坐标位置；

s32：将整张图片的宽度划分为k个区间:len＝width/k；

s33：根据s31得到的轮廓所在坐标位置，以及划分区间，将s31得到的轮廓所在坐标位置划归到对应的区间，记第n个区间内包含的轮廓数为cn；

s34：从图片左侧开始筛选包含轮廓最大的区间，但要求轮廓数多于50个，并且满足和上一区间轮廓数、下一区间轮廓数相加都不大于300个，则在水平方向上认为该区间为水线范围：cpmax＝max{cp}，p＝1,2,…,k；cp≥50；s.t.cp+cp-1≤300；cp+cp+1≤300；

s35：拥有符合要求的最大轮廓数cpmax所在的区间len(p-1,p)被认定为水平方向上的水线范围，将此水平方向上的水线范围作为水平方向上预测区间。

其中，width表示整张图片的宽度，len表示所划的一个区间的宽度，故第n个区间的宽度范围表示为len(n-1,n)。

所述s14中滑动窗口搜索包括如下步骤：

s41：确定滑动搜索框的大小，滑动框大小与检测图片中数字大小相适应，确保滑动框的宽度能比水尺读数部分如包括数字、单位的最大宽度大一些；

s42：确定滑动搜索框的起始点；

s43：确定滑动搜索框的搜索策略，水尺读数区域的像素聚集在某个区域，具有一定的连续性，用滑动搜索框进行滑动搜索时，把当前滑动框内所有像素的x轴坐标均值作为下一次滑动搜索框搜索的起始点，每次滑动框移动的距离不应超过滑动搜索框的这样可以保证不因滑动搜索框移动过快遗漏一部分像素；

s44：确定滑动搜索的终止条件，根据窗口内像素值为255的像素个数是否大于设定的阈值，从而确定该窗口是否为水尺读数区域，即滑动搜索的终止条件；当像素数少于这个阈值时，不再是水尺读数的有效区域，停止搜索；

s45：根据滑动框滑动区域，截取感兴趣的水尺读数区域。

所述s4中吃水线竖直方向上的预测区间，包括如下步骤：

s51：根据得到的水平方向上预测区间将二值图片裁剪至该范围，将rgb图像转换为lab色彩空间；

s52：基于获得的lab色彩空间图，采用聚类方法，将图像颜色分为两类，确定分成的簇数为2，迭代次数为r，从样本空间数据集上m个对象xo中，随机选取2个点作为初始聚类中心cq(r)，其中，o＝1,2,3,…,m，q＝1,2，r＝1,2,3,…,r；

s53：计算样本空间中各样本到聚类中心的相似度距离d(xo,cq(r))，将对象划分到距离聚类中心最小的类中，满足d(xo,cq(r))＝||xo-cq(r)||2；

s54：分别计算新生成的各个类wq中所有对象的均值，得到2个新的聚类中心：

其中，cq(r+1)表示新生成的聚类中心，表示聚类q中像素点的值，m(q)表示聚类q中包含像素点的个数；

s55：规定聚类准则目标函数值j为：

经过多次迭代，若目标函数在最小化过程中前后变化小于某一设定值ε时，说明聚类准则函数已经收敛，就停止迭代；否则返回s53，继续迭代：|j(r+1)-j(r)|＜ε

s56：经聚类处理得到的图片进行竖直方向上的投影，根据投影曲线，计算各点斜率，得到变化率最大的竖直方向坐标，同时要求坐标不得位于图像上端1/4，否则无法获得较为完整的水线字符；

s57：得到的投影曲线上变化率最大的竖直方向坐标，向上截取图像竖直长度的1/4，向下截取图像竖直长度的1/10，从而得到竖直方向上的水线范围，将此竖直方向上的水线范围作为竖直方向上预测区间。

本实施例在使用时，可以近距离靠近船舶，能够从多个角度拍摄到船舶水尺的高清视频数据，实现基于高清数字摄影的船舶拍摄，进而实现基于机器视觉的船舶吃水线区域快速、准确识别，水上无人机采集识别可以避免安装压力传感器、激光水位检测等设备，显著降低读取吃水线的设备成本，具有良好的可操作性，可以根据船舶水尺字符以及水线作为标志物实现吃水线的精确定位，有效克服港口环境复杂场景对水线定位的影响，计算复杂度低，能满足港口吃水线读取的快速性、准确性要求，可以在复杂的图像环境下快速、准确识别出水线区域，可以快速搜索到船舶水尺部分的相关区域，准确、实时地对进港船只进行空重载识别，解决了人工读数低效、不准确，依赖高精度测量仪器成本高、维护困难的问题。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。