一种基于视频图像的船舶超长超宽检测方法
【专利摘要】一种基于视频图像的船舶超长超宽检测方法，采集船舶视频，进行像平面坐标系与世界坐标系的变换；提取船舶二值图像区域得到运动船舶区域；对每一帧图像的运动船舶均采用Kalman滤波器跟踪，得到运动船舶的质心位置的叠加，拟合船舶的运动轨迹确定船舶的主轴，利用Canny算子提取二值图像的轮廓，计算船舶主轴与所述轮廓的交点之间连线的长度，得到船舶的长度，所述轮廓垂直到主轴的最长距离为船舶的宽度；判断该船舶是否超长超宽。本发明根据当前的内河监控视频图像，采用图象处理、计算机视觉技术，从中提取运动船舶及像素级的长宽信息，通过交互式网格标定计算出船舶的实际尺寸，根据实际场景的条件，对船舶的长宽进行超限判断。
【专利说明】一种基于视频图像的船舶超长超宽检测方法
【技术领域】
[0001]本发明属于机器视觉、视频图像处理领域，特别涉及基于视频图像的内河船舶超长超宽检测方法，主要用于内河船舶超限检测中，为一种基于视频图像的船舶超长超宽检测方法。
【背景技术】
[0002]水路运输在我国综合运输体系中占有重要的组成部分，作为传统的且仍处于快速发展中的交通运输方式，水路运输在促进地区或区域经济和社会发展方面发挥着重要作用，但是近年来随着社会经济的高速发展，船舶的尺寸也在增加，这个与内河的航运环境产生一定程度的冲突，严重影响了航段的安全畅通，需要进行船舶超长超宽检测，并对超限的船舶进行诱导，降低事故发生，尽量保证航道的畅通。
[0003]目前，判别航行在航道中的船舶长、宽是否超限，通常是依靠监控人员的人工检测，对检测超限的船舶进行引导，但面对庞大的航道网，光靠监控员每天的人工检测远不能满足交通的需求。为了营造快捷、安全、畅通、高效的水上运输环境，降低水上交通安全事故发生的频率，可根据当前的内河监控视频图像，采用图像处理、计算机视觉技术，提取船舶长宽信息。
[0004]王捃等人于2006年在硕士论文《小波分析及其在船舶图像尺寸测量中的应用》中利用小波检测船舶边缘，对不规则的船舶边缘形状构造一个图像边缘最小外接矩形，用该矩形的长宽表示船舶的尺寸，其测量的船舶尺寸只限于像素级，没有得到船舶的实际尺寸。
[0005]王静等人于2009年在硕士论文《基于图像融合技术的智能检测方法与应用研究》中利用数码相机对船舶进行侧面和俯视拍照，采用神经网络提取船舶的边缘，在侧面边缘图中进行列扫描，得到船舶的像素级长度，在俯视边缘图中进行列扫描，得到船舶的像素级宽度，再根据图像的分辨率换算出边缘图像中以厘米为单位的船舶长度和宽度。该方法只考虑了均静止船舶和单一背景，而对复杂环境和运动船舶不适用。
[0006]张学武等人于2011年在中国图象图形学报上发表了《内河水路交通流参数视觉测量系统》，采用背景建模提取运动船舶，用外接矩形框标识该船舶，通过透视变换模型计算出船舶的实际尺寸，为船舶超长超宽检测提供了依据，但该方法假设河道平行或者垂直于船体轴线，以河道两边堤岸为矩形的长，以河道宽度为宽设置矩形(不一定是正方形)，用矩形的像素长度和实际长度来获取透视变换关系，而实际场景中，河道平行或者垂直于船体轴线的假设未必成立，影响船舶长宽计算的精度。
[0007]方秀丽等人于2013年在硕士论文《基于运动船舶视频的背景建模算法研究》中，对水波扰动有一定适应性的经典的混合高斯模型算法、像素灰度归类背景重构算法、码本模型算法、视觉背景建模算法的适用性和有效性进行了比较分析，其中，视觉背景建模算法是一种通用的运动检测算法，实现简单，但是，它在整个检测过程中采用固定的检测阈值，对复杂的动态场景的鲁棒性低。
[0008]上述基于图像处理、计算机视觉技术的船舶提取及长宽检测方法，最大的特点是实现简单，易满足实时处理，但是，这些算法有一定的局限性，首先它们仅采用边缘或简单的运动检测方法提取船舶，对复杂的动态场景的适应性低；其次是对缺乏参考物的水面场景，没有考虑适用的摄像机标定，摄像机标定的核心是坐标系转换，常用的摄像机标定需要有一个标定的参考物，而河面缺乏参考物，则借助于参考物的标定方式在该场景下是运作不了的。
【发明内容】
[0009]本发明要解决的问题是:在判别航行船舶长、宽是否超限的现有技术中，人工检测远不能满足交通的需求，而计算机检测技术不能适合实际的复杂运动场景，也没有有效的摄像机标定，检测不够精确。
[0010]本发明的技术方案为:一种基于视频图像的船舶超长超宽检测方法，通过监控摄像机采集运动船舶视频，设置所采集视频中的有效检测区域，采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换；对当前帧进行图像预处理，包括平滑和去噪，通过视觉背景建模算法，提取视频图像中的船舶二值图像区域，用最小外接矩形来拟合二值图像区域，得到运动船舶区域；对每一帧图像的运动船舶区域均采用Kalman滤波器跟踪，得到各个时刻的运动船舶的质心位置，由船舶的质心位置的叠加，用最小二乘法拟合船舶运动的轨迹，确定船舶的主轴；利用Canny算子对各船舶的二值图像区域提取二值图像的轮廓，船舶的主轴与所述轮廓相交得到交点，取所述交点之间连线的长度为船舶的长度，取所述轮廓垂直到主轴的最长距离为船舶的宽度；将得到的船舶长度、宽度与预设的阈值比较，判断该船舶是否超长超宽。
[0011]进一步的，当视频图像中包含多艘船舶时，分别对每艘船舶提取二值图像区域，并确定各自的主轴，由船舶各自的二值图像区域和主轴计算长度和宽度，判断是否超长超宽。
[0012]本发明具体包括以下步骤:
[0013]I)兴趣区域ROI设置:进行河道监控视频图像的采集，获取运动船舶的视频帧图像，根据实际监控场景在当前帧图像上提取多个点，对所提取的点进行直线拟合计算，合并成多边形，多边形内作为检测的兴趣区域R0I，即有效检测区域；
[0014]2)摄像机标定:根据摄像机成像模型，采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换；
[0015]3)图像预处理:获取视频帧图像，用中值滤波对图像进行图像预处理，包括平滑和去噪；
[0016]4)运动检测:通过视觉背景建模算法构建背景图像，比较当前帧与背景图像的相似度，初步确定船舶区域，再利用形态学操作滤除噪声，采用图像的面积特征消除运动目标区域的虚目标，得到当前帧的船舶二值图像区域；
[0017]5)目标跟踪:对当前帧中的每个运动船舶均采用Kalman滤波器预测其在下一帧图像中的位置，并更新Kalman滤波器的状态，作为再下一帧跟踪的初始值，具体为:
[0018]51)对每帧图像的船舶二值图像区域，采用最小外接矩形来标定得到运动船舶区域；
[0019]52)对于每个需要跟踪的运动船舶区域，设置一个Kalman参数结构，设状态变量的选取为(x，y，l，w)，其中，(x，y)为运动船舶区域的最小外接矩形的中心在像平面坐标系的坐标，(l，w)为最小外接矩形的长、宽，由(x，y，l，w)确定运动船舶区域在当前帧的精确位置；开始跟踪时初始化状态变量，设初始中心位置为(X(l，y。)，初始长宽为；
[0020]53)预测运动船舶在下一帧的运动状态文,(Xh Vh I,, Wt)，以先中(X" Vt)为中心
的二值图像区域为搜索区域，获取以(Xt，yt)为中心的所有最小外接矩形，并计算其相比初始状态变量10, w0)的运动船舶区域的中心移动距离和面积变化大小，其中，中心移动距离和面积变化最小的外接矩形为最佳匹配，以最佳匹配对应的运动状态Z =(xvt, yvt, Ivt, wvt)作为测量值；
[0021]54)利用Z = (xvt，yvt, Ivt, wvt)更新Kalman滤波器的状态，并将更新后的状态作为下一轮预测的初始值，重复步骤53)-54)；
[0022]6)长宽估算:利用Canny算子提取步骤4)中船舶二值图像区域的轮廓，采用最小二乘法拟合步骤5)跟踪得到的运动船舶区域的矩形中心，得到运动船舶航行轨迹，确定船舶的主轴，计算主轴与运动船舶轮廓的交点连线的长度，所得长度为船舶的长度，取轮廓垂直到主轴的最长距离为船舶的宽度；
[0023]7)超长、超宽检测:将步骤6)中估算的船舶长、宽与事先设定好的阈值比较，判断该运动船舶是否超长超宽。
[0024]步骤I)中兴趣区域的提取方法具体为:根据实际监控需要，在当前帧上选取不少于3个点，对获取的点集进行直线拟合，并合并成多边形，多边形内即为检测的兴趣区域。步骤2)中根据摄像机的成像模型，构建摄像机的像平面坐标系u-v与世界坐标系Xw-Yw-Zw的变换关系:
【权利要求】
1.一种基于视频图像的船舶超长超宽检测方法，其特征是通过监控摄像机采集运动船舶视频，设置所采集视频中的有效检测区域，采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换；对当前帧进行图像预处理，包括平滑和去噪，通过视觉背景建模算法，提取视频图像中的船舶二值图像区域，用最小外接矩形来拟合二值图像区域，得到运动船舶区域；对每一帧图像的运动船舶区域均采用Kalman滤波器跟踪，得到各个时刻的运动船舶的质心位置，由船舶的质心位置的叠加，用最小二乘法拟合船舶运动的轨迹，确定船舶的主轴；利用Canny算子对各船舶的二值图像区域提取二值图像的轮廓，船舶的主轴与所述轮廓相交得到交点，取所述交点之间连线的长度为船舶的长度，取所述轮廓垂直到主轴的最长距离为船舶的宽度；将得到的船舶长度、宽度与预设的阈值比较，判断该船舶是否超长超宽。
2.根据权利要求1所述的一种基于视频图像的船舶超长超宽检测方法，其特征是，当视频图像中包含多艘船舶时，对每艘船舶提取二值图像区域，并确定各自的主轴，由船舶各自的二值图像区域和主轴计算长度和宽度，判断是否超长超宽。
3.根据权利要求1或2所述的一种基于视频图像的船舶超长超宽检测方法，其特征是具体包括以下步骤: 1)兴趣区域ROI设置:进行河道监控视频图像的采集，获取运动船舶的视频帧图像，根据实际监控场景在当前帧图像上提取多个点，对所提取的点进行直线拟合计算，合并成多边形，多边形内作 为检测的兴趣区域R0I，即有效检测区域； 2)摄像机标定:根据摄像机成像模型，采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换； 3)图像预处理:获取视频帧图像，用中值滤波对图像进行图像预处理，包括平滑和去噪； 4)运动检测:通过视觉背景建模算法构建背景图像，比较当前帧与背景图像的相似度，初步确定船舶区域，再利用形态学操作滤除噪声，采用图像的面积特征消除运动目标区域的虚目标，得到当前帧的船舶二值图像区域； 5)目标跟踪:对当前帧中的每个运动船舶均采用Kalman滤波器预测其在下一帧图像中的位置，并更新Kalman滤波器的状态，作为再下一帧跟踪的初始值，具体为: 51)对每帧图像的船舶二值图像区域，采用最小外接矩形来标定得到运动船舶区域； 52)对于每个需要跟踪的运动船舶区域，设置一个Kalman参数结构，设状态变量的选取为(x，y，l，w)，其中，(x, y)为运动船舶区域的最小外接矩形的中心在像平面坐标系的坐标，(I, w)为最小外接矩形的长、宽，由(X，y, I, w)确定运动船舶区域在当前帧的精确位置；开始跟踪时初始化状态变量，设初始中心位置为(? %)，初始长宽为(Uwtl)； 53)预测运动船舶在下一帧的运动状态;Ibwj，以尤中(xt，yt)为中心的二值图像区域为搜索区域，获取以(xt，yt)为中心的所有最小外接矩形，并计算其相比初始状态变量(xo，yo，10,?ο)的运动船舶区域的中心移动距离和面积变化大小，其中，中心移动距离和面积变化最小的外接矩形为最佳匹配，以最佳匹配对应的运动状态Z = (xvt, yvt, Ivt, Wvt)作为测量值； 54)利用Z= (xvt，yvt, Ivt, wvt)更新Kalman滤波器的状态，并将更新后的状态作为下一轮预测的初始值，重复步骤53)-54)； 6)长宽估算:利用Canny算子提取步骤4)中船舶二值图像区域的轮廓，采用最小二乘法拟合步骤5)跟踪得到的运动船舶区域的矩形中心，得到运动船舶航行轨迹，确定船舶的主轴，计算主轴与运动船舶轮廓的交点连线的长度，所得长度为船舶的长度，取轮廓垂直到主轴的最长距离为船舶的宽度； 7)超长、超宽检测:将步骤6)中估算的船舶长、宽与事先设定好的阈值比较，判断该运动船舶是否超长超宽。
4.根据权利要求3所述的一种基于视频图像的船舶超长超宽检测方法，其特征是步骤1)中兴趣区域的提取方法具体为:根据实际监控需要，在当前帧上选取不少于3个点，对获取的点集进行直线拟合，并合并成多边形，多边形内即为检测的兴趣区域。
5.根据权利要求3所述的一种基于视频图像的船舶超长超宽检测方法，其特征是步骤2)中根据摄像机的成像模型，构建摄像机的像平面坐标系u-v与世界坐标系Xw-Yw-Zw的变换关系:
6.根据权利要求3所述的一种基于视频图像的船舶超长超宽检测方法，其特征是步骤4)中提取船舶二值图像区域的方法为: 41)连续采集视频序列的前N帧图像I1,I2,, In,将该N帧图像对应像素值作为初始背景模型B的样本，背景模型B (i, j)为: B(i，j) = {^(i, j),I2(i,j)} (2) i，j表示像素坐标； 42)根据背景的动态运动程度设置阈值R(i，j)，定义一个最小距离的集合D(i，j): D(i, j) = (D1 (i, j),D2(i, j),...，DN(i，j)}(3)
其中，Dk(i, j) = min{dist(Im(i, j), It (i, j))},dist(.)表示欧氏距离，k = I,..., N,m = 1，...，N，k # m ; 对D(i，j)内元素进行求和平均，得到dmin(i，j)表征背景的动态运动程度，定义为:
【文档编号】G06T7/20GK103996049SQ201410187034
【公开日】2014年8月20日 申请日期:2014年5月5日 优先权日:2014年5月5日
【发明者】廖娟, 李勃, 王江, 邱中亚, 隆迪, 陈星明, 陈启美 申请人:南京大学