一种应用于仿生机器鱼的水下主动视觉跟踪方法
【专利摘要】本发明涉及一种应用于仿生机器鱼的水下主动视觉跟踪方法，包括基于嵌入式视觉系统的自主目标识别与目标定位的步骤如下：步骤S1：数字摄像头采集数字水下图像；步骤S2：基于颜色特征、形状特征、轮廓特征其中的一种对水下图像进行目标识别，获取颜色特征、形状特征、轮廓特征其中的一种的水下目标区域；步骤S3：对颜色特征、形状特征、轮廓特征其中的一种的水下目标区域，采用加权颜色直方图对目标进行特征描述，并根据目标特征描述实现对水下目标定位。本发明不需要对图像预处理，计算量较小，实时性好，定位较精确，适用于系统资源有限、环境相对简单的场景；还适用于不同环境下的主动视觉跟踪，特别是仿生机器鱼上的嵌入式视觉应用。
【专利说明】一种应用于仿生机器鱼的水下主动视觉跟踪方法
【技术领域】
[0001] 本发明涉及嵌入式视觉信息处理领域，特别是应用到仿生机器鱼的水下主动视觉 跟踪方法。
【背景技术】
[0002] 基于单目视觉的主动目标跟踪，包括目标识别与定位技术，是计算机视觉领域基 础性的问题。水环境中主动视觉跟踪，相比于大气环境，具有更大的困难。这主要是由于水 环境的特殊性导致的，水环境中照明是充满变数，水中光线是不均匀的，水中颗粒物混淆传 统的噪声模型，水下设备与地面监控之间的通信存在限制等等。
[0003] 嵌入式系统，由于其系统资源有限，要求目标识别与定位算法有更低的复杂度、更 快的运行速度。基于以上这些复杂的考量，基于嵌入式视觉的水下主动目标跟踪，通常是对 人工目标或者对增加标示的自然目标的跟踪。但是，目前基于嵌入式视觉的水下主动目标 跟踪中，目标形状设置不尽理想，算法复杂度较高，环境适应性有待提高，难以达到快速、准 确识别与定位的要求。
【发明内容】
[0004] (一）要解决的技术问题
[0005] 为了增强仿生机器鱼自主目标识别与定位系统在水下环境中的适应能力，提高定 位的精度，本发明的目的是提供一种基于嵌入式视觉的应用于仿生机器鱼的水下主动视觉 跟踪方法。
[0006] (二）技术方案
[0007] 本发明提供一种应用于仿生机器鱼的水下主动视觉跟踪方法，包括基于嵌入式视 觉系统的自主目标识别与目标定位的步骤如下：
[0008] 步骤S1 :数字摄像头采集数字水下图像；
[0009] 步骤S2 :基于颜色特征、形状特征、轮廓特征其中的一种对水下图像进行目标识 另IJ，获取颜色特征、形状特征、轮廓特征其中的一种的水下目标区域；
[0010] 步骤S3 :对颜色特征、形状特征、轮廓特征其中的一种的水下目标区域，采用加权 颜色直方图对目标进行特征描述，并根据目标特征描述实现对水下目标定位。
[0011] (三）有益效果
[0012] 本发明方法中目标物相对简单，形状规则，适用于不同环境下的主动视觉跟踪，特 别是仿生机器鱼上的嵌入式视觉应用。具体来说，首先，主动视觉跟踪自主识别目标，在不 同条件下的目标识别包括基于颜色的快速目标识别、基于形状的精确目标识别以及基于轮 廓的扩展目标识别；其次，本发明的主动视觉定位方法是基于加权直方图描述进行目标定 位。本发明的主动视觉跟踪方法，不需要对图像进行预处理，计算量较小，实时性好，定位较 精确，特别适用于系统资源有限、环境相对简单的场景。
【专利附图】
【附图说明】
[0013] 图la是本发明构建的应用于仿生机器鱼的嵌入式视觉硬件系统架构。
[0014] 图lb是本发明构建的应用于仿生机器鱼的嵌入式视觉跟踪的算法流程图。
[0015] 图2a是本发明中人工设定的色块。
[0016] 图2b是对人工设定的色块进行基于颜色的目标识别结果。
[0017] 图3中的（a)是本发明中复杂环境下人工设定的矩形色块。
[0018] 图3中的（b)是LSD算法检测到的线段二值化后的结果。
[0019] 图3中的（c)是形状拟合后确定的候选目标。
[0020] 图3中的（d)是抑制伪目标后确定的感兴趣目标区域。
[0021] 图4中的（a)是本发明中数字摄像头采集到的一帧目标图像。
[0022] 图4中的（b)是采用颜色直方图建立目标模型，对图4(a)图像反投影得到的灰度 图像。
[0023] 图4中的（c)是采用加权颜色直方图建立目标模型，对图4(a)图像反投影得到的 灰度图像。
[0024] 图4中的（d)是采用背景加权的颜色直方图建立目标模型，对图4(a)图像反投影 得到的灰度图像。
[0025] 图5是本发明中数字摄像头正立拍摄的镜像图像实例。
[0026] 图6a是对图5中图像的镜像区域统计出的光强分布。
[0027] 图6b是对图5中图像的目标区域统计出的光强分布。
[0028] 图7a是本发明中一种圆环镜像干扰图像，目标和镜像是处于分离状态。
[0029] 图7b是本发明中一种圆环镜像干扰图像，目标和镜像是处于相连状态。
[0030] 图8是本发明中对图7b中图像进行镜像抑制时，轮廓点在凹点连线上下的特征分布。
[0031] 图9a是本发明针对图7a处理得到的镜像抑制结果，图中矩形线条框区域为使用 CAMSHIFT预测的目标区域，白色框为搜索到的目标轮廓。
[0032] 图9b是本发明针对图7b处理得到的镜像抑制结果，白色轮廓为含有镜像提取的 轮廓，外围黑色轮廓为白色轮廓的凸包围，A点和B点即为轮廓的凹点，从凹点开始在其连 线的上半部分顺着轮廓将镜像轮廓滤除，从凹点开始连线的上半部分区域即为识别出来的 镜像轮廓。
【具体实施方式】
[0033] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。虽然本文可提供包含特定值的参数的示范，但应了解，参 数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于所述值。
[0034] 本发明构建了一种是适用于嵌入式系统主动视觉的硬件电路架构，提供丰富的资 源完成水下视觉的任务需求。所构建的硬件架构如图la所示包括图像采集单元、超声传感 器和陀螺仪等、DM3730主控芯片、STM32F407舵机控制单元、无线传输模块、上位机监控单 元。图像采集单元输出的数字图像格式是YCbCr4:2:2 ;超声传感器和陀螺仪等输出一系列 环境信息与仿生机器鱼姿态信息（本发明中没有用到，为后续功能增强设计）；DM3730芯片 输入图像数据、环境信息与仿生机器鱼自身姿态信息，输出目标位置信息、监控数据或者 压缩图像信息；STM32F407舵机控制单元输入目标位置信息，输出用于舵机控制的脉冲宽 度调制信号PWM;无线传输模块接收监控数据或者压缩图像，输出到上位机监控数据或者 监控图像；TI的Davince系列芯片DM3730为硬件控制电路的核心。DM3730在片上融合了 高达1GHz ARM Cortex? A8和800MHz TMS320C64x+? DSP。DSP以其强大的数据处理能力 用于图像处理，获取目标信息；ARM中加载Linux系统，用于管理整体资源，处理传感器信息 与运动控制以及用于上位机的通信与监控。ARM和DSP之间的通信是基于Codec Engine，它 是连接应用层（ARM端）与信号处理层（DSP)的软件模块，实现共用系统资源。无线传输模 块采用无线射频模块RF200(TTL电平，418?455MHz)与上位机进行命令通信；上位机监控 单元采用高吞吐量、低功耗的WiFi模块（IEEE802. 11标准，2. 4GHz)，用于上位机的视频监 控。由于本发明面向仿生机器鱼的视觉应用，故而在硬件架构中增加机器鱼驱动部分。机 器鱼的游动由PWM信号驱动舵机实现，PWM信号在STM32F407芯片上产生，是依照CPG模型 计算出。需要说明的是，虽然本发明以仿生机器鱼的视觉应用为蓝本，但是构建的嵌入式硬 件架构，对于搭建面向其他应用的嵌入式平台具有指导意义。
[0035] 以上述硬件电路为基础，本发明提出了一种快速、高效的水下主动视觉跟踪方法， 具体包括针对不同人工目标的自主识别与连续定位。本发明方法的流程图如图lb所示。自 主的目标识别，由于识别目标特征的不同，又包括基于颜色的目标识别、基于形状的目标识 别以及基于轮廓的目标识别。具体来说，本发明提供的应用于仿生机器鱼的水下主动视觉 跟踪方法，包括步骤如下：
[0036] 步骤S1 :数字摄像头采集数字水下图像；
[0037] 步骤S2 :基于颜色特征、形状特征、轮廓特征其中的一种对水下图像进行目标识 另IJ，获取颜色特征、形状特征、轮廓特征其中的一种的水下目标区域；
[0038] 步骤S3 :对颜色特征、形状特征、轮廓特征其中的一种的水下目标区域，采用加权 颜色直方图对目标进行特征描述，并根据目标特征描述实现对水下目标定位。
[0039] -、基于颜色的水下目标快速识别
[0040] 基于颜色的目标识别，适用于简单环境下。这里简单环境指的是光照充分，背景干 扰较小，成像较清晰的情况。
[0041] 所述基于颜色特征对水下目标识别的步骤如下：步骤S2A :人工设定色块，该色块 颜色选择红色，如图2a所示。摄像头采集的图像数据格式是YCbCr 4:2:2,对采集到图像 的通道Cb、通道Cr分别选取自适应颜色阈值，因为Y通道受光照影响大而舍弃。首先，对单 一的Cb或Cr通道，进行一维自适应Otsu阈值计算。假设某通道的图像像素分为L级[1， 2, . .，L]，Pi代表了第i级像素的概率。
[0042]
【权利要求】
1. 一种应用于仿生机器鱼的水下主动视觉跟踪方法，其特征在于，包括基于嵌入式视 觉系统的自主目标识别与目标定位的步骤如下： 步骤S1 :数字摄像头采集数字水下图像； 步骤S2 :基于颜色特征、形状特征、轮廓特征其中的一种对水下图像进行目标识别，获 取颜色特征、形状特征、轮廓特征其中的一种的水下目标区域； 步骤S3 :对颜色特征、形状特征、轮廓特征其中的一种的水下目标区域，采用加权颜色 直方图对目标进行特征描述，并根据目标特征描述实现对水下目标定位。
2. 根据权利要求1所述的方法，其特征在于，所述基于颜色特征对水下目标识别的步 骤如下： 步骤S2A:采集的水下图像格式为YCbCr4:2:2,对采集到图像的通道Cb、通道Cr分别 选取自适应颜色阈值，其中通道Y的像素因为受光照影响较大而舍弃； 步骤S2B :逐行逐列扫描水下图像，根据红色像素判定准则统计红色像素个数； 步骤S2C :当连续行/列的红色像素个数超过给定自适应颜色阈值，则识别出感兴趣的 水下目标区域。
3. 根据权利要求2所述的方法，其特征在于：所述红色像素的判定准则如下表示：
其中，分别代表某一像素的红色分量值与蓝色分量值；Cr_thres、Cb_thres分 别表示通道Cr、Cb的自适应颜色阈值。
4. 根据权利要求1所述方法，其特征在于，所述基于形状特征对水下图像进行目标识 别的步骤如下： 步骤S2a :人工设置矩形色块，对采集图像做灰度化处理；采用LSD算法对灰度图像提 取线段； 步骤S2b :对提取的线段数据规整并排序； 步骤S2c :对规整排序后线段进行平行四边形拟合； 步骤S2d :根据拟合后平行四边形的位置关系与颜色信息，抑制并剔除伪目标区域，识 别出具有感兴趣水下目标的区域。
5. 根据权利要求4所述的方法，其特征在于：所述线段的集合P设为F = {Pi|Pi = ^^142^2)丨，其中口1是线段，^^1)、&^ 2)是线段的两个端点坐标，提取的线段 数为i = 1，2,…，m，m是提取的线段个数。
6. 根据权利要求5所述的方法，其特征在于，所述对提取的线段数据规整满足下式：
按照线段端点yn的大小对线段排序，在线段端点yn值相近的线段中，保证水平线段排 序优先。
7. 根据权利要求5所述的方法，其特征在于，所述平行四边形拟合的步骤是依次从线 段序列中取出线段Pi，在判定为水平线段后，找到与线段Pi的端点yn值相近的线段中的平 行线段PpPk;当平行线段PpPk中有端点与线段口1中的端点距离小于距离阈值，且平行线段 Pj、Pk长度相同时，则平行线段Pj、Pk与线段Pi构成平行四边形；其中，i，j，k = 1，2, . . .，m ; i尹j尹k，m为提取的线段个数。
8. 根据权利要求1所述方法，其特征在于，所述基于轮廓特征对水下图像进行目标识 别的步骤包括：将采集的图像灰度化，二值化灰度图像，对二值化的图像利用轮廓提取法 识别出感兴趣轮廓边缘点特征的水下目标区域，所述二值化过程包括灰度化与高斯平滑滤 波。
9. 根据权利要求1所述的方法，其特征在于，所述水下目标区域mXn个像素点（Xi，yj) 1 = 1，2...111;」=1，2.1，像素点&"7」）处通道〇3、通道0的值表示为4匕，7」）、1^匕，7』），并且通 道Cb、Cr被量化为16个颜色量级。
10. 根据权利要求1所述方法，其特征在于，所述根据目标特征描述实现对水下目标定 位的步骤如下： 步骤S41 :采用加权直方图描述水下目标模型； 步骤S42 :采用CAMSHIFT算法对水下目标进行粗定位，确定候选目标区域； 步骤S43 :对矩形特征目标物或圆环特征目标物的镜面效应进行抑制，实现水下目标 的准确定位，得到目标的精确区域。
11. 如权利要求10所述的方法，其特征在于，所述描述水下目标模型#表示如 下：
其中，对通道Cb、Cr分别量化到16个颜色级别即￠3.0-=1,2,.,.16: 丨是背景 加权因子，是目标加权因子，δ ( ·)是Kronecker函数；μ (Xi, y」）、u (Xi, y」）为像素 点（Xi, y」）处通道Cb、通道Cr的值；目标加权因子Kth)满足：
并且Η =(%?)是位置向量；
是背景区域的 0(0,6*) 联合直方图分布，i是其中的最小非零值。
12. 如权利要求10所述的方法，其特征在于，所述对矩形目标物的镜面效应进行抑制 的具体步骤如下： 步骤S43A :对采集图像的通道Y隔行抽样，对每一个抽到的行进行隔列求和，得到行的 光强和； 步骤S43B :对抽样得到的行光强和进行最小二乘拟合得到斜率，将斜率与给定的斜率 阈值进行比较，判断候选目标区域是否为镜像； 步骤S43C:如果判断出候选目标区域是镜像区域，则在反向投影图中将得到的区域放 大一个因子，再将得到的镜像区域的像素值全部置成〇,设置搜索窗口为该镜像区域以外的 窗口，再运用CAMSHIFT算法重新搜索，用以得到目标；如果判断候选目标区域不是镜像区 域则认为是目标，等待下一帧图像到来继续跟踪。
13.如权利要求10所述的方法，其特征在于，所述对圆环目标物的镜面效应进行抑制， 将镜像与目标的连接情况不同分为两种情况：目标与镜像分离的镜像抑制和目标与镜像 相连的镜像抑制，其中： (1) 对于目标与镜像分离的镜像抑制，对于粗定位确定的候选目标区域，结合目标重心 位置与周长信息即可完成目标与镜像分离的镜像抑制； (2) 对于目标与镜像相连的镜像抑制，对于粗定位确定的候选目标区域，采用基于凹点 的镜像抑制的具体步骤如下： 步骤S43a:对于粗定位确定的候选目标区域，根据目标重心与轮廓周长信息滤除干 扰； 步骤S43b :对符合目标特征的轮廓区域，使用Freeman轮廓编码判断目标特征的轮廓 是否为凸缺陷；如果目标特征的轮廓为凸缺陷，则不存在相连镜像，如果目标特征的轮廓不 为凸缺陷，则进行下一步； 步骤S43c:计算目标特征的轮廓的多边形凸包，利用多边形凸包计算出目标特征的轮 廓凸缺陷； 步骤S43d:找出凸缺陷离对应凸包最远的点之间的距离，然后利用给定凸缺陷的离对 应凸包最远点的距离阈值找到凹点； 步骤S43e :由于数字摄像头放置的位姿是处于正立的，因而采集的图像中位于凹点连 线以上区域部分即为镜像部分，顺着轮廓将轮廓上处于凹点连线上半部分的区域从轮廓中 剔除。
【文档编号】G06K9/62GK104298996SQ201410389317
【公开日】2015年1月21日 申请日期:2014年8月8日 优先权日:2014年8月8日
【发明者】喻俊志, 孙飞虎, 陈世峰 申请人:中国科学院自动化研究所