一种基于无人机动平台的人体检测与跟踪方法及装置的制造方法
【技术领域】
[0001]发明属于计算机视觉领域，是一种实时的目标跟踪方法，尤其是一种无人机平台下的复杂背景下的长时间、稳定的人体跟踪方法。
【背景技术】
[0002]无人驾驶飞机简称“无人机”，英文缩写为“UAV”，是一种由无线电遥控设备或自身程序控制装置操纵的无人驾驶飞行器。在无人机的众多应用领域中，目标跟踪尤其是对人体的跟踪一直以来都是一个亟待解决的难题。这是因为人体在无人机的光学成像设备视场内通常成像较小，分辨率不高，且呈非刚性的不规则运动，其外观和轮廓随时发生改变；而且跟踪目标处于复杂的地面景物背景中，存在对比度差、遮挡、立体视觉效应等难题；加之无人机在飞行过程中存在抖动，使得稳定跟踪变得更加困难。
[0003]中国专利《对地面移动目标动态定位的无人机系统和方法》(申请号:201310666989.5)公开了一种对地面移动目标动态定位的无人机系统和方法，能实时输出被跟踪的地面移动目标的经玮度等地理坐标信息。该方法通过综合考虑稳瞄平台的高低角和方位角，结合获取装置的姿态角、经度、玮度和高度信息，通过一系列坐标转换来得到地面移动目标的位置信息，从而实现定位和跟踪的目的。该方法仍然属于传统的定位方法，用于实施的软硬件都较为复杂，不利于在小型尤其是消费级无人机上应用和推广。中国专利《一种基于视觉的无人机动态目标跟踪与定位》(申请号201310059457.5)公开了一种基于视觉的无人机动态目标跟踪与定位方法，可自行完成对运动目标的检测与图像跟踪。该方法采用传统的MeanShift算法和Kalman滤波方法实现对目标的跟踪，当目标出现遮拦、跳跃等情况时，该方法不能保证长期稳定的跟踪。
[0004]综上，在无人机的应用中，目前还没有一种针对移动目标尤其是非刚性的人体目标进行长时间、稳定、且抗遮拦的跟踪方法。
【发明内容】
[0005]本发明所要解决的技术问题首先是针对移动目标人体，提供一种目标人体检测以及长时间、稳定跟踪方法。
[0006]本发明提供的基于无人机动平台的人体检测及跟踪方法，包括:
人体检测器训练步骤，使用人体的特征值训练第一识别模型，得到人体检测器；
目标人体识别器离线训练步骤，使用目标人体的特征值训练第二识别模型，得到目标人体识别器；其中目标人体的特征值对应的分类标签值为真，非目标人体的特征值对应的分类标签值为假；
目标人体检测步骤，接收无人机拍摄的当前视频帧，提取当前视频帧中的物体的特征值，将所述物体的特征值送入人体检测器，人体检测器根据所述特征值判断是否检测到人体，若是则进一步将所述特征值送入目标人体识别器，目标人体识别器根据所述特征值判断是否检测到目标人体；若是则将所述特征值进行标注并添加到跟踪列表； 人体跟踪步骤，根据目标人体在当前视频帧的坐标位置预测目标人体在下一视频帧中的位置。
[0007]进一步，还包括目标人体识别器在线学习步骤:
当目标人体识别器检测到目标人体时，则将当前视频帧的目标人体特征值送入在线学习模块；
在线学习模块利用所述特征值在线训练目标人体识别器。
[0008]进一步，在目标人体检测步骤中还包括目标人体找回步骤:当无人机拍摄的视频帧中没有目标人体时，利用卡尔曼滤波器根据丢失目标人体前拍摄到的视频帧预测目标人体可能出现在下一帧视频帧中的区域；当下一视频帧拍摄到以后，优先提取所述区域中物体的特征值，再将特征值送入人体检测器，人体检测器根据所述特征值判断是否检测到人体，若是则进一步将所述特征值送入目标人体识别器，目标人体识别器根据所述特征值判断是否检测到目标人体。
[0009]所述人体跟踪步骤进一步包括，利用光流法预测目标人体在下一视频帧中的位置。
[0010]进一步，所述特征值包括外形特征值及运动特征值。
[0011]本发明还提供了一种基于无人机动平台的人体检测及跟踪装置，包括:
目标人体检测模块，用于接收无人机拍摄的当前视频帧，提取当前视频帧中的物体的特征值，将所述物体的特征值送入人体检测器，人体检测器根据所述特征值判断是否检测到人体，若是则进一步将所述特征值送入目标人体识别器，目标人体识别器根据所述特征值判断是否检测到目标人体；若是则将所述特征值进行标注并添加到跟踪列表；
人体跟踪模块，用于根据目标人体在当前视频帧的坐标位置预测目标人体在下一视频帧中的位置。
[0012]进一步，所述人体检测器是这样训练得到的:使用人体特征值训练第一识别模型，得到人体检测器；
所述目标人体识别器是这样训练得到的:使用目标人体的特征值训练第二识别模型，得到目标人体识别器。
[0013]进一步，还包括目标人体识别器在线学习模块，用于当目标人体识别器检测到目标人体时，则利用当前视频帧的目标人体特征值在线训练目标人体识别器。
[0014]进一步，在目标人体检测模块中还包括目标人体找回子模块，用于当无人机拍摄的视频帧中没有目标人体时，利用卡尔曼滤波器根据丢失目标人体前拍摄到的视频帧预测目标人体可能出现在下一帧视频帧中的区域；当下一视频帧拍摄到以后，优先提取所述区域中物体的特征值，将特征值送入人体检测器，人体检测器根据所述特征值判断是否检测到人体，若是则进一步将所述特征值送入目标人体识别器，目标人体识别器根据所述特征值判断是否检测到目标人体。
[0015]所述人体跟踪模块进一步用于利用光流法预测目标人体在下一视频帧中的位置。
[0016]综上所述，由于采用了上述技术方案，本发明的有益效果是:
1.本发明通过离线训练人体检测器及目标人体识别器，实现了目标人体的识别。在跟踪目标人体的同时，每当检测到目标人体时，则将其特征值及其标签作为新的样本训练并更新目标人体识别器，不断在线完善目标人体识别器的训练样本，进一步提高人体识别的准确性，使人体跟踪更加稳定。
[0017]2.当目标人体在无人机拍摄到的视频帧中被遮挡或者跟踪丢失后，本发明采用卡尔曼滤波器来预测目标人体在下一视频帧中可能出现的位置，并优先检测该位置是否有目标人体，当目标人体重新出现后，可快速确定目标人体的位置，从而克服了无人机动平台带来的抖动和遮挡等问题，实现长时间、稳定与有效跟踪。
【附图说明】
[0018]本发明将通过例子并参照附图的方式说明，其中:
图1为本发明第一实施例的流程图。
[0019]图2为本发明第二实施例的流程图。
【具体实施方式】
[0020]本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0021]本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
[0022]如图1，本发明第一实施例包括以下步骤:
目标选取:跟踪开始前，需要对目标人体进行选取。选取方式可以是手动选取或自动选取。手动选取是针对无人机回传视频图像采用人工圈点的方式确定待跟踪目标；自动选取无需人工干预，可通过人体检测、识别算法和设定的规则由机器自动选取，选取操作可在无人机上实现，也可在遥控终端实现。需要说明的是，目标选取并非目标检测与跟踪的必要步骤，还可以通过其他方式实现目标选取。
[0023]人体检测器训练:使用人体的特征值训练第一识别模型，得到人体检测器。
[0024]在本实施例中，人体的特征值是从无人机拍摄到的大量视频帧中提取出来的。人体特征值可以使用由Dalal等人提出的梯度方向直方图(H O G )方法提取。该方法通过对局部图像的梯度和方向分布情况的描述，提取图像局部区域的梯度方向直方图作为检测特征。特征值可以包括外形特征值(如尺寸、轮廓、颜色