一种基于主从摄像机的学生跟踪定位方法
【技术领域】
[0001] 本发明涉及一种在课堂录播系统中基于主从摄像机的学生跟踪定位方法，属于图 像处理技术领域。
【背景技术】
[0002] 智能录播系统的出现对于传统的课堂教学录像是一种革命性的变革，很好地解决 了人工拍摄的复杂性和对课堂教学的干扰问题。智能录播系统必须对师生进行准确定位后 拍摄，其中，学生的跟踪定位和教师的跟踪定位相比较，具有目标众多、拍摄范围大、易受干 扰、摄像机缩放倍数确定难等问题。目前，在智能录播系统中使用比较广泛的学生跟踪定位 技术有红外定位、超声波定位和手动控制定位。
[0003] 在红外定位和超声波定位中，学生在站起发言时按下话筒开关，话筒发射红外线 或者超声波，学生录制摄像机接受到信号后，对目标进行准确定位。但是在此技术中，红外 线和超声波很容易受到光线和噪声等外界干扰，但学生若携带无线发射装置，会影响真实 上课效果，而且还会经常出现话筒开关忘记关或者学生好奇不断地随意按动开关等问题。 手动控制定位需要工作人员不断地控制操作或者切换镜头来实现，但是需要配备较多的录 制人员，而且工作人员需要有熟练的操作技能。
[0004] 目前，中国的吴建家、陈宗让等人已经开始研宄基于图像定位技术的解决方法，但 是基于该技术的跟踪系统往往较复杂，而且设备成本较高，同时，还存在新算法更新困难等 问题。而本发明能够很好地解决上面的问题。
【发明内容】
[0005] 本发明目的在于解决了现有学生跟踪定位技术设备成本高、易受环境干扰、影响 真实上课效果等问题，提供了一种基于主从摄像机的学生跟踪定位方法，该方法不但能够 准确地对学生进行跟踪定位，而且在学生不携带任何设备时，也能够最大限度地还原上课 的真实效果，同时本发明能够克服光线等外界环境噪声的影响，以及能够对有两名学生站 起的情况进行处理。
[0006] 本发明解决其技术问题所采用的技术方案是：一种基于主从摄像机的学生跟踪定 位方法，该方法是采用两个从摄像机（即：辅助摄像机）配合一个主摄像机工作，使用视频 采集卡同时采集三路视频信号，利用多线程编程技术同时对三路视频信号进行处理。从摄 像机安装在教室黑板两端与学生齐平处，使用帧间差分法生成学生坐下的头顶以上区域为 感兴趣区域，采用运动目标检测与目标分割合并技术检测出站起学生。主摄像机安装在黑 板中间的顶端，它根据从摄像机向其传递的学生站起的人数，来寻找站起学生并跟踪，该方 法解决了当主摄像机聚焦于第一个站起学生而无法检测到其他学生站起的情况。主摄像机 使用帧间差分法检测到所有运动目标，选取其中轮廓顶点最高的判定为站起的学生，提取 该轮廓的坐标和面积，并转换为摄像机转动角度和放大倍数，然后驱动主摄像机转向该站 起学生，并且选择合适的放大倍数。
[0007] 方法流程：
[0008] 步骤1:两个从摄像机安装在黑板两侧，安装高度为学生坐下后与头顶齐平处，从 摄像机在上课前三秒自动对视频序列做帧间差训练，以得到轮廓最高点上方20像素以上 至画面最高顶部分，并设其为感兴趣区域。同时，为了防止中小学课堂中，学生年纪小可能 出现突然站起或者举手等情况，所以该方法的从摄像机也支持人工设定感兴趣区域，可以 通过鼠标或者界面设定合适的区域。
[0009] 步骤2 :从摄像机采用背景差分法检测感兴趣区域有无目标入侵。若有目标入侵， 则通知主摄像机有人站起。从摄像机背景的更新采用每隔300帧取一帧没有入侵的图像作 为背景，并且当背景区域60%以上的像素点值改变超过50时，则判定为环境发生突然变化 (如开、关灯等），此时选取变化后的第一帧为背景帧。
[0010] 步骤3 :安装在黑板中间顶端的主摄像机初始化为全景录制模式，并且每隔300帧 选取一帧记录下来。当收到有人站起的通知，采用帧间差分法检测出所有运动目标的轮廓， 选取其中轮廓中心点最高的目标为站起学生。提取轮廓中心点坐标和面积，然后将坐标转 换为主摄像机需要转动的角度，面积转换为主摄像机需要放大的倍数，并驱动主摄像机完 成相应的动作，从而完成对目标的正确定位。
[0011] 步骤4 :若过一段时间后，站起来的人坐下，则从摄像机发送无人站起信息给主摄 像机，主摄像机恢复全景录制。
[0012] 若在一人站起的情形下，又有一人站起，则从摄像机发送有两人站起信息给主摄 像机，主摄像机收到有两人站起信息时，恢复全景录制。如果此后有一人坐下，主摄像机当 前帧与上述步骤3记录下的那一帧图像做背景差分法，得到仍然站起的那个人的轮廓中心 点坐标和面积，然后根据坐标和面积驱动主摄像机完成转动和放大。若所有人都坐下，主摄 像机恢复全景录制。
[0013] 有益效果：
[0014] 1、本发明不需人员操作，完全智能录制；学生不用携带任何设备，还原上课真实效 果。
[0015] 2、本发明对光线等外界环境影响的鲁棒性好，并且能够处理教室中同时有两名学 生站起回答问题的情况。
【附图说明】
[0016] 图1为本发明的方法流程图。
[0017] 图2为运动目标检测流程图。
[0018] 图3为从摄像机生成感兴趣区域示意图。
[0019] 图3a为从摄像机拍摄画面，绿线以上为感兴趣区域示意图。
[0020] 图3b为截取下的感兴趣区域示意图。
[0021] 图4为单人站起过程示意图。
[0022] 图4a为有一人站起不意图。
[0023] 图4b分割出站起学生示意图。
[0024] 图4c主摄像机对站立的学生定位示意图。
[0025] 图5为两人站起过程示意图。
[0026] 图5a有一人站起主摄像机对其定位示意图。
[0027] 图5b两人站起主摄像机恢复全景录制示意图。
[0028] 图5c有一人坐下后主摄像机对仍站着的学生定位示意图。
[0029] 图5d两人都坐下后主摄像机恢复全景录制示意图。
【具体实施方式】
[0030] 以下结合说明书附图对本发明创造作进一步的详细说明。
[0031] 如图1-图5d所示，本发明中两个从摄像机为普通的半球形摄像头，工作时无需转 动和变焦，主摄像机为带有云台的可以上、下、左、右转动并且可以进行缩放的摄像机，所使 用的视频采集卡必须能够支持同时采集三路以上的视频信号。通过视频采集卡，将采集得 到的三路视频信号运用多线程编程技术进行同时处理。下面为系统工作步骤：
[0032] 步骤1 :两个从摄像机安装在黑板两侧与学生齐平处的从摄像机在上课前三秒自 动对视频序列做帧间差训练，以得到轮廓最高点上方20像素以上至画面最高顶部分，并设 为感兴趣区域，如图3a和3b所示。同时，为了防止中小学课堂中，学生年纪小可能出现突 然站起或者举手等情况，所以该方法也支持人工设定感兴趣区域的方法，可以通过鼠标或 者界面设定合适的区域。
[0033] 步骤2:从摄像机生成的感兴趣区域只有学生站起时才能进入，所以从摄像机只 需监控此区域有无目标入侵即可。从摄像机采用背景差分法检测有无目标入侵，背景的更 新采用每隔300帧取一帧没有入侵的图像作为背景，同时当背景区域60%以上的像素点的 值改变超过50时，则判定环境发生突然变化（如开、关灯等），此时选取变化后的第一帧为 背景帧。从摄像机需要向主摄像机精确的传递站起学生人数，因为采用两个从摄像机，所 以监控的感兴趣区域会发生重叠，此时如果有人在重叠区域站起，则两个从摄像机都会判 定有人站起，从而主摄像机误判为有两人站起。本发明采用如果一个从摄像机判定有人站 起后的10帧之内另一个从摄像机也判定有人站起，则判定是同一人，