专利名称：一种用于目标跟踪的人机交互装置及方法
技术领域：
本发明涉及目标跟踪技术领域，特别是涉及一种用于目标跟踪的人机交互装置及方法。
背景技术：
目前已有的目标跟踪设备大部分都是固定的摄像机设备，通过固定摄像机设备的旋转，单角度实时检测和跟踪目标物体。例如，通过固定的摄像头或网络摄像机获取场景中的图像，采集的图像视频数据通过处理器进行存储，并采用特定的算法对获得的图像进行处理、实时分析，快速检测出目标物体，并进行跟踪。这种目标跟踪需要依赖目标物体的选取，选取条件需要通过软件提前设置。然而，很多时候可能由于角度问题无法实时对目标物体进行检测跟踪，或者检测到错误的目标物体进行跟踪，无法实现实时筛选和跟踪不同目标。专利公开号为CN101144716A的中国专利公开了一种多视角运动目标检测、定位与对应方法，属于视频监控技术领域。该方法包括如下步骤对多个视角的视频图像进行前景检测，得到二值前景图像；根据所述二值前景图像，建立空间场模型，在所述空间场模型中进行三维重建，得到运动目标的三维重建结果；对所述三维重建结果进行分析，在空间场中检测并定位运动目标，得到运动目标的空间位置；根据所述运动目标的空间位置，向各视角投影，确定多个视角间运动目标的对应关系。专利公开号为CN101751677A的中国专利公开了一种基于多摄像机的目标连续跟踪方法，基于多路视频，包括目标检测，目标跟踪，目标特征提取，计算到达区域和离开区域，计算摄像机区域连接关系，目标匹配、数据关联以及目标连续跟踪步骤。结合摄像机区域连接关系和目标匹配信息，判断摄像机下出现的目标是新出现目标还是其它摄像机下已出现过的目标，从而实现运动目标连续跟踪。上述专利以及现有的目标跟踪系统，其设备一般都是固定装置，体积相对比较庞大，移动性差，跟踪的范围有限，且在多目标情况下无法根据需要实现人为自由选择目标物体进行跟踪，跟踪目标丢失率较大，精度较低。
发明内容
本发明针对现有技术的上述缺陷，提供一种用于目标跟踪的人机交互装置及方法，能可移动、多角度地拍摄周围场景，通过显示装置实时显示周围场景，可通过人眼实现人与装置的交互，自由、实时地选择需要跟踪的目标，并可以360度无盲点地检测、跟踪目标物体，跟踪丢失率低，精度闻。本发明采用如下技术方案一种用于目标跟踪的人机交互装置，所述装置包括头盔设备，在所述头盔设备上设置有第一信息处理单元、显示装置、视线追踪系统和多个摄像头；所述摄像头安装于头盔设备四周并与第一信息处理单元连接，摄像头实时拍摄头盔设备周围的场景视频并将拍摄的场景视频传输给第一信息处理单元；所述第一信息处理单元分别与摄像头和显示装置连接，第一信息处理单元接收和处理所述场景视频，并将处理后的场景视频发送给显示装置；所述显示装置与第一信息处理单元连接，用于显示处理后的场景视频；所述视线追踪系统与第一信息处理单元连接，视线追踪系统通过对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定所述目标并进行实时跟踪。优选地，所述摄像头为至少4个，分别安装于头盔设备四周的前后左右四面。优选地，所述第一信息处理单元处理所述场景视频具体为所述第一信息处理单元将接收到的场景视频进行融合拼接，得到场景的360度全景视频。 优选地，所述显示装置为眼镜式微型显示屏。优选地，所述视线追踪系统包括红外光源、摄像机和第二信息处理单元；所述红外光源交替亮暗；所述摄像机与第二信息处理单元连接，拍摄人眼的亮瞳暗瞳交替视频帧并将拍摄的视频帧发送给第二信息处理单元；所述第二信息处理单元分别与摄像机和第一信息处理单元连接，对所述视频帧进行分析和处理从而实现对使用者的人眼视线追踪，并与所述第一信息处理单元互动从而确定使用者选择跟踪的场景中的目标，锁定所述目标并进行实时跟踪；或者，所述视线追踪系统包括红外光源和摄像机；所述红外光源交替亮暗；所述摄像机与第一信息处理单元连接，拍摄人眼的亮瞳暗瞳交替视频帧并将拍摄的视频帧发送给第一信息处理单元；所述第一信息处理单元对所述视频帧进行分析和处理从而实现对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定所述目标并进行实时跟踪。优选地，所述第一信息处理单元和第二信息处理单元采用微处理器；所述视线追踪系统还包括一存储单元；当所述视线追踪系统包括第二信息处理单元时，所述存储单元与第二信息处理单元连接；当所述视线追踪系统不包括第二信息处理单元时，所述存储单元与第一信息处理单元连接；存储单元用于存储目标物体的特征、运动轨迹、所在区域范围以及丢失的位置和区域。优选地，所述第一信息处理单元还对场景中的异常情况进行分析，并根据所述分析的结果发出警告信号。本发明还提供了一种用于目标跟踪的人机交互方法，其特征在于，所述方法包括如下步骤实时拍摄头蓝设备周围的场景视频；对所述场景视频进行处理；在显示屏上显示处理后的场景视频；通过对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定所述目标并进行实时跟踪。优选地，所述实时拍摄头盔设备周围的场景视频的步骤通过多个摄像头完成；所述对所述场景视频进行处理的步骤具体为对每一个摄像头所拍摄的视频图像序列进行场景融合拼接，得到场景的360度全景视频。所述在显示屏上显示处理后的场景视频的步骤具体为在眼镜式微型显示屏上显示处理后的360度全景视频。优选地，所述通过对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定所述目标并进行实时跟踪的步骤通过视线追踪系统完成，该步骤具体包括跟踪使用者眼睛，提取眼睛参数，确定使用者的视线焦点在显示屏上的位置，并通过对使用者的眼睛动作分析对应的控制指令，锁定显示屏上待跟踪目标物体，提取目标物体特征并存储；采用粒子滤波算法跟踪运动的所述目标物体，提取目标物体特征并匹配，当在一个摄像头所拍摄的图像序列中目标物体匹配成功时，锁定跟踪目标物体，更新目标物体特征，计算目标物体的位移和速度，记录目标物体的运动轨迹，更新目标物体所在区域范围；当在一个摄像头所拍摄的图像序列中目标物体匹配不成功时，对所述摄像头相邻的摄像头所拍摄的图像序列与所述摄像头交叉的区域进行融合，当在所述相邻的摄像头检测到目标物体时，匹配成功，锁定跟踪目标物体，更新目标物体特征，计算目标物体的位移和速度，记录目标物体的运动轨迹，更新目标物体所在区域范围； 当在所有的摄像头所拍摄的图像序列中目标物体均匹配不成功时，目标物体跟踪丢失，记录目标物体丢失的位置和区域，存储目标物体的跟踪数据。优选地，所述目标物体为多个，所述方法还包括通过对使用者的眼睛动作分析对应的控制指令，解除对显示屏上已跟踪目标物体的跟踪。本发明利用头盔装置的可移动性，通过多个摄像头可多角度拍摄周围场景，通过显示装置实时显示周围场景，通过视线追踪系统可实现人与装置的交互，人眼可自由、实时地选择需要跟踪的目标，并可以360度无盲点地进行检测、跟踪目标物体，跟踪丢失率低，精度闻。
图1为本发明实施例1用于目标跟踪的人机交互装置正面示意图；图2为本发明实施例1用于目标跟踪的人机交互装置俯视示意图；图3为本发明实施例1中人机交互装置的结构框图；图4为本发明实施例2中人机交互装置的结构框图；图5为本发明实施例3用于目标跟踪的人机交互方法流程图；图6为本发明实施例3用于目标跟踪的人机交互方法详细流程图。图标说明I头盔设备，2第一信息处理单元，3显示装置，4视线追踪系统，41红外光源，42摄像机，43第二信息处理单元，5摄像头，6存储单元。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1 请参阅图1和图2所示，图1为本发明实施例1用于目标跟踪的人机交互装置正面示意图，图2为本发明实施例1用于目标跟踪的人机交互装置俯视示意图。本实施例提供了一种用于目标跟踪的人机交互装置，该装置包括头盔设备1，在头盔设备I上设置有第一信息处理单元2、显示装置3、视线追踪系统4和多个摄像头5。摄像头5安装于头盔设备I四周并与第一信息处理单元2连接，实时拍摄头盔设备I周围的场景视频并将拍摄的场景视频传输给第一信息处理单元2，摄像头5设置至少4个，分别安装于头盔设备I四周的前后左右四面，本实施例中，设置有4个摄像头5。第一信息处理单元2分别与摄像头5和显示装置3连接，接收和处理场景视频，并将处理后的场景视频发送给显示装置3，本实施例中，第一信息处理单元2将接收到的场景视频进行融合拼接，得到场景的360度全景视频，以完成对场景视频的处理。当然，第一信息处理单元2还可以有其他的功能，比如对场景中的异常情况进行分析，并根据分析的结果发出警告信号，如当有人靠近时，发出警告信号提醒设备使用者等。显示装置3与第一信息处理单元2连接，用于显示处理后的场景视频，本实施例中，显示装置3为眼镜式微型显示屏。视线追踪系统4与第一信息处理单元2连接，通过对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标(如行人)，锁定目标并进行实时跟踪。下面对视线追踪系统进行详细描述。请参阅图3所示，为本发明实施例1中人机交互装置的结构框图。本实施例中，视线追踪系统4包括红外光源41、摄像机42和第二信息处理单元43。红外光源41交替亮暗。摄像机42与第二信息处理单元43连接，拍摄人眼的亮瞳暗瞳交替视频帧并将拍摄的视频帧发送给第二信息处理单元43。第二信息处理单元43分别与摄像机42和第一信息处理单元2连接，对视频帧进行分析和处理从而实现对使用者的人眼视线追踪，并与第一信息处理单元2互动从而确定使用者选择跟踪的场景中的目标，锁定目标并进行实时跟踪。第一信息处理单元2和第二信息处理单元43均可采用微处理器实现。优选地，视线追踪系统4还包括一存储单元6。存储单元6与第二信息处理单元43连接，用于存储目标物体的特征、运动轨迹、所在区域范围以及丢失的位置和区域等目标物体的跟踪数据。视线追踪系统4的工作原理是获取使用者的眼睛瞳孔区域，提取瞳孔特征，定位使用者的视线焦点在眼镜式微型显示屏上的位置，通过使用者的眼睛动作分析对应的控制指令以锁定或解除跟踪目标，例如通过眨左眼锁定跟踪目标，眨右眼解除跟踪目标，或者眨眼一次锁定跟踪目标，眨眼两次解除跟踪目标等等，这些方式是多种多样的，可根据使用者的使用习惯而设定，此处不做限制。锁定运动的目标物体后，提取目标物体的颜色直方图、目标物体面积、形状等特征进行存储。如果锁定目标物体失败，则采用粒子滤波算法对目标物体进行实时跟踪，如果在一个摄像头下目标匹配失败、跟踪目标丢失，则视线追踪系统将对相邻摄像头的图像序列交叉区域进行融合，再次检测目标物体，检测到目标物体时，与检测到目标物体的摄像头进行匹配，重新定位跟踪目标物体，达到360度连续跟踪目标物体，记录目标物体运动轨迹及速度等参数。本实施例利用头盔设备I的可移动性，作为一种头戴式设备，使用者可将整个设备戴在头上，设备可以跟随使用者移动。通过多个摄像头5可多角度拍摄周围场景，通过眼镜式微型显示屏实时显示周围场景，因此使用者可以看到周围的不同角度的场景，通过视线追踪系统4可实现人与装置的交互(即人机交互)，人眼可自由、实时地选择需要跟踪的目标，实时锁定目标物体进行跟踪，并可以360度无盲点地进行检测、连续跟踪目标物体，跟踪丢失率低，精度高。整个装置具有非接触式人机交互、使用简单方便、便携、移动性好、跟踪范围广等优点。实施例2 本实施例与实施例1的区别在于本实施中，视线追踪系统4不具备第二信息处理单元43，实施例1中的第二信息处理单元43的功能在本实施例中通过第一信息处理单元2来实现，也即将第一信息处理单元2与第二信息处理单元43集成在一起，降低了装置的成本。其他与实施例1相同或相似的部分，此处不再赘述。请参阅图4所示，为本发明实施例2中人机交互装置的结构框图。该视线追踪系统4包括红外光源41和摄像机42。红外光源41交替亮暗。摄像机42与第一信息处理单元2连接，拍摄人眼的亮瞳暗瞳交替视频帧并将拍摄的视频帧发送给第一信息处理单元2。第一信息处理单元2对视频帧进行分析和处理从而实现对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定目标并进行实时跟踪。优选地，视线追踪系统4还包括一存储单元6。存储单元6与第一信息处理单元2连接，用于存储目标物体的特征、运动轨迹、所在区域范围以及丢失的位置和区域等目标物体的跟踪数据。实施例3 请参阅图3所示，为本发明实施例3用于目标跟踪的人机交互方法流程图。该方法可在实施例1或2的用于目标跟踪的人机交互装置上实现。该方法包括如下步骤步骤S1:实时拍摄头盔设备周围的场景视频。在本步骤中，通过多个摄像头实时拍摄头盔设备周围的场景视频，例如4个摄像头。步骤S2 :对场景视频进行处理。在本步骤中，对每一个摄像头所拍摄的视频图像序列进行场景融合拼接，得到场景的360度全景视频。步骤S3 :在显示屏上显示处理后的场景视频。在本步骤中，在眼镜式微型显示屏上显示处理后的360度全景视频。步骤S4 :通过对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定目标并进行实时跟踪。该步骤是通过实施例1或2中的视线追踪系统4完成的。下面对整个方法的详细流程进行描述。请参阅图4所示，为本发明实施例3用于目标跟踪的人机交互方法详细流程图。步骤Al :捕犾图像序列。在本步骤中，通过4个摄像头实时拍摄头盔设备周围的场景视频，捕获图像序列。步骤A2 :视频融合、显示。对每一个摄像机所捕获的图像序列进行场景融合、联接，得到场景的360度全景视频，并在眼镜式微型显示屏上显示场景视频。步骤A3 :视线追踪，判断是否锁定目标。通过视线追踪系统跟踪使用者的眼睛，获取眼睛瞳孔区域，提取眼睛参数，定位使用者的视线焦点在显示屏上的位置，并通过对使用者的眼睛动作分析对应的控制指令，判断是否锁定显示屏上待跟踪目标物体。当然，除了通过眼睛动作锁定目标物体，还可以通过眼睛动作解除目标跟踪。例如使用者可通过眨左眼锁定跟踪目标，眨右眼解除跟踪目标，或者眨眼一次锁定跟踪目标，眨眼两次解除跟踪目标等等，这些方式是多种多样的，可根据使用者的使用习惯而设定，此处不做限制。若锁定目标成功，执行步骤A4，同时返回执行步骤Al，从捕获图像序列重新开始本方法的流程；若锁定目标失败，则执行步骤A5。
步骤A4 :提取特征、存储。锁定运动的目标物体后，提取目标物体特征并存储。目标物体的特征包括颜色直方图、目标物体面积、形状等特征。步骤A5 :粒子滤波跟踪、匹配。在本步骤中，采用粒子滤波算法实时跟踪运动的目标物体，提取目标物体的特征进行匹配。步骤A6 :判断是否匹配成功。本步骤判断步骤A5是否匹配成功，若是，则更新目标物体特征，执行步骤A4，提取更新后的特征并存储，同时执行步骤A7 ;否则，执行步骤A9。步骤A7 锁定跟踪目标。当步骤A5中匹配成功时，锁定跟踪目标。步骤A8 计算目标位移、速度。在本步骤中，计算运动的目标物体位移、速度，记录其运动轨迹，更新目标物体所在区域t[!围。在执彳了完步骤A4之后，也继续执彳了步骤A5、A8。步骤A9 :与其他摄像头图像融合、跟踪、匹配。如果在一个摄像头下目标匹配失败、跟踪目标丢失，将对相邻摄像头图像序列交叉区域进行融合，检测目标运动物体，利用不同摄像头的位置关系、时间关联度进行跟踪、匹配。步骤AlO :判断是否匹配成功。在本步骤中，判断步骤A9是否匹配成功，若是，返回执行步骤A7，锁定跟踪目标；否则，执行步骤Al I。步骤Al1:跟踪丢失。如果所有摄像头的图像序列均匹配不成功，则说明目标物体跟踪丢失。步骤A12 :记录存储目标轨迹。 在本步骤中，记录目标物体的丢失位置、区域，存储目标物体的跟踪数据。本实施例通过多个摄像头可多角度拍摄周围场景，通过眼镜式微型显示屏实时显示周围场景，因此使用者可以看到周围的不同角度的场景，可实现人与装置的交互(即人机交互)，人眼可自由、实时地选择需要跟踪的目标，实时锁定目标物体进行跟踪，并可以360度无盲点地进行检测、连续跟踪目标物体，跟踪丢失率低，精度高。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种用于目标跟踪的人机交互装置，其特征在于，所述装置包括头盔设备，在所述头盔设备上设置有第一信息处理单元、显示装置、视线追踪系统和多个摄像头；所述摄像头安装于头盔设备四周并与第一信息处理单元连接，摄像头实时拍摄头盔设备周围的场景视频并将拍摄的场景视频传输给第一信息处理单元；所述第一信息处理单元分别与摄像头和显示装置连接，第一信息处理单元接收和处理所述场景视频，并将处理后的场景视频发送给显示装置；所述显示装置与第一信息处理单元连接，用于显示处理后的场景视频；所述视线追踪系统与第一信息处理单元连接，视线追踪系统通过对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定所述目标并进行实时跟踪。
2.根据权利要求1所述的装置，其特征在于，所述摄像头为至少4个，分别安装于头盔设备四周的前后左右四面。
3.根据权利要求1所述的装置，其特征在于，所述第一信息处理单元处理所述场景视频具体为所述第一信息处理单元将接收到的场景视频进行融合拼接，得到场景的360度全景视频。
4.根据权利要求1所述的装置，其特征在于，所述显示装置为眼镜式微型显示屏。
5.根据权利要求1所述的装置，其特征在于，所述视线追踪系统包括红外光源、摄像机和第二信息处理单元；所述红外光源交替亮暗；所述摄像机与第二信息处理单元连接，拍摄人眼的亮瞳暗瞳交替视频帧并将拍摄的视频帧发送给第二信息处理单元；所述第二信息处理单元分别与摄像机和第一信息处理单元连接，对所述视频帧进行分析和处理从而实现对使用者的人眼视线追踪，并与所述第一信息处理单元互动从而确定使用者选择跟踪的场景中的目标，锁定所述目标并进行实时跟踪；或者， 所述视线追踪系统包括红外光源和摄像机；所述红外光源交替亮暗；所述摄像机与第一信息处理单元连接，拍摄人眼的亮瞳暗瞳交替视频帧并将拍摄的视频帧发送给第一信息处理单元；所述第一信息处理单元对所述视频帧进行分析和处理从而实现对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定所述目标并进行实时跟踪。
6.根据权利要求5所述的装置，其特征在于，所述第一信息处理单元和第二信息处理单元采用微处理器； 所述视线追踪系统还包括一存储单元；当所述视线追踪系统包括第二信息处理单元时，所述存储单元与第二信息处理单元连接；当所述视线追踪系统不包括第二信息处理单元时，所述存储单元与第一信息处理单元连接；存储单元用于存储目标物体的特征、运动轨迹、所在区域范围以及丢失的位置和区域。
7.根据权利要求1所述的装置，其特征在于，所述第一信息处理单元还对场景中的异常情况进行分析，并根据所述分析的结果发出警告信号。
8.一种用于目标跟踪的人机交互方法，其特征在于，所述方法包括如下步骤 实时拍摄头盔设备周围的场景视频； 对所述场景视频进行处理； 在显示屏上显示处理后的场景视频； 通过对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定所述目标并进行实时跟踪。
9.根据权利要求8所述的方法，其特征在于，所述实时拍摄头盔设备周围的场景视频的步骤通过多个摄像头完成； 所述对所述场景视频进行处理的步骤具体为对每一个摄像头所拍摄的视频图像序列进行场景融合拼接，得到场景的360度全景视频。
所述在显示屏上显示处理后的场景视频的步骤具体为在眼镜式微型显示屏上显示处理后的360度全景视频。
10.根据权利要求8所述的方法，其特征在于，所述通过对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定所述目标并进行实时跟踪的步骤通过视线追踪系统完成，该步骤具体包括 跟踪使用者眼睛，提取眼睛参数，确定使用者的视线焦点在显示屏上的位置，并通过对使用者的眼睛动作分析对应的控制指令，锁定显示屏上待跟踪目标物体，提取目标物体特征并存储； 采用粒子滤波算法跟踪运动的所述目标物体，提取目标物体特征并匹配，当在一个摄像头所拍摄的图像序列中目标物体匹配成功时，锁定跟踪目标物体，更新目标物体特征，计算目标物体的位移和速度，记录目标物体的运动轨迹，更新目标物体所在区域范围； 当在一个摄像头所拍摄的图像序列中目标物体匹配不成功时，对所述摄像头相邻的摄像头所拍摄的图像序列与所述摄像头交叉的区域进行融合，当在所述相邻的摄像头检测到目标物体时，匹配成功，锁定跟踪目标物体，更新目标物体特征，计算目标物体的位移和速度，记录目标物体的运动轨迹，更新目标物体所在区域范围； 当在所有的摄像头所拍摄的图像序列中目标物体均匹配不成功时，目标物体跟踪丢失，记录目标物体丢失的位置和区域，存储目标物体的跟踪数据。
11.根据权利要求10所述的方法，其特征在于，所述目标物体为多个，所述方法还包括 通过对使用者的眼睛动作分析对应的控制指令，解除对显示屏上已跟踪目标物体的跟足示O
全文摘要
本发明涉及目标跟踪技术领域，提供了一种用于目标跟踪的人机交互装置，该装置包括头盔设备，在头盔设备上设置有第一信息处理单元、显示装置、视线追踪系统和多个摄像头；摄像头实时拍摄头盔设备周围的场景视频并将拍摄的场景视频传输给第一信息处理单元；第一信息处理单元接收和处理场景视频，并将处理后的场景视频发送给显示装置；显示装置用于显示处理后的场景视频；视线追踪系统通过对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定目标并进行实时跟踪。本发明还提供了一种用于目标跟踪的人机交互方法。本发明可自由、实时地选择需要跟踪的目标，并可以360度无盲点地进行检测、跟踪目标物体，跟踪丢失率低，精度高。
文档编号H04N7/18GK103020983SQ20121033649
公开日2013年4月3日 申请日期2012年9月12日 优先权日2012年9月12日
发明者程俊, 陶大程, 陈裕华, 姜军, 张子锐 申请人:深圳先进技术研究院