估计附着物体的人体姿势的设备和方法
【技术领域】
[0001]本申请涉及一种图像处理设备和方法，更具体地讲，涉及一种用于估计附着物体的人体姿势的设备和方法。
【背景技术】
[0002]随着计算机视觉技术的发展，人们可针对真实3D空间或虚拟3D空间中显示的对象进行交互操作。在进行这种交互操作时，需要对所述显示的对象进行自然的非接触式遥控。此时，人体本身(例如，头部、手部/手指/臂、躯干或整个身体)可用作进行控制的实体，从而通过身体部位在真实场景中的各种动作对显示的对象进行操作。在这种情况下，可利用深度相机拍摄现场图像或视频，基于深度图像数据估计出人体的姿势，借此分析出用户的意图，从而不需要借助于鼠标、键盘、操纵杆或触摸屏等也能够操纵在虚拟3D空间或真实3D空间中显示的对象。此外，在许多其它的应用场景下也需要识别人体的姿势。
[0003]现有研究的人体姿势估计方法大致可以分为以下两类:
[0004]1、基于样本匹配的方法
[0005]该方法先建立姿势数据库，然后把测试图像的人体和数据库中的样本进行匹配，从而估计出测试图像中的人体姿势。例如，公开号为US20100278384、标题为“Human bodypose estimat1n”的美国专利申请即采用了这类方法。这类算法对数据库的依赖性很强，为了处理各种姿势，需要非常大的数据库，但是随着数据库的变大，检测的速度也会变慢。此外，对于数据库中没有出现过的姿势，很难准确估计。
[0006]2、基于姿势推理的方法
[0007]通常，这类方法先对图像中的每个像素或者像素区域进行分类，比如说分成头、胳膊、腿、躯干等等类别，也可以称为人体部件的检测。然后在分类或检测的基础上，结合人体模型、运动信息、人体先验知识等，推理出最终的人体姿势。这类方法通常先把人体区域从背景中分割出来，以避免场景变化对人体姿势的影响。在人体部件检测中，可以对图像的像素进行分类，也可以采用了其他特征检测人体部件，比如说骨架线、末端点等等。这类算法速度快，推广性和鲁棒性强。
[0008]然而，针对身体附有道具的情况，现有技术的人体姿势估计技术存在如下问题。首先，仅仅根据深度信息无法把道具和人体分割开来；其次，由于姿势和物体的多样性，没有有效特征可以把人体和道具分割出来；另外，根据人体模型或者人体姿势的先验知识，很难有效去除道具的影响。因此，需要一种在人体附着有物体、道具的情况下正确地估计人体姿势的方法和装置。
【发明内容】
[0009]根据本发明的一方面，提供了一种用于估计附着物体的人体姿势的设备，包括:部件检测单元，从输入图像中检测人体前景区域中的人体部件的位置；附着物体检测单元，参考从输入图像中检测出的人体部件的位置中的可靠人体部件的位置来检测附着物体区域，其中，可靠人体部件表示人体中不容易发生大幅度位置变化的部件；检测优化单元，从人体前景区域去除附着物体检测单元检测到的附着物体区域以得到准确的人体部件区域；姿势推理单元，根据检测优化单元的检测结果得到输入图像的人体姿势。
[0010]根据本发明的一方面，部件检测单元包括:人体前景提取单元，将输入图像中的人体前景区域从背景区域分离；人体部件检测单元，从人体前景提取单元提取的人体前景区域中检测人体部件的可能区域，并从人体部件的可能区域中得到人体部件的位置。
[0011]根据本发明的一方面，附着物体检测单元包括:可靠部件位置确定单元，确定人体部件的位置中的可靠人体部件的位置；测地距计算单元，以可靠人体部件的位置作为参考位置，计算人体前景区域中的人体前景像素到可靠人体部件的位置的测地距；附着物体种子点计算单元，根据人体前景像素的测地距和预设的附着物体的人体部件位置相对于可靠人体部件的测地距的阈值，从人体前景像素中确定附着物体种子区域；候选区域生成单元，基于附着物体种子区域进行区域生长，以得到附着物体的候选区域；附着物体区域识别单元，从附着物体的候选区域中识别最终的附着物体区域。
[0012]根据本发明的一方面，候选区域生成单元在保证相邻像素的深度连续性的情况下进行区域生长，其中，用于确定深度连续性的阈值根据应用场景和摄像机捕捉数据的精度而设定。
[0013]根据本发明的一方面，附着物体识别单元通过从附着物体的候选区域中去除噪声区域，对去除噪声区域后的候选区域执行区域合并，基于预定规则对合并后的候选区域进行评价来确定最终附着物体区域。
[0014]根据本发明的一方面，附着物体识别单元通过去除面积在预定范围之外的候选区域来去除噪声区域。
[0015]根据本发明的一方面，附着物体识别单元将由于物体遮挡或运动模糊而造成深度不连续的多个候选区域合并为同一个候选区域。
[0016]根据本发明的一方面，附着物体识别单元考虑候选区域的位置信息、深度信息、与周围像素的深度对比度信息和关于附着物体的先验知识中的至少一项来评价候选区域。
[0017]根据本发明的一方面，附着物体是手持物体，可靠人体部件是肩部。
[0018]根据本发明的另一方面，提供了一种用于估计附着物体的人体姿势的方法，包括:从输入图像中检测人体前景区域中的人体部件的位置；参考从输入图像中检测出的人体部件的位置中的可靠人体部件的位置来检测附着物体区域，其中，可靠人体部件表示人体中不容易发生大幅度位置变化的部件；从人体前景区域去除附着物体检测单元检测到的附着物体区域以得到准确的人体部件区域；根据检测优化单元的检测结果得到输入图像的人体姿势。
[0019]根据本发明的另一方面，从输入图像中检测人体部件的位置的步骤包括:将输入图像中的人体前景区域从背景区域分离；从提取的人体前景区域中检测人体部件的可能区域，并从人体部件的可能区域中得到人体部件的位置。
[0020]根据本发明的另一方面，检测附着物体区域的步骤包括:确定人体部件的位置中的可靠人体部件的位置；以可靠人体部件的位置作为参考位置，计算人体前景区域中的人体前景像素到可靠人体部件的位置的测地距；根据人体前景像素的测地距和附着物体的人体部件位置相对于预设的可靠人体部件的测地距的阈值，从人体前景像素中确定附着物体种子区域；基于附着物体种子区域进行区域生长，以得到附着物体的候选区域；从附着物体的候选区域中识别最终的附着物体区域。
[0021]根据本发明的另一方面，基于附着物体种子区域进行区域生长的步骤包括:在保证相邻像素的深度连续性的情况下进行区域生长，其中，用于确定深度连续性的阈值根据应用场景和摄像机捕捉数据的精度而设定。
[0022]根据本发明的另一方面，从附着物体的候选区域中识别最终的附着物体区域的步骤包括:从附着物体的候选区域中去除噪声区域；对去除噪声区域后的候选区域执行区域合并；基于预定规则对合并后的候选区域进行评价来确定最终附着物体区域。
[0023]根据本发明的另一方面，执行去除噪声区域包括:通过去除面积在预定范围之外的候选区域来去除噪声区域。
[0024]根据本发明的另一方面，执行区域合并包括:将由于物体遮挡或运动模糊而造成深度不连续的多个候选区域合并为同一个候选区域。
[0025]根据本发明的另一方面，基于预定规则对合并后的候选区域进行评价包括:考虑候选区域的位置信息、深度信息、与周围像素的深度对比度信息和关于附着物体的先验知识中的至少一项来评价候选区域。
[0026]根据本发明的另一方面，附着物体是手持物体，可靠人体部件是肩部。
[0027]根据本发明的另一方面，提供了一种人体姿势估计设备，包括:普通人体姿势估计模块，用于在普通人体姿势估计模式下估计人体姿势；附着物体人体姿势估计模块，用于在附着物体人体姿势估计模式下估计人体姿势；模式设置模块，根据输入图像的特性来自动将人体姿势估计设备设置为在普通人体姿势估计模式和附着物体人体姿势估计模式中的一个下操作，其中，模式设置模块检测输入图像中的人体前景区域的成对的末端点，计算成对的末端点相对其各自对应的可靠部件位置的测地距，并在成对的末端点相对其各自对应的可靠部件位置的测地距之差超过阈值时，确定采用附着物体人体姿势估计模式来估计输入图像中的人体姿势。
[0028]根据本发明的另一方面，附着物体人体姿势估计模块包括前述的用于估计附着物体的人体姿势的设备。
[0029