图像处理方法、个性化人体显示方法及其图像处理系统的制作方法

图像处理方法、个性化人体显示方法及其图像处理系统的制作方法
【专利摘要】提供一种图像处理方法、个性化人体显示方法及其图像处理系统。一种用于产生个性化人体模型的图像处理方法包括：A）获取包含人体对象的3D场景的深度图；B）从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；C）针对每个身体部位，根据获取的深度图计算所述身体部位在各个维度上的放缩比例；D）根据在步骤C）计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。
【专利说明】图像处理方法、个性化人体显示方法及其图像处理系统

【技术领域】
[0001] 本申请涉及一种3D人体模型个性化技术，尤其涉及一种从包括人体对象的3D场 景的深度图构建所述人体对象的人性化模型的图像处理方法、一种个性化人体显示方法以 及使用所述方法的系统。

【背景技术】
[0002] 人体模型的个性化（personal human model)是一种新的人机交互技术，这种技术 可以使得用户在增强现实（AR)中获得更加逼真的用户体验。在增强现实的场景中，系统构 建一个虚拟的物理世界让使用者置身其中，而使用者可以突破自己所处的空间和时间限制 获得系统提供的任意体验，让使用者感受到身临其境的感觉。随着增强现实应用的不断推 广，许多应用模式都需要获得用户精确的体型数据，用于实现场景中更加精细的交互体验。 而人体模型的个性化使得使用者在虚拟场景中获得更加逼真的感觉，让虚拟场景中的用户 与现实中的用户具有一样的体型、动作甚至表情，每个虚拟场景中的行为动作都能实现与 现实中的动作近乎一致的交互结果，更好地推广增强现实的应用范围。
[0003] 人体模型的个性化在增强现实中是非常具有推广需求的，如球类的运动、格斗类 游戏等，都需要获取用户的体格数据来形成对应的交互信息。而在虚拟试衣的应用模式中， 人体模型的个性化显得尤为必须。虚拟试衣是使用了增强现实来实现的一种新的服饰消费 者的购买体验方式，它既可以保留线上购买的方便快捷特点，又能实现线下购买亲身试穿 的完美商品体验。它通过一个利用增强现实实现的虚拟试衣场景来把3D的服饰加载到用 户身上，并通过体感操作形式来实现交互。而用户个性化体型数据能使得虚拟的服饰更加 合身，以获得更好的视觉效果和穿着体验。
[0004] 在增强现实中，个性化的人体模型可以使得用户获得更加精细准确的交互体验， 使得在虚拟场景中的模型与用户自身具有相同的体型体格等三维数据，如身高、臂长、胸围 等。如何在现实场景中估计出这些数据并在虚拟场景中换算成相应合理的模型数据是个性 化人体模型的主要问题。
[0005] 在用户体型数据获取中，专利W02012123346通过要求用户摆出特定的姿势，从而 拍出相应的人体二维轮廓图，在轮廓图中定义不同部位的估计数据，利用这些数据来表示 人体的不同体型。专利US20110298897则通过一个立体的摄像头阵列来扫描出一个三维度 量数据，从而完整获取人体的整个体型。
[0006] 而在虚拟场景的模型构建中，专利W02012123346和US20110298897都是通过预存 多个具有标准体型的人体模型来实现相应用户的模型个性化。将获取的用户体型数据与预 存储的所有人体模型的体型数据进行比较，提取出最近似的模型作为用户模型，实现个性 化定制。专利US20030101105则避开了用户体型获取的过程，在其描述的试衣系统中，当用 户选取了相应的服饰时，系统将选取一个最适合此服饰的体型来用作用户模型，从而实现 不同服饰的人体模型个性化。
[0007] 首先将现实场景中用户的体型数据化，然后将虚拟场景中的人体模型参数化，并 建立两组数据的一种一一对应关系，这是实现一个完整的人体模型个性化过程的主要方 法。
[0008] 在人体模型的个性化过程中，上述的多种方法都具有相应的局限性。专利 W02012123346通过人体的二维轮廓图来获取体型数据，这要求用户能摆出特定的姿势， 这附加的要求对交互体验的复杂性有所增加，而专利US20110298897采用立体摄像头阵 列来获取数据是一种非常繁琐复杂的方法。在虚拟模型构建中，专利W02012123346和 US20110298897都使用预存的特定模型，这种方法并没有实现完全的用户个性化，因为系统 存储的模型是有限的。
[0009] 专利US20030101105则是针对特定的虚拟试衣系统的应用而实现的个性化模型， 该个性化过程并没有依据人的体型来实现，方法并不具备通用性。


【发明内容】

[0010] 本发明的目的在于提供一种产生3D个性化人体模型的图像处理方法以及系统， 通过从包含人体对象的深度图提取人体对象的各个身体部位,并且对所述各个身体部位进 行个性化缩放来产生3D个性化人体模型。
[0011] 本发明的目的在于提供一种增强现实中的个性化人体显示方法以及系统，通过从 包含人体对象的深度图提取人体对象的各个身体部位，并且对所述各个身体部位进行个性 化缩放来产生3D个性化人体模型，将增强现实的虚拟场景和虚拟物体与所述个性化人体 模型进行结合并展现，从而在增强现实场景中逼真地显示人体对象。
[0012] 根据本发明的一方面，提供一种用于产生个性化人体模型的图像处理方法，所述 图像处理方法包括：A)获取包含人体对象的3D场景的深度图；B)从获取的深度图提取人 体对象的人体轮廓以及包括各个身体部位点的骨架模型；C)针对每个身体部位，根据获取 的深度图执行以下个性化处理：C-1)通过从深度图中所述身体部位的各个点的位置信息 (X，y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半 径和长度；C-2)将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何 体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相 应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第 一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的 半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间； C-3)通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放 缩比例；D)根据在步骤C)计算的各个身体部位的第一圆柱体的半径和长度以及其在各个 维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性 化人体模型。
[0013] 优选地，在步骤C-1)中，还计算表示所述第一圆柱体与标准圆柱体偏差的约束参 数，其中，值为〇的约束参数表示符合标准圆柱体。
[0014] 优选地，在步骤c-3)中，通过分别将第一截断几何体和第二截断几何体投影到某 个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面 和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在 所述投影平面各维度上的放缩比例。
[0015] 优选地，步骤D)还包括：对产生的个性化人体模型中出现不连续效果的两个相邻 身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一 放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。
[0016] 根据本发明的另一方面，提供一种用于产生个性化人体模型的图像处理系统，包 括：深度传感器，用于获取包含人体对象的3D场景的深度图；人体检测和处理单元，从获 取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；人体个性化处 理单元，用于根据获取的深度图对人体检测和处理单元提取的各个身体部位执行个性化处 理，以产生人体对象的个性化模型；其中，人体个性化处理单元首先针对每个身体部位，执 行以下处理：通过从深度图中所述身体部位的各个点的位置信息（x，y)和深度信息d拟合 出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度，将第一特征球 体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相 应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体， 其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的半径，通过第二圆 柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的比例系数使每个特 征球体的半径在其放置的圆柱体的截面半径和长度之间，通过比较第一截断几何体和第二 截断几何体来计算所述身体部位在各个维度上的放缩比例，人体个性化处理单元还根据计 算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D 标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。
[0017] 优选地，人体个性化处理单元针对每个身体部位还计算表示所述第一圆柱体与标 准圆柱体偏差的约束参数，其中，值为〇的约束参数表示符合标准圆柱体。
[0018] 优选地，人体个性化处理单元通过分别将第一截断几何体和第二截断几何体投影 到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截 断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部 位在所述投影平面各维度上的放缩比例。
[0019] 优选地，人体个性化处理单元还对产生的个性化人体模型中出现不连续效果的两 个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位 的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。
[0020] 根据本发明的另一方面，提供一种增强现实中的个性化人体显示方法，所述方法 包括：A)通过与用户交互确定增强现实的虚拟场景和虚拟物体；B)获取包含人体对象的3D 场景的深度图；C)从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨 架模型；D)针对每个身体部位，根据获取的深度图执行以下个性化处理：通过从深度图中 所述身体部位的各个点的位置信息（x，y)和深度信息d拟合出所述身体部位的第一圆柱体 的曲面来计算所述第一圆柱体的半径和长度，将第一特征球体置于所述身体部位的第一圆 柱体中以产生第一截断几何体，并且将第二特征球体置于相应于选择的性别的3D标准人 体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，第一特征球体 的半径通过第一圆柱体的长度乘以一个比例系数而得。同理第二特征球体的半径也通过第 二圆柱体的长度乘以一个比例系数而得。该两个比例系数必须相同，并且该比例系数应该 选取以保证每个特征球体的半径在其放置的圆柱体的截面半径和长度之间，通过比较第一 截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例，E)根据在步 骤D)计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对 所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型；F)加载确 定的虚拟物体和虚拟场景，并且在虚拟场景中使用所述人体对象的个性化人体模型生成虚 拟物体与所述人体对象结合的虚拟图像；G)输出生成的虚拟图像。
[0021] 优选地，在步骤D)中，还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数， 其中，值为〇的约束参数表示符合标准圆柱体。
[0022] 优选地，在步骤D)中，通过分别将第一截断几何体和第二截断几何体投影到某个 共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和 第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所 述投影平面各维度上的放缩比例。
[0023] 优选地，步骤E)还包括：对产生的个性化人体模型中出现不连续效果的两个相邻 身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一 放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。
[0024] 优选地，所述3D标准人体模型还标注有包括各个身体部位的控制点，在步骤E)中 产生的个性化人体模型也携带各个身体部位的控制点，并且在步骤F)中，根据所述身体部 位的控制点将虚拟物体与产生的个性化人体模型结合。
[0025] 优选地，步骤C)还包括：从获取的深度图检测人体对象的位置以及姿态。
[0026] 优选地，在步骤F)中，还根据在检测到的人体对象的位置并且以检测的姿态生成 虚拟物体与所述人体对象结合的虚拟图像。
[0027] 优选地，步骤B)还包括：获取所述3D场景的彩色图像，步骤C)还包括：从获取的 彩色图像检测人体对象各个部位的色彩特征，在步骤F)中，还根据检测的各个部位的色彩 特征在获取的彩色图像的场景或虚拟场景中生成虚拟物体与所述人体对象结合的虚拟图 像。
[0028] 优选地，所述的个性化人体显示方法还包括：对生成的虚拟图像进行渲染，以生成 视觉合理的虚拟场景图像。
[0029] 根据本发明的另一方面，提供一种增强现实中执行个性化人体显示的图像处理系 统，包括：输出/输出单元，用于通过与用户交互接收增强现实的虚拟场景和虚拟物体，并 且输出虚拟物体和人体对象结合的虚拟图像；深度传感器，用于获取包含人体对象的3D场 景的深度图；人体检测和处理单元，用于从获取的深度图提取人体对象的人体轮廓以及包 括各个身体部位点的骨架模型；人体个性化处理单元，用于根据获取的深度图对人体检测 和处理单元提取的各个身体部位执行个性化处理，以产生人体对象的个性化模型；虚拟场 景加载单元，用于加载确定的虚拟物体和虚拟场景，并且在虚拟场景中使用所述人体对象 的个性化人体模型生成虚拟物体与所述人体对象结合的虚拟图像；其中，人体个性化处理 单元首先针对每个身体部位，执行以下处理：通过从深度图中所述身体部位的各个点的位 置信息（x，y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱 体的半径和长度，将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何 体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相 应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第 一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的 半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间， 通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比 例，人体个性化处理单元还根据计算的各个身体部位的第一圆柱体的半径和长度以及其在 各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的 个性化人体模型。
[0030] 优选地，人体个性化处理单元针对每个身体部位还计算表示所述第一圆柱体与标 准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。
[0031] 优选地，人体个性化处理单元通过分别将第一截断几何体和第二截断几何体投影 到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截 断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部 位在所述投影平面各维度上的放缩比例。
[0032] 优选地，人体个性化处理单元还对产生的个性化人体模型中出现不连续效果的两 个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位 的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。
[0033] 优选地，所述3D标准人体模型还标注有包括各个身体部位的控制点，人体个性化 处理单元产生的个性化人体模型也携带各个身体部位的控制点，并且虚拟场景加载单元根 据所述身体部位的控制点将虚拟物体与产生的个性化人体模型结合。
[0034] 优选地，人体检测和处理单元还从获取的深度图检测人体对象的位置以及姿态。
[0035] 优选地，虚拟场景加载单元还根据在检测到的人体对象的位置并且以检测的姿态 生成虚拟物体与所述人体对象结合的虚拟图像。
[0036] 优选地，所述的图像处理系统还包括：光感传感器，用于获取所述3D场景的彩色 图像，其中，人体检测和处理单元还从获取的彩色图像检测人体对象各个部位的色彩特征， 虚拟场景加载单元还根据检测的各个部位的色彩特征在获取的彩色图像的场景或虚拟场 景中生成虚拟物体与所述人体对象结合的虚拟图像。
[0037] 优选地，所述的图像处理系统还包括：渲染单元，用于对生成的虚拟图像进行渲 染，以生成视觉合理的虚拟场景图像。

【专利附图】

【附图说明】
[0038] 通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清 楚，其中：
[0039] 图1是示出分别通过光学传感器和深度传感器获得的人体轮廓的示意图；
[0040] 图2示意性地示出根据本发明的示例性实施例产生的个性化人体模型的粗度标 示；
[0041] 图3是示出根据本发明的示例性实施例的产生个性化人体模型的图像处理方法 的流程图；
[0042] 图4是示出根据本发明的示例性实施例的增强现实中的个性化人体显示方法的 流程图；
[0043] 图5和图6是示出根据本发明的示例性实施例对身体部位的表示以及放缩比例的 计算的示意图；
[0044] 图7是示出人体各个部位的个性化处理后出现的蒙皮不自然过渡的示意图； [0045] 图8和图9是示出根据本发明的示例性实施例的对相邻部位执行平滑处理的示意 图；
[0046] 图10是示出根据本发明的示例性实施例的图像处理系统的逻辑框图。

【具体实施方式】
[0047] 以下，将参照附图来详细说明本发明的实施例。
[0048] 3D场景的深度图是指场景的二维像素矩阵表示，其中每个像素分别对应于场 景中的一个位置，并且分别具有指示从某一参考位置到各场景位置的距离的像素值。因 此，深度图表达的是场景中目标的形貌信息，而不是亮度和/或色彩。PCT国际申请 W02007/043035A1中公开了一种产生场景的深度图的方法。可使用深度图来分割出场景中 的物体。图1分别示出通过光学传感器和深度传感器获得的人体轮廓。
[0049] 本发明提供一种通过包含人体对象的3D场景的深度图对所述人体对象的各个部 位进行个性化定制，以产生个性化的人体模型的图像处理方法。在所述图像处理方法中，将 每个人体部位看作是一个圆柱体或接近圆柱体，对于从所述3D场景的深度图提取的每个 身体部位拟合出所述身体部位的圆柱体曲面来计算器半径和长度，并且针对提取的每个身 体部位以及预存的标准人体模型的相应部位计算特征球体，分别置于所述身体部位中，以 计算所述身体部位的放缩比例，从而对标准人体模型进行个性化定制。图2示意性地示出 根据本发明的示例性实施例产生的个性化人体模型的粗度标示。本发明还提供使用上述 技术的增强现实中的个性化人体显示方法。本发明还提供一种使用所述方法的图像处理系 统。
[0050] 图3是示出根据本发明的示例性实施例的产生个性化人体模型的图像处理方法 的流程图。
[0051] 参照图3,在步骤S310,图像处理系统获取包含人体对象的3D场景的深度图。
[0052] 在步骤S320,图像处理系统从获取的深度图提取人体对象的人体轮廓以及包括各 个身体部位点的骨架模型。
[0053] 在步骤S330,图像处理系统对提取的各个身体部位计算各个维度上的放缩比例。
[0054] 首先，图像处理系统针对提取的每个身体部位，根据获取的深度图执行以下个性 化处理：
[0055] 1、通过从深度图中所述身体部位的各个点的位置信息（X，y)和深度信息d拟合出 所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度。
[0056] 具体地，使用圆柱体cylinder(r，h)表示人体的每个部位，其中r为圆柱体的半 径，h为圆柱体的长度。而对于某些与圆柱体特性相差较远的人体部位如躯干、头部等，计 算表示所述圆柱体与标准圆柱体偏差的约束参数，表示为cylinder (r, h, a)，其中，a为约 束参数，其中，值为〇的约束参数表示符合标准圆柱体。恢复人体体型即对人体每个部位的 参数r、h以及a的测量。从深度图像可以获取人体表面的点阵信息，每一点可用p (X，y，d) 表示，其中（x，y)为人体点的位置信息，而d表示人体点的深度信息，从而表示出人体点在 三维空间中的位置信息。同一个部位的点阵满足以下关系：cylinder (r, h, a)=p_i (X，y, d), 其中，0 < i < N，N为这一部位的表面点数量。通过所有点的位置信息组成的方程组拟合 出圆柱体型曲面，计算出相应的参数。这里，将为提取的每个身体部位拟合出的圆柱体称 为第一圆柱体。通过所有点的位置信息组成的方程组拟合出圆柱体型曲面，计算出相应的 参数。由于立体物体的平面投影问题，对于人体部位只能获取一个投影面的表面点，拟合出 的结果如图5中的"表面"所示，只有圆柱体的一小部分表面点；通过计算出的半径及长度 参数则可以完全恢复出一个圆柱体型，如图5中的"完整形状"所示。
[0057] 2、将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并 且将第二特征球体置于相应性别的3D标准人体模型中相应部位的
[0058] 第二圆柱体的相应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘 以预定的比例系数求得第一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例 系数求得第二特征球体的半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体 的截面半径和长度之间。也就是说，通过使用相同的比例系数来分别求得两个特征球体的 半径，以计算每个身体部位的缩放比例。这里，每个特征球体的半径R满足以下条件：
[0059] R (圆柱体）〈R (特征球体）〈H (圆柱体），
[0060] 其中，R(圆柱体）为圆柱体的截面半径，Η(圆柱体）为圆柱体的长度。
[0061] 假设cylinderl和cylinder2分别为第一圆柱体和第二圆柱体，spherel和 sphere2分别为第一特征球体和第二特征球体。当分别确定了第一特征球体和第二特征球 体后，分别将各特征球体置于相应的圆柱体内以产生相应的截断几何体：
[0062] cylinderl&spherel=truncationl
[0063] cylinder2&sphere2=truncation2
[0064] 其中，truncationl和truncation2分别为第一截断几何体第二截断几何体，&表 示几何体的相交截断过程。
[0065] 3、通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度 上的放缩比例。可使用不同方法对两个截断几何体进行比较。
[0066] 根据本发明的示例性实施例，通过分别将第一截断几何体和第二截断几何体投影 到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截 断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部 位在所述投影平面各维度上的放缩比例。
[0067]

【权利要求】
1. 一种用于产生个性化人体模型的图像处理方法，所述图像处理方法包括： A) 获取包含人体对象的3D场景的深度图； B) 从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型； C) 针对每个身体部位，根据获取的深度图执行以下个性化处理： C-1)通过从深度图中所述身体部位的各个点的位置信息（x，y)和深度信息d拟合出所 述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度； C-2)将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且 将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以 产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球 体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选 取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间； C-3)通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上 的放缩比例； D) 根据在步骤C)计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度 上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人 体模型。
2. 如权利要求1所述的图像处理方法，其特征在于，在步骤C-1)中，还计算表示所述第 一圆柱体与标准圆柱体偏差的约束参数，其中，值为〇的约束参数表示符合标准圆柱体。
3. 如权利要求2所述的图像处理方法，其特征在于，在步骤C-3)中，通过分别将第一截 断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断 面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别 估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。
4. 如权利要求3所述的图像处理方法，其特征在于，步骤D)还包括：对产生的个性化 人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分 别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对所述两 个相邻身体部位进行放缩。
5. -种用于产生个性化人体模型的图像处理系统，包括： 深度传感器，用于获取包含人体对象的3D场景的深度图； 人体检测和处理单元，从获取的深度图提取人体对象的人体轮廓以及包括各个身体部 位点的骨架模型； 人体个性化处理单元，用于根据获取的深度图对人体检测和处理单元提取的各个身体 部位执行个性化处理，以产生人体对象的个性化模型； 其中，人体个性化处理单元首先针对每个身体部位，执行以下处理： 通过从深度图中所述身体部位的各个点的位置信息（x，y)和深度信息d拟合出所述身 体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度， 将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第 二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生 第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的 半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的 比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间， 通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放 缩比例， 人体个性化处理单元还根据计算的各个身体部位的第一圆柱体的半径和长度以及其 在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象 的个性化人体模型。
6. 如权利要求5所述的图像处理系统，其特征在于，人体个性化处理单元针对每个身 体部位还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参 数表示符合标准圆柱体。
7. 如权利要求6所述的图像处理系统，其特征在于，人体个性化处理单元通过分别将 第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第 一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根 据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。
8. 如权利要求7所述的图像处理系统，其特征在于，人体个性化处理单元还对产生的 个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩 比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对 所述两个相邻身体部位进行放缩。
9. 一种增强现实中的个性化人体显示方法，所述方法包括： A) 通过与用户交互确定增强现实的虚拟场景和虚拟物体； B) 获取包含人体对象的3D场景的深度图； C) 从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型； D) 针对每个身体部位，根据获取的深度图执行以下个性化处理： 通过从深度图中所述身体部位的各个点的位置信息（x，y)和深度信息d拟合出所述身 体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度， 将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第 二特征球体置于相应于选择的性别的3D标准人体模型中相应部位的第二圆柱体的相应位 置以产生第二截断几何体，其中，第一特征球体的半径通过第一圆柱体的长度乘以一个比 例系数而得。同理第二特征球体的半径也通过第二圆柱体的长度乘以一个比例系数而得。 该两个比例系数必须相同，并且该比例系数应该选取以保证每个特征球体的半径在其放置 的圆柱体的截面半径和长度之间， 通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放 缩比例， E) 根据在步骤D)计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度 上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人 体模型； F) 加载确定的虚拟物体和虚拟场景，并且在虚拟场景中使用所述人体对象的个性化人 体模型生成虚拟物体与所述人体对象结合的虚拟图像； G) 输出生成的虚拟图像。
10. 如权利要求9所述的个性化人体显示方法，其特征在于，在步骤D)中，还计算表示 所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆 柱体。
11. 如权利要求10所述的个性化人体显示方法，其特征在于，在步骤D)中，通过分别将 第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第 一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根 据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。
12. 如权利要求11所述的个性化人体显示方法，其特征在于，步骤Ε)还包括：对产生 的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放 缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来 对所述两个相邻身体部位进行放缩。
13. 如权利要求12所述的个性化人体显示方法，其特征在于，所述3D标准人体模型还 标注有包括各个身体部位的控制点，在步骤Ε)中产生的个性化人体模型也携带各个身体部 位的控制点，并且在步骤F)中，根据所述身体部位的控制点将虚拟物体与产生的个性化人 体模型结合。
14. 如权利要求13所述的个性化人体显示方法，其特征在于，步骤C)还包括：从获取 的深度图检测人体对象的位置以及姿态。
15. 如权利要求14所述的个性化人体显示方法，其特征在于，在步骤F)中，还根据在检 测到的人体对象的位置并且以检测的姿态生成虚拟物体与所述人体对象结合的虚拟图像。
16. 如权利要求9-15中任一项所述的个性化人体显示方法，其特征在于， 步骤Β)还包括：获取所述3D场景的彩色图像， 步骤C)还包括：从获取的彩色图像检测人体对象各个部位的色彩特征， 在步骤F)中，还根据检测的各个部位的色彩特征在获取的彩色图像的场景或虚拟场景 中生成虚拟物体与所述人体对象结合的虚拟图像。
17. 如权利要求16所述的个性化人体显示方法，还包括：对生成的虚拟图像进行渲染， 以生成视觉合理的虚拟场景图像。
18. -种增强现实中执行个性化人体显示的图像处理系统，包括： 输出/输出单元，用于通过与用户交互接收增强现实的虚拟场景和虚拟物体，并且输 出虚拟物体和人体对象结合的虚拟图像； 深度传感器，用于获取包含人体对象的3D场景的深度图； 人体检测和处理单元，用于从获取的深度图提取人体对象的人体轮廓以及包括各个身 体部位点的骨架模型； 人体个性化处理单元，用于根据获取的深度图对人体检测和处理单元提取的各个身体 部位执行个性化处理，以产生人体对象的个性化模型； 虚拟场景加载单元，用于加载确定的虚拟物体和虚拟场景，并且在虚拟场景中使用所 述人体对象的个性化人体模型生成虚拟物体与所述人体对象结合的虚拟图像； 其中，人体个性化处理单元首先针对每个身体部位，执行以下处理： 通过从深度图中所述身体部位的各个点的位置信息（x，y)和深度信息d拟合出所述身 体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度， 将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第 二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生 第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的 半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的 比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间， 通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放 缩比例， 人体个性化处理单元还根据计算的各个身体部位的第一圆柱体的半径和长度以及其 在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象 的个性化人体模型。
19. 如权利要求18所述的图像处理系统，其特征在于，人体个性化处理单元针对每个 身体部位还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束 参数表示符合标准圆柱体。
20. 如权利要求19所述的图像处理系统，其特征在于，人体个性化处理单元通过分别 将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成 第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且 根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。
21. 如权利要求20所述的图像处理系统，其特征在于，人体个性化处理单元还对产生 的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放 缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来 对所述两个相邻身体部位进行放缩。
22. 如权利要求21所述的图像处理系统，其特征在于，所述3D标准人体模型还标注有 包括各个身体部位的控制点，人体个性化处理单元产生的个性化人体模型也携带各个身体 部位的控制点，并且虚拟场景加载单元根据所述身体部位的控制点将虚拟物体与产生的个 性化人体模型结合。
23. 如权利要求22所述的图像处理系统，其特征在于，人体检测和处理单元还从获取 的深度图检测人体对象的位置以及姿态。
24. 如权利要求23所述的图像处理系统，其特征在于，虚拟场景加载单元还根据在检 测到的人体对象的位置并且以检测的姿态生成虚拟物体与所述人体对象结合的虚拟图像。
25. 如权利要求18-24中任一项所述的图像处理系统，还包括：光感传感器，用于获取 所述3D场景的彩色图像， 其中，人体检测和处理单元还从获取的彩色图像检测人体对象各个部位的色彩特征， 虚拟场景加载单元还根据检测的各个部位的色彩特征在获取的彩色图像的场景或虚拟场 景中生成虚拟物体与所述人体对象结合的虚拟图像。
26. 如权利要求25所述的图像处理系统，还包括：渲染单元，用于对生成的虚拟图像进 行渲染，以生成视觉合理的虚拟场景图像。
【文档编号】G06T15/00GK104103090SQ201310115985
【公开日】2014年10月15日 申请日期:2013年4月3日 优先权日:2013年4月3日
【发明者】毛文涛, 郭荣伟, 文永秀, 赵程昱, 金智渊 申请人:北京三星通信技术研究有限公司, 三星电子株式会社