基于De序列混合编码的目标物体深度信息获取方法
【专利摘要】本发明公开了一种基于De序列混合编码的目标物体深度信息获取方法，主要解决现有三帧相移方法中相位展开问题。其实现步骤为：1)设计需要投射的三张De序列混合编码模板T1、T2、T3；2)将三张混合模板图像依次投射到目标物体上；3)采集由三张混合模板照亮目标后的形变图像并传回至计算机解码，得到截断相位φ；4)从形变图像计算得到形变后的De序列图案并对其解码，得到φ的延拓周期数n；5)根据延拓周期数n对φ进行相位延拓，获得连续的相位值；6)对相位值进行求解，得到目标物体的深度信息；本发明鲁棒性强、测量精度和分辨率高、处理耗时少，可用于人机交互、医疗应用、逆向工程、文物重建。
【专利说明】
基于De序列混合编码的目标物体深度信息获取方法
技术领域
[0001 ]本发明属于深度测量技术领域，主要涉及一种目标物体深度信息的获取方法，可 用于人机交互、医疗应用、逆向工程、文物重建、自动导航等领域。
【背景技术】
[0002] 人类发展的过程也是对世界认知的过程，在人类对外部世界认知的过程中，主要 是通过视觉、触觉、听觉、嗅觉等感官来获取外部世界的信息，而这些信息中有80%以上是 通过视觉获得的。因此，通过视觉获得信息是人类认识外部世界的主要方式。随着计算机视 觉和工业水平的发展，传统的二维图像已不能满足人们的认知需求。深度信息，反映了物体 表面的三维信息，大大提高了人们认识和理解真实世界物体复杂性的能力，因此，深度信息 得到了越来越多的应用。
[0003] 深度信息获取方法在经过数十年的研究已取得很大进展，在已有方法中，根据测 量时是否接触被测物体一般分为接触式和非接触式两种测量方法。接触式测量方法是通过 物理接触被测物体的表面来感知物体的深度信息，具体的实现方法如坐标测量机等。由于 该方法在测量时必须接触被测物体，因此很容易改变或破坏被测物体的表面，甚至损坏被 测物体，这对贵重的物品或历史文物的测量中将无法使用。而且该方法对硬件要求高、速率 低、使用不方便，往往只能得到少数特征点的深度信息，因此重点讨论非接触式方法。非接 触式测量方法不需要与被测量物体直接接触，而是主要通过光学图像的处理来获得被测物 体的深度信息，故该方法可以避免接触式测量方法中的缺点。
[0004] 非接触式方法的测量速度快，分辨率高，已成为现阶段获取三维信息的一个重要 研究方法。利用该方法在进行测量的过程中，根据场景中光源的光照形式定义为两种类型： 主动式测量和被动式测量。主动式测量方法需要通过光源向被测场景中投射特定的编码模 板，被动式测量方法则对光源没有严格要求，只需要自然光条件下基于一幅或多幅图像进 行深度数据获取。
[0005] 被动式测量方法是当前深度测量领域中研究和应用比较广泛的一种三维深度数 据获取方法。被动式测量方法仅由环境光提供照明，在被测物体表面产生反射，不需要额外 添加可控光源，由一个或多个摄像机从不同角度获得二维图像，并利用特定算法提取拍摄 场景的三维数据信息。被动式测量方法对成像设备要求不高，不需要额外光源，而且操作 简便，容易实现。但是由于场景中缺少编码信息，对于不存在明显特征的图像，该方法计算 量大，处理耗时，匹配精度低，难以获得高精度实时的测量结果。同时由于该方法对环境光 比较敏感，受周围环境影响较大，应用范围受到限制。但是由于不需要额外光源使该方法具 有应用范围广的优点，该方法不仅能应用于室内小场景的深度测量，也可以用于室外大场 景的深度数据获取，目前常用的被动式测量方法有立体视觉法、单目视觉法、阴影测量法 等。
[0006] 主动式测量方法与被动式测量方法不同，在主动测量中通常使用额外光源向待测 场景中投射一定的模板图像，并通过待测场景中物体表面调制形成相应的形变信息，通过 摄像机获得的场景图像进行解码得到待测物体的深度数据。这种测量方法相比于被动式方 法增加了场景中可以提取的信息，具有较高的测量精度。测量精度与实时是一对矛盾，很难 同时满足。根据测量原理不同，主动式测量方法主要包括激光扫描法、飞行时间法和结构光 在众多主动式测量方法中，结构光法具有结构简单、测量精确等优点，其中的三帧相移法测 量获得的深度数据可以和真实深度数据相媲美。但是由于三帧相移法中采用传统的洪水法 进行相位解缠绕，使得整个三帧相移法的处理过程很耗时。因此传统的三帧相移法只适合 静态场景的深度获取，而很难应对动态场景的深度获取。
【发明内容】
[0007] 本发明的目的在于这对上述现有技术的不足，提出一种基于De序列混合编码的目 标物体深度?目息获取方法，以解决传统二帧相移中的相位解缠绕问题，提尚在动态场景下 获取深度信息的分辨率和精确度以及速度。
[0008] 本发明的技术方案是：对已有的三帧相移法进行改进，在三张正弦模板中加入相 同的De序列模板从而生成一种新的混合模板，使用投影仪将生成的混合模板投射到实际场 景中，相机拍摄被混合模板照射后的场景，根据拍摄到的场景的变形条纹图案从而求解出 每个像素点的截断相位，并利用De序列编码信息对截断相位进行相位延拓，得到每个像素 点在模板中匹配点的位置坐标，进而获得物体的深度信息。其实现步骤包括如下：
[0009] (1)设计需要投射的三张 De序列混合编码模板T1、Τ2、Τ3:
[0010] la)设计三张正弦相位模板/?/ν，计算每一张正弦相位模板中每个像素点的 灰度值：
[0011]
[0012]其中m=l，2,3，A为直流分量，B为振幅，T为正弦条纹的周期，每张正弦相位模板中 的初始相位分别）
[0013] Ib)设计De序列模板Id，计算De序列模板中每个像素点ID(x，y)的灰度值：
(x，y)点处为0基元
[001^ 以，；7)点处为1基元
[0015]其中T为la)中正弦条纹的周期，N为De序列编码中像素灰度值的最大值，De序列由 基元0和基元1组成，基元0在一个周期中表示成一个线性递增函数，基元1在一个周期中表 示成一个线性递减函数；
[0016] Ic)设计三张混合模板Tm，计算每张混合模板中每个像素点Tm(x，y)的灰度值：
[0017] = (χ,χ)+ Ιη(Λ\γ),
[0018] 其中!11=1，2,3，1?&，5〇由两部分构成，其中/,,,(.^')表示正弦相位模板中像素点 的像素值，I D(x，y)表示De序列模板中像素点的像素值；
[0019] (2)将投影仪P与摄像机C水平放置，并使两者光轴平行，用投影仪P将混合模板图 像T1、T2、T3依次投射到目标物体上；
[0022]其中m=l，2,3, i(x，j;)为形变图案t的直流分量，i_，：K)c〇s[>(Xv) + ^J形变图案
[0020] (3)相机同步采集由混合模板Tm照亮目标后的图像&中每个像素点(x，y)处的灰度 值为：
[0021] t的交流分量。
[0023] (4)计算截断相位图Φ中每个像素点的截断相位Φ (x，y):
[0024]
[0025] (5)计算畸变后De序列编码中周期数η;
[0026] (6)根据步骤（4)和（5)的结果，计算绝对相位图W中每个像素点的绝对相位
[0027] = φ(Λ\ν) + 2πη{χ. v)；
[0028] (7)根据三角测距原理与(6)中获得的绝对相位图f，计算目标物体三维深度图Z。
[0029] 本发明与现有技术相比具有以下优点：
[0030] 第一，本发明对传统的三帧相移法进行改进，不需要增加模板的数量和额外的物 理设备即可提高相位延拓的计算速度，实现简单。
[0031] 第二，本发明所述的混合编码方法结合了相移编码和De序列编码，得益于De序列 的性质，巧妙的解决了相位延拓的二义性，并且保证了深度信息获取的准确性和高分辨率。 [0032]第三，本发明中对每个像素点的处理步骤、流程都一样，而且互不相关，因此可以 通过GPU实现并行计算。
【附图说明】
[0033]图1为本发明使用的系统组成图；
[0034]图2为本发明的实现流程图；
[0035]图3为本发明中设计的三幅De序列混合编码模板；
[0036] 图4为本发明中求解的截断相位图；
[0037] 图5为本发明中得到的De序列解码图；
[0038]图6为用本发明获得的目标物体的深度图和三维重构图。
【具体实施方式】
[0039] 本发明是对传统相移法的改进，不需要增加额外的测量设备和测量步骤。以下参 照附图对本发明作进一步详细描述。
[0040] 参照图1，本发明使用的三维扫描系统包括:待测量的目标物体、投影仪P和相机C。 投影仪P将设计好的混合模板投射到目标物体上，相机C同步拍摄由模板照亮后的目标，并 将图像数据传送至计算机。
[0041 ]参照图2，本发明的实现步骤如下：
[0042] 步骤1、设计需要投射的三张 De序列混合编码模板T1J2J3d
[0043] la)设计三张正弦相位模板&,计算每一张正弦相位模板中每个像素点 的灰度值：
[0044]
[0045]其中m=l，2,3，A为直流分量，B为振幅，T为正弦条纹的周期，每张正弦相位模板中 的初始相位分别为I
[0046] Ib)设计De序列模板Id，计算De序列模板中每个像素点ID(x，y)的灰度值：
(x,_y)点处为:0基元.
[0047] _(x，.y)点处为_1基元
[0048]其中，N为De序列编码中像素灰度值的最大值，De序列由基元0和基元1组成，基元0 在一个周期中表示成一个线性递增函数，基元1在一个周期中表示成一个线性递减函数；
[0049] Ic)设计三张混合模板Tm，计算每张混合模板中每个像素点Tm(x，y)的灰度值：
[0050] = (.\\y)+ In(x,y),
[0051] 其中m=l，2,3，Tm(x，y)由两部分构成，其中表示正弦相位模板中像素点 的像素值，ID(x，y)表示De序列模板中像素点的像素值；
[0052]按上述步骤计算出每张混合模板图像中每一个像素点的灰度值，得到的混合模板 图像T1、T2、T3，如图3所示，其中图3 (a)为第一幅模板图像T1、图3 (b)为第二幅模板图像T2、图 3(c)为第三幅模板图像T3。
[0053] 步骤2、将投影仪P与摄像机C水平放置，并使两者光轴平行，用投影仪P将三张混合 模板图像T1、T 2、T3依次投射到目标物体上。
[0054] 步骤3、由混合模板Tjf、亮目标，产生形变图像么，利用相机同步采集该形变图像 t,其每个像素点(X，y)处的灰度值为：
[0055]
[0056] 其中m=l，2,3, j(.v,.r)为直流分量，左(..\%.)〇〇^[0(..\%.)0 + 炉",]为交流分量。
[0057] 步骤4、计算形变图像之中每个像素点的截断相位Φ (X，y)。
[0058] 由于中的歲\)；；),名〇^；)，&，7)为三个常量，因此可以通过联立线性方 程组对其进行求解得：
[0059]
[0000] 按照上述步骤计算每一个点的截断相位Φ (x，y)，可以得到截断相位图Φ，如图4 所示。
[0061]步骤5、从畸变后的De序列编码中解码出周期数n，以对步骤4中求解的截断相位进 行周期延拓。
[0062] 5a)累加三张形变的图像名，尤，得到变形的De序列图案4,计算4中每个像 素点(1，5〇处的灰度值/ ￡)(^):
[0063]
[0064] 其中C(x，y)是一个常数，由于减去一个常数，并不会影响后续求解&梯度图的过 程，因此在实际处理中C(x，y)被忽略；
[0065] 5b)为了解码出形变后De序列图案4中的基元0和基元1，需要计算匕的梯度图 Grad：
[0066] Grad = ?? ? Mg ；
[0067] 其中Mg为水平方向梯度模板，?为图像的二维卷积操作；
[0068] 5c)沿着水平方向遍历梯度图Grad的每一个像素点(x，y)，如果该像素点的梯度值 大于〇则将该像素点标记为De序列的基元0,否则将该像素点标记为De序列的基元1，由于相 机采集的过程中存在噪声的干扰，因此需要采用投票机制对上述标记的结果进行校正，在 一个De序列条纹中，将投票占有多数的基元码值标定为正确的码值；
[0069] 5d)将每一个De序列条纹与该条纹相邻的两个De序列条纹组成码值进行解码，得 到该条纹对应的序号N，即码值为000时N为0，当码值为001时N为1，当码值为011时N为2，当 码值为111时N为3,当码值为110时N为4,当码值为101时N为5,当码值为010时N为6,当码值 为100时N为7。
[0070] 按上述5a)至5d)步骤计算得到的De序列解码结果如图5所示；
[0071] 5e)计算条纹图像中B点对应的De序列周期延拓数S:
[0072] 5el)计算编码模板上点F在三维坐标系下的坐标(Fx，Fy，F z):
[0073]
[0074]其中Dr为参考平面的距离，f为相机的焦距，（Cx，Cy，C z)为相机光心的三维坐标值， (Bx，By，Bz)为形变图像中的一个像素点的三维坐标值；
[0075] 5e2)计算编码模板上点F在模板中的二维坐标UF，yF):
[0076]
[0077] 其中K为相机内部参数矩阵，Φ为外部旋转矩阵，这两个参数矩阵可以通过相机的 标定过程获得，w为齐次坐标下的比例系数；
[0078] 5e3)根据5e2)得到条纹图像中B点对应的De序列周期延拓数S为：
[0079]
[0080] 其中，T为De序列中条纹的宽度，L·」为向下取整算子；
[0081] 5f)根据5d)和5e)的结果计算畸变后De序列编码中周期数：
[0082] n = N+8S。
[0083] 步骤6、根据步骤(4)和（5)的结果，计算绝对相位图P中每个像素点的绝对相位 妒:
[0084] φ(χ,}'} = φ(χ,}'} + 2πη(χ. \,) 0
[0085] 步骤7、根据三角测距原理与(6)中获得的绝对相位图0，计算目标物体三维深度图 Z0
[0086] 7a)沿着绝对相位图F的水平方向，遍历P中的每一个像素点(x，y)，计算出该点的 视差d(x，y):
[0087]
[0088] 7W枏捉二钼》1!?日庖裡，计算三维深度图Z中每个像素点的深度Z(X，y):
[0089]
[0090]其中f表示相机焦距，b表示摄像机光心和投影仪光心间的基线距离。
[0091] 本发明的效果通过如下仿真进一步说明：在3dMAX平台上进行仿真实验，通过上述 步骤得到的目标物体的三维信息，对目标物体进行仿真重构，其效果如图6所示，其中图6 (a)为仿真得到的深度图，图6(b)为三维重构图。
[0092] 从图6中可以看到，本发明重构出的目标物体精度高，处理耗时少，因此本发明提 出的基于De序列混合编码的目标物体深度信息获取方法具有精度高、分辨率高、速度快的 优点。
[0093]以上描述仅是本发明的一个具体事例，并不构成对本发明的任何限制。显然对于 本领域的专业人员来说，在了解了本
【发明内容】
和原理后，都可能在不背离本发明原理、结构 的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变 仍在本发明的权利要求保护范围之内。
【主权项】
1. 一种基于De序列混合编码的目标物体Ξ维信息获取方法，包括： (1) 设计需要投射的Ξ张 De序列混合编码模板Τι、Τ2、Τ3: la)设计Ξ张正弦相位模板/,,,,，计算每一张正弦相位模板中每个像素点托y)的灰度 值：其中m=l，2,3，A为直流分量，B为振幅，T为正弦条纹的周期，每张正弦相位模板中的初 始相位分别为巧=^，終 化)设计De序列模板Id,计算De序列模板中每个像素点lD(x，y)的灰度值：其中T为la)中正弦条纹的周期，N为De序列编码中像素灰度值的最大值，De序列由基元 0和基元1组成，基元0在一个周期中表示成一个线性递增函数，基元1在一个周期中表示成 一个线性递减函数； Ic)设计Ξ张混合模板Tm，计算每张混合模板中每个像素点Tm(x，y)的灰度值： 7;,, (-、-，分=/pm (X，y) + 4林，切， 其中111=1，2,3，1"山7)由两部分构成，其中/0"批，乂>表示正弦相位模板中像素点的像素 值，Id (X，y)表示De序列模板中像素点的像素值； (2) 将投影仪P与摄像机C水平放置，并使两者光轴平行，用投影仪P将混合模板图像Τι、 Τ2、Τ3依次投射到目标物体上； (3) 相机同步采集由混合模板Tm照亮目标后的形变图像t中每个像素点(x，y)处的灰度 值为：其中m= 1，2，3，^托J，)为直流分量，y) cosWO, W +巧,,]为交流分量。 (4) 计算截断相位图Φ中每个像素点的截断相位Φ (x，y):(5) 计算崎变后De序列编码中周期数η; (6) 根据步骤(4)和巧)的结果，计算绝对相位图梦中每个像素点的绝对相位<Kx，.v): 抑ΛΓ'.ν)=抑ΛΓ'.ν) + 2兀"(.\-,.1·) (7) 根据Ξ角测距原理与(6)中获得的绝对相位图梦，计算目标物体Ξ维深度图Ζ。2. 根据权利要求1所述的基于De序列混合编码的目标物体Ξ维信息获取方法，其中所 述步骤(5)中计算崎变后De序列编码中周期数n，按如下步骤进行： 5a)累加 Ξ张形变的图像??,马，?，得到变形的De序列图案4,计算么中每个像素点 (X，y)处的灰度值托>')；其中C(x，y)是一个常数，根据De序列模板的性质，在实际处理中C(x，y)被忽略； 5b)计算形变后De序列图案么的梯度图Grad:其中Mg为梯度模板，?为图像的卷积操作； 5c)沿着水平方向遍历梯度图Grad的每一个像素点（x，y)，如果该像素点的梯度值大于 0则将该像素点标记为De序列的基元0,否则将该像素点标记为De序列的基元1;在一个De序 列条纹中，将投票占有多数的基元码值标定为正确的码值； 5d)将每一个De序列条纹与该条纹相邻的两个De序列条纹组成码值进行解码，得到该 条纹对应的序号N，即码值为000时N为0,当码值为001时N为1，当码值为011时N为2,当码值 为111时N为3，当码值为110时N为4,当码值为101时N为5，当码值为010时N为6，当码值为100 时N为7; 5e)计算条纹图像中B点对应的De序列周期延拓数S: 5el)计算编码模板上点F在Ξ维坐标系下的坐标(Fx，Fy，Fz):其中Dr为参考平面的距离，f为相机的焦距，（Cx，Cy，Cz)为相机光屯、的S维坐标值，（Bx, By, Bz)形变图像中的一个像素点的Ξ维坐标值； 5e2)计算编码模板上点F在模板中的二维坐标(XF，yF):其中K为相机内部参数矩阵，Φ为外部旋转矩阵，W为齐次坐标下的比例系数； 5e3)根据5e2)得到条纹图像中B点对应的De序列周期延拓数S为：其中，T为De序列中条纹的宽度，为向下取整算子； 5f)根据5d)和5e)的结果计算崎变后De序列编码中周期数： n = N+8S。3.根据权利要求1所述的基于De序列混合编码的目标物体Ξ维信息获取方法，其中所 述步骤(7)中求解目标物体Ξ维深度图Z，按如下步骤进行： 7a)沿着绝对相位图巧的水平方向，遍历0中的每一个像素点(x，y)，计算出该点的视差 d(x,y)：7b)根据Ξ角测距原理，计算Ξ维深度图Z中每个像素点的深度Z(x，y):其中f表示相机焦距，b表示摄像机光屯、和投影仪光屯、间的基线距离。
【文档编号】G06T7/00GK105844623SQ201610158109
【公开日】2016年8月10日
【申请日】2016年3月21日
【发明人】李甫, 高哲峰, 石光明, 李若岱, 牛毅, 窦平方, 张宝誉
【申请人】西安电子科技大学