一种结构光编码方法及相关装置制造方法
【专利摘要】本发明公开了一种结构光编码方法及相关装置，其中，一种结构光编码方法包括：通过伪随机码生成第一编码图案，其中，第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；将第一编码图案投射到被测物体的表面；获取第一编码图案与被测物体的表面叠加后形成的第二编码图案；确定第二编码图案上的特征点集合；确定特征点集合中的每个特征点在第一编码图案中的对应位置；根据特征点集合中的每个特征点在第一编码图案中的位置，计算特征点集合中的每个特征点在第二编码图案中的深度，最终确定被测物体的三维轮廓信息。本发明提供的技术方案能够在保证编码密度大小的前提下，有效提高解码的成功率。
【专利说明】一种结构光编码方法及相关装置
【技术领域】
[0001]本发明涉及计算机图像处理【技术领域】，具体涉及一种结构光编码方法及相关装置。
【背景技术】
[0002]结构光编码技术是一种主动式的可靠的三维重建技术，目前已广泛应用在多个领域。
[0003]现有的结构光编码多采用空间编码的方式。空间编码能够通过投射一张结构光图像实现物体表面的三维重建，因此适合于动态目标和场景的三维信息获取。但是，空间编码存在窗口特性，即编码密度(即单位面积内编码的特征点的密度)与编码窗口(通常一个编码窗口包含一个编码的码字)的尺寸存在矛盾，一方面，编码密度需要编码窗口越大越好，另一方面，从解码的难度以及解码时间来看，编码窗口越小越好。
[0004]现有的一种空间编码方案是采用颜色进行编码，因此又称为彩色结构光编码，为了提高编码密度，目前存在两种解决方案:第一种是采用更多的颜色特征，这样可以实现较小的编码窗口，同时增加编码密度，然而当采用的颜色过多，会使得解码难度显著增加，t匕如被测物体的颜色更容易与用于编码的颜色混淆；第二种是采用更大的编码窗口而使用较少的颜色，这种方式降低了被测物体的颜色与用于编码的颜色的混淆可能性，但是由于编码窗口扩大，使得需要判断的编码元素数量显著增加，从而降低了解码的成功率。
【发明内容】
[0005]本发明提供一种结构光编码方法及相关装置，用于在保证编码密度大小的前提下，减小编码窗口，提高解码的成功率。
[0006]本发明第一方面提供一种结构光编码方法，包括:
[0007]通过伪随机码生成第一编码图案，其中，上述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；
[0008]将上述第一编码图案投射到被测物体的表面；
[0009]通过相机获取上述第一编码图案与上述被测物体的表面叠加后形成的第二编码图案；
[0010]确定上述第二编码图案上的特征点集合；
[0011]对上述特征点集合中的每个特征点进行解码，确定上述特征点集合中的每个特征点在上述第一编码图案中的对应位置；
[0012]根据上述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算上述特征点集合中的每个特征点在上述第二编码图案中的深度；
[0013]根据上述特征点集合中的每个特征点在上述第二编码图案中的深度，确定上述被测物体的三维轮廓信息。
[0014]本发明另一方面提供一种结构光编码装置，包括:[0015]生成单元，用于通过伪随机码生成第一编码图案，其中，上述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；
[0016]投影单元，用于将上述生成单元生成的第一编码图案投射到被测物体的表面；
[0017]获取单元，用于通过相机获取上述第一编码图案与上述被测物体的表面叠加后形成的第二编码图案；
[0018]第一确定单元，用于确定上述第二编码图案上的特征点集合；
[0019]解码确定单元，用于对上述特征点集合中的每个特征点进行解码，确定上述特征点集合中的每个特征点在上述第一编码图案中的对应位置；
[0020]第一计算单元，用于根据上述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算上述特征点集合中的每个特征点在上述第二编码图案中的深度；
[0021]第二确定单元，用于根据上述第一计算单元计算得到的上述特征点集合中的每个特征点在上述第二编码图案中的深度，确定上述被测物体的三维轮廓信息。
[0022]由上可见，本发明中通过伪随机码生成第一编码图案，由于第一编码图案中利用颜色图形和几何图形的结合来标识不同的编码元素，因此，既增加了编码元素的种类，又不会增加编码元素识别的难度，从而能够实现小窗口特性的高密度编码效果，即在保证编码密度大小的前提下，能够减小编码窗口，从而提高解码的成功率。
【专利附图】
【附图说明】
[0023]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0024]图Ι-a为本发明提供的结构光编码方法一个实施例流程示意图；
[0025]图Ι-b为本发明提供的一种场景下第一编码图案中的一个4*4矩阵区域放大图；
[0026]图Ι-c为本发明提供的图l_b中的特征点示意图；
[0027]图Ι-d为本发明提供的结构光编码装置的一种应用场景示意图；
[0028]图2为本发明提供的结构光编码方法另一个实施例流程示意图；
[0029]图3为本发明提供的结构光编码装置一个实施例结构示意图。
【具体实施方式】
[0030]为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]下面对本发明实施例提供的一种结构光编码方法进行描述，请参阅图l_a，本发明实施例中的结构光编码方法包括:
[0032]101、通过伪随机码生成第一编码图案，其中，上述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；
[0033]本发明实施例中，结构光编码装置使用颜色图形和几何图形的结合构建编码元素，生成第一编码图案。
[0034]可选的，上述第一编码图案中的编码元素通过四种颜色的颜色图形和一个几何图形进行区分，结构光编码装置通过伪随机码生成包含八种编码元素的第一编码图案:填充第一颜色且未嵌入几何图形的第一菱形、填充上述第一颜色且嵌入上述几何图形的第二菱形、填充第二颜色且未嵌入上述几何图形的第三菱形、填充上述第二颜色且嵌入上述几何图形的第四菱形、填充第三颜色且未嵌入上述几何图形的第五菱形、填充上述第三颜色且嵌入上述几何图形的第六菱形、填充第四颜色且未嵌入上述几何图形的第七菱形、填充上述第四颜色且嵌入上述几何图形的第八菱形；其中，上述第一菱形、上述第二菱形、上述第三菱形、上述第四菱形、上述第五菱形、上述第六菱形、上述第七菱形和上述第八菱形的形状和大小均相同，且在上述第一编码图案中，相邻两个编码元素之间有且只有一个顶点重合。举例说明，假设上述第一颜色至上述第四颜色分别用标号A、B、C和D表示，上述几何图形为菱形且用标号E表示，则上述第一编码图案中的一个4*4的矩阵区域放大图可以如图Ι-b所示，由图l_b可见，4*4的矩阵区域包含八种编码元素，分别为:填充A且未嵌入E的第一菱形、填充A且嵌入E的第二菱形、填充B且未嵌入E的第三菱形、填充B且嵌入E的第四菱形、填充C且未嵌入E的第五菱形、填充C且嵌入E的第六菱形、填充D且未嵌入E的第七菱形、填充D且嵌入E的第八菱形。
[0035]当上述第一编码图案中的编码元素通过四种颜色的颜色图形和一个几何图形进行区分时，上述第一编码图案可以为编码窗口大小2*2、总大小为65*63的伪随机矩阵。
[0036]当然，本发明实施例中的结构光编码装置也可以使用更多的颜色图形和/或几何图形构建编码元素，生成第一编码图案，以便进一步增加第一编码图案中的编码元素的数量，缩小编码窗口。
[0037]可选的，上述四种颜色分别为红色、绿色、黑色和蓝色。当然，上述四种颜色也可以取其它颜色，此处不作限定。
[0038]102、将上述第一编码图案投射到被测物体的表面；
[0039]本发明实施例中，结构光编码装置可以通过投影仪或者具备投射功能的设备将步骤101生成的第一编码图案投射到被测物体的表面。
[0040]103、通过相机获取上述第一编码图案与上述被测物体的表面叠加后形成的第二编码图案。
[0041]104、确定上述第二编码图案上的特征点集合；
[0042]可选的，结构光编码装置利用十字架模板、第三公式、第四公式和第五公式计算上述第二编码图案上每个像素点分别在R通道、G通道和B通道的分值；对每一个像素点，取像素点在R通道、G通道和B通道这三个通道的分值中的最大值作为该像素点的代表值；以预设区域大小将上述第二编码图案划分为多个检索区域，将每个检索区域内代表值最大的像素点选取为上述特征点集合中的特征点；
[0043]其中，上述第三公式为:
【权利要求】
1.一种结构光编码方法，其特征在于，包括: 通过伪随机码生成第一编码图案，其中，所述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分； 将所述第一编码图案投射到被测物体的表面； 通过相机获取所述第一编码图案与所述被测物体的表面叠加后形成的第二编码图案； 确定所述第二编码图案上的特征点集合； 对所述特征点集合中的每个特征点进行解码，确定所述特征点集合中的每个特征点在所述第一编码图案中的对应位置； 根据所述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算所述特征点集合中的每个特征点在所述第二编码图案中的深度； 根据所述特征点集合中的每个特征点在所述第二编码图案中的深度，确定所述被测物体的三维轮廓信息。
2.根据权利要求1所述的方法，其特征在于，所述计算所述特征点集合中的每个特征点在所述第二编码图案中的深度，之前还包括: 根据所述特征点集合中的每个特征点在所述第一编码图案中的位置计算所述特征点集合中的每个特征点的置信度； 将置信度小于预设的置信度阈值的特征点从所述特征点集合中移除。
3.根据权利要求2所述的方法，其特征在于，所述根据所述特征点集合中的每个特征点在所述第一编码图案中的位置计算所述特征点集合中的每个特征点的置信度，包括: 根据所述特征点集合中的每个特征点在所述第一编码图案中的位置，以及第一公式和第二公式，计算所述特征点集合中的每个特征点的置信度； 其中，所述第一公式为
4.根据权利要求1至3任一项所述的方法，其特征在于，所述通过伪随机码生成第一编码图案具体为:通过伪随机码生成包含如下八种编码元素的第一编码图案:填充第一颜色且未嵌入几何图形的第一菱形、填充所述第一颜色且嵌入所述几何图形的第二菱形、填充第二颜色且未嵌入所述几何图形的第三菱形、填充所述第二颜色且嵌入所述几何图形的第四菱形、填充第三颜色且未嵌入所述几何图形的第五菱形、填充所述第三颜色且嵌入所述几何图形的第六菱形、填充第四颜色且未嵌入所述几何图形的第七菱形、填充所述第四颜色且嵌入所述几何图形的第八菱形； 其中，所述第一菱形、所述第二菱形、所述第三菱形、所述第四菱形、所述第五菱形、所述第六菱形、所述第七菱形和所述第八菱形的形状和大小均相同，且在所述第一编码图案中，相邻两个编码元素之间有且只有一个顶点重合。
5.根据权利要求4所示的方法，其特征在于，所述确定所述第二编码图案上的特征点集合，包括: 利用十字架模板、第三公式、第四公式和第五公式计算所述第二编码图案上每个像素点分别在R通道、G通道和B通道的分值； 对每一个像素点，取像素点在R通道、G通道和B通道这三个通道的分值中的最大值作为该像素点的代表值； 以预设区域大小将所述第二编码图案划分为多个检索区域，将每个检索区域内代表值最大的像素点选取为 所述特征点集合中的特征点； 其中，所述第三公式为
6.根据权利要求5所述的方法，其特征在于，所述确定所述第二编码图案上的特征点集合还包括: 在所述将每个检索区域内代表值最大的像素点作为所述特征点集合中的特征点之后，根据第六公式计算所述特征点集合中的每个特征点的对称性系数； 将对称性系数大于预设的对称性系数门限值的特征点从所述特征点集合中移除；
其中，所述第六公式为:
7.—种结构光编码装置，其特征在于，包括: 生成单元，用于通过伪随机码生成第一编码图案，其中，所述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分； 投影单元，用于将所述生成单元生成的第一编码图案投射到被测物体的表面；获取单元，用于通过相机获取所述第一编码图案与所述被测物体的表面叠加后形成的第二编码图案； 第一确定单元，用于确定所述第二编码图案上的特征点集合； 解码确定单元，用于对所述特征点集合中的每个特征点进行解码，确定所述特征点集合中的每个特征点在所述第一编码图案中的对应位置； 第一计算单元，用于根据所述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算所述特征点集合中的每个特征点在所述第二编码图案中的深度； 第二确定单元，用于根据所述第一计算单元计算得到的所述特征点集合中的每个特征点在所述第二编码图案中的深度，确定所述被测物体的三维轮廓信息。
8.根据权利要求7所述的结构光编码装置，其特征在于，所述结构光编码装置还包括: 第二计算单元，用于根据所述特征点集合中的每个特征点在所述第一编码图案中的位置计算所述特征点集合中的每个特征点的置信度； 移除单元，用于将置信度小于预设的置信度阈值的特征点从第一确定单元确定的特征点集合中移除。
9.根据权利要求8所述的结构光编码装置，其特征在于，所述第二计算单元具体用于: 根据所述特征点集合中的每个特征点在所述第一编码图案中的位置，以及第一公式和第二公式，计算所述特征点集合中的每个特征点的置信度； 其中，所述第一公式为:
10.根据权利要求7至9任一项所述的结构光编码装置，其特征在于，所述生成单元具体用于: 通过伪随机码生成包含如下八种编码元素的第一编码图案:填充第一颜色且未嵌入几何图形的第一菱形、填充所述第一颜色且嵌入所述几何图形的第二菱形、填充第二颜色且未嵌入所述几何图形的第三菱形、填充所述第二颜色且嵌入所述几何图形的第四菱形、填充第三颜色且未嵌入所述几何图形的第五菱形、填充所述第三颜色且嵌入所述几何图形的第六菱形、填充第四颜色且未嵌入所述几何图形的第七菱形、填充所述第四颜色且嵌入所述几何图形的第八菱形； 其中，所述第一菱形、所述第二菱形、所述第三菱形、所述第四菱形、所述第五菱形、所述第六菱形、所述第七菱形和所述第八菱形的形状和大小均相同，且在所述第一编码图案中，相邻两个编码元素之间有且只有一个顶点重合。
11.根据权利要求10所述的结构光编码装置，其特征在于，所述第一确定单元包括: 第一子计算单元，用于利用十字架模板、第三公式、第四公式和第五公式计算所述第二编码图案上每个像素点分别在R通道、G通道和B通道的分值； 代表值确定单元，用于对每一个像素点，取像素点在R通道、G通道和B通道这三个通道的分值中的最大值作为该像素点的代表值； 特征点选取单元，用于以预设区域大小将所述第二编码图案划分为多个检索区域，将每个检索区域内代表值最大的像素点选取为所述特征点集合中的特征点；
12.根据权利要求11所述的结构光编码装置，其特征在于，所述第一确定单元还包括: 第二子计算单元，用于根据第六公式计算所述特征点选取单元选取的每个特征点的对称性系数； 子移除单元，用于将对称性系数大于预设的对称性系数门限值的特征点从所述特征点集合中移除； 其中，所述第六公式为:
【文档编号】G01B11/25GK103983213SQ201410242020
【公开日】2014年8月13日 申请日期:2014年5月30日 优先权日:2014年5月30日
【发明者】宋展, 林海波 申请人:深圳先进技术研究院