专利名称：用于对象模型与三维点云相匹配的方法
用于对象模型与三维点云相匹配的方法本发明涉及一种用于对象模型与三维点云相匹配的方法，其中点云借助立体方法 由两个图像生成并且将聚类方法应用于该点云上，以便识别分别与一个群相关的点，并且 其中接着执行模型匹配，其中至少一个对象模型与至少一个群叠加并且确定对象模型相对 于该群的最优位置，以及其中借助匹配的对象模型校正点的伪相关(Fehlzuordrumg)。为了对象的识别及其三维位置确定，使用了对象模型。在对象模型与3D点云相
匹配时，已知的方法(Schmidt，J.，W0hlei*，c，Kriiger，L,G0vert, Τ.，Hermes, C, 2007
年.3D Scene Segmentation and Object Tracking inMultiocular Image Sequences. Proc. Int. Conf. on Computer VisionSystems (ICVS), Bielefeld, Germany)通常导致含糊 性(伪正相关)。对象在点云中多次被发现，尽管并非经常存在该情况或者根本不存在该 情况。涉及模型匹配的另一问题是匹配的不精确性。目前常用的立体方法基于对在左边图 像中和在右边图像中的特征的搜索(边、点、角部、像素块等等)并且接着将相同/相似特 征彼此相关。可替选地，局部图像窗的内容通常也在其相似性方面进行检查。所谓的差异 值通过确定在左边图像和右边图像中彼此间相关的特征或图像窗的偏移来确定。在被校准 的摄像机系统的前提条件下，通过三角测量接着根据差异值可以将深度值与相关的像素相 关。在一些情况中，由于错误的相关而出现错误的深度值。在基于边的立体方法中，这通常 出现在图像中的重复结构譬如手指、森林等的情况下。由伪相关形成的3D点称作伪对应或 者离群值。根据特征的选择，经常或多或少地出现这种效应，但在没有进一步假定的情况下 基本上不能被排除。伪对应对于对象模型的匹配有不利影响，因为其导致通过3D点云对该 场景的表征的劣化。在本文献中公开了不同的方法，其专注于伪对应的问题。这些方法的大部分尝 试识别离群值，以便随后消除离群值。在此不利的是3D点的数目变得更少或者由此造成 的信息损失。其他方法[Hirschmuller，H.，2005 年，Accurate and Efficient Stereo Processing by Semi-Global Matchingand Mutual Information, Proc. IEEE Conf. On Computer Vision andPattern Recognition, San Diego,USA.]又尝试，例如通过假定部分 平坦的表面来克服该问题。由于这种平坦性假定，不再可以识别精细的结构，这导致信息损 失。此外，该方法仅仅在实际能期望是平坦的表面的地方提供良好的结果。本发明的任务是提出一种用于对象模型与三维点云相匹配的改进的方法。该任务根据本发明通过具有权利要求1的特征的方法来解决。有利的改进方案是从属权利要求的主题。在根据本发明的用于对象模型与三维点云相匹配的方法中，点云借助立体方法由 两个图像生成并且将聚类方法应用于该点云上，以便识别分别与一个群相关的点。为了生成三维点云，可以使用任意的立体方法，尤其是空间-时间立体方法， 如在[Schmidt, J. Wohler, C.，Kruger, L.，Govert, Τ. Hermes, C. 2007 年.3D Scene Segmentation and Object Tracking in MultiocularImage Sequences. Proc. Int. Conf. On Computer Vision Systems (ICVS), Bielefeld, Germany]中进行了描述。在通过引用结合于此的文献中也描述了一种聚类方法，其例如可以使用在根据本发明的方法中。在聚类时，点云的被假定属于相同对象的点被汇总为所谓的群。在聚类之后进行模型匹配，其中至少一个对象模型与至少一个群叠加并且确定 对象模型相对于该群的最优位置。在此，尤其是可以使用模型匹配方法，如在[Zhang， Ζ.1992 年.Iterative Point Matching for Registrationof Free-Form Curves, INRIA Technical Report 1658]中进行了描述，其通过引用结合于此。由于模型匹配可以识别并且消除与一个群错误相关的点。同样，将错误地在所观 察的群之外被孤立的或者在其他群中的点(所谓的离群点)相关地识别为所观察的群并且 相应地校正相关。此外，由两个图像的至少一个生成所谓的概率图，其以下如在该文献中通常称作 Sm (Attention-map) 。白勺[Tanaka, Μ. ，Hotta, K. ，Kurita, Τ. ，Mishima, Τ.,2008, Dynamic Attention Map by Ising Modelfor Human Face Detection, Int. Conf.]中详细地进行了描述。该公开内容同样通过引用结合于此。为了生成注意图， 使用了分类器，例如在[\V0hler，C.，Anlauf，J. K.，1999 年· A Time Delay Neural Network Algorithm forEstimating Image-pattern Shape and Motion, Image and VisionComputing 17，第281-294页]中所描述的TDNN。该公开内容也通过引用结合于此。 分类器事先借助示例图像来训练。借助注意图可以表明在场景中是否存在与示例图像相似 的对象或者在该场景中存在多少对象。此外，注意图能够表明这种对象多大可能地在确定 的位置上。注意图现在支持性地在聚类方法中和/或在模型匹配中被考虑。在聚类方法中， 注意图用于选择对随后的模型匹配合适的群。在模型匹配中，尤其是可以使用注意图来计 算对象模型的初始姿态，从该姿态开始进行模型匹配。由此，改进了模型匹配的收敛特性。 良好的初始化在模型匹配中还导致绕过局部最小值的问题，这些局部最小值会导致次优的 匹配。可以执行根据本发明的方法的多次迭代，其中在校正伪相关之后反馈到立体方法 中，以便在此不仅针对该点而且必要时针对其他所涉及的点改进对应相关。在此，对于每个 点可以确定其在三维点云中停留地点的概率，因为其必须尽可能地在与对象模型类似的对 象或群的表面上。以此方式在以立体方法形成对应时不仅考虑了图像区域的相似性而且考 虑了停留地点的概率，由此改进了点云的质量，因为出现较少的伪相关。例如，在考虑彼此 非常相似的手指时，以较高的概率将点与正确的手指相关而非与相邻的手指相关。以下借助附图
更为详细地阐述了本发明的一个实施例。唯一的附图示出了用于使对象模型与三维点云相匹配的方法的一个实施例的流 程图。在该附图中示出了用于使对象模型OM与三维点云PW相匹配的方法的一个实施例 的流程图。首先将两个立体记录的图像Bi、B2输送给立体方法Si。该方法形成由两个图 像B1、B2的点构成的对应对。结果是三维点云PW。借助聚类方法S2将点云PW分段，即形 成具有相关的点的群CL。在聚类方法S2之后进行模型匹配S3，其中至少一个对象模型OM与至少一个群CL 叠加并且确定对象模型OM相对于该群CL的最优位置。
4
借助现在在其位置和姿态方面所识别的对象0在伪相关的校正S4期间识别并且 消除与群CL错误相关的点。同样，将错误地在所观察的群CL之外被孤立的或者在其他群 CL中的点(所谓的离群值)相关地识别为所观察的群CL并且相应地校正相关，其中形成所 校正的点云PW'和所校正的群CL'。步骤聚类方法S2和/或模型匹配S3借助概率图AM来支持，该概率图根据在本文 献中的习惯在下面称作注意图AM。注意图AM在生成步骤S6中由两个图像B1、B2的至少之一生成。为了生成注意图 AM,使用分类器KL。该分类器KL事先借助示例对象BO的示例图像在训练步骤S5中被训 练。借助注意图AM可以表明在该场景中是否存在与示例对象BO类似的对象0或者在该场 景中存在多少对象0。此外，该注意图能够表明这种对象0多大可能地在确定的位置上。在聚类方法S2中，注意图AM用于选择对随后的模型匹配S3合适的群CL。在模型 匹配S3中注意图AM尤其是可以用来计算对象模型OM的初始姿态，从该姿态开始进行对象 匹配S3。可以执行根据本发明的方法的多次迭代，如借助虚线所表示的那样，其中在校正 伪相关S4之后被反馈到立体方法Sl中。附图标记表
AM注意图，概率图
B1，B2图像
BO示例对象
CL, CL'群
0对象
OM对象模型
PW, PW'点云
Sl立体方法
S2聚类方法
S3模型匹配
S4伪相关的校正
S5训练步骤
S6注意图的生成步骤
权利要求
一种用于将对象模型(OM)与三维点云(PW)相匹配的方法，其中点云(PW)借助立体方法(S1)由两个图像(B1，B2)产生并且将聚类方法(S2)应用于点云(PW)上，以便识别分别与一个群(CL)相关的点，接着执行模型匹配(S3)，在该模型匹配中至少一个对象模型(OM)与至少一个群(CL)叠加并且确定对象模型(OM)相对于该群(CL)的最佳位置，借助匹配的对象模型(OM)执行对点的伪相关的校正(S4)，其特征在于，借助至少一个示例对象(BO)训练的分类器(KL)用于由所述图像(B1，B2)的至少之一生成概率图(AM)，其中由概率图(AM)确定在图像(B1，B2)中的与示例对象(BO)类似的至少一个对象(O)的数目和/或存在概率，其中在聚类方法(S2)中和/或在模型匹配(S3)中考虑概率图(AM)。
2.根据权利要求1所述的方法，其特征在于，借助概率图(AM)确定对象模型(OM)的初 始姿态，从该姿态开始进行模型匹配(S3)。
全文摘要
本发明涉及一种用于将对象模型(OM)与三维点云(PW)相匹配的方法，其中点云(PW)借助立体方法(S1)由两个图像(B1，B2)产生并且将聚类方法(S2)应用于点云(PW)上，以便识别分别与一个群(CL)相关的点，接着执行模型匹配(S3)，在该模型匹配中至少一个对象模型(OM)与至少一个群(CL)叠加并且确定对象模型(OM)相对于该群(CL)的最佳位置，借助匹配的对象模型(OM)执行对点的伪相关的校正(S4)，其特征在于，借助至少一个示例对象(BO)训练的分类器(KL)用于由所述图像(B1，B2)的至少之一生成概率图(AM)，其中由概率图(AM)确定在图像(B1，B2)中的与示例对象(BO)类似的至少一个对象(O)的数目和/或存在概率，其中在聚类方法(S2)中和/或在模型匹配(S3)中考虑概率图(AM)。
文档编号G06T7/00GK101896936SQ200880119955
公开日2010年11月24日 申请日期2008年10月2日 优先权日2007年10月9日
发明者克里斯蒂安·韦勒, 拉尔斯·克吕格尔, 比约恩·巴鲁瓦 申请人:皮尔茨公司