人脸三维点云超分辨率融合方法及应用其的数据处理装置的制造方法
【技术领域】
[0001] 本发明设及=维图像处理技术领域，具体设及一种人脸=维点云超分辨率融合方 法及应用其的数据处理装置。
【背景技术】
[0002] 随着=维成像技术的日益成熟，实时的=维数据采集成为了现实。由于=维点云 保留了深度数据，能够更好地表达和描述现实世界，使得人工智能系统更容易理解现实世 界，有望带来机器视觉的根本性突破。
[0003] 由于目前传感器技术的限制，单帖采集的点云密度不够，难W支持对模型细节的 描述，同时，单帖点云会包含各类噪声和孔桐等。更重要的是，单帖点云获得的只是模型在 某个视角下的深度信息，通常不是完整的模型。因此，将多帖点云数据进行超分辨率融合是 =维视觉的基础和关键环节。
[0004] 现有的=维点云超分辨率融合方法需要耗费的内存和计算量大，数据采集时间 长，而且对处理设备的软硬件要求高，同时，对于人脸=维点云进行融合后的分辨率难W达 到应用的要求。
【发明内容】
[0005] 有鉴于此，本发明提供一种人脸=维点云超分辨率融合方法及应用其的数据处理 装置，降低融合的计算量，同时提高融合的效率和点云分辨率，为=维人脸识别提供高分辨 率、低噪声、无孔桐的点云数据。
[0006] 第一方面，提供一种人脸=维点云超分辨率融合方法，包括：
[0007] W扫描方式获取多帖=维人体点云数据，每帖=维人体点云数据至少包括人的脸 部的点云数据；
[000引对所述多帖=维人体点云数据分别进行=维人脸检测，截取获得多个对应于不同 帖的初始人脸=维点云；
[0009] W迭代方式对每个初始人脸=维点云进行姿态校正，直至本次迭代前和迭代后的 人脸=维点云的旋转矩阵为单位矩阵；
[0010] 对于所有相邻帖对应的两个经过姿态校正的人脸=维点云顺序进行粗对准操作， 所述粗对准操作计算获得使得人脸=维点云降维采样得到数据集中的对应点对数量最多 的粗对准变换矩阵，其中，对应点对是指两个数据集中，距离小于2个数据分辨率的点对；
[0011] 对所有相邻帖对应的两个粗对准操作后的人脸=维点云进行精对准操作，所述精 对准操作通过W迭代方式对人脸=维点云进行点坐标转换直到人脸=维点云的误差满足 预定条件；
[0012] 分别从多个不同视角分别将所有经过精对准操作的人脸=维点云的可视点集进 行融合操作获得超分辨率融合点云，并合并多次融合操作得到的超分辨率融合点云W获得 超分辨率人脸=维点云。
[0013] 优选地，W迭代方式对每个初始人脸=维点云进行姿态校正，直至本次迭代前和 迭代后的人脸=维点云的旋转矩阵为单位矩阵包括：
[0014] 根据迭代前的人脸=维点云的点云向量计算均值和协方差矩阵，其中，迭代前的 人脸S维点云的点云向量为P=[Pi，P2, . . .，Pk, . . .，Pn]，Pk为第k个点的坐标向量，n为人脸 S维点云的点数量；
[0015] 对协方差矩阵进行SVD分解获得特征向量组成的矩阵和特征值组成的对角矩阵；
[0016] 基于如下公式进行姿态校正获得迭代后的人脸=维点云的点云向量：
[0017] P'=V(P-Hi)
[0018] 其中，P'为迭代后的人脸=维点云，P为迭代前的人脸=维点云，V为特征向量组成 的矩阵，m为所述均值；
[0019] 重复上述迭代步骤直至特征向量组成的矩阵为单位矩阵。
[0020] 优选地，所述粗对准操作包括：
[0021] W在前帖对应的经过姿态校正的人脸=维点云为参考对象、W在后帖对应的未经 过姿态校正的人脸=维点云为调整对象进行特征匹配，获取多个匹配的关键点对；
[0022] 对于每对关键点对计算对应的点变换矩阵；
[0023] 对于每个关键点对的点变换矩阵，计算与其它所有关键点对的点变换矩阵之间的 矩阵距离，选取矩阵距离满足口限约束的多个关键点对的点变换矩阵进行最小二乘拟合获 取备选点变换矩阵；
[0024] W每个备选点变换矩阵对调整对象进行点变换并计算对应点数量；
[0025] 选取的对应点对数量最多的备选点变换矩阵作为粗对准变换矩阵。
[0026] 优选地，所述精对准操作包括：
[0027] W在前帖对应的经过粗对准操作的人脸=维点云作为参考对象，W在后帖对应的 经过粗对准操作的人脸=维点云为调整对象，将调整对象投影到参考对象，投影方向为预 定的光照方向；
[0028] 对于调整对象的投影点集的一个子集，在参考对象的投影点集中捜索最近点集；
[0029] 根据所述子集和最近点集计算获得精对准变换矩阵；
[0030] 根据精对准变换矩阵对调整对象的所有点进行变换，并计算变换后的点云与参考 对象的误差，所述误差为变换后的点到参考点云上包含其投影点的切平面的距离平方和； [0031 ]重复上述迭代步骤直到所述误差小于预定阔值。
[0032] 优选地，所述融合操作包括：
[0033] 将对应视角的可视点集投影到该视角对应的坐标平面；
[0034] 将所述坐标平面的区域栅格化，将所有落入同一栅格内的点合并为一个融合点W 获得栅格数据，该融合点垂直于所述坐标平面的坐标为所有落入栅格的点在该方向的坐标 的均值；
[0035] 对所述平面内的栅格数据进行插值和滤波；
[0036] 将所述栅格数据映射到=维空间W获得超分辨率融合点云。
[0037] 优选地，所述多个不同视角包括左视角、右视角和前视角。
[0038] 第二方面，提供一种数据处理装置，包括处理器，所述处理器适于执行如上所述的 方法。
[0039] 通过人脸检测、人脸姿态校正、点云对准、=视角表面融合四个步骤，无需对各个 光照方向进行融合，通过投影到二维平面进行融合的方法，大大提高了效率。由于采用先姿 态校正再融合的策略，充分利用了人脸的几何形状特性，既保持了数据的精度，又降低了问 题的复杂度。同时，由于未直接在=维空间对点云进行插值和滤波，而是先投影到二维平面 再进行插值和滤波，大大提高了算法效率。由粗到精的点云对准策略，既可避免陷入局部最 优，又可加速收敛速度。
【附图说明】
[0040] 通过W下参照附图对本发明实施例的描述，本发明的上述W及其它目的、特征和 优点将更为清楚，在附图中：
[0041] 图1是本发明实施例的人脸=维点云超分辨率融合方法的流程图；
[0042] 图2是本发明实施例中进行人脸=维点云超分辨率融合过程中的=维人脸点云的 示意图；
[0043] 图3是本发明实施例中进行人脸姿态校正的流程图；
[0044] 图4是本发明实施例中进行多视角人脸S维点云融合的示意图。
【具体实施方式】
[0045] W下基于实施例对本发明进行描述，但是本发明并不仅仅限于运些实施例。在下 文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有 运些细节部分的描述也可W完全理解本发明。为了避免混淆本发明的实质，公知的方法、过 程、流程、元件和电路并没有详细叙述。
[0046] 此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且 附图不一定是按比例绘制的。
[0047] 除非上下文明确要求，否则整个说明书和权利要求书中的"包括"、"包含"等类似 词语应当解释为包含的含义而不是排他或穷举的含义;也就是说，是"包括但不限于"的含 义。
[0048] 在本发明的描述中，需要理解的是，术语"第一"、"第二"等仅用于描述目的，而不 能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，"多个"的含义 是两个或两个W上。
[0049] 图1是本发明实施例的人脸=维点云超分辨率融合方法的流程图。
[0050] 如图1所示，所述方法包括：
[0051] 步骤S100、W扫描方式获取多帖=维人体点云数据，每帖=维人体点云数据至少 包括人的脸部的点云数据。
[0052] 步骤S200、对所述多帖=维人体点云数据分别进行=维人脸检测，截取获得多个 对应于不同帖的初始人脸=维点云。