用户虚拟形象生成方法、系统、电子设备及可读存储介质与流程

本发明涉及图像模型，尤其涉及一种用户虚拟形象生成方法、系统、电子设备及可读存储介质。

背景技术：

1、随着智能汽车的不断发展，出现了依赖车辆显示设备存在的数字虚拟形象，由于虚拟形象拥有人的外观，具有特定的相貌、性别和性格等人物特征，还能够拓展人的行为，具有用语言、面部表情和肢体动作表达的能力，以及具有识别外界环境、并能与人交流互动的能力，使得用户与车辆之间的交互体验，增加用户粘度。为了贴近用户真实形象、提高数字虚拟形象的生成响应率，常常从用户相关的图像源、声音源、文本源中确定虚拟形象的基础特征参数，再通过3d模型的搭建，将基础特征参数进行结合渲染，得到数字虚拟对象。

2、但是，由于数字虚拟对象的面部特征是从二维图片中提取而来，使得数字虚拟对象的面部模型无法在不同角度都贴近用户形象自然展现，数字虚拟对象的形象呆板，展现效果较差，无法达到用户要求。

技术实现思路

1、为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

2、鉴于以上所述现有技术的缺点，本发明公开了一种用户虚拟形象生成方法、系统、电子设备及可读存储介质，以提高数字虚拟对象的形象展现效果。

3、本发明提供了一种用户虚拟形象生成方法，包括：获取目标用户的三维面部模型，并获取所述目标用户在预设观测视角下的用户面部视频，其中，所述用户面部视频包含至少一部分面部区域；在所述预设观测视角下对所述三维面部模型进行坐标定位，得到所述预设观测视角对应的静态坐标点，并从所述静态坐标点中确定所述面部区域对应的待调整坐标点；记录所述待调整坐标点在所述用户面部视频中的坐标变化，并根据记录到的坐标变化对所述待调整坐标点进行调整，得到区域动态特征；根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型。

4、可选地，获取目标用户的三维面部模型，包括：获取所述目标用户的完整人脸图片；对所述完整人脸图片进行特征提取，得到面部姿态特征，并对所述完整人脸图片中的面部颜色进行识别，得到面部颜色要素；对所述面部姿态特征进行降噪处理，并对降噪处理后的面部姿态特征进行识别，得到面部特征要素；根据所述面部颜色要素和所述面部特征要素进行三维模型渲染，得到所述目标用户的三维面部模型。

5、可选地，获取所述目标用户在预设观测视角下的用户面部视频，包括：获取指定用户动作；指示所述目标用户进行所述指定用户动作，并在预设观测视角下采集所述目标用户进行所述指定用户动作的用户面部视频。

6、可选地，根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型之后，所述方法还包括：对所述用户面部视频进行图像帧提取，得到验证图像帧；记录所述待调整坐标点在所述验证图像帧中的坐标位置，得到所述验证图像帧对应的待对比坐标；根据所述指定用户动作生成所述虚拟形象模型对应的模型动作指令，使得所述虚拟形象模型根据所述模型动作指令进行所述指定用户动作，并在所述虚拟形象模型进行所述指定用户动作时，记录所述待调整坐标点对应的模型坐标；根据所述指定用户动作与所述用户面部视频之间的对应关系从所述模型坐标中确定所述验证图像帧对应的参考坐标，并根据所述参考坐标和所述待对比坐标进行相似度计算，得到坐标相似度；若所述坐标相似度大于或等于预设的相似度阈值，则保留所述虚拟形象模型；若所述坐标相似度小于所述相似度阈值，则根据所述三维面部模型更新所述虚拟形象模型。

7、可选地，根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型，包括：获取所述目标用户在进行预设身体动作时的用户身体参数；对所述用户身体参数进行特征提取，得到所述目标用户的身体参数特征；根据所述身体参数特征进行三维模型渲染，得到用户身体模型；通过预设模型拟合器对所述用户身体模型和所述虚拟形象模型进行模型拟合，得到所述目标用户的全身形象模型，其中，所述预设模型拟合器通过身体模型样本和形象模型样本对预设的神经网络模型训练得到；将所述全身形象模型加入所述虚拟形象模型。

8、可选地，所述预设模型拟合器包括：第一拟合模型，用于从所述虚拟形象模型的坐标点中确定第一预测点；第二拟合模型，用于从所述用户身体模型的坐标点中确定第二预测点；第三拟合模型，用于从所述第一预测点中确定第一结合点，从所述第二预测点中确定第二结合点，并将所述第一结合点和所述第二结合点作为拟合位置，将所述用户身体模型和所述虚拟形象模型进行拟合，得到全身形象模型。

9、可选地，得到所述目标用户的全身形象模型之后，所述方法还包括：建立所述全身形象模型对应的身体动作生成器；通过所述身体动作生成器接收身体动作指令，并根据所述身体动作指令匹配得到所述身体动作指令对应的指令运动信息，其中，所述指令运动信息包括所述全身形象模型中至少一部分坐标点的运动轨迹；根据所述指令运动信息控制所述全身形象模型完成所述身体动作指令。

10、可选地，根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型之后，所述方法还包括以下至少一种：建立各形象特征参数对应的参数调整接口，使得所述目标用户通过所述参数调整接口对所述形象特征参数进行调整，其中，所述形象特征参数通过对所述虚拟形象模型进行划分得到；建立所述形象特征参数之间的关联关系，使得任一形象特征参数在调整后，根据所述关联关系对至少一部分形象特征参数进行相应调整。

11、本发明提供了一种用户虚拟形象生成系统，包括：获取模块，用于获取目标用户的三维面部模型，并获取所述目标用户在预设观测视角下的用户面部视频，其中，所述用户面部视频包含至少一部分面部区域；定位模块，用于在所述预设观测视角下对所述三维面部模型进行坐标定位，得到所述预设观测视角对应的静态坐标点，并从所述静态坐标点中确定所述面部区域对应的待调整坐标点；调整模块，用于记录所述待调整坐标点在所述用户面部视频中的坐标变化，并根据记录到的坐标变化对所述待调整坐标点进行调整，得到区域动态特征；渲染模块，用于根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型。

12、本发明提供了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的方法。

13、本发明提供了一种计算机可读存储介质，其上存储有计算机程序：所述计算机程序被处理器执行时实现上述的方法。

14、本发明的有益效果：

15、通过在预设观测视角下对目标用户的三维面部模型进行坐标定位，得到预设观测视角对应的静态坐标点，并通过目标用户在预设观测视角下的用户面部视频确定静态坐标点中待调整坐标点的坐标变化，进而根据记录到的坐标变化对待调整坐标点进行调整，得到区域动态特征，并根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型。这样，通过预设观测视角下的用户面部视频对同一预设观测视角下三维面部模型的待调整坐标点进行调整，在得到三维面部模型之后，又在不同角度对三维面部模型再次进行调整，从而避免三维面部模型由于单一图片生成，造成的在不同角度下形象呆板和展现效果差的问题，在不同角度都能够自然展现用户面部模型，从而提高用户使用体验。