虚拟形象生成方法、装置、设备及存储介质与流程

文档序号:33554150发布日期:2023-03-22 11:09阅读:来源:国知局

技术特征:
1.一种虚拟形象生成方法,应用于电子设备中,所述电子设备中包括显示面板及摄像头,其特征在于,所述虚拟形象生成方法包括:响应于虚拟形象生成请求,定位预设形象在所述显示面板的显示位置;基于所述摄像头捕获使用者的脸部图像;切割所述脸部图像,得到眼球图像及表情图像;基于所述眼球图像及所述显示位置,从所述预设形象中提取所述使用者对所述预设形象的形象关注点;基于所述表情图像及所述形象关注点生成所述使用者对所述预设形象的形象认可度;基于所述形象认可度对所述预设形象进行形象调整,得到虚拟形象;基于所述使用者的音频信息及所述使用者对所述预设形象的初始音频的音频认可度,生成所述虚拟形象的形象音频。2.如权利要求1所述的虚拟形象生成方法,其特征在于,所述定位预设形象在所述显示面板的显示位置包括:从所述虚拟形象生成请求中提取生成类型;从配置形象库中获取与所述生成类型对应的形象模板作为所述预设形象,并在所述显示面板上展示所述预设形象;采集所述显示面板上所有像素点的像素值信息;将所述像素值信息不为预设阈值的像素点所对应的坐标信息确定为所述显示位置。3.如权利要求1所述的虚拟形象生成方法,其特征在于,所述切割所述脸部图像,得到眼球图像及表情图像包括:对所述脸部图像进行关键点检测,得到眼球关键点、眉毛关键点及嘴部关键点;基于所述眼球关键点在所述脸部图像的眼球坐标及偏移阈值,生成眼球区域坐标;将所述脸部图像中与所述眼球区域坐标所对应的区域确定为所述眼球图像;基于所述眉毛关键点及所述嘴部关键点,对所述脸部图像进行掩膜处理,得到所述表情图像。4.如权利要求1所述的虚拟形象生成方法,其特征在于,所述基于所述眼球图像及所述显示位置,从所述预设形象中提取所述使用者对所述预设形象的形象关注点包括:将所述显示位置与所述眼球区域坐标进行匹配,得到与所述眼球区域坐标匹配成功的目标位置;基于所述目标位置,从所述预设形象中识别出所述形象关注点。5.如权利要求1所述的虚拟形象生成方法,其特征在于,所述基于所述表情图像及所述形象关注点生成所述使用者对所述预设形象的形象认可度包括:基于所述表情图像的图像像素点对所述表情图像进行向量化处理,得到图像矩阵;将所述图像矩阵输入至预先训练完成的表情识别模型中,得到表情类型及所述表情识别模型生成所述表情类型的识别概率;获取与所述表情类型对应的表情分值;基于所述识别概率及所述表情分值生成所述形象认可度。6.如权利要求5所述的虚拟形象生成方法,其特征在于,所述基于所述形象认可度对所述预设形象进行形象调整,得到虚拟形象包括:
若所述形象认可度小于预设认可度阈值,则基于所述识别概率及所述表情分值,从所述形象关注点中识别出待调整关注区域及标准关注区域;基于所述标准关注区域,对所述待调整关注区域的区域信息进行调整,得到修订形象;基于所述摄像头捕获所述使用者对所述修订形象的面部图像,计算所述修订形象的修订认可度;若所述修订认可度大于所述预设认可度阈值,则将所述修订形象确定为所述虚拟形象。7.如权利要求1所述的虚拟形象生成方法,其特征在于,所述基于所述使用者的音频信息及所述使用者对所述预设形象的初始音频的音频认可度,生成所述虚拟形象的形象音频包括:对所述音频信息进行语义识别,得到音频语义;基于所述音频语义与配置语义的匹配,从与所述配置语义所对应的配置认可度中筛选出所述音频认可度;若所述音频认可度小于配置等级,则对所述音频信息进行特征识别,得到语音特征;基于所述语音特征,对所述初始音频进行语音转换,直至所述音频认可度大于所述配置等级,得到所述形象音频。8.一种虚拟形象生成装置,运行于电子设备中,所述电子设备中包括显示面板及摄像头,其特征在于,所述虚拟形象生成装置包括:定位单元,用于响应于虚拟形象生成请求,定位预设形象在所述显示面板的显示位置;捕获单元,用于基于所述摄像头捕获使用者的脸部图像;切割单元,用于切割所述脸部图像,得到眼球图像及表情图像;提取单元,用于基于所述眼球图像及所述显示位置,从所述预设形象中提取所述使用者对所述预设形象的形象关注点;生成单元,用于基于所述表情图像及所述形象关注点生成所述使用者对所述预设形象的形象认可度;调整单元,用于基于所述形象认可度对所述预设形象进行形象调整,得到虚拟形象;所述生成单元,还用于基于所述使用者的音频信息及所述使用者对所述预设形象的初始音频的音频认可度,生成所述虚拟形象的形象音频。9.一种电子设备,其特征在于,所述电子设备包括:存储器,存储有计算机可读指令;及处理器,执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的虚拟形象生成方法。10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现如权利要求1至7中任意一项所述的虚拟形象生成方法。

技术总结
本发明涉及人工智能,提供一种虚拟形象生成方法、装置、设备及存储介质。该方法定位预设形象的显示位置,切割使用者的脸部图像,得到眼球图像及表情图像,基于眼球图像及显示位置提取形象关注点,基于表情图像生成形象认可度并对所述预设形象进行调整,得到虚拟形象,基于音频信息及音频认可度生成形象音频,能够个性化生成虚拟形象及生成符合需求的形象音频。此外,本发明还涉及区块链技术,所述虚拟形象及所述形象音频可存储于区块链中。及所述形象音频可存储于区块链中。及所述形象音频可存储于区块链中。


技术研发人员:付明才
受保护的技术使用者:平安付科技服务有限公司
技术研发日:2022.11.16
技术公布日:2023/3/21
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1