一种基于数字人的异常表情识别方法和装置与流程

本公开涉及人工智能，尤其涉及一种基于数字人的异常表情识别方法和装置。

背景技术：

1、数字人，指具有数字化外形的虚拟人物，其依赖显示设备存在，并拥有人的相貌和举止。

2、以数字人输出表情为例，需要通过数字人驱动算法根据输入的测试数据生成数字人表情动画，从而赋予数字人各种表情。现有技术中，在评估数字人驱动算法的效果时，依赖于测试人员的主观评价。测试人员需要认真观看数字人表情动画的每一帧细节，排查是否有异常的奇怪表情。该过程非常耗时耗力，效率低下。

技术实现思路

1、本公开提供一种基于数字人的异常表情识别方法和装置，以解决现有技术中存在的异常图像排查耗时耗力、效率低下的技术缺陷。

2、第一方面，本公开实施例提供一种基于数字人的异常表情识别方法，包括：

3、根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数；

4、基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像；

5、将第一表情图像输入至预训练的评估模型，得到第二面部表情参数；其中，所述评估模型为通过面部表情样本参数和表情样本图像组成的训练集进行有监督训练得到；

6、基于第二面部表情参数进行处理，生成对应的第二表情图像；

7、计算所述每一帧表情对应的第一表情图像和第二表情图像的相似度，在确定所述相似度小于阈值的情况下，标记该帧表情为异常表情。

8、根据本公开提供的一种基于数字人的异常表情识别方法，根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数，包括：

9、将所述面部驱动信息输入至预训练的面部驱动模型，生成表情信息中每一帧表情对应的第一面部表情参数；其中，所述面部驱动信息包括图像、视频、文字中的至少一种；

10、其中，所述面部驱动模型由样本驱动信息和样本表情参数进行训练得到。

11、根据本公开提供的一种基于数字人的异常表情识别方法，基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像，包括：

12、将每一帧表情对应的第一面部表情参数输入至渲染模型，生成第一三维数字人形象；

13、将所述第一三维数字人形象投影到二维平面，生成所述第一表情图像。

14、根据本公开提供的一种基于数字人的异常表情识别方法，基于第二面部表情参数进行处理，生成对应的第二表情图像，包括：

15、将每一帧表情对应的所述第二面部表情参数输入至渲染模型，生成第二三维数字人形象；

16、将所述第二三维数字人形象投影到二维平面，生成所述第二表情图像。

17、根据本公开提供的一种基于数字人的异常表情识别方法，在确定该帧表情为异常表情后，所述方法还包括：

18、修正该帧表情，得到修正后的表情信息，并基于修正后的表情信息生成数字人的表情动画。

19、第二方面，本公开实施例提供了一种基于数字人的异常表情识别装置，包括：

20、表情参数生成模块，用于根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数；

21、第一图像处理模块，用于基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像；

22、评估模块，用于将第一表情图像输入至预训练的评估模型，得到第二面部表情参数；其中，所述评估模型为通过面部表情样本参数和表情样本图像组成的训练集进行有监督训练得到；

23、第二图像处理模块，用于基于第二面部表情参数进行处理，生成对应的第二表情图像；

24、标记模块，用于计算所述每一帧表情对应的第一表情图像和第二表情图像的相似度，在确定所述相似度小于阈值的情况下，标记该帧表情为异常表情。

25、根据本公开提供的一种基于数字人的异常表情识别装置，所述第一图像处理模块，具体用于：

26、将每一帧表情对应的第一面部表情参数输入至渲染模型，生成第一三维数字人形象；

27、将所述第一三维数字人形象投影到二维平面，生成所述第一表情图像。

28、根据本公开提供的一种基于数字人的异常表情识别装置，所述第二图像处理模块，具体用于：

29、将每一帧表情对应的所述第二面部表情参数输入至渲染模型，生成第二三维数字人形象；

30、将所述第二三维数字人形象投影到二维平面，生成所述第二表情图像。

31、第三方面，本公开提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的基于数字人的异常表情识别方法的步骤。

32、第四方面，本公开提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于数字人的异常表情识别方法的步骤。

33、第五方面，本公开提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于数字人的异常表情识别方法的步骤。

34、本公开提供的基于数字人的异常表情识别方法和装置，根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数；基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像；然后将第一表情图像输入至预训练的评估模型，得到第二面部表情参数基于第二面部表情参数进行处理，生成对应的第二表情图像；计算每一帧表情对应的第一表情图像和第二表情图像的相似度，在确定所述相似度小于阈值的情况下，标记该帧表情为异常表情，从而可以自动辨别出异常表情，缓解测试人员的负担，提升处理效率。

技术特征：

1.一种基于数字人的异常表情识别方法，其特征在于，包括：

2.根据权利要求1所述的基于数字人的异常表情识别方法，其特征在于，根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数，包括：

3.根据权利要求1所述的基于数字人的异常表情识别方法，其特征在于，基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像，包括：

4.根据权利要求1所述的基于数字人的异常表情识别方法，其特征在于，基于第二面部表情参数进行处理，生成对应的第二表情图像，包括：

5.根据权利要求1所述的基于数字人的异常表情识别方法，其特征在于，在确定该帧表情为异常表情后，所述方法还包括：

6.一种基于数字人的异常表情识别装置，其特征在于，包括：

7.根据权利要求6所述的基于数字人的异常表情识别装置，其特征在于，所述第一图像处理模块，具体用于：

8.根据权利要求6所述的基于数字人的异常表情识别装置，其特征在于，所述第二图像处理模块，具体用于：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的基于数字人的异常表情识别方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于数字人的异常表情识别方法的步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于数字人的异常表情识别方法的步骤。

技术总结
本公开提供一种基于数字人的异常表情识别方法和装置，其中所述方法包括：根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数；基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像；将第一表情图像输入至预训练的评估模型，得到第二面部表情参数；基于第二面部表情参数进行处理，生成对应的第二表情图像；计算所述每一帧表情对应的第一表情图像和第二表情图像的相似度，在确定所述相似度小于阈值的情况下，标记该帧表情为异常表情，从而可以自动辨别出异常表情，缓解测试人员的负担，提升处理效率。

技术研发人员：李显涛,郭聪,王林芳,陈峰
受保护的技术使用者：京东科技控股股份有限公司
技术研发日：
技术公布日：2024/1/12