字幕图像生成方法、装置、电子设备及存储介质与流程

本公开涉及计算机，特别是涉及一种字幕图像生成方法、装置、电子设备及存储介质。

背景技术：

1、在音视频播放中，字幕可以提供与音视频内容相对应的文字信息，帮助观众更好地理解影片情节和对话，携带动画的字幕能够进一步突出关键信息以及增强影片氛围，对提升观看体验具有十分重要的作用。目前，传统的字幕动画中所有显示内容会呈现相同的动画效果，导致字幕动画的动画效果比较单一。

技术实现思路

1、以下是对本公开详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本公开实施例提供了一种字幕图像生成方法、装置、电子设备及存储介质，能够丰富待显示字幕的动画效果。

3、一方面，本公开实施例提供了一种字幕图像生成方法，包括：

4、获取待显示字幕中各个字幕层级的初始属性值，其中，所述字幕层级是基于所述待显示字幕中不同类型的显示内容进行划分的，所述初始属性值为所述字幕层级的字幕属性在初始时间点的属性值；

5、获取所述待显示字幕的字幕文本，对于各个所述字幕层级，基于所述字幕文本以及所述初始属性值进行文字排版绘制，得到所述字幕层级在所述初始时间点的初始字幕图层；

6、获取各个所述字幕层级的目标属性值，基于所述目标属性值将对应的所述初始字幕图层进行图像变换，得到所述字幕层级在目标时间点的目标字幕图层，其中，所述目标属性值为所述字幕属性在所述目标时间点的属性值，所述目标时间点为所述初始时间点之后的时间点；

7、将多个所述目标字幕图层进行叠加，生成所述待显示字幕在所述目标时间点的目标字幕图像。

8、另一方面，本公开实施例还提供了一种字幕图像生成装置，包括：

9、获取模块，用于获取待显示字幕中各个字幕层级的初始属性值，其中，所述字幕层级是基于所述待显示字幕中不同类型的显示内容进行划分的，所述初始属性值为所述字幕层级的字幕属性在初始时间点的属性值；

10、排版绘制模块，用于获取所述待显示字幕的字幕文本，对于各个所述字幕层级，基于所述字幕文本以及所述初始属性值进行文字排版绘制，得到所述字幕层级在所述初始时间点的初始字幕图层；

11、图像变换模块，用于获取各个所述字幕层级的目标属性值，基于所述目标属性值将对应的所述初始字幕图层进行图像变换，得到所述字幕层级在目标时间点的目标字幕图层，其中，所述目标属性值为所述字幕属性在所述目标时间点的属性值，所述目标时间点为所述初始时间点之后的时间点；

12、图像生成模块，用于将多个所述目标字幕图层进行叠加，生成所述待显示字幕在所述目标时间点的目标字幕图像。

13、进一步，上述图像变换模块具体用于：

14、确定所述目标属性值与对应的所述初始属性值之间的属性变化量；

15、基于所述属性变化量将对应的所述初始字幕图层进行图像变换，得到所述字幕层级在目标时间点的目标字幕图层。

16、进一步，所述字幕属性包括颜色属性，所述目标属性值包括所述颜色属性的目标颜色值，所述属性变化量包括所述颜色属性的颜色变化量，上述图像变换模块具体用于：

17、当所述颜色变化量指示所述字幕层级发生颜色变化时，将对应的所述初始字幕图层中非透明像素点的颜色值变换为所述目标颜色值，得到所述字幕层级在目标时间点的目标字幕图层。

18、进一步，所述字幕属性包括几何属性，所述属性变化量包括所述几何属性的几何变化量，上述图像变换模块具体用于：

19、基于所述几何变化量确定仿射变换参数，根据所述仿射变换参数构建仿射变换矩阵；

20、基于所述仿射变换矩阵，将对应的所述初始字幕图层进行仿射变换，得到所述字幕层级在目标时间点的目标字幕图层。

21、进一步，所述字幕属性包括遮罩属性，所述目标属性值包括所述遮罩属性的目标遮罩值，上述图像变换模块具体用于：

22、基于所述目标遮罩值，在对应的所述初始字幕图层中确定遮罩区域；

23、在对应的所述初始字幕图层中，将位于所述遮罩区域内的非透明像素点的颜色值变换为预设的遮罩颜色值，得到所述字幕层级在目标时间点的目标字幕图层。

24、进一步，所述遮罩属性包括变色比例属性，所述目标遮罩值包括所述变色比例属性的目标变色比例值，上述图像变换模块具体用于：

25、获取目标字幕图层的图层宽度，根据所述目标变色比例值与所述图层宽度的乘积，确定宽度阈值；

26、在对应的所述初始字幕图层中，将横坐标小于所述宽度阈值的区域确定为遮罩区域。

27、进一步，所述遮罩属性包括多个遮罩坐标属性，所述目标遮罩值包括各个所述遮罩坐标属性的目标遮罩坐标，上述图像变换模块具体用于：

28、分别根据各个所述目标遮罩坐标，在对应的所述初始字幕图层中确定可见区域，其中，所述目标遮罩坐标位于所述可见区域的区域边界；

29、在对应的所述初始字幕图层中，将位于所述可见区域之外的区域确定为遮罩区域。

30、进一步，上述获取模块具体用于：

31、获取所述待显示字幕的动态属性集合，将所述动态属性集合划分为等效属性集合以及非等效属性集合，其中，所述等效属性集合包括用于通过图像变换实现动画效果的字幕属性，所述非等效属性集合包括无法通过图像变换实现动画效果的字幕属性；

32、当所述非等效属性集合为空集时，从所述等效属性集合中获取待显示字幕中各个字幕层级的初始属性值。

33、进一步，所述等效属性集合中的所述字幕属性包括各个所述字幕层级的颜色属性，上述获取模块具体用于：

34、当所述非等效属性集合为空集时，对于各个所述字幕层级，在所述等效属性集合中保持当前的所述字幕层级对应的所述颜色属性不变，将所述等效属性集合中其余的所述字幕层级对应的所述颜色属性调整为透明，得到当前的所述字幕层级对应的层级属性集合；

35、分别从各个所述层级属性集合中，获取待显示字幕中对应的字幕层级的初始属性值。

36、进一步，所述层级属性集合还包括所述初始属性值对应的属性变化函数，上述图像变换模块具体用于：

37、获取所述目标时间点；

38、将所述目标时间点分别输入至各个所述层级属性集合中的所述属性变化函数进行运算，得到各个所述字幕层级的目标属性值。

39、进一步，上述图像变换模块具体用于：

40、将所述目标时间点分别输入至各个所述层级属性集合中的所述属性变化函数进行运算，得到各个所述字幕层级的参考属性值；

41、将所述字幕文本输入至大语言模型进行情感识别，得到所述字幕文本的目标情感信息；

42、将所述目标情感信息以及所述参考属性值拼接后输入至回归模型进行回归，得到各个所述字幕层级的目标属性值。

43、进一步，多个所述字幕层级包括文本层级、边框层级、阴影层级以及背景层级，上述图像生成模块具体用于：

44、将多个所述目标字幕图层，按照背景层级、所述阴影层级、所述边框层级以及所述文本层级的顺序进行依次叠加，生成所述待显示字幕在所述目标时间点的目标字幕图像。

45、另一方面，本公开实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的字幕图像生成方法。

46、另一方面，本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行实现上述的字幕图像生成方法。

47、另一方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行实现上述的字幕图像生成方法。

48、本公开实施例至少包括以下有益效果：通过获取各个字幕层级的字幕属性在初始时间点的初始属性值，以及获取待显示字幕的字幕文本，由于字幕层级是基于待显示字幕中不同类型的显示内容进行划分的，因此，能够基于字幕文本以及初始属性值进行文字排版绘制，得到字幕层级在初始时间点的初始字幕图层，从而实现对不同的显示内容进行字幕图层的划分。然后基于字幕属性在目标时间点的目标属性值，将初始字幕图层进行图像变换，得到字幕层级在目标时间点的目标字幕图层，然后将多个目标字幕图层进行叠加，生成待显示字幕在目标时间点的目标字幕图像，在图像变换中，通过各个目标属性值分别控制对应的初始字幕图层的图像变换过程，实现了各个字幕层级的精细化控制，从而能够对待显示字幕中不同类型的显示内容进行精细化控制，丰富待显示字幕的动画效果；另外，对于待显示字幕的多个帧图像，初始字幕图层可视为待显示字幕在初始时间点所显示的初始帧图像中的图层，目标字幕图层可视为待显示字幕在目标时间点所显示的目标帧图像中的图层，在字幕动画渲染过程中，只需在生成初始字幕图层时进行文字排版绘制，而在生成目标字幕图层时无需进行文字排版绘制，而是以初始字幕图层为基础通过图像变换得到目标字幕图层，能够避免频繁进行运算量较大的文字排版绘制，从而提高字幕动画的渲染效率，提升字幕动画的实时性和流畅性。

49、本公开的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。