视频生成方法、装置、电子设备及存储介质与流程

本公开涉及计算机，具体而言，涉及一种视频生成方法、视频生成装置、电子设备以及计算机可读存储介质。

背景技术：

1、随着多媒体技术和视频平台的快速发展，越来越多的用户通过视频平台分享视频作品。现实生活中，用户在将视频作品上传至视频平台之前，通常会通过终端设备对拍摄的原视频进行处理，例如通过终端设备对拍摄的原视频进行风格转换处理。

2、相关技术中，在对拍摄的原视频进行处理时，通常是对原视频中的每一视频帧分别进行处理，由此得到的处理后的每一视频帧之间可能存在较大差异，导致视频的时序稳定性较差；例如对拍摄的原视频中的每一视频帧分别进行风格转换处理，由此得到的风格转换后的每一视频帧中的目标对象的差异较大，导致生成的视频的时序稳定性较差。

技术实现思路

1、本公开实施例提供一种视频生成方法、视频生成装置、电子设备以及计算机可读存储介质，该方法可以提升生成视频的时序稳定性。

2、本公开实施例提供一种视频生成方法，该方法包括：获取待处理视频和描述文本，所述待处理视频包括多个视频帧，每个视频帧均包括目标对象；所述多个视频帧按时间顺序依次排列；将所述多个视频帧平均划分为一个或多个视频帧组，并将所述多个视频帧中的第一个视频帧添加至各个视频帧组中，作为各个视频帧组的第一个视频帧；针对每一视频帧组，将所述视频帧组和所述描述文本输入至视频风格转换模型中，基于所述视频帧组中的第一个视频帧中的目标对象的对象特征，对所述视频帧组中的各个视频帧进行风格转换处理，生成所述视频帧组对应的风格转换后的各个目标视频帧；根据各个视频帧组对应的除第一个目标视频帧以外的其他目标视频帧，生成符合所述描述文本的目标视频。

3、在本公开的一些示例性实施例中，所述视频风格转换模型包括扩散模块和多个控制网络模块，所述扩散模块和所述多个控制网络模块连接；其中，针对每一视频帧组，将所述视频帧组和所述描述文本输入至视频风格转换模型中，基于所述视频帧组中的第一个视频帧中的目标对象的对象特征对所述视频帧组中的各个视频帧进行风格转换处理，生成所述视频帧组对应的风格转换后的各个目标视频帧，包括：对所述视频帧组中的各个视频帧进行条件转化处理，得到各个视频帧对应的条件图；将各个视频帧对应的条件图分别输入至所述多个控制网络模块，生成各个视频帧对应的中间特征向量；将所述描述文本、所述视频帧组中的各个视频帧及其对应的中间特征向量输入至所述扩散模块，基于所述视频帧组中的第一个视频帧中的目标对象的对象特征对所述视频帧组中的各个视频帧进行风格转换处理，生成与各个视频帧对应的风格转换后的各个目标视频帧。

4、在本公开的一些示例性实施例中，基于所述视频帧组中的第一个视频帧中的目标对象的对象特征，对所述视频帧组中的各个视频帧进行风格转换处理，生成与各个视频帧对应的风格转换后的各个目标视频帧，包括：确定所述视频帧组中的各个视频帧对应的键矩阵、值矩阵和查询矩阵，其中，所述键矩阵和所述值矩阵用于表示所述目标对象的对象特征，所述查询矩阵用于表示所述目标对象的空间特征；针对所述视频帧组中的每一当前视频帧，基于所述当前视频帧的查询矩阵、所述第一个视频帧的键矩阵和所述第一个视频帧的值矩阵，确定所述当前视频帧的自注意力权重矩阵；根据所述视频帧组中的各个视频帧的自注意力权重矩阵，生成与各个视频帧对应的风格转换后的各个目标视频帧。

5、在本公开的一些示例性实施例中，根据所述视频帧组中的各个视频帧的自注意力权重矩阵，生成与各个视频帧对应的各个目标视频帧，包括：根据所述视频帧组中的各个视频帧的自注意力权重矩阵和所述描述文本，确定各个视频帧的交叉注意力权重矩阵；根据各个视频帧的交叉注意力权重矩阵，生成与各个视频帧对应的各个目标视频帧。

6、在本公开的一些示例性实施例中，基于所述当前视频帧的查询矩阵、所述第一个视频帧的键矩阵和所述第一个视频帧的值矩阵，确定所述当前视频帧的自注意力权重矩阵，包括：将所述第一个视频帧的键矩阵的转置矩阵和所述当前视频帧的查询矩阵进行点积运算处理，得到所述当前视频帧的中间矩阵；基于所述当前视频帧的中间矩阵和所述第一个视频帧的值矩阵，确定所述当前视频帧的自注意力权重矩阵。

7、在本公开的一些示例性实施例中，所述条件转化处理包括多种类型的条件转化处理，所述多种类型的条件转化处理和所述多个控制网络模块一一对应。

8、在本公开的一些示例性实施例中，根据各个视频帧组对应的除第一个目标视频帧以外的其他目标视频帧，生成符合所述描述文本的目标视频，包括：将各个视频帧组中的第一个目标视频帧移除，将各个视频帧组中除所述第一个目标视频帧以外的其他目标视频帧按顺序拼接，生成符合所述描述文本的目标视频。

9、本公开实施例提供一种视频生成装置，包括：获取模块，被配置为执行获取待处理视频和描述文本，所述待处理视频包括多个视频帧，每个视频帧均包括目标对象；所述多个视频帧按时间顺序依次排列；划分模块，被配置为执行将所述多个视频帧平均划分为一个或多个视频帧组，并将所述多个视频帧中的第一个视频帧添加至各个视频帧组中，作为各个视频帧组的第一个视频帧；生成模块，被配置为执行针对每一视频帧组，将所述视频帧组和所述描述文本输入至视频风格转换模型中，基于所述视频帧组中的第一个视频帧中的目标对象的对象特征对所述视频帧组中的各个视频帧进行风格转换处理，生成所述视频帧组对应的风格转换后的各个目标视频帧；所述生成模块还被配置为执行根据各个视频帧组对应的除第一个目标视频帧以外的其他目标视频帧，生成符合所述描述文本的目标视频。

10、在本公开的一些示例性实施例中，所述视频风格转换模型包括扩散模块和多个控制网络模块，所述扩散模块和各个控制网络模块连接；其中，所述生成模块630还被配置为执行：对所述视频帧组中的各个视频帧进行条件转化处理，得到各个视频帧对应的条件图；将各个视频帧对应的条件图输入至各个控制网络模块，生成各个视频帧对应的中间特征向量；将所述描述文本、所述视频帧组中的各个视频帧及其对应的中间特征向量输入至所述扩散模块，基于所述视频帧组中的第一个视频帧中的目标对象的对象特征对所述视频帧组中的各个视频帧进行处理，生成与各个视频帧对应的各个目标视频帧。

11、在本公开的一些示例性实施例中，所述生成模块还被配置为执行：确定所述视频帧组中的各个视频帧对应的键矩阵、值矩阵和查询矩阵，其中，所述键矩阵和所述值矩阵用于表示所述目标对象的对象特征，所述查询矩阵用于表示所述目标对象的空间特征；针对所述视频帧组中的每一当前视频帧，基于所述当前视频帧的查询矩阵、所述第一个视频帧的键矩阵和所述第一个视频帧的值矩阵，确定所述当前视频帧的自注意力权重矩阵；根据所述视频帧组中的各个视频帧的自注意力权重矩阵，生成与各个视频帧对应的各个目标视频帧。

12、在本公开的一些示例性实施例中，所述生成模块还被配置为执行：根据所述视频帧组中的各个视频帧的自注意力权重矩阵和所述描述文本，确定各个视频帧的交叉注意力权重矩阵；根据各个视频帧的交叉注意力权重矩阵，生成与各个视频帧对应的各个目标视频帧。

13、在本公开的一些示例性实施例中，所述生成模块还被配置为执行：将所述第一个视频帧的键矩阵的转置矩阵和所述当前视频帧的查询矩阵进行点积运算处理，得到所述当前视频帧的中间矩阵；基于所述当前视频帧的中间矩阵和所述第一个视频帧的值矩阵，确定所述当前视频帧的自注意力权重矩阵。

14、在本公开的一些示例性实施例中，所述条件转化处理包括多种类型的条件转化处理，所述多种类型的条件转化处理和所述多个控制网络模块一一对应。

15、在本公开的一些示例性实施例中，所述生成模块还被配置为执行：将各个视频帧组中的第一个目标视频帧移除，将各个视频帧组中除所述第一个目标视频帧以外的其他目标视频帧按顺序拼接，生成符合所述描述文本的目标视频。

16、本公开实施例提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行可执行指令，以实现如上述任一项的视频生成方法。

17、本公开实施例提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述任一项的视频生成方法。

18、本公开实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一项的视频生成方法。

19、本公开实施例提供的视频生成方法，将多个视频帧平均划分为一个或多个视频帧组，并将多个视频帧中的第一个视频帧添加至各个视频帧组中，作为各个视频帧组的第一个视频帧；针对每一视频帧组，基于视频帧组中的第一个视频帧中的目标对象的对象特征对视频帧组中的各个视频帧进行风格转换处理；由此生成各个视频帧对应的各个目标视频帧中的目标对象均与整个待处理视频的第一个视频帧中的目标对象更加吻合，从而提升了生成视频的时序稳定性。

20、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。