一种商品短视频自动生成方法、装置以及设备与流程

本说明书涉及互联网，尤其涉及一种商品短视频自动生成方法、装置以及设备。

背景技术：

1、在传统电商平台上，在商品详情页中，使用一系列静态图片(包括广告图、静态海报等)来展示商品的外观、特点和使用方法等。

2、这种方式在图文时代较为有效，但随着短视频和直播平台的兴起，用户的购物习惯也在发生变化。现在的消费者更倾向于通过动态的视频内容了解商品，因为视频能够更直观、更生动地展示商品的细节和使用场景。

3、目前的短视频制作过程，通常需要人工深度参与制作，包括短视频制作的前期准备、制作过程、后期的短视频更新等。

4、基于此，需要成本更低且效率更高的商品短视频生成方案。

技术实现思路

1、本说明书一个或多个实施例提供一种商品短视频自动生成方法、装置、设备以及存储介质，用以解决如下技术问题：需要成本更低且效率更高的商品短视频生成方案。

2、为解决上述技术问题，本说明书一个或多个实施例是这样实现的：

3、本说明书一个或多个实施例提供的一种商品短视频自动生成方法，包括：

4、基于商品描述信息，提取得到多模态的第一商品特征，并获取商品短视频对应的展示场景；

5、基于所述第一商品特征、所述展示场景，在模板库中选择适配的动态模板，并基于所述动态模板，提取得到多模态的模板内容提示信息；

6、根据所述第一商品特征进行颗粒度细化，得到多模态的第二商品特征；

7、根据所述模板内容提示信息、所述第二商品特征在各模态的数据，将所述动态模板与所述商品描述信息进行匹配；

8、根据匹配结果，生成商品短视频。

9、本说明书一个或多个实施例提供的一种商品短视频自动生成装置，包括：

10、商品特征提取模块，基于商品描述信息，提取得到多模态的第一商品特征，并获取商品短视频对应的展示场景；

11、模板内容提取模块，基于所述第一商品特征、所述展示场景，在模板库中选择适配的动态模板，并基于所述动态模板，提取得到多模态的模板内容提示信息；

12、颗粒度细化模块，根据所述第一商品特征进行颗粒度细化，得到多模态的第二商品特征；

13、信息匹配模块，根据所述模板内容提示信息、所述第二商品特征在各模态的数据，将所述动态模板与所述商品描述信息进行匹配；

14、短视频生成模块，根据匹配结果，生成商品短视频。

15、本说明书一个或多个实施例提供的一种商品短视频自动生成设备，包括：

16、至少一个处理器；以及，

17、与所述至少一个处理器通信连接的存储器；其中，

18、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

19、基于商品描述信息，提取得到多模态的第一商品特征，并获取商品短视频对应的展示场景；

20、基于所述第一商品特征、所述展示场景，在模板库中选择适配的动态模板，并基于所述动态模板，提取得到多模态的模板内容提示信息；

21、根据所述第一商品特征进行颗粒度细化，得到多模态的第二商品特征；

22、根据所述模板内容提示信息、所述第二商品特征在各模态的数据，将所述动态模板与所述商品描述信息进行匹配；

23、根据匹配结果，生成商品短视频。

24、本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

25、基于商品描述信息，提取得到多模态的第一商品特征，并获取商品短视频对应的展示场景；

26、基于所述第一商品特征、所述展示场景，在模板库中选择适配的动态模板，并基于所述动态模板，提取得到多模态的模板内容提示信息；

27、根据所述第一商品特征进行颗粒度细化，得到多模态的第二商品特征；

28、根据所述模板内容提示信息、所述第二商品特征在各模态的数据，将所述动态模板与所述商品描述信息进行匹配；

29、根据匹配结果，生成商品短视频。

30、本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果：

31、通过对商品详情页、动态模板的智能分析以及匹配过程，能够将复杂的商品短视频制作流程实现自动化，提高商品短视频的生成效率。减少了人工在商品短视频的设备准备、制作、更新过程中的投入，无需人工深度参与，也无需准备摄像装置等拍摄设备，降低了人工成本以及设备成本。通过智能代理的文本与图像的匹配，确保视频内容精准性和对买家的吸引程度。

技术特征：

1.一种商品短视频自动生成方法，包括：

2.如权利要求1所述的方法，所述基于商品描述信息，提取得到多模态的第一商品特征，具体包括：

3.如权利要求1所述的方法，所述基于所述第一商品特征、所述展示场景，在模板库中选择适配的动态模板，具体包括：

4.如权利要求3所述的方法，所述模板内容摘要信息包括：模板图像内容摘要信息、模板文本内容摘要信息、动态效果特征；

5.如权利要求2所述的方法，所述基于所述动态模板，提取得到多模态的模板内容提示信息，具体包括：

6.如权利要求5所述的方法，所述对所述素材图像信息进行分类，得到第二商品图像特征，具体包括：

7.如权利要求5所述的方法，所述根据所述模板内容提示信息、所述第二商品特征在各模态的数据，将所述动态模板与所述商品描述信息进行匹配，具体包括：

8.如权利要求7所述的方法，所述将所述第二商品文本特征与所述模板文本内容提示信息对应的第一位置信息进行匹配对齐，具体包括：

9.如权利要求8所述的方法，所述基于所述用户吸引力、所述文本相关性，确定所述第二商品文本特征与所述模板文本内容提示信息对应的第一位置信息之间的文本匹配结果，具体包括：

10.如权利要求1所述的方法，所述根据匹配结果，生成商品短视频，具体包括：

11.一种商品短视频自动生成装置，包括：

12.如权利要求11所述的装置，所述商品特征提取模块，基于商品上架的电商平台，获取商品详情页；

13.如权利要求11所述的装置，所述模板内容提取模块，确定模板库中预先存储的多个动态模板，以及所述动态模板对应的模板内容摘要信息；其中，所述动态模板的模板内容提示信息的颗粒度，比其对应的模板内容摘要信息的颗粒度更加细化；

14.如权利要求13所述的装置，所述模板内容摘要信息包括：模板图像内容摘要信息、模板文本内容摘要信息、动态效果特征；

15.如权利要求12所述的装置，所述模板内容提取模块，基于所述动态模板，提取得到用于描述商品卖点文本的模板文本内容提示信息；并基于所述动态模板，提取得到用于描述商品素材图像的模板图像内容提示信息；

16.如权利要求15所述的装置，所述颗粒度细化模块，根据所述第一商品文本特征进行元素扩展，并根据扩展结果对所述素材图像信息进行图像分割；

17.如权利要求15所述的装置，所述信息匹配模块，针对文本模态，将所述第二商品文本特征与所述模板文本内容提示信息对应的第一位置信息进行匹配对齐；

18.如权利要求17所述的装置，所述信息匹配模块，针对所述第二商品文本特征中包含的主要卖点信息、附加卖点信息，确定其对应的用户吸引力，其中，所述主要卖点信息的用户吸引力高于所述附加卖点信息的用户吸引力；

19.如权利要求18所述的装置，所述信息匹配模块，针对各模板文本内容提示信息对应的第一位置信息，根据其与各第二商品文本特征之间的文本相关性，将各第二商品文本特征进行排序，并选择文本相关性最高的第二商品文本特征，作为该第一位置信息的文本匹配结果；

20.如权利要求11所述的装置，所述短视频生成模块，判断所述动态模板的类型中，是否包含动效模板；

21.一种商品短视频自动生成设备，包括：

技术总结
本说明书实施例公开了一种商品短视频自动生成方法、装置以及设备。方案包括：基于商品描述信息，提取得到多模态的第一商品特征，并获取商品短视频对应的展示场景；基于第一商品特征、展示场景，在模板库中选择适配的动态模板，并基于动态模板，提取得到多模态的模板内容提示信息；根据第一商品特征进行颗粒度细化，得到多模态的第二商品特征；根据模板内容提示信息、第二商品特征在各模态的数据，将动态模板与商品描述信息进行匹配；根据匹配结果，生成商品短视频。

技术研发人员：郑丹丹
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/7/11