一种基于人工智能的动漫素材数据采集方法及系统与流程

本发明涉及数据处理，具体涉及一种基于人工智能的动漫素材数据采集方法及系统。

背景技术：

1、动漫素材为动漫制作和内容创作者提供了必要的原始材料，这些素材可以用于为创作者们提供参考或灵感，制作新的动漫作品或动漫相关产品，或者用于进行二次创作，促进动漫以及动漫相关产业的发展和多样化；动漫片段常常用于动漫视频的二次创作中，构建动漫片段素材库可以便于创作者进行素材的检索和使用，提高创作效率。

2、构建动漫片段素材库需要对动漫视频进行分段，通常利用人工智能进行画面识别对视频进行分段时，获得的识别结果可能不准确，并且仅考虑画面进行分段，可能出现连续情节切换镜头被截断的情况，导致分段结果并不合理，进而导致构建出的动漫片段素材库质量低。

技术实现思路

1、本发明提供一种基于人工智能的动漫素材数据采集方法及系统，以解决现有的动漫片段分段结果不合理的问题。

2、本发明的一种基于人工智能的动漫素材数据采集方法及系统采用如下技术方案：

3、本发明一个实施例提供了一种基于人工智能的动漫素材数据采集方法，该方法包括以下步骤：

4、获取原始动漫视频，原始动漫视频包括若干帧画面，获取原始动漫视频每帧画面对应的声音频率；

5、根据原始动漫视频中每帧与其他帧在各颜色通道的变化情况以及画面信息的差异，获取每帧与其他帧的画面相似性；根据每帧与相邻上一帧的画面相似性，获取若干关键帧；

6、根据每帧的声音频率以及每个关键帧附近的若干帧的声音频率的变化，获取每个关键帧的音频向前关联性以及音频向后关联性；根据每个关键帧的音频向前关联性以及音频向后关联性，获取每个关键帧的音频权重；

7、根据每个关键帧与其他每帧的画面相似性，获取每个关键帧与其他每帧的画面相似基数；根据每个关键帧的音频权重和附近的若干帧的画面相似基数，以及每个关键帧附近音频方面的连续程度，获取每个关键帧与其他每帧的片段连续性；根据每个关键帧与其他每帧的片段连续性进行裁切，获取若干动漫素材片段，实现基于人工智能的动漫素材数据采集。

8、进一步地，所述获取每帧与其他帧的画面相似性，包括：

9、第i帧与除第i帧外的第j帧的画面相似性gi,j的计算方法为：

10、

11、式中：ni.j表示第i帧与第j帧的差分权重，di,j表示第i帧与第j帧的语义特征向量的欧式距离，gi,r表示第i帧所有像素点在第r个通道的值的平均值，gj,r表示第j帧所有像素点在第r个通道的值的平均值，r表示通道数量；| |表示取绝对值函数，exp()表示以自然常数为底的指数函数。

12、进一步地，所述差分权重以及语义特征向量的具体获取方法为：

13、利用预训练的用于画面语义识别的人工智能模型对原始动漫视频的每一帧进行语义识别，获取原始动漫视频中每一帧的语义特征向量；通过帧间差分技术获取两帧之间的二值差分图像，将二值差分图像中的白色区域像素点的数量记为差分权重。

14、进一步地，所述获取若干关键帧，包括：

15、预设特征阈值，将与相邻上一帧的画面相似性小于特征阈值的所有帧记为关键帧。

16、进一步地，所述获取每个关键帧的音频向前关联性以及音频向后关联性，包括：

17、预设频率阈值以及间隔上限，将所有声音频率大于频率阈值的帧记为高频帧，以每个关键帧为起点向前取间隔上限数量的帧记为每个关键帧的向前间隔帧；

18、第t个关键帧的音频向前关联性st的计算方法为：

19、

20、式中：vt表示第t个关键帧的向前间隔帧中高频帧的数量，ft表示第t个关键帧的所有向前间隔帧的声音频率的方差；

21、获取第t个关键帧的音频向后关联性，所述第t个关键帧的音频向后关联性的计算方法与第t个关键帧的音频向前关联性的计算方法相同。

22、进一步地，所述获取每个关键帧的音频权重，包括：

23、第t个关键帧的音频权重lt的计算方法为：

24、lt＝sigmoid(st×s′t×|st―s′t|)

25、式中：st表示第t个关键帧的音频向前关联性，s′t表示第t个关键帧的音频向后关联性；| |表示取绝对值函数，sigmoid()表示sigmoid函数。

26、进一步地，所述获取每个关键帧与其他每帧的画面相似基数，包括：

27、第t个关键帧向前第m帧的画面相似基数zt,m的计算方法为：

28、

29、式中：gt,k表示第t个关键帧与第t个关键帧向前第k帧的画面相似性，m表示第t个关键帧向前的第m帧，k表示第t个关键帧向前帧数间隔为k的帧，sigmoid[]表示sigmoid函数。

30、进一步地，所述获取每个关键帧与其他每帧的片段连续性，包括：

31、第t个关键帧向前第m帧的片段连续性ft,m的计算方法为：

32、

33、式中：lt表示第t个关键帧的音频权重，st表示第t个关键帧的音频向前关联性，ft,m表示第t个关键帧向前第m帧的声音频率，表示第t个关键帧向前第m帧到第t个关键帧之间所有帧的声音频率的均值，zt,m表示第t个关键帧向前第m帧的画面相似基数，| |表示取绝对值函数，sigmoid[]表示sigmoid函数。

34、进一步地，所述获取若干动漫素材片段，包括：

35、预设连续阈值，以每个关键帧为每个初始片段，当第t个关键帧向前第1帧的片段连续性大于等于连续阈值时，将第t个关键帧向前第1帧加入第t个关键帧所在的初始片段，当第t个关键帧向前第2帧的片段连续性大于等于连续阈值时，将第t个关键帧向前第2帧加入第t个关键帧所在的初始片段，当第t个关键帧向前第3帧的片段连续性大于等于连续阈值时，将第t个关键帧向前第3帧加入第t个关键帧所在的初始片段，以此类推，直至出现常数c，使得第t个关键帧向前第c帧的片段连续性小于连续阈值的帧或第t个关键帧向前第c帧为视频边界，停止第t个关键帧向前的延伸，将第t个关键帧向前第c帧到第t个关键帧向前第1帧的所有帧记为第t个关键帧的向前分段结果；

36、根据获取第t个关键帧的向前分段结果的方法，获取第t个关键帧的向后分段结果，将第t个关键帧的向前分段结果和向后分段结果以及第t帧构成的视频片段，记为第t个关键帧的分段结果；获取所有关键帧的分段结果，当若干个关键帧的分段结果存在交集时，将若干个存在交集的分段结果合并，获得所有动漫素材片段。

37、一种基于人工智能的动漫素材数据采集系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种基于人工智能的动漫素材数据采集方法的步骤。

38、本发明的技术方案的有益效果是：根据原始动漫视频中每帧与其他帧在各颜色通道的变化情况以及画面信息的差异，获取每帧与其他帧的画面相似性，结合语义特征向量以及每两帧画面之间在各个通道的差异计算每两帧之间的画面相似性，从多个画面参数进行分析，获得的画面相似性结果更可靠；根据每帧的声音频率以及每个关键帧附近的若干帧的声音频率的变化情况，获取每个关键帧的音频向前关联性以及音频向后关联性，取每个关键帧前后若干帧分析每个关键帧音频的前后关联性，根据每个关键帧的音频向前关联性以及音频向后关联性，获取每个关键帧的音频权重，以音频权重反映每个关键帧附近是对白中切换镜头的连续情节的可能性，避免连续情节切换镜头被截断的情况；根据每个关键帧与其他每帧的画面相似性，获取每个关键帧与其他每帧的画面相似基数，通过每帧到其对应关键帧之间所有帧的画面相似性的加权累和获取画面相似基数，反映每帧与其对应关键帧之间所有帧的整体画面相似情况；根据每个关键帧的音频权重和附近的若干帧的画面相似基数，以及每个关键帧附近音频方面的连续程度，获取每个关键帧与其他每帧的片段连续性，根据片段连续性进行每个关键帧所在初始片段的延伸，并将包含重复帧的片段进行合并，获得更准确的动漫素材片段分段结果。