多媒体侵权检测方法、装置、计算机存储介质及电子设备与流程

本申请属于人工智能，具体涉及一种多媒体侵权检测方法、多媒体侵权检测装置、计算机可读存储介质以及电子设备。

背景技术：

1、随着互联网技术和多媒体平台的快速发展，越来越多的用户开始在多媒体平台上投放自制的多媒体，例如在短视频平台上投放短视频、音频，在图展平台上展示自己的图文作品，等等。但是不可避免的，总会有部分投机用户盗用别人的作品，对原作者的版权权益造成极大伤害，也伤害了多媒体平台的商业利益和信誉。

2、目前，主要通过在互联网中全量采集多媒体，然后将所采集到的全量多媒体与原作者的多媒体作品进行比对，以获取侵权多媒体。但是该方法存在采集成本高、易导致大量冗余采集的问题，进而造成采集、存储、计算资源的浪费，同时还存在侵权多媒体的召回率低、召回耗时长、准确率差的问题。

技术实现思路

1、本申请的目的在于提供一种多媒体侵权检测方法、多媒体侵权检测装置、计算机可读存储介质以及电子设备，能够克服相关技术中存在的召回侵权多媒体时存在的成本高、耗时长、召回准确率差等问题。

2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

3、根据本申请实施例的一个方面，提供一种多媒体侵权检测方法，该方法包括：获取目标多媒体对应的多模态周边信息和多个待比对多媒体对应的多模态周边信息，根据所述目标多媒体对应的多模态周边信息构建目标多媒体特征库，根据所述待比对多媒体对应的多模态周边信息构建待比对多媒体特征库；根据所述目标多媒体特征库中的特征与所述待比对多媒体特征库中的特征之间的相似度，确定与所述目标多媒体匹配的多个目标待比对多媒体，并根据所述目标多媒体和各所述目标待比对多媒体形成多个多媒体对；获取各所述多媒体对中目标多媒体对应的多模态周边信息和目标待比对多媒体对应的多模态周边信息之间的多模态特征相似度，根据所述多模态特征相似度确定与各所述目标待比对多媒体对应的预测置信度，并根据所述预测置信度从多个所述目标待比对多媒体中确定与所述目标多媒体对应的侵权多媒体。

4、根据本申请实施例的一个方面，提供一种多媒体侵权检测装置，该装置包括：多媒体特征库构建模块，用于获取目标多媒体对应的多模态周边信息和多个待比对多媒体对应的多模态周边信息，根据所述目标多媒体对应的多模态周边信息构建目标多媒体特征库，根据所述待比对多媒体对应的多模态周边信息构建待比对多媒体特征库；多媒体对构建模块，用于根据所述目标多媒体特征库中的特征与所述待比对多媒体特征库中的特征之间的相似度，确定与所述目标多媒体匹配的多个目标待比对多媒体，并根据所述目标多媒体和各所述目标待比对多媒体形成多个多媒体对；侵权多媒体获取模块，用于获取各所述多媒体对中目标多媒体对应的多模态周边信息和目标待比对多媒体对应的多模态周边信息之间的多模态特征相似度，根据所述多模态特征相似度确定与各所述目标待比对多媒体对应的预测置信度，并根据所述预测置信度从多个所述目标待比对多媒体中确定与所述目标多媒体对应的侵权多媒体。

5、根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的多媒体侵权检测方法。

6、根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的多媒体侵权检测方法。

7、根据本申请实施例的一个方面，提供一种计算机程序产品，该计算机程序产品包括计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行如以上技术方案中的多媒体侵权检测方法。

8、本申请实施例提供的多媒体侵权检测方法，首先获取目标多媒体信息对应的多模态周边信息和多个待比对多媒体信息对应的多模态周边信息；接着根据目标多媒体对应的多模态周边信息构建目标多媒体特征库，根据待比对多媒体对应的多模态周边信息构建待比对多媒体特征库，通过根据目标多媒体特征库中的特征与待比对多媒体特征库中的特征之间的相似度，可以获取多个媒体对，该媒体对为可能存在侵权的目标待比对多媒体和目标多媒体构成的多媒体对；然后针对各多媒体对，获取其中目标多媒体的多模态周边信息和目标待比对多媒体的多模态周边信息之间的多模态特征相似度，根据该多模态特征相似度可以确定与目标待比对多媒体对应的预测置信度，最后根据该预测置信度可以判断目标待比对多媒体是否为目标多媒体的侵权多媒体。本申请一方面对可能存在侵权的目标待比对多媒体进行粗召回，获取多个包含目标多媒体和目标待比对多媒体的多媒体对，相比对全量采集多媒体，可以大大降低采集成本，并且召回率的损失也较小；另一方面能够用多模态周边信息进行初步侵权研判，将大量搬运型的侵权多媒体以低成本的形式快速检出。

9、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种多媒体侵权检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述目标多媒体对应的多模态周边信息和所述待比对多媒体对应的多模态周边信息均包括标题、作品描述、封面图像和封面语，其中所述封面语是对所述封面图像进行文字识别获取的；

3.根据权利要求2所述的方法，其特征在于，在通过预训练的图像处理模型对封面图像进行图像特征提取之前，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，在通过预训练的图像处理模型对封面图像进行图像特征提取之后，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，在根据所述目标多媒体特征库中的特征与所述待比对多媒体特征库中的特征之间的相似度，确定与所述目标多媒体匹配的多个目标待比对多媒体之前，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述目标多媒体特征库中的特征与所述待比对多媒体特征库中的特征之间的相似度，确定与所述目标多媒体匹配的多个目标待比对多媒体，并根据所述目标多媒体和各所述目标待比对多媒体形成多个多媒体对，包括：

7.根据权利要求6所述的方法，其特征在于，所述目标特征聚类簇的数量为多个；

8.根据权利要求1所述的方法，其特征在于，所述目标多媒体对应的多模态周边信息和所述待比对多媒体对应的多模态周边信息包括作者、标题、作品描述、封面图像和封面语；所述多媒体对包括所述目标多媒体和所述目标待比对多媒体之间的标题相似度、作品描述相似度、封面语相似度、封面图像相似度、标题-作品描述-封面语交叉相似度；所述多模态特征相似度包括标题特征相似度、标题特异性、作品描述特征相似度、封面语特征相似度、标题特征-作品描述特征-封面语特征交叉相似度、作者相似度、封面图像特征相似度和时长相似度；

9.根据权利要求8所述的方法，其特征在于，所述根据所述目标多媒体的标题和所述目标待比对多媒体的标题确定标题编辑距离相似度，包括：

10.根据权利要求1或8所述的方法，其特征在于，所述根据所述多模态特征相似度确定与各所述目标待比对多媒体对应的预测置信度，并根据所述预测置信度从多个所述目标待比对多媒体中确定与所述目标多媒体对应的侵权多媒体，包括：

11.根据权利要求10所述的方法，其特征在于，所述目标多媒体的本体为目标视频本体，所述目标待比对多媒体的本体为目标待比对视频本体；

12.根据权利要求11所述的方法，其特征在于，所述对所述目标视频本体和所述目标待比对视频本体进行黑边检测，包括：

13.根据权利要求11所述的方法，其特征在于，所述从去除黑边的所述目标视频本体中提取关键帧序列，并从去除黑边的所述目标待比对视频本体中提取关键帧序列，包括：

14.根据权利要求11所述的方法，其特征在于，所述将所述目标关键帧特征序列和所述待比对关键帧特征序列进行匹配，并根据匹配结果判断所述目标待比对多媒体是否为所述侵权多媒体，包括：

15.根据权利要求10所述的方法，其特征在于，所述目标多媒体的本体为目标音频本体，所述目标待比对多媒体的本体为目标待比对音频本体；

16.根据权利要求15所述的方法，其特征在于，所述将与所述目标音频本体对应的音频特征序列和与所述目标待比对音频本体对应的音频特征序列进行匹配，并根据匹配结果判断所述目标待比对多媒体是否为所述侵权多媒体，包括：

17.根据权利要求14或16所述的方法，其特征在于，所述汇总侵权片段，并根据汇总后的侵权片段确定所述侵权多媒体，包括：

18.一种多媒体侵权检测装置，其特征在于，包括：

19.一种电子设备，其特征在于，包括：

技术总结
本申请属于人工智能领域，涉及多媒体侵权检测方法、装置、计算机存储介质及电子设备，包括：获取目标多媒体对应的多模态周边信息和待比对多媒体对应的多模态周边信息，构建目标多媒体特征库和待比对多媒体特征库；根据目标多媒体特征库中的特征与待比对多媒体特征库中的特征之间的相似度确定与目标多媒体匹配的多个目标待比对多媒体，并根据目标多媒体和各目标待比对多媒体形成多媒体对；获取多媒体对中目标多媒体对应的多模态周边信息和目标待比对多媒体对应的多模态周边信息间的多模态特征相似度，根据多模态特征相似度确定与各目标待比对多媒体对应的预测置信度，并根据预测置信度确定侵权多媒体。本申请可提高多媒体侵权检测的准确性和效率。

技术研发人员：罗达志
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/14