多模态内容的分类方法、装置、电子设备及存储介质与流程

本公开涉及计算机，具体涉及一种多模态内容的分类方法、装置、电子设备及存储介质。

背景技术：

1、海量的新闻和信息对于新闻媒体和新闻从业者来说，如何准确地确定新闻的重要度变得尤为重要。目前，针对新闻重要度的确定通常基于标注者的主观判断实现，但这就会导致新闻重要度的确定准确性较低。

技术实现思路

1、有鉴于此，本公开提供了一种多模态内容的分类方法、装置、电子设备及存储介质，以解决新闻重要度的确定准确性较低的问题。

2、第一方面，本公开提供了一种多模态内容的分类方法，包括：

3、获取待处理新闻媒体数据；

4、提取所述待处理新闻媒体数据的新闻描述信息；

5、利用新闻重要度分类模型提取所述新闻描述信息的融合特征，并基于所述融合特征生成所述待处理新闻媒体数据的重要度，所述新闻重要度分类模型包括大语言子模型以及新闻子模型，所述大语言子模型用于提取所述新闻描述信息中的第一特征，所述新闻子模型用于提取所述新闻描述信息中的第二特征，所述融合特征是基于所述第一特征与所述第二特征的融合得到的。

6、第二方面，本公开提供了一种多模态内容的分类装置，包括：

7、获取模块，用于获取待处理新闻媒体数据；；

8、提取模块，用于提取所述待处理新闻媒体数据的新闻描述信息；

9、重要度分类模块，用于利用新闻重要度分类模型提取所述新闻描述信息的融合特征，并基于所述融合特征生成所述待处理新闻媒体数据的重要度，所述新闻重要度分类模型包括大语言子模型以及新闻子模型，所述大语言子模型用于提取所述新闻描述信息中的第一特征，所述新闻子模型用于提取所述新闻描述信息中的第二特征，所述融合特征是基于所述第一特征与所述第二特征的融合得到的。

10、第三方面，本公开提供了一种电子设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的多模态内容的分类方法。

11、第四方面，本公开提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的多模态内容的分类方法。

12、本公开实施例提供的多模态内容的分类方法，获取待处理新闻媒体数据，通过信息提取得到待处理新闻媒体数据的新闻描述信息。由于新闻描述信息能够详细表征该待处理新闻媒体数据的信息，为后续准确地确定新闻重要度提供了详细的依据。再利用新闻重要度分类模型提取新闻描述信息的融合特征，并基于融合特征生成待处理新闻媒体数据的重要度。其中，在新闻重要度分类模型中包括大语言子模型以及新闻子模型，分别用于提取待处理新闻媒体数据的第一特征以及第二特征，将第一特征与第二特征融合得到新闻描述信息的融合特征。由于大语言子模型侧重于语言信息的理解，新闻子模型侧重于新闻场景信息的理解，将两者得到的特征进行融合得到融合特征，能够更加贴合当前的新闻场景，从而提高了所生成的新闻重要度的准确性。

技术特征：

1.一种多模态内容的分类方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述提取所述待处理新闻媒体数据中的新闻描述信息，包括：

3.根据权利要求2所述的方法，其特征在于，若所述新闻媒体数据的条数大于1条，则所述基于所述新闻媒体数据的条数，确定所述待处理新闻媒体数据的新闻描述信息，包括：

4.根据权利要求1所述的方法，其特征在于，所述新闻描述信息包括发布信息以及文本描述信息中的至少一种，所述文本描述包括视频描述文本以及音频描述文本中的至少一种，所述提取所述待处理新闻媒体数据的新闻描述信息包括：

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述新闻重要度分类模型包括级联的至少一个解码模块，所述解码模块包括所述大语言子模型以及所述新闻子模型；

6.根据权利要求5所述的方法，其特征在于，所述新闻重要度分类模型的训练方法包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述预测重要度与所述新闻重要度标签的差异，对所述初始新闻重要度分类模型中的新闻子模型的参数进行更新，以得到所述新闻重要度分类模型，包括：

8.一种多模态内容的分类装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的多模态内容的分类方法。

技术总结
本公开涉及多模态内容处理技术领域，公开了多模态内容的分类方法、装置、电子设备及存储介质，该方法包括获取待处理新闻媒体数据；提取待处理新闻媒体数据的新闻描述信息；利用新闻重要度分类模型提取新闻描述信息的融合特征，并基于融合特征生成待处理新闻媒体数据的重要度，新闻重要度分类模型包括大语言子模型以及新闻子模型，大语言子模型用于提取新闻描述信息中的第一特征，新闻子模型用于提取新闻描述信息中的第二特征，融合特征是基于第一特征与第二特征的融合得到的。由于大语言子模型侧重于语言信息的理解，新闻子模型侧重于新闻场景信息的理解，将两者得到的特征进行融合得到融合特征，能够更加贴合当前的新闻场景，从而提高了所生成的新闻重要度的准确性。

技术研发人员：邹军军,王智广,林令民
受保护的技术使用者：抖音视界有限公司
技术研发日：
技术公布日：2024/6/11