技术特征：
1.一种情感预测方法，所述方法包括：将视频内容按照预定时间间隔划分为视频段；针对每个视频段，获取该视频段帧级别的音频特征和/或图像特征；将所述视频段帧级别的音频特征和/或图像特征分别按时序进行融合，得到该视频段的短时视频特征；将短时视频特征输入到经过训练的情感预测模型进行长时特征融合，以预测出所述视频内容的情感信息。2.如权利要求1所述的方法，其中，针对每个视频段获取该视频段帧级别的音频特征和/或图像特征包括：针对每个视频段，以帧为单位获取与该视频段帧级别对应的音频数据和/或图像数据；获取与所述音频数据和/或所述图像数据分别对应的音频特征和/或图像特征。3.如权利要求2所述的方法，其中，获取与所述音频数据对应的音频特征包括：将所述音频数据执行梅尔倒谱变换，获取倒谱向量作为所述音频数据的频率特征；将所述频率特征输入到经过训练的音频特征提取模型，获取与所述音频数据对应的音频特征。4.如权利要求2所述的方法，其中，所述图像特征包括以下特征中的一项或者两项以上的特征：人脸表情特征、行为特征以及场景特征。5.如权利要求4所述的方法，其中，在所述图像特征包括人脸表情特征的情况下获取与所述图像数据对应的图像特征包括：将所述图像数据输入到经过训练的人脸表情预测模型，获取与所述图像数据对应的人脸表情特征。6.如权利要求4所述的方法，其中，在所述图像特征包括行为特征的情况下获取与所述图像数据对应的图像特征包括：将所述图像数据输入到经过训练的动作预测模型，获取与所述图像数据对应的行为特征。7.如权利要求4所述的方法，其中，在所述图像特征包括场景特征的情况下，获取与所述图像数据对应的图像特征包括：将所述图像数据输入到经过训练的场景预测模型，获取与所述图像数据对应的场景特征。8.如权利要求1所述的方法，其中，将所述视频段帧级别的音频特征和/或图像特征分别按时序进行融合得到该视频段的短时视频特征包括：将所述视频段帧级别的音频特征和/或图像特征分别输入到经过训练的至少一个短时特征提取模型，获取与所述视频段对应的短时音频特征和/或短时图像特征；通过对短时音频特征和/或短时图像特征按时序执行融合处理，获取所述视频段的短时视频特征。9.如权利要求8所述的方法，其中，所述至少一个短时特征提取模型中的每个短时特征提取模型按照以下方式进行训练：针对每个短时特征提取模型，获取与该短时特征提取模型对应的训练特征数据以及训练情感信息；
构建该短时特征提取模型，设置有训练参数；利用训练特征数据与训练情感信息之间的对应关系对该短时特征提取模型进行训练，调整所述训练参数，直至该短时特征提取模型达到预设要求。10.如权利要求9所述的方法，其中，针对每个短时特征提取模型在利用训练特征数据与训练情感信息之间的对应关系对所述短时特征提取模型进行训练调整所述训练参数直至所述短时特征提取模型达到预设要求后包括：将所述至少一个短时特征提取模型按照预测准确度高低进行排序；在预测准确度最高的短时特征提取模型的基础上，按照准确度高低逐渐增加排序靠后的短时特征提取模型，并且每增加一个短时特征提取模型，则对当前的短时特征提取模型进行协同训练，直至完成对全部短时特征提取模型的协同训练。11.如权利要求1-10中任意一项所述的方法，其中，所述情感预测模型按照以下步骤训练完成：获取训练视频内容的每个训练视频段的训练短时视频特征；构建所述情感预测模型，设置有训练参数；利用每个训练短时视频特征与训练情感信息之间的对应关系对所述情感预测模型进行训练，调整所述训练参数，直至所述情感预测模型达到预设要求。12.一种情感预测设备，其中，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-11所述的方法中的任一方法的指令。13.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-11所述的方法中的任一方法。14.一种用于信息推荐的情感预测方法，所述方法包括：执行权利要求1-11中任意一项所述的情感预测方法，获取视频内容的情感信息；获得所述情感信息相关的数据信息；将所述数据信息推送至终端设备显示。15.一种用于展示推荐信息的方法，所述方法包括：接收待展示的数据信息，所述数据信息指示权利要求14中所述的用于信息推荐的情感预测方法中获取的所述数据信息；将所述数据信息与所述视频内容关联显示。
技术总结
本申请公开了一种情感预测方法及其设备，所述方法包括：将视频内容按照预定时间间隔划分为视频段；针对每个视频段，获取该视频段帧级别的音频特征和/或图像特征；将所述视频段帧级别的音频特征和/或图像特征分别按时序进行融合，得到该视频段的短时视频特征；将短时视频特征输入到经过训练的情感预测模型进行长时特征融合，以预测出所述视频内容的情感信息。采用本申请可在预测情感期间考虑到时序信息，提高了情感预测的准确度。提高了情感预测的准确度。提高了情感预测的准确度。
技术研发人员：赵寅 蔡龙军
受保护的技术使用者：阿里巴巴集团控股有限公司
技术研发日：2020.03.20
技术公布日：2021/10/11