一种基于人脸的音视频推荐方法及系统的制作方法
【技术领域】
[0001] 本发明涉及信息处理领域，具体涉及一种基于人脸的音视频推荐方法及系统。
【背景技术】
[0002] 随着现代生活水平的不断提高，人们对于娱乐化的需求也越来越多样性，计算机 技术、图像识别技术已逐步应用于日常生活中各个领域中，例如，可以在数以亿万计的人 群中迅速定位目标人物，也可以根据人脸图像判断人脸表情信息。目前随着音视频内容的 多样性，音视频压缩技术的成熟，存储技术的提高，出现了大量根据人脸图像推荐音乐的 应用，该应用将音乐与图像以一种新的形式展现给用户，受到了越来越多用户的关注与喜 爱。现有的根据人脸图像推荐音乐的方法，主要通过分析人脸的表情信息进行音乐推荐， 如高兴的表情，就会推荐一些令人心情愉快的音乐，悲伤的表情，会推荐一些节奏较平缓的 音乐。现有方法主要针对包含单个人脸的图像，通过分析单个人脸的表情信息进行音乐推 荐。当图像中包含多个人脸时，很难分析出具体根据哪个人脸的表情进行音乐推荐，尤其是 在多个人脸表情不一致或图像中存在较多无关人脸的情况下，很难找到合适的音乐进行推 荐。此外，现有方法的推荐内容局限于音乐，对于其它的音频不能推荐，大大降低了用户体 验度。
【发明内容】
[0003] 本发明提供一种基于人脸的音视频推荐方法及系统，可以更全面地分析图像，找 到适合的音视频推荐给用户，提升用户体验度。
[0004] 为此，本发明提供如下技术方案：
[0005] -种基于人脸的音视频推荐方法，包括：
[0006] 接收用户发送的包含人脸的用户图像；
[0007] 确定所述用户图像中人脸的数量；
[0008] 如果人脸的数量为一个，则提取包含单个人脸的图像特征信息；
[0009] 如果人脸的数量为多个，则提取包含多个人脸的图像特征信息；
[0010] 根据提取的图像特征信息确定向所述用户推荐的音视频；
[0011] 将所述音视频推荐给所述用户。
[0012] 优选地，所述确定用户图像中人脸的数量包括：
[0013] 对所述用户图像进行人脸检测，以确定所述用户图像中所有人脸所在的位置；
[0014] 对所述位置区域进行人脸特征点检测，以确定人脸的局部特征点位置。
[0015] 优选地，所述对所述位置区域进行人脸特征点检测包括：
[0016] 通过所述位置区域的纹理特征和各特征点之间的位置约束进行人脸特征点检测。
[0017] 优选地，所述提取包含单个人脸的图像特征信息包括：
[0018] 获取用户属性相关信息，所述用户属性相关信息包括年龄、化妆情况、表情信息、 肤质、是否带眼镜和颜值信息；
[0019] 计算所述人脸与明星的相似度，确定与所述人脸相似度最高的明星；
[0020] 获取所述用户图像的拍摄时间。
[0021] 优选地，所述提取包含多个人脸的图像特征信息包括：
[0022] 去除所述用户图像中的无关人脸；
[0023] 对去除无关人脸后的用户图像进行图像整体氛围估计和人脸亲密度计算。
[0024] 优选地，所述去除用户图像中的无关人脸包括：
[0025] (1)以所述用户图像中心点为原点建立空间坐标系，图像所在平面作为XOY平面；
[0026] (2)确定所述用户图像中所有人脸朝向及人脸眼球朝向；
[0027] (3)根据每个人脸眼球朝向，分别向空间坐标系的Z轴引出两条目光射线，构目光 约束面；
[0028] (4)如果不同人的两目光约束面的交集为线段，则选取线段中点作为交点；如果 不同人的两目光约束面的交集为四边形，则取四边形中心点作为交点；然后以所述交点为 球心作视觉集中球体；
[0029] (5)取落入所述球体内交点最多的视觉集中球体的球心作为视觉空间集中点；
[0030] (6)将所述视觉空间集中点向用户图像所在的XOY平面进行投影；
[0031] (7)如果所述视觉空间集中点的投影落在用户图像范围内，则将在视觉空间集中 点所在球体内的目光约束面对应的人脸全部保留，其余目光约束面对应的人脸作为无关人 脸删除；否则删除当前视觉空间集中点，重新选择视觉集中球体内交点数量次之的球体对 应的球心作为视觉空间集中点，重新执行步骤（6)至步骤（7)。
[0032] 优选地，所述整体氛围包括：欢乐、中性以及悲伤；
[0033] 所述对去除无关人脸后的用户图像进行人脸亲密度计算包括：
[0034] 根据去除无关人脸后的用户图像中两个人脸在图像中的距离计算人脸亲密度。
[0035] 优选地，所述根据提取的图像特征信息确定向所述用户推荐的音视频包括：
[0036] 利用统计建模的方式根据提取的图像特征信息确定向所述用户推荐的音视频；或 者
[0037] 通过标签匹配的方式根据提取的图像特征信息确定向所述用户推荐的音视频。
[0038] 优选地，如果人脸的数量为一个，并且确定向用户推荐的是视频，则在将所述视频 推荐给所述用户之前，还包括：
[0039] 提取所述用户图像中的人脸图像；
[0040] 将所述人脸图像替换掉所述视频中待匹配人物的人脸。
[0041] 优选地，如果向用户推荐的视频中有多个人物，则所述方法还包括：
[0042] 随机选择所述视频中的一个人物作为特匹配人物；或者
[0043] 确定所述视频中的主要人物，并将所述主要人物作为待匹配人物。
[0044] 一种基于人脸的音视频推荐系统，包括：
[0045] 图像接收模块，用于接收用户发送的包含人脸的用户图像；
[0046] 人脸数量确定模块，用于确定所述用户图像中人脸的数量；
[0047] 第一信息提取模块，用于人脸的数量为一个时，提取包含单个人脸的图像特征信 息；
[0048] 第二信息提取模块，用于人脸的数量为多个时，提取包含多个人脸的图像特征信 息；
[0049] 确定模块，用于根据第一信息提取模块或者第二信息提取模块提取出的图像特征 信息确定向所述用户推荐的音视频；
[0050] 推荐模块，用于将所述音视频推荐给所述用户。
[0051 ] 优选地，所述人脸数量确定模块包括：
[0052] 人脸检测单元，用于确定所述用户图像中所有人脸所在的位置；
[0053] 人脸特征点检测单元，用于确定人脸的局部特征点位置。
[0054] 优选地，所述人脸特征点检测单元，具体用于通过人脸位置区域的纹理特征和各 特征点之间的位置约束进行人脸特征点检测。
[0055] 优选地，所述第一信息提取模块包括：
[0056] 用户属性相关信息获取单元，用于获取用户属性相关信息，所述用户属性相关信 息包括年龄、化妆情况、表情信息、肤质、是否带眼镜和颜值信息；
[0057] 相似度计算单元，用于计算人脸与明星的相似度，并确定与所述人脸相似度最高 的明星；
[0058] 时间获取单元，用于获取所述用户图像的拍摄时间。
[0059] 优选地，所述第二信息提取模块包括：
[0060] 无关人脸去除单元，用于去除所述用户图像中的无关人脸；
[0061] 图像整体氛围估计单元，用于对去除无关人脸后的用户图像进行图像整体氛围估 计；
[0062] 人脸亲密度计算单元，用于对去除无关人脸后的用户图像进行人脸亲密度计算。
[0063] 优选地，所述确定模块，具体用于利用统计建模的方式根据提取的图像特征信息 确定向所述用户推荐的音视频；或者通过标签匹配的方式根据提取的图像特征信息确定向 所述用户推荐的音视频。
[0064] 优选地，如果人脸数量确定模块确定的人脸的数量为一个，并且确定模块确定向 用户推荐的是视频，则所述系统还包括：
[0065] 人脸图像提取模块，用于提取所述图像接收模块接收到的用户图像中的人脸图 像；
[0066] 个性化视频生成模块，用于将所述人脸图像提取模块提取到的人脸图像替换掉所 述视频中待匹配人物的人脸，得到个性化视频；
[0067] 所述推荐模块，具体用于