一种横竖屏转换画面的裁剪方法、系统、装置及介质与流程

文档序号:25737042发布日期:2021-07-06 18:46阅读:来源:国知局

技术特征:

1.一种横竖屏转换画面的裁剪方法,其特征在于,包括以下步骤:

获取横屏影音文件,从所述横屏影音文件中分离得到视频画面和音频文件;

获取所述视频画面中的人脸位置,确定人脸图像,将所述人脸图像进行分割得到动态信息;

根据所述动态信息与所述音频文件进行匹配,根据匹配结果确定关键人物;

根据所述关键人物对所述视频画面进行剪裁得到竖屏画面。

2.根据权利要求1所述的一种横竖屏转换画面的裁剪方法,其特征在于,所述获取所述视频画面中的人脸位置,确定人脸图像,将所述人脸图像进行分割得到动态信息,其包括:根据所述人脸位置确定所述人脸图像,生成所述人脸图像的灰度图像,并提取所述灰度图像的特征图;

根据所述灰度图像预测得到关键点,并生成所述关键点的相似变换矩阵,根据所述相似变换矩阵确定关键点热点图;

根据所述灰度图像、所述特征图以及所述关键点热点图通过前反馈神经网络进行迭代确定人脸的动态信息。

3.根据权利要求1所述的一种横竖屏转换画面的裁剪方法,其特征在于,所述根据所述动态信息与所述音频文件进行匹配,根据匹配结果确定关键人物,其包括:

将所述动态信息进行编码得到第一特征向量;

将所述音频文件进行编码得到第二特征向量;

将所述第一特征向量与所述第二特征向量进行拼接,通过卷积神经网络输出匹配概率;确定所述匹配概率中的最高分值的人脸位置,为所述关键人物。

4.根据权利要求3所述的一种横竖屏转换画面的裁剪方法,其特征在于,所述根据所述动态信息进行编码得到第一特征向量,其包括:

通过主成成分分析确定所述动态信息中像素的平均值;

计算所述像素的平均值的协方差矩阵,根据所述协方差矩阵确定像素特征向量;

根据所述像素特征向量,将所述动态信息进行投影得到所述第一特征向量。

5.根据权利要求3所述的一种横竖屏转换画面的裁剪方法,其特征在于,所述将所述音频文件进行编码得到第二特征向量,其包括:

提高所述音频文件的高频部分,得到预加重信号,将所述预加重信号进行分帧,得到单帧信号;

将所述单帧信号进行加窗,并通过快速傅里叶变换得到频域信号;

通过梅尔滤波器组,确定所述频域信号的能量,并确定梅尔频率倒谱系数,通过所述梅尔频率倒谱系数得到第二特征向量。

6.根据权利要求1-5任一项所述的一种横竖屏转换画面的裁剪方法,其特征在于,所述根据所述关键人物对所述视频画面进行剪裁得到竖屏画面,其包括:

确定所述横屏影音文件中不存在所述关键人物,保持所述横屏影音文件中画面高度不变;

根据预设画面比例确定画面宽度,根据所述画面高度与所述画面宽度确定剪裁区域;

根据所述剪裁区域进行剪裁得到所述竖屏画面。

7.根据权利要求6所述的一种横竖屏转换画面的裁剪方法,其特征在于,所述根据所述关键人物对所述视频画面进行剪裁得到竖屏画面,其包括:

确定所述横屏影音文件中存在所述关键人物,确定所述剪裁区域;

控制所述剪裁区域在所述横屏影音文件的画面中滑动,确定所述关键人物的人脸位于所述剪裁区域之中,对画面进行剪裁得到所述竖屏画面。

8.一种横竖屏转换画面的裁剪系统,其特征在于,包括:

音画分离模块,用于获取横屏影音文件,从所述横屏影音文件中分离得到视频画面和音频文件;

特征切割模块,用于获取所述视频画面中的人脸位置,确定人脸图像,将所述人脸图像进行分割得到动态信息;

人物匹配模块,用于根据所述动态信息与所述音频文件进行匹配,根据匹配结果确定关键人物;

画面剪裁模块,用于根据所述关键人物对所述视频画面进行剪裁得到竖屏画面。

9.一种横竖屏转换画面的裁剪装置,其特征在于,包括:

至少一个处理器;

至少一个存储器,用于存储至少一个程序;

当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器运行如权利要求1-7任一项所述的一种横竖屏转换画面的裁剪方法。

10.一种存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于运行如权利要求1-7中任一项所述的一种横竖屏转换画面的裁剪方法。


技术总结
本发明提供的一种横竖屏转换画面的裁剪方法、系统、装置及存储介质,方法包括以下步骤:获取横屏影音文件,从横屏影音文件中分离得到视频画面和音频文件;获取视频画面中的人脸位置,确定人脸图像,将人脸图像进行分割得到动态信息;根据动态信息与音频文件进行匹配,根据匹配结果确定关键人物;方法通过分离视频画面和音频文件,在视频画面中通过将人脸的动态信息进行分割,并将分割得到的动态信息与音频文件进行特征匹配,以定位视频中的说话人,在一段含有多人画面的视频上区分关键人物和非关键人物,从而可以尽可能保留关键人物的画面而裁剪非关键人物的画面,以获得更好的裁剪效果,可广泛应用于视频处理技术领域。

技术研发人员:曾荣;徐蕾;吴三阳;王伟;陆赞信
受保护的技术使用者:天翼爱音乐文化科技有限公司
技术研发日:2021.03.26
技术公布日:2021.07.06
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1