一种应用于手机平台的自动制作相册MV的处理方法与流程

本发明涉及手机视频制作领域，更具体的说，其涉及用于一种应用于手机平台的自动制作相册MV的处理方法。

背景技术：

近年来智能手机日益普及，它的功能也越来越强大，在日常生活中它基本取代了相机功能。同时，人们把手机拍摄好的照片制作成相册MV分享给亲朋好友也逐渐地流行起来。传统的相册MV的制作，需要用户从手机的相册里选择用于制作相册MV的图片，然后从很多的美化效果里通过多次尝试选择出匹配照片场景的某个美化效果，再然后从很多的音乐里挑选出匹配照片场景的音乐作为MV的背景声音。

在现实生活中自动制作相册MV时，用户拍完一张照片会先看一下效果，如果效果不好会尝试再拍一张，直到拍到一张自己满意的为止，这也会使得手机相册里会存在很多相似的照片。因此这种方案的缺点是用户需要较长的时间成本来制作MV，其次用户手动选择的美化效果和音乐不一定匹配照片的场景。所以迫切需要解决两个问题：第一点是怎么去除相似的照片，第二点怎么选择匹配照片场景的美化效果和背景声音。

技术实现要素：

本发明的目的在于提供一种应用于手机平台的自动制作相册MV的处理方法，使得整个过程完全自动处理，不需要用户任何操作，使用户制作相册MV的时间成本将为0。

为了解决上述技术问题，本发明的技术方案如下：

一种应用于手机平台的自动制作相册MV的处理方法，具体包括如下步骤：

101)智能选图：所述智能选图，将一段时间内的照片选取出不重复的照片，并自动生成选好的照片列表，并把照片列表数据传递给数据管理模块；

102)智能美化：将步骤101)选择的照片通过人工智能深度学习方法处理，然后自动选择美化效果和背景音乐，并将相应的数据传输给数据管理模块；

103)数据管理：将步骤101)和102)生成的数据进行存储调用管理；

104)渲染：将步骤103)数据中获取需要的数据信息，并把它们渲染成一帧一帧的视频图像数据；

105)生成视频，将步骤104)生成的数据压缩成相应的视频编码数据，并写入视频文件，生成MV。

进一步的，所述步骤101)中的智能选图的步骤如下：

201)选取时间段：从用户手机相册里选择出一段时间内拍摄的所有照片；

202)照片排序：把步骤201)生成的照片按时间从早到晚进行排序；

203)筛选照片：把步骤202)排序好的照片应用照片相似度处理方法来判断选取照片，所述相似度处理方法包括SSIM和SIFT，综合两者进行筛选，由此得到去除相似照片后的目标照片；所述SSIM全称为structural similarity index结构相似性，是一种衡量两幅图像相似度的指标；所述SIFT是尺度不变特征变换全称为Scale-invariant feature transform，用于图像处理领域的一种描述。

进一步的，所述综合两者进行筛选的方法如下：

将SSIM(x,y)和SIFT(x,y)得到的数值转化到0至100的数；

如果SIFT(x,y)>50,返回SIFT(x,y)；

如果SIFT(x,y)>40,返回SIFT(x,y)*0.5+SSIM(x,y)*0.5；

如果SIFT(x,y)>30,返回SIFT(x,y)*0.25+SSIM(x,y)*0.75；

如果SIFT(x,y)>20,返回SIFT(x,y)*0.125+SSIM(x,y)*0.875；

否则，返回SSIM(x,y)；

最终返回的数据值不小于50，表示两张图是相似的，否则，不相似。

进一步的，所述SSIM是一种衡量两幅图像相似度的指标，SSIM比较的具体方法为如下公式(1)：

其中x,y是用于比较的两张图像，μ_x是x的平均值，μ_y是y的平均值，δ_x²是x的方差，δ_y²是y的方差，δ_xy是x和y的标准差。c₁＝(k₁L)²,c₂＝(k₂L)²是用来维持稳定的常数，k₁、k₂是常数，L是像素值的范围，取决于实际图像像素的大小。

进一步的，所述SIFT是尺度不变特征变换，用于图像处理领域的一种描述；SIFT特征比较的具体方法如下公式(2)：

其中x,y是用于比较的两张图像，n_i为特征点个数，n_f为图像x在两张图像重合部分内的所有特征点的个数，α、β为常量；所述n_i根据RANSAC方法求出两张图像的变换矩阵H和匹配的特征点个数n_i，所述RANSAC方法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的方法，所述n_f根据变换矩阵H求出。

进一步的，所述步骤102)智能美化的方法如下：

501)读取照片：从步骤101)生成的照片列表中读取一张照片；

502)识别物体：步骤501)得到的照片通过人工智能深度学习方法识别出主要物体，并建立物体列表数据；

503)归类加权：根据步骤502)建立的列表数据，依次按照所列物体根据相应规则进行场景归类，并加权进行统计计算；

504)选择场景：根据步骤503)将统计计算的结果进行场景选择，自动选取美化效果和背景声音。

进一步的，所述步骤502)中的人工智能深度学习方法采用Deep Learning智能方法或深度神经网络。

进一步的，所述步骤504)中的美化效果和背景声音在数据库中就会对其打上匹配它们的场景标签。

进一步的，所述步骤103)中的数据管理包括照片文件、背景声音文件、美化效果的配置文件的存储，并为步骤104)渲染提供输入的数据。

本发明相比现有技术优点在于：

1，整个过程完全自动处理，不需要用户任何操作，使用户制作相册MV的时间成本将为0。

2.应用智能选图模块，一般情况下选取出来的照片是用户比较满意的。

3.应用智能美化效果选择模块，用匹配照片的美化效果和背景声音，制作出精美的相册MV。

4.采用智能处理方法，制作出的相册MV会考虑更多的因素，一般比用户手动制作要更好。

附图说明

图1为本发明一种应用于手机平台的自动制作相册MV的处理方法的处理流程图；

图2为本发明一种应用于手机平台的自动制作相册MV的处理方法的智能选图的流程图；

图3为本发明一种应用于手机平台的自动制作相册MV的处理方法的智能美化的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明。

如图1所示，一种应用于手机平台的自动制作相册MV的处理方法，具体包括如下步骤：

101)智能选图：所述智能选图，将一段时间内的照片选取出不重复的照片，并自动生成选好的照片列表，并把照片列表数据传递给数据管理模块。如图2所示，智能选图的具体步骤如下：

201)选取时间段：从用户手机相册里选择出一段时间内拍摄的所有照片。

202)照片排序：把步骤201)生成的照片按时间从早到晚进行排序，这个顺序就是用户实际拍摄这些照片的先后次序。

203)筛选照片：把步骤202)排序好的照片应用照片相似度处理方法来判断选取照片，所述相似度处理方法包括SSIM和SIFT，综合两者进行筛选，即前一张和下一张进行相似度判断和筛选，如果两者不相似，那么前一张选入，否则前一张丢弃，接着后一张和它之后的一张再进行相似度判断和筛选，以此类推。由此最终得到去除相似照片后的目标照片。

所述SSIM(structural similarity index)结构相似性，是一种衡量两幅图像相似度的指标，SSIM比较的具体方法为如下公式(1)：

其中x,y是用于比较的两张图像，μ_x是x的平均值，μ_y是y的平均值，δ_x²是x的方差，δ_y²是y的方差，δ_xy是x和y的标准差。c₁＝(k₁L)²,c₂＝(k₂L)²是用来维持稳定的常数，k₁、k₂是常量，L是像素值的范围，取决于实际图像像素的大小。

所述SIFT是尺度不变特征变换(Scale-invariant feature transform，SIFT)，用于图像处理领域的一种描述；SIFT特征比较的具体方法如下公式(2)：

其中x,y是用于比较的两张图像，n_i为特征点个数，n_f为图像x在两张图像重合部分内的所有特征点的个数，α、β为常量；所述n_i根据RANSAC方法求出两张图像的变换矩阵H和匹配的特征点个数n_i，所述RANSAC方法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的方法，所述n_f根据变换矩阵H求出。

综合SSIM和SIFT即将SSIM和SIFT的具体表达式分别为SSIM(x,y)和SIFT(x,y)，且SSIM(x,y)和SIFT(x,y)得到的数值转化到0至100的数，即SSIM(x,y)得到0至100的数，SIFT(x,y)得到0至100的数。

如果SIFT(x,y)>50,返回SIFT(x,y)；

如果SIFT(x,y)>40,返回SIFT(x,y)*0.5+SSIM(x,y)*0.5；

如果SIFT(x,y)>30,返回SIFT(x,y)*0.25+SSIM(x,y)*0.75；

如果SIFT(x,y)>20,返回SIFT(x,y)*0.125+SSIM(x,y)*0.875；

否则，返回SSIM(x,y)。

只要最终返回的数据值不小于50，表示两张图是相似的，否则，不相似。

102)智能美化，将步骤101)选择的照片通过人工智能深度学习方法处理，这将识别出单张照片里的主要物体列表，根据识别出来的物体列表，识别出该照片概率比较高的场景。例如，如果物体列表里有山有水有树等可以认为是旅游场景，如果物体列表里有小孩可以认为是母婴场景。接着再对所有照片识别出的场景，按场景类型加权统计，加权最高的场景就是筛选出来照片的场景。然后自动选择美化效果和背景音乐，并将相应的数据传输给数据管理模块。如图3所示，智能美化的具体方法步骤如下：

501)读取照片：从步骤101)生成的照片列表中读取一张照片；

502)识别物体：步骤501)得到的照片通过人工智能深度学习方法识别出主要物体，并建立物体列表数据。所述人工智能深度学习方法采用Deep Learning智能方法或深度神经网络。

503)归类加权：根据步骤502)建立的列表数据，依次按照所列物体根据相应规则进行场景归类，并加权进行统计计算。

504)选择场景：根据步骤503)将统计计算的结果进行场景选择，自动选取美化效果和背景声音。其中的美化效果和背景声音在数据库中就会对其打上匹配它们的场景标签，统计计算的结果进行场景选择后得到与场景的标签一致时，任意选择一个美化效果和背景声音给相册MV。

103)数据管理：将步骤101)和102)生成的数据进行存储调用管理。数据包括照片文件、背景声音文件、美化效果的配置文件的存储，并为步骤104渲染提供输入的数据。

104)渲染：将步骤103)数据中获取需要的数据信息，并把它们渲染成一帧一帧的视频图像数据。

105)生成视频：将步骤104)生成的视频图像数据通过编码算法压缩成视频编码数据，并把这些数据写入最后的视频文件里，生成MV。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。