一种基于内容的图像美学质量提升方法
【技术领域】
[0001] 本发明设及人工智能技术领域，特别设及一种基于内容的图像美学质量提升方 法。
【背景技术】
[0002] 目前，在图像质量评价方面，有大量的发明专利公开，可是在图像质量提高方面， 只有个别的发明专利公开。其中专利申请CN104427347A，提出了一种网络摄像机视频监控 系统图像质量提高方法，设及一种网络摄像机视频监控系统图像质量提高方法，其特点是： 获取基于EBMA准则的最小匹配代价，将最小匹配代价与代价阔值进行比对，获取最佳候选 运动矢量，根据得到的最佳候选运动矢量对丢失图像进行质量提高。由此，实现了多分块模 式加权的时域错误隐藏数据处理。同时，简单高效，能够有效对运动矢量，极大提升画面质 量，尤其是提高网络摄像机视频监控系统中终端的视频图像。专利申请CNl 757055，提出一 种有源矩阵阵列器件，具有有源矩阵阵列器件的电子设备和用于运种电子设备的图像质量 提高方法，利用硬件设计的方法，在在其充电周期的一部分期间过激励被寻址矩阵阵列单 元。运样，降低了对应的电荷存储单元和/和对应的输出单元的充电时间，从而最终达到提 高图像感光质量的提升。运些专利都未设及如何提升图像质量，尤其是图像感观美学质量。
【发明内容】
[0003] 为了克服现有技术的上述缺点与不足，本发明的目的在于一种基于内容的图像美 学质量提升方法，简单易实现，对于运算要求偏低。
[0004] 本发明的目的通过W下技术方案实现：
[0005] -种基于内容的图像美学质量提升方法，包括W下步骤：
[0006] Sl图像内容感知识别
[0007] SI. 1收集四大类别的图像照片，分别是人脸、建筑、夜景和其它类别的图像，并将 图像组成训练集;所述其它类别的图像为除人脸、建筑、夜景W外的图像；
[000引SI. 2提取训练集中每张图像的SIFT特征，送入多类的SVM支持矢量机进行训练，得 到四大类别图像的分界面模型；
[0009] SI.3将需调整的图像送入SI.2步骤所得的四大类别图像的分界面模型，得到其对 应的类别输出：
[0010] S2根据需调整的图像类别来进行图像质量调整：
[0011] S2.1如果需调整的图像是人脸类别图像，对人脸区域采用双边滤波器进行肤色滤 波；
[0012] S2.2如果需调整的图像是建筑类别图像，图像质量调整过程如下：
[OOU] S2.2.1进行Canny边缘检测，得到图像边缘的二分图；
[0014] S2.2.2进行霍夫变换的直线检测，检测出需调整的图像中所有的直线，计算最长 的直线与水平方向的夹角0;
[0015] S2.2.3对需调整的图像进行几何变换：W步骤S2.2.2得到的最长的直线为基准， 旋转图像，使图像中的建筑垂直于水平面；
[0016] S2.3如果需调整的图像是夜景类别图像，进行去模糊处理；
[0017] S2.4如果需调整的图像是其它类别图像，通过修改图像构图优化图像美学质量：
[0018] S2.4.1采用基于图像的显著度的图像主题区域检测方法，提取图像主题区域；
[0019] S2.4.2根据主题区域裁剪子图像；
[0020] S2.4.3使用图像美学评分系统计算子图像的美学评分；
[0021] S2.4.4选择美学评分最高的子图像并保存，最高评分的子图像是构图优化的结 果。
[0022] 步骤S2.1所述采用双边滤波器对人脸区域进行肤色滤波，具体为：
[0023] 对像素 X，高斯滤波响应Bx如下：
[0028] 其中，O是高斯卷积核参数，S是领域关系，q是领域内的所有像素点，P是当前滤波 的像素点，y是像素点X的邻域S中的像素点，Wp是归一化因子，Ix Jy分别是像素点X和y的像 素值，Gs是传统的高斯加权因子，Gr是像素相似度因子。
[0029] 步骤S2.1中采用双边滤波器对人脸区域进行肤色滤波之前，进行W下步骤：
[0030] 首先利用化enCV自带的人脸检测模块，对于人脸类别图像进行人脸检测；检测到 人脸区域后，计算人脸区域大小占整个人脸类别图像大小的比例，如果超过设定的比例阔 值，则进行肤色滤波，否则，不做任何处理。
[0031] 步骤S2.2.3所述W步骤S2.2.2得到的最长的直线为基准，旋转图像，使图像中的 建筑垂直于水平面，具体为：
[0032] 使用仿射变换中旋转变换形式旋转图像，其数学表达为：
[0033] =M* UJ UJ COS 6^ sin 台
[0034] M = --Sm 白 COSd^
[0035] 其中M是旋转矩阵，（X'，Y'）为旋转后的需调整的图像坐标，（X，Y)为未经旋转的需 调整的图像坐标，0为旋转的角度。
[0036] 步骤S2.3所述去模糊处理，具体为：
[0037] 基于需调整的图像做分析，构造出真实图像与需调整的图像之间的模糊核函数；
[0038] 假设真实图像f(x，y)经过模糊核K的作用后，加入随机噪声n(x，y)后输出模糊图 像g(x，y)，数学模型描述为：
[0039] 占'(.、-〇.) =欠这)/(.、'-，1'）十C
[0040] 步骤S2.4.2所述根据主题区域裁剪子图像，具体为：W大于等于75%的比例裁剪 图像。
[0041] 步骤S2.4.1所述基于图像的显著度的图像主题区域检测方法，具体为：采用图切 分图像分割方法将图像分割成N个区域，统计整个图像和每个分割后区域的直方图信息;计 算各个分割区域直方图和整体图像直方图的卡方距离，选取P个距离最大的区域作为图像 的主题区域;N为正整数;P为正整数。
[0042] 步骤S2.4.1所述图像美学评分系统的实现过程为：
[0043] 选用图像美学评分AVA数据库，利用LibSVM自回归模型进行训练后得到拟合模型， 采用模型对输入的图像自动拟合，输出图像美学分值。
[0044] 与现有技术相比，本发明具有W下优点和有益效果：
[0045] (1)本发明的图像美学质量简单易实现，对于运算要求偏低，所W可W很好地移植 到手机等移动终端上。
[0046] (2)本发明针对不同类型的图像内容采用有针对性的图像质量提升方法，在人脸 类图像采用磨皮处理，在建筑类图像中采用水平和垂直线调整，在夜景图像中采用去动态 模糊处理，在其它类图像中通过调整图像构图处理。
[0047] (3)本发明的图像内容感知是自动识别和处理的，通过学习四大类别图像的特征， 并找寻四大类别的最大分类平面，从而自动判别当前图像所属类别。
【附图说明】
[004引图1为本发明的实施例的图像内容感知识别的流程图、
[0049] 图2为本发明的实施例的针对人脸类别图像的美学质量提升方法的流程图。
[0050] 图3为本发明的针对其它类别图像的美学质量提升方法的流程图。
【具体实施方式】
[0051] 下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。 [0化2] 实施例
[0053] 本实施例的基于内容的图像美学质量提升方法，包括W下步骤：
[0054] Sl图像内容感知识别，过程如图1所示：
[0055] SI. 1从互联网上收集四大类别的图像照片，分别是人脸、建筑、夜景和其它类别的 图像，每个类别都有1万张图像，并将图像组成训练集;所述其它类别的图像为除人脸、建 筑、夜景W外的图像；
[0056] SI.2提取训练集中每张图像的SIFT特征（Scale-invariant fea1:ure transform， 尺度不变特征转换），送入多类的SVM(Suppod Vector Machine)支持矢量机进行训练，得 到四大类别图像的分界面模型；
[0057] SI.3将需调整的图像送入SI.2步骤所得的四大类别图像的分界面模型，得到其对 应的类别输出：
[005引S2根据需调整的图像类别来进行图像质量调整
[0059] S2.1如果需调整的图像是人脸类别图像，根据人脸区域大小，决定是否采用双边 滤波器进行肤色滤波，过程如图2所示：
[0060] 首先利用化enCV自带的人脸检测模块，对于人脸类别图像进行人脸检测。检测到 人脸区域后，计算当前人脸区域大小占整个图像大小的比例，如果人脸区域大小在整个图 像的占比超过比例U(本发明比例选择为50%)，则进行磨皮处理，否则，人脸图像将不做任 何处理。本实施例所述的磨皮为采用双边滤波器进行肤色滤波，使面部区域光滑，与经典的 高斯滤波类似，双边滤波也是滤波窗口内像素点的邻近加权平均，但双边滤波考虑了邻近 像素间的差异。
[0061] 对像素 X，高斯滤波响应Bx如下：
[0066] 其中，O是高斯卷积核参数，S是领域关系，q是领域内的所有像素点，P是当前滤波 的像素点，y是像素点X的邻域S中的像素点，Wp是归一化因子，Ix Jy分别是像素点X和y的像 素值，Gs是传统的高斯加权因子，Gr是像素相似度因子;在邻域像素点与中屯、像素点相近时， 像素相似度因子趋近于1，而在灰度相似度差异较大的情况下趋近于0。在图像平缓的区域 内，邻域内像素点的像素值相似，双边滤波器相当于低通滤波器，它计算邻域内加权平均消