图像构图质量评估方法及装置与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像构图质量评估方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.图像美学质量评价(image aesthetic quality assessment)是利用计算机模拟人类对美的感知与理解，自动评价图像的“美感”，主要针对拍摄或绘画的图像在构图、颜色、光影、景深、虚实等美学因素方面的效果形成的美感刺激。随着云计算能力的提升和人工智能研究的兴起，通过计算机从美学角度对图像质量进行评估是图像处理技术的热点之一。
3.传统的图像质量评价一般是通过计算机模拟人类视觉系统自动评价图像的失真程度，主要是针对图像在采集、压缩、处理、传输及显示等过程中产生图像质量下降情况，通常包括成像条件差而引起的失真、有损压缩引起的失真、噪声、图像传输过程中受信道衰减影响引起的失真等。
4.但我们在评估图像的时，不仅要考虑图像质量本身，还要考虑图像内容（即图像美学质量评价），比如，图像的人物是否完整，位置是否居中、占画面的比例是否合适等。
5.因此，有必要提供一种图像构图质量评估方法。


技术实现要素：

6.本发明的目的在于提供一种图像构图质量评估方法、装置、电子设备及计算机可读存储介质，旨在解决现有图像质量评估方法存在的缺陷。
7.第一方面，本发明的一实施例中提供了一种图像构图质量评估方法，该方法包括：101：获取至少一个特定目标的在图像中的完整度评分以及在图像中的位置评分；102：根据至少一个特定目标的完整度评分和位置评分来评估图像的构图质量。
8.在本实施例的优化方案中，所述步骤101为：获取至少一个特定目标的在图像中的完整度评分、在图像中的位置评分以及在图像中的画面占比评分；所述步骤102为：根据至少一个特定目标的完整度评分、位置评分和画面占比评分来评估图像的构图质量。
9.在本实施例的一具体方案中，所述步骤101中的完整度评分是通过将待检测图像输入特定目标完整度检测模型后获得。
10.进一步地，上述特定目标完整度检测模型的构建方法包括：201：获取多张含有特定目标的图像和多张不含特定目标的图像；202：根据图像中的特定目标的完整度对每张图像进行标注并评分；203：将标注后的图像输入预先构建的卷积神经网络进行训练，生成训练好的特定目标完整度检测模型。
11.进一步地，在本实施例的具体方案中，所述步骤202包括：将包含完整特定目标的图像标记为第一类并设置第一分数；将包含特定目标的主要部位的图像标记为第二类并设置第二分数；将包含特定目标其他部位的图像标记为第三类并设置第三分数；将不包含特
定目标的图像标记为第四类并设置第四分数。
12.进一步地，为方便特定目标的完整度检测模型设计，所述步骤203还包括将所有图像缩放至同一特定尺寸。
13.进一步地，在本实施例的一个具体方案中，位置评分与特定目标的中心位置到图像中心位置的距离相关联，即位置评分可以通过计算特定目标的中心位置到图像中心位置的距离得到。
14.第二方面，本发明实施例还提供了一种视频构图质量评估方法，该方法包括：301：获取待评估视频的各视频帧；302：对各视频帧按照前述的图像构图质量评估方法进行构图质量评估；303：根据各视频帧的构图质量评估结果来评估该视频的构图质量。
15.第三方面，本发明实施例还提供了一种图像构图质量评估装置，该装置包括：获取模块，用于获取至少一个特定目标的在图像中的完整度评分以及在图像中的位置评分；构图质量评估模块，用于根据至少一个特定目标的完整度评分和位置评分来评估图像的构图质量。
16.第四方面，本发明提供了一种电子设备，包括：存储器，所述存储器存储有计算机程序；处理器，所述处理器用于执行所述计算机程序以实现上述的图像构图质量评估方法。
17.第五方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的以实现上述的图像构图质量评估方法。
18.与现有技术相比，本发明通过对图像中的特定目标的完整性和位置合理性进行了评估，解决了传统的底层视觉特征进行美学评价，没有充分考虑图像中的物体的完整性和位置合理性等因素，有助于在自动剪辑中过滤构图质量较差的图像。
附图说明
19.图1是本发明实施例1中的图像构图质量评估方法的流程图。
20.图2是本发明实施例1中的特定目标完整度检测模型的构建流程图。
21.图3是本发明实施例1中的步骤102的子步骤流程图图4是本发明实施例2中的图像构图质量评估方法的流程图。
22.图5是本发明实施例3中的视频构图质量评估方法的流程图。
23.图6是本发明实施例4中的图像构图质量评估装置的结构框图。
24.图7是本发明实施例5中的电子设备的结构框图。
具体实施方式
25.为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
26.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
27.实施例1如图1所示，本实施例揭示了一种图像构图质量评估方法，包括以下步骤。
28.101：获取至少一个特定目标的在图像中的完整度评分以及在图像中的位置评分。
29.本实施例中的特定目标指用来评估图像构图质量的目标，可以是一类物体（如鸟类、鱼类等），也可以是单独的个体（如某个人、某条狗等），因此，如果图像中包含多个物体或人物时，若特定目标不相同，完整度评分以及位置评分也不相同。
30.本实施例中获取特定目标的方式也可以为多种，例如，在相机或手机上使用本方法时，可以由用户在相关界面选择一个或多个特定目标，或者通过标准的检测模型检测出图像中一个或多个特定目标。
31.本实施例中，完整度评分的可从四个维度对图像设置评分：包含完整的特定目标的图像设置第一分数，包含特定目标的主要构成部分的图像设置第二分数，包含特定目标的其他构成部分的图像设置第三分数，以及没有包含该特定目标任何部分的图像设置第四分数，其中，第一分数至第四分数各不相同。
32.本实施例中，位置评分与特定目标的中心位置（如几何中心）到图像的中心位置的距离相关，距离越大，评分越低，距离越小，评分越高。位置评分可以是离散型的，例如，特定目标的中心位置到图像中心位置小于第一距离的设置第一分数，在第一距离和第二距离之间的设置第二分数，以此类推；位置评分还可以是基于统计模型产生，例如，利用2d高斯模型来模拟特定目标的位置评分密度，2d高斯模型的表达式如下：，其中，n为维度，在本实施例中n=2，μ为图片的中心位置或图片的中心附近位置的坐标，通过调节协方差矩阵∑即可调节位置得分的衰减速率。对于位置为(x1,y1,x2,y2)的矩形框的人体，其中x1,y1为矩形框的左上角坐标，x2,y2为人体框的右下角坐标，通过对人体所在的矩形框进行积分p(x)即可获得此人体框的位置得分s
position
。
33.下面以特定目标为人物为例，对本实施例中的完整度评分过程进行说明。本实施例中的人物的完整度评分是通过将待检测图像输入人物完整度检测模型后获得。如图2所示，本实施例中的人物完整度检测模型的构建方法如下。
34.201：获取多张含有特定目标的图像和多张不含特定目标的图像。
35.具体的，获取多张包含人物的图像以及多张不包含人物的图像，需要说明的是，图像中的人物应满足多样性以满足模型的鲁棒性，比如，图像中的人物在大小、肤色、穿戴、位置、多个人物等特征都有足够的图像。
36.202：根据图像中的特定目标的完整度对每张图像进行标注并评分。
37.本实施例中，根据图像中的人物的完整度将图片分为四类，具体地，将包含完整人物的图像标记为第一类并设置第一分数；将包含人物的主要部位的图像标记为第二类并设置第二分数；将包含人物的其他部位的图像标记为第三类并设置第三分数；将不包含人物的图像标记为第四类并设置第四分数，其中，各个分数可以相同也可以不同。具体如下表格所示。类别详细说明分数第一类图像中有完整的人物肢体，画面中没有肢体缺失或者遮挡10第二类图像中人物的头部和躯干完整，但是下肢不完整的样本5第三类图像中的人物头部和躯干等部分遮挡或者缺失的样本
‑
10第四类图像中不包含人物0
38.需要说明的是，上述表中的分数设定只是本实施例中的一个具体方案，在本方案中，有利于筛选出包含完整人物的图像，而过滤掉不包含人物图像及人物头部和躯干缺失的图像，以符合大众对人物构图的审美选择。
39.203：将标注后的图像输入预先构建的卷积神经网络进行训练，生成训练好的特定目标完整度检测模型。
40.在将标注后的图像输入预先构建的卷积神经网络训练之前，优选将所有图像都缩放至同一特定尺寸，以方便该人物的完整度检测模型的设计。具体地，利用深度卷积神经网络分析输入图像，将其缩放到224大小获得图像特征r
224*224
，输出人体完整性分类的类别，利用梯度下降算法对网络模型参数进行训练，直到达到完成训练的条件，如达到预定的训练次数或训练的准确率或者损失值达到期望数，从而完成人物完整度检测模型的训练。在本实施例的训练过程中，可以通过计算深度神经网络的输出概率分布和真实类别之间的交叉熵损失值，对网络参数进行优化。
41.构建好人物完整度检测模型后，就可以将待检测的图像输入该模型，从而得到人物完整度检测模型输出的人物完整度的概率分布，并选择概率最大的类别，并将其转换为分数。具体的，将待检测图像通过双线性差值缩放算法，缩放到224大小，再经过深度神经网络后，得到一个表征图像中人体完整性的类别概率分布向量r4，直接利用深度神经网络的输出作为该图片的预测概率向量，并选取概率最大的索引号作为其类别预测结果，然后得到人物的完整度评分s
category
。
42.同样地，位置评分也可以通过将图像输入相关模型或计算机得到。
43.102：根据至少一个特定目标的完整度评分和位置评分来评估图像的构图质量。
44.如图3所示，步骤102在本实施例中包括以下两个子步骤。
45.1021：对每个特定目标的完整度评分和位置评分进行加权求和得到该特定目标的构图质量评分。
46.通过步骤101得到图像中的某个人物的完整度评分及位置评分，然后通过对该人物的完整度评分及位置评分进行加权求和，进而得到该人物的构图质量得分。对于第i个人物的构图质量得分s
i
的计算公式为：s
i
=α*s
category
‑
i
+β*s
position
‑
i
，其中，α、β为权重参数，α+β=1，α、β可根据实际情况进行调整，s
category
‑
i
为第i个人物的完整度评分，s
position
‑
i
为第i个人物的位置评分。
47.1022：根据图像中的各特定目标的构图质量评分的平均分或加权得分来评估图像的构图质量。
48.当仅对一个人物进行构图质量评估时，仅计算该人物的图像构图质量得分即可；当对多个人物进行构图质量评估时，可通过计算多个人物的图像构图质量得分的平均分或加权得分作为评估依据。在本实施例的一个具体方案中，多个人物的图像构图质量评估得分s为：s=1/n*。
49.需要说明的是，当对多个特定目标进行构图质量评估时，多个特定目标可以属于不同类别，如两个特定目标分别为人物和宠物。
50.实施例2如图2所示，本实施例揭示了另一种图像构图质量评估方法。
51.本实施例中对特定目标的在图像中的完整度评分和在图像中的位置评分基本相同，不同的地方在于：在本实施例中，除了获取特定目标在图像中的完整度评分及在图像中的位置评分外，还对特定目标在图像中的画面占比进行画面占比评分s
proportion
。需要说明的是，画面占比评分与特定目标相关，即特定目标不同，画面占比评分不同。例如，人物在图像中的画面占比在1/6到1/3较为合适，这种情况下的画面占比评分较高；又如，鸟类在图像中画面占比在1/24到1/12较为合适，这种情况下的画面占比评分较高。具体实现方式为：根据检测器检测出的特定目标的类别和面积，计算该特定目标在图像中的画面实际占比与理想的画面占比之间的比例或差值，来产生画面占比评分。
52.同样以特定目标为人物进行说明，对第i个人物的构图质量得分s
i
的计算公式为：s
i
=α*s
category
‑
i
+β*s
position
‑
i
+γ*s
proportion
‑
i
，其中，α、β、γ为权重参数，α+β+γ=1，α、β、γ可根据实际情况进行调整，s
category
‑
i
为第i个人物的完整度评分，s
position
‑
i
为第i个人物的位置评分，s
proportion
‑
i
为第i个人物的画面占比评分。
53.实施例3如图3所示，本实施例揭示了一种视频构图质量评估方法，该方法包括以下步骤。
54.301：获取待评估视频的各视频帧。
55.获取拍摄装置拍摄的视频的各视频帧，拍摄装置包括但不限于相机、智能手机等。
56.302：对各视频帧按照图像构图质量评估方法进行构图质量评估。
57.将各视频帧按照实施例1或实施例2中的构图质量评估方法进行构图质量评估，得到各视频帧的构图质量得分。
58.303：根据各视频帧的构图质量评估结果来评估该视频的构图质量。
59.通过步骤302，可以得到各视频帧的构图质量评分，再根据各视频帧的构图质量评分的平均分来评估该视频的构图质量。
60.实施例4如图4所示，本实施例揭示了一种图像构图质量评估装置，该装置包括：获取模块，用于获取至少一个特定目标的在图像中的完整度评分以及在图像中的位置评分；构图质量评估模块，用于根据至少一个特定目标的完整度评分和位置评分来评估图像的构图质量。其中，完整度评分和位置评分可参考实施例1中的相关描述。在本实施例的优化方案中，获取模块还可用于获取至少一个特定目标在图像中的画面占比评分，构图质量评估模块用于根据至少一个特定目标的完整度评分、位置评分和画面占比评分来评估图像的构图质量。
61.实施例5如图5所示，本实施例揭示了一种电子设备，包括：存储器，所述存储器存储有计算机程序；处理器，所述处理器用于执行所述计算机程序以实现实施例1或实施例2中的图像构图质量评估方法，或者实现实施例3中的视频构图质量评估方法。本实施例中的电子设备具体可以为相机或手机。
62.实施例6本实施例中提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时以实现实施例1或实施例2中的图像构图质量评估方法，或者实现实施例3中的视频构图质量评估方法。
63.本领域普通技术人员可以理解上述各个实施例的各种方法中的全部或部分步骤
是可以通过程序来指令相关的硬件来完成，存储介质可以是计算机可读存储介质，例如，铁电存储器（fram，ferromagnetic random access memory）、只读存储器（rom，read only memory）、可编程只读存储器（prom，programmable read only memory）、可擦除可编程只读存储器（eprom，erasable programmable read only memory）、带电可擦可编程只读存储器（eeprom，electrically erasable programmable read only memory）、闪存、磁表面存储器、光盘、或光盘只读存储器（cd
‑
rom，compact disk
‑
read only memory）等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
64.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。