评估数字内容的视觉质量的制作方法

1.本说明书一般地涉及数据处理，并且更具体地涉及数字内容评估。


背景技术：

2.计算设备可以创建数字分量，并将它们分发到各种客户端设备。数字分量可以由诸如图像、文本等的内容资产形成，它们被集体地组合以形成数字分量。在一些情况下，即使被用于形成数字分量的单个内容资产质量不佳，例如，图像模糊，包括负面内容(例如，性暴露的内容)，具有与要显示数字分量的区域不符的定向等等—作为结果的数字分量的质量可能受到负面影响。


技术实现要素：

3.通常，本说明书中描述的主题的一个创新方面可以体现在方法中，该方法包括由内容分发系统在多个图像上训练多个机器学习模型的训练操作，该内容分发系统包括一个或多个处理器，每个图像被指配指示图像的质量特性的得分，每个机器学习模型被训练以针对各自的质量特性对图像进行评分；由内容分发系统从计算设备接收评估包括在由计算设备生成的数字分量的当前版本中的图像的质量的请求；由内容分发系统在图像上部署多个机器学习模型以生成每个质量特性的得分；由内容分发系统对每个得分指配权重以生成加权得分；由内容分发系统组合加权得分以生成图像的组合得分；以及由内容分发系统将组合得分与一个或多个阈值进行比较以生成图像质量。此方面的其他实施例包括相应的方法、装置和计算机程序，其被配置成执行在计算机存储设备上编码的方法的动作。
4.这些和其他实施例可以均可选地包括以下特征中的一个或多个。多个机器学习模型可以包括模糊度模型、负面内容模型或定向模型中的两个或更多个。模糊度模型可以生成量化图像内的模糊度的模糊度得分。负面内容模型可以生成对图像内的负面内容进行量化的负面内容得分。定向模型可以生成指示图像的定向的定向得分。
5.一个或多个机器学习模型可以包括神经网络模型，神经网络模型包括多个节点和多个层。多个节点或多个层中的至少一个可以随着神经网络的训练的进展而变化，使得在实验上确定节点或层中的至少一个的理想数量。
6.方法可以包括由内容分发系统将组合得分与数字分量中其他图像的其他组合得分进行聚合以生成数字分量的聚合得分；和
7.方法可以包括由一个或多个处理器更新第一计算设备的图形用户界面以呈现聚合得分。
8.方法可以包括由一个或多个处理器接收图像的修改；由一个或多个处理器评估经修改的图像的组合得分；由一个或多个处理器基于组合得分修改聚合得分；以及由一个或多个处理器更新第一计算设备的图形用户界面以呈现经修改的聚合得分。
9.方法可以包括由内容分发系统将聚合得分与预设质量启发法进行比较；由内容分发系统确定聚合得分不符合预设的质量启发法；响应于确定聚合质量不符合预设质量启发
法，由内容分发系统生成用于改进聚合得分的一个或多个推荐；以及由一个或多个处理器更新第一计算设备的图形用户界面以呈现一个或多个推荐。
10.方法可以包括由内容分发系统将聚合得分与阈值进行比较；由内容分发系统确定聚合得分小于阈值；以及响应于确定聚合得分小于阈值由内容分发系统防止将数字分量分发到一个或多个客户端设备。
11.本文描述的主题可以提供各种优点。例如，本文档通篇讨论的技术提供的质量信息可以被用于限制或防止低质量(例如，低于质量的阈值水平)内容资产和/或数字分量的创建、存储和/或传输，从而减少这些内容资产和/或数字分量的创建、存储和/或传输所消耗的计算资源、内存组件和/或网络带宽。关于内容资产的质量信息可以存储在索引中，从而在使用两个或更多个内容资产自动(或手动)创建数字分量期间使此质量信息可用，使得可以基于用于创建数字分量的内容资产的聚合质量评估数字分量的整体质量。这可以防止存储低质量的数字分量并占用有限的存储空间。根据所描述的技术，可以确定个别图像的图像质量并将其存储在数据库中。因为可以通过组合图像的不同排列来生成大量数字分量，所以这种模块化方法能够更有效地确定数字分量的图像质量。在第一数字分量包括第一图像集合并且第二数字分量包括第二图像集合的情况下，第一图像集合和第二图像集合之间可能存在重叠，即，它们可能包括一些相同的图像。如果作为确定第一图像集合的图像质量的一部分已经确定第二图像集合中的一些图像质量，则可以从数据库中检索这些图像的图像质量得分，从而避免重复评估相同图像的需要，并且从而更有效地使用可用的计算资源。所存储的质量信息还可用于识别导致数字分量具有低于指定质量水平的内容资产的组合，使得计算资源不会在生成、存储和/或传送包括内容资产的这些组合的数字分量中被浪费。这里讨论的技术还可以识别其中包括在数字分量中的一个或多个内容资产难辨认、被遮挡或以其他方式防止用户对内容资产呈现的信息的视觉感知的情况，并且可以防止浪费计算资源来传送这些将会无法向用户传达信息的数字分量。此外，一些内容发布者可能会在发布数字分量之前对其进行评估。在这种情况下，数字分量可以由内容提供者传送到内容分发系统，并从内容分发系统传送到内容发布者，只是为了防止被发布。通过在内容分发系统评估图像质量，所描述的技术因此减少与不太可能被显示的低质量数字分量的传输相关联的处理器和带宽需求。这里讨论的技术还可以检测数字分量中包括的内容资产何时将会导致与数字分量的元素的无意用户交互，其触发对附加信息的网络调用。防止分发这些类型的数字分量可以防止用于发起非预期的网络呼叫和/或响应于那些非预期的网络呼叫向用户递送信息的浪费的计算资源和/或网络带宽。照此，本文讨论的技术可以防止信息在网络上的非预期的传输，从而使网络更高效并减少带宽需求。考虑到导致非预期的网络调用的数字分量可以快速分发给数百万用户，使用贯穿本文档讨论的技术提供的效率可以快速成倍增加。所描述的技术能够使用机器学习模型对数字图像和数字图像质量进行评估、确定和/或分类。这使能够更有效地评估图像质量，并且更有效地大规模生成、评估和传输数字分量。
12.机器学习模型，诸如神经网络模型，可以被用于评估数字分量的内容资产的质量。可以在大量内容资产上训练本文描述的机器学习模型，当这种训练的机器学习模型部署在新内容资产上时，这又可以生成对新内容资产质量的准确评估。此外，机器学习模型可以基于正在生成的新数据被持续学习，并且每个神经网络模型内的各种层的输入和输出之间的
关系可以根据需要相互联系，并且然后随时修改。这种持续的更新和灵活性可以使机器学习模型的训练保持更新，其反而正确使用机器学习模型生成的得分的准确性。
13.在一些实施方式中，可以使用硬件加速器来部署机器学习模型。这种硬件加速器可以包括数个计算单元(也可以称为计算块(compute tiles))，在其当中机器学习模型(例如，神经网络)的计算—其被部署以计算指示在数字分量内的一个或多个内容资产的质量的得分—可以分布。与由中央处理单元已经处理神经网络所需要的指令数量相比，跨计算块的这种计算分布允许通过使用减少了数量的指令来处理神经网络。指令数量的这种减少增加计算多个类别的概率的速度，从而减少确定指示数字分量内的一个或多个内容资产的质量的得分的过程中的时延。
14.本文描述的主题的一个或多个变化的细节在附图和以下描述中阐述。此处描述的主题的其他特征和优点将从描述、附图和权利要求中显而易见。
附图说明
15.图1图示其中形成数字分量的一个或多个内容资产的质量可以被用于调节内容的分发的计算环境。
16.图2a和2b图示如由内容分发系统呈现或更新的计算设备的图形用户界面。
17.图3图示由内容分发系统实现以促进在计算设备上显示内容资产集合的质量的指示的过程。
18.图4图示由内容分发系统训练和部署的机器学习模型的示例。
19.图5图示要确定数字分量内的新图像的质量的多个机器学习模型的同时部署。
20.图6图示由内容分发系统实现以训练和部署机器学习模型以确定内容资产的质量的过程。
21.图7是可用于执行上述操作的示例计算机系统的框图。
22.各种附图中相同的参考符号指示相同的元件。
具体实施方式
23.图1图示计算环境102，其中可以使用形成数字分量106的一个或多个内容资产104的质量来调节内容的分发。在一些示例中，内容资产104可以是图像、文本、音频、动画、视频、交互式内容、任何其他多媒体和/或用户界面元素——诸如交互式按钮——中的一个或多个，并且数字分量106可以是两个或更多个内容资产104的组合。
24.计算环境102包括内容分发系统107(例如，包括一个或多个服务器或一个或多个其他数据处理装置)，其从内容提供者108或内容服务器110接收能够可能用于形成数字分量106的内容资产104，组装(例如，组合)这些内容资产104中的至少一些以形成不同的数字分量106，并且响应于外部调用112，将数字分量106传送到各自的客户端设备114。为了简洁起见，下面的讨论将指的是从内容提供者108接收的内容资产104，但是该讨论同等适用于从内容服务器110或其他地方接收到的内容资产104。在一些情况下，内容分发系统107可以使用关于内容资产104和/或数字分量106的质量信息(例如，图像质量信息)来调整或调节哪些数字分量106被分发和/或数字分量106如何被分发到客户端设备114。例如，内容分发系统107可以防止(或限制)具有低于指定阈值质量水平的质量的数字分量106的分发。
25.如上所述，数字分量106被描述为由内容分发系统107从内容资产104创建。例如，数字分量106由内容分发系统107(或另一计算系统)以编程方式创建。例如，内容提供者108可以上传内容资产(例如，图像、文本和/或用户界面元素，诸如交互式按钮)104的集合并且允许内容分发系统107以不同方式组合不同的内容资产104以使用该内容资产104的集合创建多个不同的数字分量106。
26.一旦内容资产104的集合(例如，8个不同的内容资产104)已上传到内容分发系统107，内容分发系统107就可以评估：(a)该集合内的每个个别的内容资产的质量，(b)整个内容资产104的集合的整体质量，和/或(c)使用对应资产104形成的每个数字分量106的质量(例如，为该数字分量106从8个内容资产的集合中选择的3个内容资产)。这些评价如下所述。
27.内容分发系统107可以评估已上传的内容资产104的集合内的每个个别的内容资产104的质量(例如，图像质量，也称为视觉质量)，并且将每个内容资产104的质量数据存储在内容资产数据库116中。在一些实施方式中，内容分发系统107可以评估由内容提供者108提供的整个内容资产104的集合的质量。内容分发系统107可以呈现质量—例如，将每个个别的内容资产104的内在质量(例如，视觉质量)和/或内容资产104的集合的整体质量——给内容提供者108。在一些示例中，可以如下执行对图像集合的质量的评估。如果质量启发法(例如，指示用于创建和分发数字分量106的准则的预设规则)指示当内容资产104的集合包括至少预设数量的(例如，5个)高质量图像(例如，具有至少指定质量水平的图像)时可以生成更高质量的数字分量106，则当少于当前数量(例如，少于5个)高质量图像被包括在该集合中时，可以减少该内容资产104的集合的质量。类似地，质量启发法可以指示当内容资产104的集合包括具有第一纵横比(例如，对应于方形格式)的至少两个图像以及具有第二纵横比(例如，对应于横向格式)的至少两个图像时可以生成更高质量的数字分量106。在该示例中，当具有第一纵横比或第二纵横比的图像少于两个时，可以减少内容资产104的集合的质量水平。
28.还可以由内容分发系统107评估使用内容资产104创建的每个数字分量106的质量水平。在一些实施方式中，数字分量的评估可以基于内容资产104的聚合质量，其用于创建数字分量106和/或组装时的数字分量106的特性(例如，功能特性的视觉特性)。例如，包括模糊图像的数字分量106也被归类为色情图像(例如，具有高肤色像素计数)，可能比具有未被归类为色情图像的较少模糊图像(例如，模型认为不模糊)的另一数字分量106更低的质量得分。类似地，其中一个内容资产遮蔽或遮挡另一内容资产104中包括的部分或全部文本的数字分量可能具有比以文本没有被遮蔽或遮挡的方式布置相同内容资产104的不同数字分量106更低的质量得分。
29.在数字分量106由内容提供者108生成的情况下，在数字分量106的创建期间或在数字分量106完成之后，内容分发系统107可以提供交互式用户界面，该交互式用户界面可以给内容提供者108(例如，创建和/或上传数字分量106的实体)呈现关于数字分量106的质量的信息。例如，假设内容提供者108将图像内容资产104与文本内容资产104组合。在此示例中，内容分发系统107可以向内容提供者108呈现(例如，提供导致呈现的数据)数字分量106的渲染，并且还呈现通知内容提供者数字分量106的质量水平的指示104，如内容分发系统107所评估的那样。使用此交互式用户界面，内容提供者108能够迭代地修改数字分量106
(例如，通过重新排列数字分量106内的内容资产104的位置和/或改变包括在数字分量106中的内容资产104的组合)，并从内容分发系统107得到更新的质量信息。
30.如下文详细讨论的，内容分发系统107(a)训练和部署机器学习模型，该机器学习模型生成一个或多个内容资产104和/或由一个或多个内容资产104形成的数字分量106的质量的指示104，(b)促进/控制向内容提供者108显示这种指示104，和/或基于质量的指示104控制数字分量106的分发。
31.内容资产104可以是文本、音频、图像、动画、视频、交互式内容或任何其他多媒体中的一种或多种。在一些实施方式中，内容资产104从内容提供者108上传到内容分发系统107。然后内容资产可以被组装(例如，组合在一起)以形成数字分量106。在一个示例中，数字分量106可以是数字广告文件(也可以称为广告)。在一些实施方式中，当组装那些内容资产104以创建数字分量106时，内容资产104如原样被使用(例如，不修改那些内容资产104)。在其他实施方式中，至少一些内容资产104可以在它们被组装之前被修改以形成数字分量106。例如，内容分发系统107可以部署软件模块，其允许在内容提供者108的图形用户界面上修改视觉特征—诸如模糊度、定向(例如，横向、纵向)、分辨率、颜色、各种对象和/或文本的大小、任何其他视觉特征和/或它们的任何组合—内容资产104当中的图像。每个软件模块可以是计算机程序的一部分，其可以包括可以经由链接模块组合或链接的多个独立开发的模块。每个软件模块可以包括一个或多个软件例程，其是执行相应过程或功能的软件代码。
32.内容分发系统107识别由内容提供者108上传的内容资产104，该内容资产104可以包括一个或多个图像，该一个或多个图像可以用于创建分发到客户端设备114的不同数字分量106。内容分发系统107使用一个或多个机器学习模型评估包括一个或多个图像的上传的内容资产的质量，该机器学习模型被训练以评估被视为指示视觉质量的一个或者多个视觉方面(例如，模糊度、负面材料的包括、定向或任何其他视觉方面)。如上所述，视觉质量的指示可以存储在内容资产数据库116中，该内容资产数据库116被索引到(例如，引用到)生成视觉质量的指示的内容资产。当内容资产104用于创建数字分量106和/或向内容提供者108呈现质量指示时，将视觉质量指示索引到内容资产104促进视觉质量指示的使用。
33.当使用在内容资产数据库116中识别的内容资产104中的一个或多个内容资产104生成数字分量106时，内容分发系统107可以确定在数字分量中使用的内容资产104的聚合质量106和/或至少部分地基于指示包括一个或多个图像的数字分量的视觉质量(例如，图像组合的视觉质量)的一个或多个机器学习模型的输出。在指示104中呈现内容资产的聚合质量的视觉指示。
34.如上所述，一旦内容资产104的集合(例如，8个不同的内容资产104)已经被上传到内容分发系统107，内容分发系统107可以评估：(a)在该集合内的每个个别的内容资产的质量，(b)作为整体的整个内容资产104的集合的质量，和/或(c)使用对应资产104形成的每个数字分量106的质量(例如，为该数字分量106从8个内容资产集合中选择的3个内容资产)。内容分发系统107可以通过评估每个内容资产104以确定该内容资产的质量，然后聚合上传的内容资产104的集合内的所有内容资产的此类质量值以确定该集合的聚合质量，并且聚合数字分量106内的所有内容资产104的这些质量值以确定数字分量的聚合质量来进行此类评估。每个内容资产104的评估如下执行。
35.为了评估每个内容资产104，内容分发系统107可以训练和部署多个机器学习模型，诸如模糊度模型、负面内容模型、定向模型等。在训练阶段，内容资产104可以具有多个标签中的一个或多个(例如，模糊值、负面内容值、定向值)。每个标签可以表征内容资产(例如，图像)的对应质量特性(例如，模糊度、负面内容的包括、定向)。可以训练每个模型以根据多个标签中的相应标签对内容资产(例如，图像)进行分类。一旦模型(例如，模糊度模型、负面内容模型和定向模型)被训练，内容分发系统107就可以在数字分量106的内容资产104上部署这些模型以生成每个标签(例如，模糊度、负面内容和定向)的得分。内容分发系统107可以为每个得分指配权重以生成加权得分，并且然后组合加权得分以生成该内容资产104的组合得分。内容分发系统107可以将组合得分与一个或多个阈值进行比较以生成对该内容资产质量的推断。在一些示例中，推断可以是“优秀”质量、“中等”质量或“差”质量。
36.内容分发系统107可以如下评估内容资产集合104的质量。上传的内容资产104的集合的质量可以是形成该集合的各种内容资产104的个别质量的组合(例如，总和)—或在一些实施方式中，平均数、加权平均数、中值等。在少数情况下，内容资产104的集合的聚合质量可以被计算为集合内所有内容资产104的组合得分与所有这些内容资产104的总可能得分的比率。
37.内容分发系统107可以如下评估数字分量106的质量。数字分量106的质量可以是形成该数字分量106的各种内容资产104的个别质量的组合。例如，数字分量106的内容资产104的聚合质量(例如，平均质量、加权平均值、中值质量或其他适当的聚合)可以被指示为四个“优秀”图像和一个“中等”图像的组合。在另一示例中，数字分量106的质量可以被备注为四个“优秀”内容资产104和三个“中等”内容资产104的组合。在其他实施方式中，数字分量106的聚合质量203可以被备注为用于形成数字分量106的所有内容资产104的组合得分的总和。在少数情况下，数字分量106的聚合质量可以被计算为所有内容资产的组合得分与所有内容资产104的总可能得分的比率。
38.如上所述，内容分发系统107可以训练一个或多个机器学习模型，以及部署经训练的模型来为每个新的内容资产104生成指示120。在一些实施方式中，内容分发系统107可以从其他一台或多台服务器接收经训练的机器学习模型，并部署那些接收到的机器学习模型。例如，内容分发系统107可以接收来自于经由通信网络耦合到内容分发系统107的第一服务器的模糊度模型、来自于经由通信网络耦合到内容分发系统107的第二服务器的负面内容模型、来自于经由通信网络耦合到内容分发系统107的第三服务器的定向模型等等。在与该示例一致的一些实施方式中，第一服务器、第二服务器和第三服务器可以是三个分离的服务器，它们可以位于相同或不同的物理位置。在其他实施方式中，服务器、第二服务器和第三服务器可以是坐落在单个物理位置处的单个服务器。
39.虽然上面的示例讨论在机器学习模型(例如，模糊性模型、负面内容模型、定向模型等)被接收到时部署它，但在其他示例中，接收到的机器学习模型可以被定制—以适应内容提供者108使用的特定类型的内容资产104以形成数字分量106—在此类机器学习模型被部署之前。例如，当经训练的机器学习模型已经基于一些内容资产104(例如，图像)由耦合到内容分发系统107的其他服务器训练时，这种定制可能是有效的，但是内容分发系统107可以具有对附加的相关内容资产104(例如，图像)的访问权，其可以更有效地训练机器学习模型以做出更准确的推理。在一些实施方式中，在部署这样的机器学习模型之前，可以首先
定制接收到的机器学习模型(例如，模糊度模型、负面内容模型、定向模型等)以适应由内容分发系统107强加的系统要求。内容分发系统107可以基于内容分发系统107的架构信息、内容提供者108的系统需求(例如，架构信息)和/或一个或多个客户端设备的系统需求(例如，架构信息)中的一个或多个来强加系统需求。在一些实施方式中，内容分发系统107可以为每个内容提供者108单独地定制机器学习模型，这在每个计算设备的用户(例如，广告商)对于要组合以形成数字分量106的集合的图像类型具有不同偏好时是有益的。
40.机器学习模型可以是神经网络模型、最近邻居模型、朴素贝叶斯模型、决策树模型、回归模型、支持向量机(svm)、任何其他机器学习模型和/或它们的任何组合。机器学习模型可以定制。例如，在机器学习模型是神经网络模型的情况下，机器学习模型可以通过变化神经网络模型的大小(即，节点数)、宽度(即，在特定层中的节点数)、神经网络模型的深度(即，层数)、神经网络模型的能力(即，可以通过网络配置学习的功能的类型或结构；也称为表示能力)或神经网络模型的架构(即，层和节点的特定排列)中的一个或多个来执行。
41.虽然每个内容资产104的质量指示被描述为“优秀”质量、“中等”质量或“差”质量，但是在其他示例中，任何其他类别名称(即，除了优秀、中等、或差之外的类别名称；诸如分别极好、一般或坏；等等)都可以使用。此外，虽然描述了三个类别的质量，但在一些实施方式中，类别的数量可以是两个或更多个的任何其他数量。当然，可以使用其他类型的质量指示，诸如数字标度(例如，1-10)或一些其他适当的质量指示，其能够在多个不同的内容资产104当中进行质量比较。
42.视觉质量的评估可以被存储在内容资产数据库116中，索引到(例如，引用到)为其生成视觉质量指示的内容资产104。索引内容资产104的视觉质量的指示允许内容分发系统107在需要时快速检索该内容资产的质量(例如，在对该内容资产104的质量的任何评估期间、在对包括该内容资产104的任何内容资产104的集合的评估期间、以及在评估使用该内容资产104的任何数字分量106期间)。这种快速检索防止内容分发系统107每次需要这种质量时(例如，在对该内容资产104的质量进行任何评估期间、在对包括该内容资产104的任何内容资源104的集合的评估期间、以及在评估使用该内容资产104的任何数字分量106期间)重新计算内容资产104的质量的需求。这种对重新评估内容资产104的质量的需要的避免可以减少质量评估期间的时延。这反而改善向内容提供者108(例如，在图形用户界面上)呈现(例如，显示)质量的速度。
43.可以在分发之前修改数字分量106，如果数字分量106具有总体不合需要的/低质量(例如，不满足质量启发法的质量，其可以是可以指示用于创建和分发数字分量106的准则的预设规则)则其可以是可期望的。在一些示例中，内容分发系统107可以允许内容提供者108：(a)更新用于形成数字分量106的一个或多个内容资产104，和/或(b)用其他一个或多个内容资产104替换用于形成数字分量106的一个或多个内容资产104。在少数示例中，内容分发系统107可以(a)自动更新用于形成数字分量106的一个或多个内容资产104，和/或(b)用其他一个或多个内容资产104自动替换用于形成数字分量106的一个或多个内容资产104。
44.在一个示例中，质量启发法可以指示应该呈现在已上传的内容资产104的集合(从其中选择一些内容资产104以创建数字分量)中的“优秀”内容资产(例如，图像)104的数量、该上传集合中的各种内容资产(例如，图像)108的定向、该集合中的内容资产104的基于内
容的指南等。数字分量106可以(a)由内容分发系统107自动生成(例如，通过从上传的内容资产104集合中自动选择满足质量启发法的内容资产104)，(b)由从上传的集合中选择一个或多个内容资产104的内容提供者108并且由组合所选内容资产104以形成数字分量的内容分发系统107生成，或(c)由执行内容资产104的此类选择和组合以形成数字分量的内容提供者108生成。在内容提供者108通过组合特定于该数字分量106的内容资产104来生成数字分量106的实施方式中，内容分发系统107可以允许内容提供者108使用用户界面118来迭代地对数字分量106进行修改。例如，内容分发系统107可以生成对内容资产104和/或数字分量106的修改的推荐以增强这样的内容资产104和/或数字分量106的质量。
45.在一些示例中，当内容资产104的质量是“中等”时，内容分发系统107可以生成推荐使得质量可以被改进到“优秀”，并且当内容资产104的质量是“差”，内容分发系统107可以生成第一推荐集合使得质量可以改进到“一般”和/或第二推荐集合使得质量可以改进到“优秀”。一些改进质量的建议可以是建议变更各种视觉特性—例如，已识别图像的亮度、对比度、颜色、颜色强度、色调、饱和度、大小、噪声、锐度、亮度、不可取的元素、负面元素、任何其他特性和/或它们的任何组合。
46.在内容分发系统107集体评估上传的内容资产104的集合的实施方式中，内容分发系统107可以生成对该集合内的内容资产104的修改的推荐。在一些实施方式中，例如，当内容资产104的集合不能支持依据质量启发法创建数字分量106时，内容分发系统107可以生成这样的推荐。例如，当数字分量106的视觉质量的预设规则指示数字分量106必须包括3个正方形图像，但是内容资产的集合仅包括2个正方形图像时，可以生成推荐。在另一示例中，当数字分量106的视觉质量的预设规则指示数字分量106必须包括3个“优秀”质量的正方形图像，但是内容资产的集合仅包括2个“优秀”质量的正方形图像时，可以生成推荐。
47.在内容分发系统107评估数字分量106的实施方式中，内容分发系统107可以生成对形成该数字分量106的内容资产104的修改的推荐。在一些实施方式中，例如，当数字分量104不满足质量启发法(即，规则)时，内容分发系统107可以生成这样的推荐。例如，当数字分量106的视觉质量的预设规则指示数字分量106必须包括3个正方形图像，但是数字分量仅由1个正方形图像组成时，可以生成推荐。在另一示例中，当数字分量106的视觉质量的预设规则指示数字分量106必须包括2个“优秀”质量正方形图像时，但是内容资产集合仅包括1个“优秀”质量正方形图像时，可以生成推荐。在一些推荐中，内容分发系统107可以推荐重新排列数字分量106内的一个或多个内容资产104的位置和/或改变包括在数字分量106中的内容资产104的组合以改进数字分量106的整体质量。
48.一旦生成了用于修改一个或多个内容资产的推荐(在任何实施方式中—即，评估每个个别的内容资产104的实施方式、评估上传的内容资产104的集合的实施方式、和/或数字分量被评估的实施方式)，内容分发系统107可以在图形用户界面118上渲染推荐。响应于这样的推荐，内容分发系统107可以更新图形用户界面118以显示选项，内容提供者108可以选择接受或拒绝对一个或多个内容资产104进行的自动改进。内容分发系统107可以迭代地更新上传的内容资产104的集合和/或数字分量106的集合的质量(即，每次评估内容提供者108进行任何变化的更新质量)，并在用户界面上显示更新的质量指示118。
49.在一些实施方式中，内容分发系统107可以针对其他质量指示重新评估完成的数字分量106，例如，重叠元素、点击技巧、坏的裁剪、巨大按钮等。数字分量106的这种二次评
估可以被用于生成用于增广聚合质量的推荐。例如，如果按钮覆盖图像的粗糙或模糊部分，则数字分量106的总质量可能优于组成部分的聚合质量。另一方面，即使资产个别是高质量的，太大并覆盖大部分图像的按钮可能降低质量。
50.在内容分发系统107通过组合内容资产104生成数字分量106的实施方式中，内容分发系统107可以自动地对一个或多个内容资产104和/或数字分量106进行改进(即，无需与内容提供者108进行任何交互)。例如，内容分发系统107可以以增加整体数字分量106的质量的方式(例如，通过覆盖图像的活泼部分)来调节叠加(overlaid)在图像资产上的按钮资产的位置。一旦进行了这样的改进，内容分发系统107就可以更新数字分量106的质量(即，每次内容提供者做出任何变化时都更新质量评估)。
51.在一些实施方式中，内容分发系统107可以如下基于数字分量106的最终质量来限制数字分量106的分发。可以为数字分量106存在预设质量规则/启发法，其可以指示用于创建和分发数字分量106的准则。内容分发系统107可以将数字分量106(其可能已经如上所述更新)与预设质量规则/启发法进行比较来确定数字分量106是否适合被分发。例如，如果质量启发法指示准则—例如(a)数字分量106不能包含“差”质量的图像，(b)数字分量106不能包含“色情”图像，(c)数字分量106不能具有“风景”，(d)数字分量106必须具有“正方形”格式的单个图像等等中的一个或多个—则内容分发系统107可以允许满足该准则的数字分量106的分发但是防止不满足该准则的另一数字分量106的分发。内容分发系统107可以基于满足这样的准则进一步或替代地限制用于分发的数字分量106。因此，内容分发系统107可以自动地限制数字分量106的分发。
52.虽然上面描述了分发的自动控制，但是在一些实施方式中，内容分发系统107可以给予内容提供者108基于由内容分发系统107确定的质量来手动控制数字分量106的分发的机会。例如，内容分发系统107可以在内容提供者108的交互式用户界面118上提供数字分量106的质量的指示120以及相关的质量启发法。交互式用户界面118可以进一步向内容提供者108提供选项以继续分发数字分量106、防止数字分量106的分发和/或修改数字分量106(例如，以改进数字分量106的质量来满足质量启发式)。在这样的实施方式中，内容提供者108可以控制分发—例如，即使当数字分量106不满足质量启发法时，内容提供者也可以允许数字分量106的分发，或者可以防止数字分量的分发，即使当数字分量106满足质量启发法时。
53.内容提供者108可以通过计算设备——诸如膝上型计算机、台式计算机、平板计算机、平板计算机、电话、信息亭计算机、任何其他计算设备和/或其任何组合——与内容分发系统107交互。计算设备可以被配置成由例如域主机(例如，广告商)，例如，通过输入诸如用户名和密码的认证数据、生物特征数据、从外部设备(例如，嵌入在安全密钥卡上的安全数据、从电子邮件或连接到计算设备的软件应用中获得的一次性密码等)、任何其他认证数据和/或它们的任何组合管理。
54.用户使用客户端设备114——诸如膝上型计算机、台式计算机、平板计算机、平板计算机、电话、信息亭计算机、任何其他计算设备和/或它们的任何组合——与内容分发系统107交互。客户端设备114可以被配置成由任何最终用户使用。内容资产数据库116可以是存储设备，诸如计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、任何其他一个或多个存储设备和/或其任何组合。内容服务器110或内容分发系统107
中的任意一个可以是具有至少一个可编程处理器和存储指令的机器可读介质的系统，所述指令在由至少一个处理器执行时使至少一个可编程处理器执行这里描述的各种操作。
55.内容服务器110中的每一个可以是具有至少一个可编程处理器和存储指令的机器可读介质的系统，所述指令在由至少一个处理器执行时使至少一个可编程处理器执行各种操作，诸如收集内容资产104并且根据数字分量106的需要将它们传送到内容提供者108。在一些实施方式中，内容服务器110可以是膝上型计算机、台式计算机、平板电脑、平板计算机、电话、自助服务终端计算机、任何其他计算设备和/或它们的任何组合。
56.图1中所示的各种组件之间的箭头可以指示那些组件之间的通信网络，其可以包括通过局域网、广域网、互联网、内联网、蓝牙网络、红外网络、任何其他一个或多个网络和/或其任何组合的有线连接或无线连接。
57.图2a和2b图示可以在内容提供者108上呈现的图形用户界面。图2a图示图形用户界面200，其显示：(a)由内容提供者108上传的内容资产104(例如，图像)的集合202，从其中选择特定内容资产104以形成数字分量106，(b)集合202内的所有内容资产104的聚合质量203，以及(c)用于各种推荐以改进(i)形成集合202的至少一个内容资产104或(ii)集合202作为整体的质量的按钮204，使得数字分量106符合质量启发法(例如，可以指示数字分量106或内容资产的质量阈值的预设规则104，使得数字分量106可以分布到各种客户端计算设备114)。在一些示例中，数字分量106可以是数字广告文档，诸如由两个或更多个内容资产104的组合形成的广告。在此示例中的集合202内的内容资产104包括图像206、208、210、212、和214，以及文本216。虽然集合202内的内容资产104被描述为图像或文本，但在一些实施方式中，内容资产104还可以包括音频、动画、视频、交互式内容、其他多媒体和/或用户界面元素，诸如交互式按钮。
58.图像206至218中的任一个可以是具有任何格式的数字图像，诸如联合图像专家组(jpeg)、jpeg文件交换格式(jfif)、可交换图像文件格式(exif)、标记图像文件格式(tiff)、图形交换格式(gif)、位图(bmp)、便携式网络图形(png)、便携式像素图(ppm)、便携式灰度图(pgm)、便携式位图(pbm)、便携式any图(pnm；它们可以是ppm、pgm和pbm的组合)、原始图像格式和/或任何其他格式。
59.集合202的聚合质量203可以如下生成。首先，内容分发系统107可以评估形成该集合的每个内容资产104的质量(即，图像206、208、210、212和214以及文本216中的每一个的质量)。为此，内容分发系统107可以训练和部署多个机器学习模型，诸如模糊度模型、负面内容模型、定向模型等。在训练阶段，每个内容资产104(例如，图像206-214之一)可以具有多个标签中的一个或多个(例如，模糊值、负面内容值、定向值)。每个标签可以表征图像的对应质量特性(例如，模糊度、包括负面内容、定向)。可以训练每个模型以根据多个标签中的相应标签对图像进行分类。一旦模型(例如，模糊度模型、负面内容模型和定向模型)被训练，内容分发系统107可以在图像206-214的每个图像上部署这些模型以生成每个标签(例如，模糊度、负面内容、以及定向)的得分。内容分发系统107可以为每个得分指配权重以生成加权得分，并且然后组合加权得分以生成该图像的组合得分。内容分发系统107可以将组合得分与一个或多个阈值进行比较以生成对该内容资产(例如，图像)的质量的推断。在一些示例中，推断可以是“优秀”质量、“中等”质量或“差”质量。
60.虽然每个内容资产104的质量指示被描述为“优秀”质量、“中等”质量或“差”质量，
但在其他示例中，任何其他类别名称(即，除了优秀、中等、或差之外的类别；例如分别为极好、一般或差；等等)都可以使用。此外，虽然描述了三个类别的质量，但在一些实施方式中，类别的数量可以是两个或更多的任何其他数量。当然，可以使用其他类型的质量指示，诸如数字标度(例如，1-10)或一些其他适当的质量指示，其能够在多个不同的内容资产104当中进行质量比较。
61.在一些实施方式中，集合202的聚合质量203可以被备注为四个“优秀”图像和三个“中等”图像的组合。在一些情况下，集合202的聚合质量203可以被备注为所有图像206-214的组合得分的总和。在少数情况下，集合202的聚合质量203可以被计算为所有图像206-214的组合得分与所有图像206-214的总可能得分的比率，如图2a中所示。在所示示例中，所有图像206-214的总可能得分为10。
62.内容分发系统107可以生成用于改进集合202的质量的推荐。在一些示例中，内容分发系统107可以仅在集合202的聚合质量203低于阈值(例如，低于5/10)时生成这样的推荐。这样的阈值可以指示符合将使用集合202内的一个或多个内容资产104形成的数字分量106的质量启发法的最小质量值。在数个示例中，如果质量启发法指示数字分量106必须包含具有以“风景格式”的“优秀”质量的图像的准则，则内容分发系统107可以评估图像206-214以确定是否满足这样的准则。如果不是，则内容分发系统107可以做出以下推荐：(a)图像206-210当中的“风景”图像的质量可以被改进或者(b)这样的图像被替换为具有“优秀”图像质量的另一“风景”图像。图形用户界面200向内容提供者108提供点击对应于这种推荐的按钮204以对图2b的图形用户界面上的个别图像进行修改的选项。
63.图2b图示图形用户界面232，其允许内容提供者108对以上关于图2a讨论的内容资产104的集合202内的个别图像206或其他资产进行修改，使得改进图像206的质量以及集合202的聚合质量203。图形用户界面232将图像质量指示为“优秀”、“中等”或“差”，如上所述。在所示示例中，通过部署机器学习模型，图像206的质量被确定为“中等”，如上文关于图2a所解释的。图形用户界面232可以向内容提供者108提供选项236来格式化图像206。格式化选项236可以包括自动修改图像206的选项，如内容分发系统107推荐以改进图像质量206的。在一些实施方式中，格式化选项236可以允许内容提供者108手动改变图像206。
64.图形用户界面232进一步包括允许内容提供者108接受对图像206的修改的选项238、允许内容提供者108拒绝对图像206的修改的另一选项240、以及允许内容提供者108丢弃来自数字分量108的图像的另一选项242。如果图像具有无法改进太多的非常差的质量，则内容提供者108可能想要从数字分量108中移除该图像。
65.当图像206被修改或改进时，内容分发系统107可以迭代地更新质量指示234以对应于修改或改进的图像204(即，部署经训练的机器学习模型以在每次图像204修改时更新质量评估)。图像206-214中的每一个的质量(其包括图像206的更新质量)可用于生成集合202的聚合质量203。
66.图3图示由内容分发系统107实现的过程，该过程促进向内容提供者108显示——内容资产的集合202的每个个别的内容资产104、和/或数字分量106的——质量。内容分发系统107可以在302处识别存在于集合202中的包括图像的内容资产104(即，可以组合以创建可以分发到一个或多个客户端设备114的不同数字分量106的内容资产)。内容资产104的标识可以包括从内容服务器110和/或内容资产数据库116检索特定内容资产104。如果内容
资产104的质量之前已经被确定，则这样的质量被索引到在内容资产数据库116中的内容资产104的旁边。这种索引允许在需要时从内容资产数据库116简单地检索内容资产104的质量，这可以防止需要重新计算内容资产104的质量。
67.在304处，内容分发系统107可以使用被训练来评估被认为指示视觉质量的视觉方面(例如，模糊度、负面内容、定向和/或等等)的一个或多个机器学习模型评估形成集合202的每个图像的指令(例如，集合202中的图像206-214中的每一个)。例如，内容分发系统107可以训练和部署那些一个或多个机器学习模型。在一些实施方式中，内容分发系统107可以单独地训练模糊度模型、负面内容模型、定向模型和/或任何其他被训练以检测一些图像质量特性的机器学习模型。在一些实施方式中，内容分发系统107可以创建以及训练机器学习模型。在其他实施方式中，内容分发系统107可以从其他一个或多个服务器获得机器学习模型，并且然后可以进一步训练这些模型以例如适合内容提供者108和各种客户端设备114的架构细节。内容分发系统107可以部署经训练的模型以生成相应的质量得分。例如，模糊度模型可以生成量化图像中的模糊度的模糊度得分，负面内容模型可以生成量化图像中内容的负面性的负面内容得分，第三模型可以生成量化图像宽度和高度与典型的数字分量106的标准宽度和高度的兼容性的定向得分等等(例如，具有预设大小的宽度和高度的数字分量)。
68.内容分发系统107可以基于指示每个图像的视觉质量的一个或多个机器学习模型的输出来确定图像的质量。在一些实施方式中，内容分发系统107可以为由相应机器学习模型生成的每个得分指配权重以生成加权得分。例如，内容分发系统107可以将第一权重指配给模糊性得分，将第二权重指配给负面内容得分，并且将第三权重指配给定向得分。然后内容分发系统107可以组合加权得分以生成图像的组合得分。内容分发系统107可以将组合得分与一个或多个阈值进行比较以生成图像质量的推断。例如，如果得分小于下限阈值，则内容分发系统107生成图像具有“差”质量的推断；如果得分在下限阈值和上限阈值之间(下限阈值和上限阈值都包括在该范围内)，则内容分发系统107生成图像具有“中等”质量的推断；并且如果得分大于上限阈值，则内容分发系统107生成图像具有“优秀”质量的推断。这种推断在本文中也被称为质量指示120。
69.在306处，内容分发系统107可以确定形成集合202的内容资产104(例如，图像206-214)的聚合质量203。在一些示例中，集合202的聚合质量203可以被备注为四个“优秀”图像和三个“中等”图像的组合。在一些情况下，集合202的聚合质量203可以被计算为形成数字分量106的所有图像206-214的组合得分的总和。在一些实例中，数字分量106的聚合质量203可以被计算为所有图像206-214的组合得分与所有图像206-214的总可能得分的比率(如图2a中所示，其中所有图像206-214的总可能得分为10)。
70.在308处，内容分发系统107可以更新内容提供者108的图形用户界面200以呈现集合202的聚合质量203的视觉指示。图形用户界面203的更新可以包括向内容提供者108传送形成集合202的图像的聚合质量203的视觉指示。
71.在一些实施方式中，内容分发系统107还可以生成对内容资产104的修改的推荐以增强这样的内容资产104的质量，并且反而增强包括该内容资产104的集合202的质量。在一些示例中，当内容资产104的质量指示质量“中等”时，内容分发系统107可以生成推荐使得质量可以改进到“优秀”，并且当内容资产104的质量被确定为“差”时，内容分发系统107可
以生成第一推荐集合使得质量可以改进到“中等”和/或生成第二推荐集合使得质量可以改进到“优秀”。一些改进质量的建议可以是建议变更各种特性—例如，图像的亮度、对比度、颜色、颜色强度、色调、饱和度、大小、噪声、锐度、灰度、不良分子、不良元素、任何其他特性和/或它们的任何组合。在一些进一步的实施方式中，内容分发系统107可以根据建议的变更自动改进图像。内容分发系统107可以更新内容提供者108的图形用户界面以显示选项，内容提供者108可以选择该选项来接受或拒绝对图像进行的自动改进。
72.图4图示由内容分发系统107训练和部署的机器学习模型的示例。所示的机器学习模型是神经网络模型402。神经网络模型402也可以简称为神经网络、人工神经网络、或人工神经网络模型。尽管已经描述了神经网络模型，但在其他实施方式中，机器学习模型可以是任何其他机器学习模型，诸如最近邻居模型、朴素贝叶斯模型、决策树模型、回归模型、支持向量机(svm)、任何其他机器学习模型和/或其任何组合(可以包括与神经网络模型结合的任何此类模型)。如所示的，神经网络模型402的类型可以是前馈神经网络。在其他实施方式中，神经网络模型402可以是任何其他类型，诸如径向基函数神经网络、多层感知器、卷积神经网络、循环神经网络、模块化神经网络、由两个循环神经网络组成的序列到序列模型、和/或任何其他类型的神经网络。
73.神经网络模型402可以具有多个层，包括输入层404、一个或多个内部层(也称为隐藏层)406和输出层408。层404、406和408中的每一个可以具有一个或多个节点，也可称为神经元或人工神经元。例如，在所示实施方式中，层404具有三个节点，层406中的每一层具有四个节点，并且层408具有单个节点。每个节点(也称为神经元)是计算单元。在一些实施方式中，隐藏层的数量和每个对应层中的节点数量可以基于对其训练模型的图像的量/数量而变化。例如，当图像的量/数量非常高时(例如，大于阈值，诸如1000、5000、10000、100000或特定于实施方式的任何其他阈值)，更多的节点数量和/或层数可以用于加快训练过程以及部署过程期间的推理。在一些实施方式中，节点和/或层的数量可以随着训练阶段的进展而变化，使得在实验上确定神经网络402中的节点和/或层的理想数量。
74.输入层404被配置成接收内容资产(例如，图像)作为输入。在该模型402的训练阶段(即，当该模型402被训练时的持续时间)，输入层402接收在其上模型402被训练的图像。在部署阶段(即，当训练模型402被用于生成推断的持续时间)，输入层402接收要推断其质量的新图像(例如，图像204)。输入层404的每个节点(也称为神经元)是以一些可配置的方式组合来自图像的数据的计算单元，并且具有输出连接。
75.内部层406也被称为隐藏层，因为它们不能从实现神经网络模型402的系统的输入和输出直接观察到。每个隐藏层的每个节点(也称为神经元)406是具有一个或多个加权输入连接、以一些可配置方式组合输入的传递函数以及输出连接的计算单元。
76.输出层408输出作为输入的图像(例如，图像206-214中的任一个)的得分。例如，模糊度模型的输出层408可以输出模糊度得分，负面内容模型的输出层408可以输出负面内容得分，定向模型的输出层408可以输出定向得分等等。在训练阶段，每个模型402可以在不同的(或相同的，在其他实施方式中)图像集合上训练。然而，在部署阶段，每个模型接收要对其进行质量推断的相同的新图像(例如，图像206-214中的任何一个)。所示示例中的输出层408具有单个节点，该节点具有一个或多个加权输入连接，以及以一些可配置方式组合输入以生成得分(例如，模糊度得分，其中模型是模糊度模型；不良内容得分，其中模型是负面内
容模型；定向得分，其中模型是定向模型等)的传递函数。
77.在一些实施方式中，可以使用硬件加速器来部署机器学习模型。这种硬件加速器可以包括数个计算单元(也可以称为计算块)，在其当中被部署以计算指示数字分量内的一个或多个内容资产的质量的得分的机器学习模型(例如，神经网络)的计算可以被分布。与由中央处理单元已经处理的神经网络所需要的指令数量相比，跨计算块的这种计算分布允许通过使用减少数量的指令来处理神经网络。指令数量的这种减少增加计算多个类别的概率的速度，从而减少确定指示数字分量内的一个或多个内容资产的质量的得分的过程中的时延。
78.图5图示多个机器学习模型402-1、402-2、
……
和402-n的同时部署以确定新图像(例如，图像206-214中的任一个)的质量。这里，n可以是任何固定的整数值。每个模型402-i(其中i是范围从1到n的任何整数值)可以接收新图像(例如，图像206-214中的任意一个)作为输入并且输出量化模型402-i被训练以确定的视觉特性的得分si。例如，模型402-1可以是模糊度模型，其可以接收图像204作为输入并输出模糊度得分s1，模型402-2可以是负面内容模型，其可以接收图像204作为输入并输出负面内容得分s2，...，并且模型402-n可以是可以接收图像204作为输入并输出定向得分sn的定向模型。虽然这里的讨论集中在特定的机器学习模型上，但在一些实施方式中，可以额外地或交替地训练和部署额外的模型(未示出)以检测数字分量106中的大按钮、点击数字分量106中的问题的技巧、数字分量106内的图像的活泼、数字分量106的差的图像裁剪、数字分量106中不适当的文本叠加、数字分量106中徽标的位置等，并相应地对数字分量进行分类。
79.模型402-i中的每一个(其中i是范围从1到n的任何整数值)可以具有不同的隐藏层406(例如，不同数量的隐藏层406和/或每个隐藏层406中的不同数量的节点)，因为隐藏层406可以在不同模型402i之间添加或修改以适应每个模型以进行对应推断。
80.内容分发系统107可以包括计算单元(例如，一个或多个处理器)502，其可以向每个模型402-i的得分si指配权重wi(其中i是范围从1到n的任何固定整数)，并且然后将所有模型的加权得分wisi相加以生成总分504(也可以称为组合得分)。
81.总分504可以指示输入图像(例如，图像206-218中的任意一个)的质量。内容分发系统107可以将总分504与一个或多个阈值进行比较以生成对输入图像(例如，图像206-218中的任意一个)的质量的推断。在一些示例中，推断可以是“优秀”质量、“中等”质量或“差”质量。虽然质量的指示120被描述为“优秀”质量、“中等”质量或“差”质量，但在其他示例中，任何其他类别名称(即，除了优秀、中等或差之外的类别名称；诸如分别极好、一般、或坏；等等)可以被使用。此外，虽然描述了三个类别的质量，但在一些实施方式中，类别的数量可以是两个或更多个的任何其他数量。
82.内容分发系统107可以确定形成集合202的内容资产104(例如，图像206-214)的聚合质量203。在一些示例中，集合202的聚合质量203可以被备注为四个“优秀”图像和三个“中等”的图像的组合。在一些情况下，集合202的聚合质量203可以被计算为形成集合202的所有图像206-214的组合得分的总和。在一些情况下，数字分量106的聚合质量203可以被计算为所有图像206-214的组合得分与所有图像206-214的总可能得分的比率(如图2a所示，其中所有图像206-218的总可能得分为10)。
83.内容分发系统107可以更新内容提供者108的图形用户界面以呈现形成数字分量
106的内容资产104的聚合质量203的视觉指示120。图形用户界面的更新可以包括将形成集合202的图像的聚合质量203的视觉指示传送到内容提供者108。
84.虽然这里描述了特定的神经网络模型，但在其他实施方式中，可以使用将不妥协时延和处理能力的任何其他神经网络模型或任何合适的机器学习模型。例如，任何神经网络模型402-i(其中i是范围从1到n的任何固定整数)可以是前馈神经网络(如所示的)，或任何其他神经网络，诸如径向基函数神经网络、多层感知器、卷积神经网络、循环神经网络、模块化神经网络、由两个循环神经网络组成的序列到序列模型、和/或任何其他类型的神经网络。
85.图6图示由内容分发系统107实施以训练和部署机器学习模型402-i的过程(其中i是范围从1到n的任何固定整数)。内容分发系统107可以在602处对从内容服务器110和/或内容资产数据库116获得的多个图像训练多个机器学习模型(例如，模糊度模型、负面内容模型和定向模型)。在这样的训练期间，那些图像中的每一个被指配指示图像的质量特性(例如，模糊度、负面内容的总量、与数字分量106的定向兼容性)的得分(例如，模糊度得分、负面内容得分、定向得分)。训练每个机器学习模型(例如，模糊度模型、负面内容模型或定向模型)以针对相应的质量特性(例如，分别模糊度、负面内容的总量、与数字分量106的定向兼容性)对图像进行评分。
86.在604处，内容分发系统107可以从内容提供者108接收评估包括在如由内容提供者108上传的内容资产104的集合202中的新图像(例如，图像206-214中的任意一个)的质量的请求。响应于这样的请求，内容分发系统107可以在606处在新图像上部署机器学习模型(例如，模糊度模型、负面内容模型和定向模型)以为每个质量特性生成得分s1、s2、
……
，sn(例如，模糊度得分s1、负面内容的总量的得分s2，......以及定向兼容性的得分sn)。
87.内容分发系统107可以包括计算单元(例如，一个或多个处理器)502，其可以向每个模型402-i(例如，模糊度模型、负面内容模型和定向模型中的每一个)的得分si指配权重wi(其中i是范围从1到n的任何固定整数)。内容分发系统107可以在608处组合每个模型的加权得分wisi以生成图像(例如，图像206-214中的任意一个)的组合得分504。总得分504可以指示输入图像(例如，图像206-214中的任意一个)的质量。
88.在610处，内容分发系统107可以将总得分504与一个或多个阈值进行比较以生成对输入图像(例如，图像206-214中的任意一个)的质量的推断。推断也被称为质量的指示。在一些示例中，推断(即，质量的指示)可以是“优秀”质量、“中等”质量或“差”质量。虽然质量指示被描述为“优秀”质量、“中等”质量或“差”质量，但是在其他示例中，任何其他类别名称(即，除了优秀、一般或差以外的类别名称；诸如分别为极好、一般或坏，分别；等等)可以被使用。此外，虽然描述了三个类别的质量，但是在一些实施方式中，类别的数量可以是两个或更多个的任何其他数量。
89.在612处，内容分发系统107可以确定形成数字分量106的内容资产104(例如，所有图像206-214)的聚合质量203。在一些示例中，数字分量106的聚合质量203可以被备注为四个“优秀”图像和三个“中等”图像的组合。在一些情况下，数字分量106的聚合质量203可以被计算为形成数字分量106的所有图像206-214的组合得分的总和。在一些情况下，数字分量106的聚合质量203可以被计算作为所有图像206-214的组合得分与所有图像206-214的总可能得分的比率(如图2a中所示，其中所有图像206-214的总可能得分为10)。
90.内容分发系统107可以将指示集合202的聚合质量203的数据传送到内容提供者108。这样的传输可以更新内容提供者108的图形用户界面以显示对新的一个或多个图像的集合202的质量的推断(即，指示203)。
91.图7是可用于执行上述操作的示例计算机系统700的框图。系统700包括处理器710、存储器720、存储设备730和输入/输出设备740。组件710、720、730和740中的每一个均可例如使用系统总线750来互连。处理器710能够处理在系统700内执行的指令。在一个实施方式中，处理器710是单线程处理器。在另一实施方式中，处理器710是多线程处理器。处理器710能够处理存储在存储器420中或在存储设备730上的指令。
92.存储器720存储系统700内的信息。在一个实施方式中，存储器720是计算机可读介质。在一个实施方式中，存储器720是易失性存储器单元。在另一实施方式中，存储器720是非易失性存储器单元。
93.存储设备730能够为系统700提供大容量存储。在一个实施方式中，存储设备730是计算机可读介质。在各种不同的实施方式中，存储设备730可包括例如硬盘设备、光盘设备、由多个计算设备(例如，云存储设备)通过网络共享的存储设备，或某个其它大容量存储设备。
94.输入/输出设备740为系统700提供输入/输出操作。在一个实施方式中，输入/输出设备740可包括一个或多个网络接口设备，例如，以太网卡、串行通信设备例如rs-232端口和/或无线接口设备例如802.11卡。在另一实施方式中，输入/输出设备可包括被配置为接收输入数据并且向其它输入/输出设备例如键盘、打印机和显示设备760传送输出数据的驱动器设备。然而，还可使用其它实施方式，诸如作为移动计算设备、移动通信设备、机顶盒电视客户端设备等。
95.尽管已在图7中描述了示例处理系统，但是本说明书中描述的主题和功能操作的实施方式可用其它类型的数字电子电路或者用计算机软件、固件或硬件包括本说明书中公开的结构及其结构等同物或者用它们中的一个或多个的组合加以实现。
96.本说明书中描述的主题和操作的实施例可用数字电子电路或者用计算机软件、固件或硬件包括本说明书中公开的结构及其结构等同物或者用它们中的一个或多个的组合加以实现。本说明书中描述的主题的实施例可作为编码在计算机存储介质上以供由数据处理装置执行或者控制数据处理装置的操作的一个或多个计算机程序即计算机程序指令的一个或多个模块被实现。替换地或此外，可将程序指令编码在人工生成的传播信号上，所述传播信号例如为机器生成的电、光或电磁信号，其被生成来对数据进行编码以便传输到适合的接收器装置以供由数据处理装置执行。计算机存储介质可以是或者被包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备或它们中的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是或者被包括在一个或多个单独的物理组件或介质(例如，多个cd、磁盘或其它存储设备)中。
97.本说明书中描述的操作可作为由数据处理装置对存储在一个或多个计算机可读存储设备上或者从其它源接收到的数据执行的操作被实现。
98.术语“数据处理装置”包含用于处理数据的所有种类的装置、设备和机器，作为示例包括可编程处理器、计算机、片上系统或多个可编程处理器、计算机、片上系统或前述的
组合。装置可包括专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。装置除了包括硬件之外还可包括为所述计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码。装置和执行环境可实现各种不同的计算模型基础设施，诸如web服务、分布式计算和网格计算基础设施。
99.计算机程序(也称为程序、软件、软件应用、脚本或代码)可用任何形式的编程语言编写，所述编程语言包括编译或解释语言、声明或过程语言，并且它可被以任何形式部署，包括作为独立程序或者作为模块、组件、子例程、对象或适合于在计算环境中使用的其它单元。计算机程序可以但不必对应于文件系统中的文件。可在保持其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、在专用于所述程序的单个文件中、或者在多个协调文件(例如，存储代码的一个或多个模块、子程序或部分的文件)中存储程序。可将计算机程序部署成在一个计算机上或者在位于一个站点处或者分布在多个站点之上并通过通信网络互连的多个计算机上执行。
100.本说明书中描述的过程和逻辑流程可通过一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行动作而被执行。过程和逻辑流程也可由专用逻辑电路执行，并且装置也可作为专用逻辑电路被实现，所述专用逻辑电路例如fpga(现场可编程门阵列)或asic(专用集成电路)。
101.作为示例，适合于执行计算机程序的处理器包括通用微处理器和专用微处理器两者，和任何种类的数字计算机的任意一个或者多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必要元件是用于依照指令来执行动作的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或者在操作上耦合以从用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)接收数据，或者将数据转移到用于存储数据的一个或多个大容量存储设备，或者兼而有之。然而，计算机不必具有这样的设备。此外，计算机可被嵌入在另一设备中，所述另一设备例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏控制台、全球定位系统(gps)接收器或便携式存储设备(例如，通用串行总线(usb)闪存驱动器)等等。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，作为示例包括：半导体存储器设备，例如eprom、eeprom和闪速存储器设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及cd rom和dvd-rom盘。处理器和存储器可由专用逻辑电路补充，或者被并入在专用逻辑电路中。
102.为了提供与用户的交互，可在计算机上实现本说明书中描述的主题的实施例，所述计算机具有用于向用户显示数据的显示设备例如crt(阴极射线管)或lcd(液晶显示器)监视器以及用户可用来向该计算机提供输入的键盘和指点设备例如鼠标或轨迹球。其它种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声、语音或触觉输入。此外，计算机可通过向由用户使用的设备传送文档并且从由用户使用的设备接收文档来与用户交互；例如，通过响应于从web浏览器接收到的请求而向用户的客户端设备上的web浏览器传送web页面。
103.本说明书中描述的主题的实施例可被实现在计算系统中，所述计算系统包括后端
组件——例如作为数据服务器，或者包括中间件组件)例如应用服务器，或者包括前端组件——例如具有用户可用来与本说明书中描述的主题的实施方式交互的图形用户界面或web浏览器的客户端计算机，或者包括一个或多个这样的后端、中间件或前端组件的任何组合。系统的组件可通过任何形式或介质的数字数据通信例如通信网络来互连。通信网络的示例包括局域网(“lan”)和广域网(“wan”)、互连网络(例如，因特网)和对等网络(例如，自组织对等网络)。
104.计算系统可包括客户端和服务器。客户端和服务器一般地彼此远离并且通常通过通信网络来交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在一些实施例中，服务器向客户端设备发送数据(例如，html页面)(例如，用于向与客户端设备交互的用户显示数据并且从与客户端设备交互的用户接收用户输入的目的)。可在服务器处从客户端设备接收在客户端设备处生成的数据(例如，在线交互的结果)。
105.虽然本说明书包含许多具体实施方式细节，但是这些不应该被解释为对任何发明的或可以要求保护的范围构成限制，而是相反被解释为特定于特定发明的特定实施例的特征的描述。也可在单个实施例中相结合地实现在本说明书中在单独的实施例的上下文中描述的某些特征。相反地，也可单独地或者按照任何适合的子组合在多个实施例中实现在单个实施例的上下文中描述的各种特征。此外，尽管特征可以在上面被描述为按照某些组合起作用并且甚至最初被如此要求保护，但是可在一些情况下从该组合中除去来自要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
106.类似地，虽然在附图中以特定次序描绘操作，但是这不应该被理解为要求以所示的特定次序或者以顺序次序执行这样的操作，或者要求执行所有图示的操作以实现所希望的结果。在某些情况下，多任务处理和并行处理可以是有利的。此外，上述实施例中的各种系统组件的分离不应该被理解为在所有实施例中要求这样的分离，并且应该理解的是，所描述的程序组件和系统通常可被一起集成在单个软件产品中或者包装到多个软件产品中。
107.因此，已经描述了主题的特定实施例。其它实施例在以下权利要求的范围内。在一些情况下，权利要求中记载的动作可被以不同的次序执行并仍然实现所希望的结果。此外，附图中描绘的过程不一定要求所示的特定次序或顺序次序来实现所希望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。