改进分类模型的准确性的制作方法

1.本发明公开大体来说涉及人工智能，且特定来说涉及人工智能分类模型的自动改进。


背景技术：

2.人工智能(ai)是用于不同计算系统中的许多任务的基本工具。ai通过机器、计算机系统、学习算法等等来模拟人类智能过程。智能过程可包括学习信息的获取及使用信息的规则、使用规则进行推理以达到近似或明确结论及自校正。ai的特定应用包括专家系统、语音辨识、机器视觉、自主驾驶、内容递送网络中的智能路由、军事模拟等等。
3.ai的使用在检验系统、特定来说是旨在对物项或者物项、产品中的缺陷等等进行识别及分类的系统中变得非常流行。ai技术已成为技术产业的重要部分，有助于解决制造过程中的许多挑战性问题。


技术实现要素：

4.所公开标的物的一个示范性实施例是一种方法，其包括：获得用以改进分类模型的指令，其中所述分类模型用于监督式图像分类任务；响应于所述获得，迭代地改进所述分类模型的模型性能测量，其中在每一迭代中，改进所述分类模型的所述模型性能测量达至少预定目标，其中所述迭代地改进包括：确定假设列表，其中所述假设列表中的每一假设涉及用以潜在地改进所述分类模型的策略，其中针对每一假设，确定一分数，其中假设的所述分数指示所述假设的应用改进所述分类模型的所述模型性能测量的可能性；基于所述假设列表及假设的分数，产生用于改进所述分类模型的假设图表，其中所述假设图表的每一节点包括所述假设列表中的假设；从所述假设图表选择所选择假设，其中所述选择基于所述假设图表的遍历；及执行所述所选择假设，借此更新所述分类模型并改进所述模型性能测量达至少所述预定目标。
5.所公开标的物的另一示范性实施例是一种ai系统，其包括：分类模型改进模块，其经配置以获得用以改进分类模型的指令。所述分类模型用于监督式图像分类任务。所述分类模型改进模块经配置以迭代地改进所述分类模型的模型性能测量。在每一迭代中，改进所述分类模型的所述模型性能测量达至少预定目标。所述分类模型改进模块包括规划模块，其经配置以：确定假设列表，其中所述假设列表中的每一假设涉及用以潜在地改进所述分类模型的策略，其中针对每一假设，确定一分数，其中假设的所述分数指示所述假设的应用改进所述分类模型的所述模型性能测量的可能性；基于所述假设列表及假设的分数，产生用于改进所述分类模型的假设图表，其中所述假设图表的每一节点包括所述假设列表中的假设；从所述假设图表选择所选择假设，其中所述选择基于所述假设图表的遍历。所述分类模型改进模块进一步包括执行模块，其经配置以执行所述所选择假设，更新所述分类模型并改进所述模型性能测量达至少所述预定目标。
6.所公开标的物的又一示范性实施例是一种计算机化设备，其具有处理器，所述处
理器适于执行以下步骤：获得用以改进分类模型的指令，其中所述分类模型用于监督式图像分类任务；响应于所述获得，迭代地改进所述分类模型的模型性能测量，其中在每一迭代中，改进所述分类模型的所述模型性能测量达至少预定目标，其中所述迭代地改进包括：确定假设列表，其中所述假设列表中的每一假设涉及用以潜在地改进所述分类模型的策略，其中针对每一假设，确定一分数，其中假设的所述分数指示所述假设的应用改进所述分类模型的所述模型性能测量的可能性；基于所述假设列表及假设的分数，产生用于改进所述分类模型的假设图表，其中所述假设图表的每一节点包括所述假设列表中的假设；从所述假设图表选择所选择假设，其中所述选择基于所述假设图表的遍历；及执行所述所选择假设，借此更新所述分类模型并改进所述模型性能测量达至少所述预定目标。
7.所公开标的物的又一示范性实施例是一种计算机程序产品，其包括保持程序指令的非暂时性计算机可读存储媒体，所述程序指令当由处理器读取时致使所述处理器执行包括以下各项的方法：获得用以改进分类模型的指令，其中所述分类模型用于监督式图像分类任务；响应于所述获得，迭代地改进所述分类模型的模型性能测量，其中在每一迭代中，改进所述分类模型的所述模型性能测量达至少预定目标，其中所述迭代地改进包括：确定假设列表，其中所述假设列表中的每一假设涉及用以潜在地改进所述分类模型的策略，其中针对每一假设，确定一分数，其中假设的所述分数指示所述假设的应用改进所述分类模型的所述模型性能测量的可能性；基于所述假设列表及假设的分数，产生用于改进所述分类模型的假设图表，其中所述假设图表的每一节点包括所述假设列表中的假设；从所述假设图表选择所选择假设，其中所述选择基于所述假设图表的遍历；及执行所述所选择假设，借此更新所述分类模型并改进所述模型性能测量达至少所述预定目标。
附图说明
8.将从联合图式进行的以下详细说明更全面地理解及了解本发明所公开标的物，在图式中，对应或相似编号或字符指示对应或相似组件。除非另有指示，否则图式提供本公开的示范性实施例或方面，且不限制本公开的范围。在图式中：
9.图1展示根据所公开标的物的一些示范性实施例的方法的流程图；
10.图2展示根据所公开标的物的一些示范性实施例的方法的流程图；
11.图3展示根据所公开标的物的一些示范性实施例的设备的框图；
12.图4展示根据所公开标的物的一些示范性实施例的示范性架构的示意性图解说明；
13.图5a展示根据所公开标的物的一些示范性实施例的示范性假设目标图表的图解说明；
14.图5b展示根据所公开标的物的一些示范性实施例的示范性假设目标图表的执行的图解说明；及
15.图6展示根据所公开标的物的一些示范性实施例的假设目标图表的图解说明。
具体实施方式
16.由所公开标的物处理的一个技术问题是使得基于ai的软件能够在与其开发者分开的环境中自主表现及行动。在一些示范性实施例中，基于ai的软件可经配置以监测例如
工厂、生产厂等等中制造机器的生产过程或产品。基于ai的软件可经配置以例如基于视觉输入确定机器是否正常运作。基于ai的软件可经配置以利用分类模型来将产品图像分类、将图像内的物项分类、识别物项或产品内的缺陷等等。
17.作为实例，基于ai的软件可在例如平板显示器(fpd)制造、印刷电路板(pcb)制造等等中用于自动光学检验(aoi)。aoi可使用基于ai的软件来执行，但并不将完整信息提供到基于ai的软件的开发者。在一些示范性实施例中，同一开发者可将基于ai的软件提供到不同竞争制造商，且所述制造商可能希望限制其向其共享供应商公开的信息以限制潜在公开。
18.在一些示范性实施例中，基于ai的软件可在例如消费者的工厂的经分开环境中操作，而不具有相对于其它ai软件、基于ai的软件的开发者、基于ai的软件的研究及开发中心等等发送或共享信息的能力。另外或替代地，基于ai的软件可在经连接环境中操作，但可能在相对于包含基于ai的软件的开发者的第三方传送及共享的数据量上受到限制。
19.由所公开标的物处理的另一技术问题是自动增强基于ai的软件的准确性，而不依赖于数据科学家及人类专家。在一些示范性实施例中，基于ai的软件可在各种系统中用于监督式图像分类。用户可控制基于ai的软件。基于ai的软件可经配置以收集图像。每一图像可例如由人类用户标记以供训练。专家可为由基于ai的软件利用的模型提供超参数、从输入数据人工移除不相关特征、检验误差、执行特征工程等等。虽然基于ai的软件呈现一系列新功能性，但基于ai的软件可受在训练中提供到其的数据的质量以及借此使用的模型的特定配置限制。
20.一种技术解决方案是执行迭代地改进分类模型的准确性的自激励学习。在一些示范性实施例中，可自动地、偶尔、周期性地(例如每一预定时帧)等等执行自激励学习。另外或替代地，自激励学习可由来自人类用户、来自基于ai的软件、来自与基于ai的软件相关联的服务器等等的指令起始。然而，可了解，自激励学习可自动执行且可在不具有数据科学家及人类专家的参与的情形下引导。在一些示范性实施例中，基于ai的软件可利用预定义接口并提供机器学习及ai机制来训练模型，从而改进模型、跟踪模型的性能等等。在一些示范性实施例中，基于ai的软件可经由双向回调自动与用户应用交互，从而使得基于ai的软件能够调用对额外训练数据、经改进信息等等的请求并接收额外训练数据、经改进信息等等。在一些示范性实施例中，改进分类模型的准确性可通过改进分类模型的准确性测量或任何其它模型性能度量来测量，所述其它模型性能度量是例如f分数(例如，f1分数)、准确性分数、精确分数、重新调用分数、混淆矩阵、曲线下面积、接收器操作特性(roc)、训练集与验证集之间的准确性差异、gpu的时间与cpu资源、预测所需的计算机存储器等等。在一些示范性实施例中，用于改进分类模型的准确性的预定目标可基于分类任务自动设定、可由用户(例如由ai软件的操作者)人工设定等等。作为实例，预定目标可为0.5％改进，例如，在学习的每一迭代中改进分类模型的准确性测量达至少0.5％。作为另一实例，预定目标可为约0.1％、0.2％、1％等等。
21.在一些示范性实施例中，可在每一迭代中确定用于改进分类模型的假设列表。每一假设可涉及用以潜在地改进分类模型的策略。作为实例，假设可涉及算法的选择，例如，分类模型将使用哪个神经网络，或算法的配置，例如神经网络拓扑(例如，层的数目、层的大小、层之间的连接性)、超参数、数个算法概念之间的组合等等。在一些示范性实施例中，可
针对每一假设确定一分数。分数可指示假设的应用改进分类模型的准确性测量的可能性。在一些示范性实施例中，分数可使用实施机器学习技术的预测模型来确定。预测模型可实施监督式学习技术并随时间鉴于实际观察到的结果进行改进。另外或替代地，每一假设可与指示将假设应用于分类模型的成本的成本函数相关联，所述成本是例如应用假设所需的时间、应用假设所需的计算资源、应用假设所需的额外资源(例如，用于额外训练集的额外人工标记)等等。
22.在一些示范性实施例中，用于改进分类模型的假设图表可基于假设列表及假设的分数来产生。假设图表的每一节点可包括假设列表中的假设。假设图表可基于假设的分数来排序，从而强加其的遍历次序。作为实例，图表可经排序使得可首先遍历具有较高分数的假设。可基于假设图表的遍历从假设图表选择所选择假设。所选择假设可经执行以更新分类模型并改进其准确性测量达至少预定目标。在一些示范性实施例中，可并行执行数个假设并可从其选择最佳候选者。并行执行可使用同一图形处理单元(gpu)、中央处理单元(cpu)、分布式执行环境等等来执行。
23.在一些示范性实施例中，所公开解决方案的能力可嵌入到制造产品的内部算法过程及其质量保证(qa)中。作为实例，aoi分类决策子系统可经配置以使用自动产生的分类模型来检测缺陷并将缺陷归类。在一些示范性实施例中，可在制造过程的早期执行缺陷检测，而不是例如通过产生及验证缺陷预测在扫描过程结束时检验缺陷。在一些示范性实施例中，aoi分类决策子系统可操作并检测缺陷，而不将图像、视频、原始数据等等提供到外部方。
24.作为另一实例，所公开解决方案可在fpd制造期间用于aoi中。fpd行业发展迅猛且涉及快速及经分类的创新，不揭露此类快速及经分类的创新可为重要的。可在fpd制造中的不同阶段中(例如检验、计量、合格率管理解决方案、测试及修复解决方案等等中)采用所公开解决方案。所公开标的物使得fpd制造商能够在产能提升阶段中及生产期间两者定位误差源的同时检测临界缺陷，并分析来自生产线的数据以便快速诊断及修复过程相关缺陷。另外或替代地，所公开解决方案可在pcb、触控传感器或其它电子装置的制造过程期间在此类装置的自动修复系统中、此类装置的直接成像系统等等中用于此类装置的aoi。
25.在一些示范性实施例中，所公开标的物可实施与假设执行有关的强化学习以改进自激励学习。在一些示范性实施例中，强化学习可经执行以在假设的探索与假设的利用之间提供平衡，这在过去已被证明是有用的。在一些示范性实施例中，学习任务可被分类且强化学习可用于确定将应用哪些假设、假设之间的应用次序等等。在一些示范性实施例中，所公开标的物可实施强化学习以基于同一学习任务的一序列先前产生的假设图表、基于学习任务的分类、基于不同假设的经预测分数等等来预测有用假设图表。
26.在一些示范性实施例中，将由所公开标的物使用的假设可包含数个不同类别。在一些示范性实施例中，假设产生器可用于产生用于给定模型的假设。可提供不同假设产生器。在一些示范性实施例中，一些假设产生器可为经配置以产生根据经验被视为有用的假设的“最佳实践”产生器。另外或替代地，一些假设产生器可由例如对制造过程及其中使用的机器有深入了解的专家等的主题内容专家(sme)人工编程。sme可将识别学习任务的性质并以自动方式产生可改进经训练模型的性能的假设的脚本编程。应注意，sme假设产生器可人工编程，但可自动调用且可在自激励学习过程中不需要sme自身的参与。另外或替代地，
一些假设产生器可为经配置以提供随机假设以使得能够探索潜在地无吸引力的假设的随机假设产生器。
27.利用所公开标的物的一种技术效应是提供与外部计算及数据库断开联系的用于自激励学习的自主解决方案。所公开标的物使得能够进行推理、数据清理、新颖性检测等等，而不需要额外数据或揭露内部数据。所公开解决方案利用ai机器的开发者的经验及对所有相关数据的存取，而不将利用ai机器的工厂或生产厂的数据揭露给开发者或任何其它外部方。利用所公开标的物的另一技术效应是减少从构想产品直到其可用于销售所需的上市时间(ttm)。ttm在产品快速过时的行业中、尤其在例如fpd、pcb等等中的微电子领域中是重要的。所公开标的物改进基于ai的软件的稳健性及稳定性，且达成自动模型性能跟踪。
28.利用所公开标的物的又一技术效应是以迭代方式逐步改进模型。通过设定要达成的递增但相对小的目标，所公开标的物可以不同组合及次序采用不同假设来提供经改进模型。在一些情形中，使用经限制资源，许多小的逐步改进可为可行的，而试图实现大改进(其可为小的逐步改进的累积)可为困难的或甚至不可行的。
29.所公开标的物可提供对任何现存技术及在本技术领域中先前已变得例行或常规的任何技术的一或多种技术改进。鉴于本发明公开，所属领域的普通技术人员可明了额外技术问题、解决方案及效应。
30.现参考图1，其展示根据所公开标的物的一些示范性实施例的方法的流程图。
31.在步骤110上，可获得用以改进分类模型的指令。在一些示范性实施例中，分类模型可用于监督式图像分类任务，例如aoi分类、过程中质量控制(ipcq)任务、qi任务等等。在一些示范性实施例中，监督式图像分类任务可为基于ai的检验软件中的阶段，旨在识别物项或者物项、产品中的缺陷等等并将其分类。基于ai的检验软件可经配置以进行以下操作：定义ai接口，提供机器学习及ai机制以训练分类模型，改进分类模型，跟踪，经由双向回调自动与用户应用交互等等。指令可从利用基于ai的检验软件的系统、与外部应用相关的服务器获得，而不从外部应用获得。指令可提供为基于ai的检验软件的自激励改进步骤。
32.在步骤120上，可改进分类模型的模型性能测量(例如但不限于准确性测量)达至少预定目标。在一些示范性实施例中，预定目标可为用于改进模型性能测量的默认目标。另外或替代地，预定目标可由ai检验系统或其用户基于监督式图像分类任务的性质、基于被分类产品的性质、基于产品的制造过程的性质等等来预定。另外或替代地，预定目标可基于请求分类模型达成的目标模型性能测量来确定。
33.在一些示范性实施例中，可迭代地(例如预定数目的迭代)执行步骤120，直到达成用于改进分类模型的大体目标、直到无法再达成改进等等。另外或替代地，当在数个连续迭代(例如高于预定数目的迭代)中未达到目标时，可确定不应执行额外迭代，因为额外迭代将提供改进的可能性可为低。步骤120的每一迭代可包括步骤130到160。
34.在步骤130上，可确定假设列表。在一些示范性实施例中，假设列表中的每一假设可涉及用以潜在地改进分类模型的策略。策略可涉及以下各项的修改：分类模型的模型类型、分类模型的训练参数、分类模型的建模参数、监督式图像分类任务的建模、用于训练分类模型的训练集、用于验证分类模型的验证集、用于测试分类模型的测试集等等。
35.作为实例，假设可与分类模型的学习算法的类型相关，所述类型是例如监督式学习、非监督式学习、强化学习、自学习、特征学习、稀疏字典学习、异常检测、相关联规则等
等。在一些情形中，假设列表可包括与分类模型的模型类型不相关的至少一个假设，例如与分类模型的训练参数相关的假设、与分类任务的参数相关的假设等等。
36.在一些示范性实施例中，假设列表或其部分可与监督式图像分类任务相关。此类假设可与监督式图像分类任务的分类的数目、监督式图像分类任务的每一分类中的图像的数目、监督式图像分类任务中的图像大小、监督式图像分类任务的噪声数据集元素标记估计测量等等相关。
37.另外或替代地，假设列表可包括三种类型的假设：最佳实践假设、基于强化学习的假设及sme假设。最佳实践假设可为被认可为通常在改进分类模型方面高效的假设。基于强化学习的假设可为随机选择用于额外探索的假设，或通过利用再过去的基于强化学习的假设的假设。sme假设可与监督式图像分类任务的sme相关，例如已知在改进特定监督式图像分类任务的分类模型方面高效的假设。sme假设可由人类编程，可由ai检验系统自动获得等等。
38.在一些示范性实施例中，可针对每一假设确定一分数。假设的分数可指示所述假设的应用改进分类模型的模型性能测量的可能性。分数可基于先前学习或训练来确定，可基于假设参数来预测等等。另外或替代地，分数可由假设的产生器在外部设定，可从假设的数据库获得等等。
39.在一些示范性实施例中，确定假设列表可通过应用利用与监督式分类任务相关联的先前假设集的强化学习算法来执行。强化学习算法可经配置以基于先前假设集及其经评估分数来改进对假设列表的假设的选择。
40.在步骤140上，可产生用于改进分类模型的假设图表。在一些示范性实施例中，假设图表可基于假设列表及假设的分数来产生。假设图表的每一节点可包括假设列表中的假设。在一些示范性实施例中，根据假设的分数，假设图表可为具有前序集的定向图表。
41.在一些示范性实施例中，假设图表可包括父节点及子节点。每一父节点可通过定向边缘连接到一或多个子节点。每一父节点可表示抽象算法或假设。父节点中的子节点中的每一者可表示由父节点表示的抽象假设的不同具体化。在一些示范性实施例中，一些子节点可使其子节点通过定向边缘连接到其。此类子节点中的子节点可表示由子节点表示的具体假设的额外具体化。在一些示范性实施例中，假设列表可包括抽象假设及其具体化。另外或替代地，假设列表可包括抽象假设且其具体化可在图表的产生期间获得。
42.另外或替代地，假设图表可通过应用利用一序列先前产生的假设图表的强化学习算法来产生。
43.在步骤150上，可从假设图表选择所选择假设。所述选择可基于假设图表的遍历来执行。假设图表的遍历可根据其前序。可首先遍历具有较高分数的假设。
44.在一些示范性实施例中，所述选择可包括选择当应用时与通过假设图表中的其它假设得到的改进相比改进分类任务的模型性能测量达最高测量的假设。所述选择可在遍历整个图表、其预定部分等等之后执行。另外或替代地，所述选择可包括选择在假设图表的遍历期间遇到的第一假设，所述第一假设的应用改进分类任务的模型性能测量达至少预定目标。
45.在一些示范性实施例中，响应于父节点的遍历，可执行与父节点的抽象假设相关的抽象计算。抽象计算可包括确定假设的应用如何改进分类模型的模型性能测量。响应于
遍历子节点中的一者，可执行具体计算。具体计算可包括确定抽象假设的特定具体化的应用对分类模型的模型性能测量有多少影响。在一些示范性实施例中，具体计算可包括执行具体假设及确定因应用假设而引起的模型性能测量的改进。在一些示范性实施例中，假设的分数可基于抽象计算及具体计算来更新。
46.所选择假设可基于抽象计算及具体计算来选择。可注意，在一些情形中，抽象假设的分数及其具体化的分数可未必相关。尽管与一具体假设相关联的抽象假设具有较低分数，但可相对于其它具体假设选择所述具体假设。另外或替代地，可选择最佳抽象假设且可应用其最佳具体化。
47.在步骤160上，可执行所选择假设且可更新分类模型及模型性能测量。在一些示范性实施例中，在未改进模型性能测量达至少预定目标的情形中，可重复步骤150。
48.现参考图2，其展示根据所公开标的物的一些示范性实施例的方法的流程图。
49.在步骤210上，可使用强化学习产生假设图表。在一些示范性实施例中，图表产生过程可为基于先前产生的假设图表执行的算法可学习过程。可利用强化学习算法来基于一序列先前产生的假设图表产生假设图表。作为实例，强化学习算法可为基于序列的存储器算法，例如递归nn、lstm等等，其可记住并辨识输入序列(此类假设图表及假设的分数)并产生可被利用的新序列作为输出。输入序列可包括一序列先前产生的假设图表。每一假设图表可标记有分数度量，其指示假设图表是否改进相关联分类模型及应用了哪一假设。强化学习算法可经配置以基于输入序列产生具有最佳分数度量的假设图表。
50.另外或替代地，可在确定假设列表的同时应用强化学习。可应用利用与监督式分类任务相关联的先前假设集的强化学习算法。
51.在步骤220上，可执行假设图表。在一些示范性实施例中，可遍历假设图表。可在分类模型上完全或部分地模拟图表的每一节点中的假设的应用，以便响应于在分类模型上应用假设而确定分类模型的模型性能测量的潜在改进。可类似于图1的步骤150选择假设。
52.在步骤230上，可执行所选择假设且可评估经训练模型。经评估度量表示作为应用来自假设图表的相关联假设的结果对分类模型的准确性的改进。经评估度量可指示应用了哪一假设。
53.在步骤240上，可保存经产生假设图表及经评估度量。在一些示范性实施例中，可将经产生假设图表及经评估度量保存在与针对分类模型执行自激励学习的服务器相关联的目标图表的内部数据库中。可将经评估训练模型保存在相关联经训练模型数据库中以供将来学习。
54.在步骤250上，可利用经保存数据来改进强化学习。在一些示范性实施例中，强化学习算法可经配置以基于其过去的决策来改进其解决方案。强化学习算法可经配置以利用经评估模型及每一假设的度量来应用正向或基于奖励的强化。在正向强化中，当归因于例如特定假设或其特征等的特定行为而发生例如准确性的改进等的事件时，增加所述行为的强度及频率，例如导致所述改进的其特征的假设。
55.现参考图3，其展示根据所公开标的物的一些示范性实施例的设备的框图。根据所公开标的物，设备300可经配置以支持主动机器以执行自激励学习、推理、数据清理、新颖性检测等等。
56.在一些示范性实施例中，设备300可包括一或多个处理器302。处理器302可为gpu、
tensorcore、cpu、微处理器、电子电路、集成电路(ic)等等。处理器302可用于执行设备300或其子组件中的任一者所需的计算。
57.在所公开标的物的一些示范性实施例中，设备300可包括输入/输出(i/o)模块305。i/o模块305可用于将输出提供到用户及从用户接收输入，例如，获得指令、训练数据、标记函数、输出假设图表等等。
58.在一些示范性实施例中，设备300可包括存储器307。存储器307可为硬盘驱动器、快闪磁盘、随机存取存储器(ram)、存储器芯片等等。在一些示范性实施例中，存储器307可保持可操作以致使处理器302执行与设备300的子组件中的任一者相关联的动作的程序代码。
59.在一些示范性实施例中，设备300可经配置以监测分类模型并自主改进其准确性，而不依赖于外部计算及数据库。可利用i/o模块305来获得用以改进用于监督式图像分类任务的分类模型的指令。指令可从用户、从制造机器服务器等等获得。设备300可经配置以迭代地改进分类模型的模型性能测量，例如分类模型的准确性测量等等。
60.在一些示范性实施例中，假设列表产生器310可经配置以产生假设列表。假设列表中的每一假设涉及用以潜在地改进分类模型的策略。每一假设可与一分数相关联，所述分数指示假设的应用改进分类模型的准确性测量的可能性。所述分数可由假设列表产生器310或其组件计算。
61.在一些示范性实施例中，假设列表产生器310可经配置以利用例如312到316的假设产生器产生假设列表。每一经产生假设可涉及分类模型的修改，例如其模型类型、与其训练数据相关的参数、建模参数、与监督式图像分类任务相关的参数等等。
62.在一些示范性实施例中，假设列表产生器310可经配置以应用最佳实践假设产生器312来产生假设列表的一或多个假设。最佳实践假设产生器312可经配置以产生经配置以改进分类模型的预定义最佳实践假设。预定义最佳实践假设可通常被证实改进分类模型，且可与分类模型的特定分类任务不直接相关。作为实例，预定义最佳实践假设可使用额外训练数据来重新训练分类模型。
63.另外或替代地，假设列表产生器310可经配置以应用sme假设产生器316来产生假设列表的一或多个假设。sme假设产生器316可为由sme设计及开发来基于监督式图像分类任务的一或多个参数产生假设的计算机程序产品。sme假设产生器316可由分类模型的用户开发，可基于来自用户的输入(例如基于监督式图像分类任务的参数、基于被检验产品的参数等等)来开发。sme假设产生器316可经配置以基于监督式图像分类任务的分类的数目、监督式图像分类任务的每一分类中的图像的数目、监督式图像分类任务中的图像大小、监督式图像分类任务的噪声标记估计测量等等来产生假设。
64.另外或替代地，假设列表产生器310可经配置以应用随机假设产生器314来产生假设列表的一或多个假设。随机假设产生器314可经配置以产生随机假设。随机假设可为用于改进分类模型的探索机制。随机假设产生器314可经配置以参考假设的分数的经估计概率随机选择或产生假设。
65.在一些示范性实施例中，可由执行模块350基于由随机假设产生器314产生的随机假设的执行结果将所述假设确定为sme假设。sme假设产生器316可在连续迭代中利用此类假设。
66.在一些示范性实施例中，假设图表产生器320可经配置以基于由假设列表产生器310产生的假设列表产生假设图表。假设图表产生器320可经配置以基于相关联假设列表中的假设的分数产生每一图表。
67.在一些示范性实施例中，假设图表产生器320可经配置以利用强化学习模块340来产生假设图表。强化学习模块340可经配置以学习并确定自动产生将针对分类模型测试的可能假设的图表的预测式方法。强化学习模块340可经配置以使用先前产生的假设图表来训练假设图表产生器320以产生新假设图表。强化学习模块340可经配置以利用一序列先前产生的假设图表产生假设图表作为此序列的标记。强化学习模块340可经配置以训练假设图表产生器320以在给出输入分类任务的情形下产生待执行的图表。另外或替代地，假设列表产生器310可利用强化学习模块340来基于与监督式分类任务相关联的先前假设集确定假设列表。
68.在一些示范性实施例中，由假设图表产生器320产生的图表及与其相关联的经评估度量(例如改进可能性、经改进分类模型等等)可存储在假设图表数据库390中。存储在假设图表数据库390中的数据可在接下来的改进迭代中用于产生其它分类模型的图表、更新现有模型等等。
69.在一些示范性实施例中，假设选择模块330可经配置以从由假设图表产生器320产生的假设图表选择所选择假设。假设选择模块330可经配置以遍历假设图表并选择当应用时与通过假设图表中的其它假设得到的改进相比改进分类任务的准确性测量达最高测量的假设。另外或替代地，假设选择模块330可经配置以遍历假设图表并选择在假设图表的遍历期间遇到的第一假设，所述第一假设的应用改进分类任务的准确性测量达至少预定目标。
70.在一些示范性实施例中，执行模块350可经配置以执行所选择假设，以更新分类模型并改进准确性测量达至少预定目标。在一些示范性实施例中，执行模块350可经配置以利用额外数据(例如从训练数据380获得的额外训练数据、来自人类专家的额外sme数据)以便执行假设，从而由用户将图像重新加标签、修改超参数的值、修改学习算法等等。
71.在一些示范性实施例中，强化学习模块340可经配置以基于执行所选择假设的结果更新用于产生假设图表的强化学习算法。强化学习模块340可经配置以基于所选择假设、经改进分类模型、准确性的改进等等改进强化学习算法。
72.在一些示范性实施例中，设备300可包括可经配置以监测及调节预测定量性能的预测跟踪器360。预测跟踪器360可经配置以分析跟踪分类模型的预测性能的指令，跟踪及检测待分类的传入图像的数据分布与训练阶段中的图像的数据分布之间的可能不匹配，跟踪强化学习，调节强化学习的性能，验证用于改进准确性的预定目标被达成等等。
73.现参考图4，其展示根据所公开标的物的一些示范性实施例的示范性架构的示意性图解说明，可在所述示范性架构中利用所公开标的物。
74.在一些示范性实施例中，ai系统400可经配置以自动执行分类模型的自激励改进。分类模型可用于监督式图像分类任务。作为实例，ai系统400可与旨在将物项分类、识别产品中的缺陷、检验产品的质量等等的检验系统相关联。分类模型可用于将物项或产品的图像分类，检测其中的异常，检测产品中的缺陷等等。自激励改进机制可由先前设定的目标驱动，所述目标是例如由利用ai系统400的制造设定的目标、基于产品的所期望质量定义的目
标、基于分类模型的所需最终准确性定义的目标等等。
75.在一些示范性实施例中，ai系统400可经配置以采用大脑模块420来执行分类模型的改进。用户ai交互模块410可经配置以经由模型学习应用编程接口(api)424来向大脑420发布指令以改进分类模型。大脑420可经配置以在每一迭代中迭代地改进分类模型的准确性测量达至少预定目标。大脑420可经配置以经由数据api 422从外部资源获得用于改进的额外数据。所述额外数据可包括训练数据、超参数的值、标记函数、改进目标等等。
76.在一些示范性实施例中，大脑420的分类模块430可经配置以分析学习指令并将分类模型的学习任务分类。分类模块430可经配置以分析学习任务的类型、分类模型采用来执行分类任务的ai技术、分类模型的参数、分类任务的参数等等。在一些示范性实施例中，分类模块430可例如基于标记/分类的数目、训练集中每一分类中的实例的数目、输入的大小、图像输入的纵横比、噪声标记估计测量以及与其相关的参数、不同分类的实例的性质等等来将学习任务分类。
77.在一些示范性实施例中，大脑420的规划模块440可经配置以产生假设图表的执行规划，以基于由分类模块430确定的分类改进分类模型。假设图表的每一节点可包括与用以潜在地改进分类模型的策略相关的假设。在一些示范性实施例中，规划模块440可经配置以实施与假设执行有关的强化学习来改进自激励学习。规划模块440可经配置以执行强化学习来确定将应用哪些假设、假设之间的应用次序等等。规划模块440可利用强化学习来基于同一学习任务的一序列先前产生的假设图表、基于学习任务的分类、基于不同假设的经预测分数等等预测有用假设图表。
78.另外或替代地，规划模块440可经配置以采用其它机器学习技术例如使用自动机器学习(自动ml)、深度神经网络(dnn)、卷积神经网络(cnn)、转移学习、聚类、弱学习等等来产生假设图表的执行规划。
79.大脑420的执行模块450可经配置以执行假设图表。执行假设图表可包括遍历图表以迭代地选择可能改进分类模型的准确性测量达至少预定目标的假设，并执行所述假设直到达成预定目标。在每一迭代中，执行模块450可经配置以选择当应用时与通过假设图表或其部分中的其它假设得到的改进相比改进分类任务的准确性测量达最高测量的假设。另外或替代地，在每一迭代中，执行模块450可经配置以选择在假设图表的遍历期间遇到的第一假设，所述第一假设的应用改进分类任务的准确性测量达至少预定目标。在一些示范性实施例中，可对模型的独立副本执行所执行的每一假设，以便基于假设的应用获得经更新模型。在一些示范性实施例中，可将不同的替代经更新模型的性能(其中的每一者是执行不同假设的结果)进行比较以选择将应用的优选假设。
80.在一些示范性实施例中，执行模块450可最初小规模地执行假设以确定其适用性。在选择假设之后，可完全执行假设以获得经更新模型。
81.另外或替代地，执行模块450可经配置以经由任务执行api 486采用任务执行服务器490来在外部执行假设图表。在一些示范性实施例中，任务执行服务器490可例如通过应用多个gpu而具有大计算资源，可为分布式计算环境、云计算服务等等。
82.在一些示范性实施例中，响应于执行假设图表，可产生具有改进达至少预定目标的准确性测量的经改进分类模型。在一些情形中，经产生假设图表可无法获得所期望目标且规划模块440可经指令以重新产生新执行规划假设图表。
83.在一些示范性实施例中，大脑420的记忆模块460可经配置以存储经产生假设图表及与其相关联的经评估度量。在一些示范性实施例中，经产生假设图表及经评估度量可保存在与ai系统400相关联的假设图表的内部数据库中、外部数据库中、与其它ai系统相关联的数据库中等等。经产生假设图表及经评估度量可在将来学习中用来例如改进规划模块440的强化学习解决方案。
84.在一些示范性实施例中，大脑420的报告模块470可经配置以例如经由大脑到应用式api 482向ai系统400报告执行假设图表的结果。在一些示范性实施例中，用户ai交互模块410可经配置以评价报告并确定是否调用额外改进迭代。在一些示范性实施例中，报告可指示目标经达到且因此可执行另一迭代以进一步改进模型。另外或替代地，报告可指示目标未达到，且因此可确定不应执行额外迭代，因为额外迭代将提供改进的可能性可为低(例如，低于阈值)。另外或替代地，在报告指示未达到目标的情形中，可尝试额外迭代，在此期间虑及先前假设图表未能提供所期望改进，可产生不同假设图表。
85.在一些示范性实施例中，大脑420可经配置以经由大脑到大脑式api 484与类似于大脑420的其它模块通信，例如类似于大脑420的其它ai系统的大脑模块、具有相同类型的大脑420的其它大脑模块等等。大脑到大脑式api 484可用于为其它ai系统提供数据以供协作、分布等等。
86.在一些示范性实施例中，模型跟踪api 426可用于获得与分类模型有关的性能信息。在一些示范性实施例中，可监测及跟踪分类模型的准确性测量。与性能有关的信息(例如准确性测量、分类模型的应用的数目、分类模型所应用的实例等等)可经由模型跟踪api426提供到大脑420。在一些示范性实施例中，可关于分类模型、一或多个经更新分类模型等等执行模型跟踪。在一些示范性实施例中，此信息可由分类模块430、规划模块440、记忆模块460等等利用。
87.现参考图5a，其展示根据所公开标的物的一些示范性实施例的示范性假设目标图表的图解说明。
88.假设图表500可为响应于用以改进用于监督式图像分类任务的分类模型的指令而产生的示范性假设目标图表。作为实例，分类模型可用于fpd产品的质量控制。假设图表500可用于改进分类模型的准确性测量(例如f1分数)达至少预定目标，例如0.5％。
89.在一些示范性实施例中，假设图表500的节点可包括假设。假设图表500中的每一假设可涉及用以潜在地改进分类模型的策略，例如与重新训练分类模型、修改模型等等相关的策略。在一些示范性实施例中，叶节点可包括具体假设。另外或替代地，内部节点可包括抽象假设，所述抽象假设的子假设可包括抽象假设的具体化。在一些示范性实施例中，根节点510可表示经退化假设，其表示改进分类模型的一般性概念。另外或替代地，根节点510可不包括任何假设。在一些示范性实施例中，目标图表500可包括内部节点，其中的每一者与一或多个子节点相关联。每一内部非叶节点可表示抽象假设，其指示用于改进分类模型准确性的抽象策略。每一子节点可表示相关联内部节点的抽象假设的不同具体化。具体化可与抽象假设的参数相关，例如为其指配不同值。另外或替代地，具体化可与假设的应用方式、额外数据源、经利用算法等等相关。在一些示范性实施例中，子节点之间的次序可将遍历次序强加于节点上，这可强加不同假设的应用及执行的次序。
90.在目标图表500中，节点520中的假设h1可指示使用清晰数据集重新训练分类模型
的策略。节点522中的假设h1a可为假设h1的具体化。假设h1a可指示使用包括用于训练分类模型的原始数据集的25％的数据集重新训练分类模型的策略。节点524中的假设h1b可为假设h1的不同具体化。假设h1b可指示使用包括用于训练分类模型的原始数据集的n％的数据集重新训练分类模型的策略。可在目标图表500的执行期间确定n。
91.节点530中的假设h2可指示使用更多样本重新训练分类模型的策略。节点532中的假设h2a可为假设h2的具体化。假设h2a可指示重新训练经配置以将实例分类为额外两个分类(第一及第二分类)的分类模型的策略，其中标记为n1的样本来自第一分类且标记为n2的样本来自第二分类。在一些示范性实施例中，n1及n2可在执行h2a期间确定。另外或替代地，可预定n1及n2。
92.节点540中的假设h3可指示以适应性学习速率重新训练分类模型的策略。节点542中的假设h3a、节点544中的假设h3b及节点546中的假设h3c可为假设h3的具体化。假设h3a可指示以适应性学习速率使用用于所述适应性学习速率的第一训练算法来重新训练分类模型。假设h3b可指示以适应性学习速率使用用于所述适应性学习速率的第二训练算法来重新训练分类模型。假设h3c可指示以适应性学习速率使用用于所述适应性学习速率的第三训练算法来重新训练分类模型。
93.节点550中的假设h4可指示重新训练分类模型以对使用额外标记函数定义的额外数目的分类进行分类的策略。在一些示范性实施例中，额外标记函数可经由回调api获得。在一些示范性实施例中，额外标记函数可由人类用户提供，可从存储库获得等等。
94.现参考图5b，其展示根据所公开标的物的一些示范性实施例的假设目标图表的执行的图解说明。
95.可响应于用以改进用于监督式图像分类任务的分类模型的指令而产生假设图表，例如假设图表500(505)。作为实例，分类模型可用于fpd产品的质量控制。假设图表500可用于改进分类模型的准确性测量(例如f1分数)达至少预定目标，例如0.5％。
96.在一个示范性实施例中，可自动产生目标图表500以便改进给定分类模型的准确性测量达0.5％。目标图表500可包括可能改进分类模型的f1分数达至少0.5％的不同假设h1到h4。
97.在一些示范性实施例中，每一假设可被指配一分数及一成本。假设的分数可指示所述假设的应用改进分类模型的准确性测量达至少目标的可能性。在一些情形中，假设图表中可仅包含具有高于预定阈值(例如约90％、95％等等)的分数的假设。假设的成本可指示在分类模型上应用假设的成本，例如应用及执行假设所需的时间、计算资源等等。在一些示范性实施例中，假设目标图表可根据分数、成本、其组合等等来排序。假设图表的排序可强加其遍历次序，使得可首先遍历具有较高分数的假设。因此，遍历的次序可为h1、h1a、h1b、h2、h2a、h3、h3a、h3b、h3c及h4。
98.假设选择器可经配置以执行目标图表500，以便选择改进分类模型达至少0.5％的假设(515)。在一些示范性实施例中，假设选择器可经配置以基于假设图表500的遍历选择所选择假设。在遍历期间，当遍历父节点时可执行与抽象假设相关的抽象计算，且当遍历子节点时可执行具体计算。抽象及具体计算可用于确定假设的经更新分数及选择将应用于分类模型上的假设。可执行所选择假设，可更新分类模型且可改进其准确性测量达至少预定目标。
99.当遍历节点520时，可执行与假设h1相关的抽象计算(521)。假设h1可为抽象假设，其指示使用清晰数据集重新训练分类模型的策略。当遍历节点522及524时可执行额外具体计算。可应用选择数据集的25％作为较简洁集合来进行重新训练的算法(523)。算法可经配置以将前25％图像标记准确数据选择为在较简洁数据集中。可应用离群值移除算法以便增强假设h1a的算法(526)。可应用选择数据集的预定百分比作为较简洁标记式集合来进行重新训练的算法(525)。可确定将在假设h1中利用的预定百分比(527)。可基于成本、基于预定目标、基于分类模型的其它参数等等来执行所述确定。可应用离群值移除算法以便增强训练数据集(528)。可确定基于假设h1a或h1b进行重新训练的训练数据集(529)。
100.当遍历节点530时，可执行与假设h2相关的抽象计算(531)。假设h2可为抽象假设，其指示使用更多标记样本重新训练分类模型的策略。
101.当遍历节点532时，可应用使用假设h2的更多样本进行重新训练的训练器算法(533)。假设h2a可指示重新训练经配置以在第一与第二分类之间将实例分类的分类模型的策略，其中n1样本来自第一分类且n2样本来自第二分类。为了确定n1及n2的数目，可核验样本的标签且可传回清晰样本(535)。可发布从不同分类请求额外样本的回调(537)。回调可被发布到ai系统、目标图表的用户、外部源等等。可执行利用每一分类(n1及n2)的多少个样本的决策(539)。
102.当遍历节点540时，可执行与假设h3相关的抽象计算(541)。假设h3可为抽象假设，其指示以适应性学习速率重新训练分类模型的策略。当遍历节点542、544及546时，可执行具体计算以评估假设h3a、假设h3b及假设h3c(543、545)。用于假设h3a、假设h3b及假设h3c(在543上遍历)的训练算法可分别选择为用于适应性学习速率的第一、第二或第三训练算法。可获得相应训练数据集(545)。
103.当遍历节点550时，可执行与假设h4相关的抽象计算(551)。假设h4可为抽象假设，其指示重新训练分类模型以对使用额外标记函数定义的额外数目的分类进行分类的策略。可获得将用于假设h4中的额外分类的标记函数(533)。在一些示范性实施例中，额外标记函数可由人类用户提供，可从存储库获得等等(553)。在一些示范性实施例中，额外标记函数可经由回调api获得(555)。回调请求可被寻址到用户、外部数据库等等。可确定用以请求的标记函数的数目(557)。可获得用于基于假设h4进行重新训练的训练数据集(559)。
104.在一些示范性实施例中，当选择了假设时，可终止目标图表500的遍历。在一些示范性实施例中，可选择与通过目标图表500中的其它假设得到的改进相比对分类任务的准确性测量具有最高改进的假设。在此情形中，可完全遍历目标图表500。另外或替代地，可选择在目标图表500的遍历期间遇到的第一假设，所述第一假设的应用改进分类任务的准确性测量达至少预定目标。
105.现参考图6，其展示根据所公开标的物的一些示范性实施例的示范性假设目标图表的图解说明。
106.假设图表600可为响应于用以改进用于监督式图像分类任务的分类模型的指令而产生的示范性假设目标图表。假设图表500的节点630到680可包括与用以潜在地改进分类模型的策略相关的假设，所述策略是例如与分类模型的模型类型相关的策略、与分类模型的训练参数相关的策略、与分类模型的建模参数相关的策略、与监督式图像分类任务的建模相关的策略、与用于训练分类模型的训练集相关的策略、与用于验证分类模型的验证集
相关的策略、与用于测试分类模型的测试集相关的策略等等。
107.节点630包括用于改进分类模型的抽象假设h5。假设h5可与分类模型的训练的策略相关。假设h5建议使用噪声标记假定进行训练。根据假设h5，可在假定样本的标记的k％为错误时执行训练。参数k可由用户在假设图表600的执行期间基于分类任务要求等等来确定。作为实例，参数k可为10、20、30等等。
108.节点640包括用于改进分类模型的抽象假设h6。假设h6可与一策略相关，所述策略与分类模型的训练参数相关，例如什么类型的训练。假设h6建议利用经混合监督式与非监督式训练。可执行使用加标签的图像及未加标签的图像的大集合的训练是否可提供较好分类模型的确定。可了解，可对抽象假设h6执行数个具体化以便借此评估改进准确性测量的可能性，例如将在训练中利用的未加标签图像的量、将执行的非监督式学习的百分比等等。
109.节点650包括用于改进分类模型的抽象假设h7。假设h7可与一策略相关，所述策略与分类模型的模型类型相关。假设h7建议利用分类器的整体来执行分类任务。经测试假设可为对每一样本的多裁判投票是否可针对离群值、新颖性、异常等等提供更稳定结果。
110.节点660包括用于改进分类模型的抽象假设h8。假设h8可与一策略相关，所述策略与分类模型的建模参数相关。假设h8建议将监督式图像分类任务中的一些分类聚类到数个子分类中。经测试假设可为是否可找到用户已选择的分类类别内部的子型式。
111.节点670包括用于改进分类模型的抽象假设h9。假设h9可与一策略相关，所述策略与监督式图像分类任务的建模相关。假设h9建议利用较低数目的分类。经测试假设可为使分类的集合统一是否可获得较好分类结果。在此假设中，可向用户提议多个解决方案以对其做出决策。假设h9可将原始学习任务转换成另一相关学习任务，其形式定义略有不同。
112.节点680包括用于改进分类模型的抽象假设h10。假设h10可与一策略相关，所述策略与监督式图像分类任务的建模相关。假设h10建议利用较大数目的分类。经测试假设可为使更多分类统一是否可提供较好混淆矩阵结果。
113.本发明可为系统、方法或计算机程序产品。计算机程序产品可包含其上具有指令的计算机可读存储媒体，所述指令用于致使处理器执行本发明的方面。
114.计算机可读存储媒体可为可保持及存储指令以供指令执行装置使用的有形装置。计算机可读存储媒体可为例如但不限于电子、磁性光学存储装置等等，例如但不限于硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)等等。在一些情形中，指令可从服务器、远程计算机、远程存储装置等等下载到存储媒体。
115.用于执行本发明的操作的计算机可读程序指令可为汇编程序指令、指令集架构(isa)指令、机器指令、机器相依指令、微码、固件指令、状态设定数据，或者以一或多个程序设计语言(包含例如smalltalk、c++等等的面向对象的程序设计语言以及例如“c”程序设计语言或类似程序设计语言的常规过程程序设计语言)的任何组合编写的源代码或目标代码。程序指令可完全执行于用户的计算机上，部分地执行于用户的计算机上；作为独立式软件封装部分地执行于用户的计算机上及部分地执行于远程计算机上或完全执行于远程计算机或服务器上。在后一情境中，远程计算机可经由包含局域网(lan)或广域网(wan)的任何类型的网络连接到用户的计算机或可连接到外部计算机(举例来说，经由使用因特网服务提供商的因特网)。
116.本文中参考方法、设备、系统及计算机程序产品的流程图及框图描述本发明的方
面。将理解，图式中的每一框及图式中框的组合可由计算机可读程序指令实施。
117.可将计算机可读程序指令加载到计算机、其它可编程数据处理设备或其它装置上以致使在所述计算机、其它可编程设备或其它装置上执行一系列操作步骤以产生计算机实施的过程，使得在计算机、其它可编程设备或其它装置上执行的指令实施图式的框中所规定的功能。
118.图中的流程图及框图图解说明本发明的各种实施例的可能实施方案。就此来说，流程图或框图中的每一框可表示模块、分段或指令的部分，其包括用于实施所规定逻辑功能的一或多个可执行指令。在一些替代实施方案中，框中所说明的功能可不以图中说明的次序发生。举例来说，事实上，可取决于所涉及的功能性基本上同时执行连续展示的两个框，或有时可以相反次序执行所述框。也将应注意，图式的每一框及框的组合可由基于专用硬件的系统实施。
119.本文中所使用的术语仅出于描述特定实施例的目的而并非打算限制本发明。如本文中所使用，单数形式“一(a)”、“一(an)”及“所述(the)”也打算包含复数形式，除非上下文另外明确指示。将进一步理解，术语“包括(comprise)”及/或“包括(comprising)”在本说明书中使用时规定存在所陈述特征、整数、步骤、操作、元件及/或组件，但并不排除存在或添加一或多个其它特征、整数、步骤、操作、元件、组件及/或其群组。
120.所附权利要求书中的所有构件或步骤加功能元件的对应结构、材料、动作及等效物打算包含用于结合如具体所主张的其它所主张元件一起执行功能的任一结构、材料或动作。已出于图解及说明的目的呈现对本发明的说明，而非打算为穷尽性的或将本发明限制于所公开形式。在不背离本发明的范围及精神的情形下，所属领域的普通技术人员将明了许多修改及变化形式。选择及描述实施例以便最佳地解释本发明的原理及实际应用，且使其它所属领域的普通技术人员能够理解本发明的各种实施例，所述实施例具有适于所涵盖的特定用途的各种修改。