目标模型的构建方法、装置、存储介质和电子设备与流程

文档序号:33389974发布日期:2023-03-08 10:21阅读:22来源:国知局
目标模型的构建方法、装置、存储介质和电子设备与流程

1.本技术涉及计算机技术领域,具体而言,涉及一种目标模型的构建方法、装置、存储介质和电子设备。


背景技术:

2.相关技术中,开发某项业务的机器学习算法模型时,需要采用相应的开发软件通过编程的方式对机器学习算法模型进行构建,但这种方案对于熟悉业务和算法但不熟悉具体编程语言的用户来说,开发模型难度大,开发周期长。


技术实现要素:

3.本技术旨在至少解决相关技术中存在的技术问题之一。
4.为此,本技术的第一个方面在于提出一种目标模型的构建方法。
5.本技术的第二个方面在于提出一种目标模型的构建装置。
6.本技术的第三个方面在于提出另一种目标模型的构建装置。
7.本技术的第四个方面在于提出一种可读存储介质。
8.本技术的第五个方面在于提出一种电子设备。
9.有鉴于此,根据本技术的一个方面,提出了一种目标模型的构建方法,用于构建用户需要的机器学习算法的目标模型,该构建方法包括:获取用户输入的配置信息和训练数据集;根据配置信息设置第一系统中的配置选项,确定第一模型;根据配置信息和训练数据集训练第一模型,确定目标模型;其中,第一系统为预先构建的能够根据用户输入的信息确定目标模型的模型构建系统。
10.需要说明的是,本技术所提出的目标模型的构建方法的执行主体可以是目标模型的构建装置,为了更加清楚的对本技术提出的目标模型的构建方法进行说明,下面技术方案中以目标模型的构建方法的执行主体为目标模型的构建装置进行示例性说明。
11.在该技术方案中,上述配置信息表示用户需要构建的目标模型的相关信息,例如,要构建的目标模型的任务类型为数据预测类型等,上述第一系统表示预先构建的能够根据用户输入的信息确定目标模型的模型构建系统;上述配置选项表示通过第一系统构建目标模型时需要设置的选项。
12.具体地,构建装置首先获取用户输入的配置信息和训练数据集。具体而言,构建装置根据上述配置信息可以明确用户想要构建何种模型,根据训练数据集可以对基本模型进行优化。
13.进一步地,构建装置根据获取的上述配置信息设置第一系统中的相关配置选项,以使第一系统构建出的上述第一模型。具体而言,构建装置通过配置信息可以设置待构建的目标模型的任务类型、采用的算法以及可以调整的超参数等,第一系统根据这些信息即可生成相应的第一模型。
14.进一步地,构建装置根据上述训练数据集对构建出的第一模型进行训练,以确定
出上述目标模型。具体而言,通过训练数据集可以不断训练和优化第一模型,这样,可以保证确定出的目标模型对相关业务的处理效果。
15.在该技术方案中,构建装置能够根据获取的配置信息设置第一系统中的配置选项,确定第一模型,能够根据获取的训练数据集对第一模型进行训练,确定出目标模型。由此可见,在本发明的技术方案中,用户仅需输入配置信息和训练数据集,构建装置即可通过第一系统得出用户想要构建的目标模型,无需用户进行编程。这样,减小了目标模型的开发难度,提高了目标模型构建的效率,解决了相关技术对于熟悉业务和算法但不熟悉具体编程语言的用户来说,开发模型难度大,开发周期长的问题。
16.此外,根据本发明的上述技术方案提出的目标模型的构建方法,还可以具有以下附加技术特征:
17.在上述技术方案中,配置信息包括目标模型的任务类型的第一信息、任务类型对应算法的第二信息,根据配置信息设置第一系统中的配置选项,确定第一模型的步骤具体包括:根据第一信息确定配置选项中的任务类型;根据任务类型确定与其对应的算法列表;根据第二信息从算法列表中确定目标算法,并根据目标算法构建第一模型。
18.在该技术方案中,上述配置信息中具体包括有关于待构建的目标模型的任务类型的第一信息以及该任务类型对应算法的第二信息,上述算法列表表示例举出的可以用于构建用户选择的任务类型的模型的相关算法列表。
19.具体地,构建装置根据上述配置信息确定上述第一系统配置选项中的待构建模型的任务类型,并根据该任务类型确定出对应的算法列表。具体而言,构建装置根据上述第一信息可以明确用户想要构建的目标模型的任务类型是什么,例如,任务类型为数据预测。在配置好任务类型的配置选项后,第一系统可以根据任务类型与算法的对应关系,生成能够构建该任务类型模型的算法列表。
20.进一步地,构建装置根据上述第二信息确定上述算法列表中的目标算法,并采用该目标算法构建上述第一模型。具体而言,构建装置根据上述第二信息可以明确用户希望采用哪种算法构建目标模型,因此,构建装置可以根据上述第二信息确定出上述目标算法。
21.在该技术方案中,构建装置可以根据用户输入的配置信息准确的设置第一系统的相关配置选项,这样,可以使第一系统快速准确的确定出上述第一模型,进而可以保证后续步骤中训练该第一模型得出的目标模型能够满足用户的要求。
22.在上述技术方案中,根据配置信息和训练数据集训练第一模型的步骤具体包括:对训练数据集进行预处理,确定训练样本;在配置信息中设置有超参数的情况下,以配置信息中设置的超参数作为目标超参数,并根据目标超参数和训练样本训练第一模型;或在配置信息中设置有超参数范围的情况下,采用迭代算法求解超参数范围中的目标超参数,并根据目标超参数和训练样本训练第一模型;或在配置信息未设置有超参数和超参数范围的情况下,采用迭代算法求解目标算法的目标超参数,并根据目标超参数和训练样本训练第一模型。
23.在该技术方案中,上述超参数表示用户设置的模型训练过程中可以调整的参数个数,上述超参数范围表示用户设置的模型训练过程中可以调整的参数个数的选取范围。
24.具体地,构建装置训练上述第一模型的过程为:构建装置首先对上述训练数据集进行预处理,得出能够用于对第一模型进行训练的训练样本。
25.具体而言,由于获取的训练数据集中可能存在异常的、没有参考价值的数据,这些数据可能会对模型的训练产生不好的影响,所以,构建装置需要先对其进行预处理,确定出上述训练样本。
26.进一步地,构建装置判断上述配置信息中是否设置有超参数或者超参数范围。
27.具体地,在构建装置判断得出上述配置信息中设置有超参数的情况下,构建装置以该超参数作为目标超参数,并根据目标超参数和上述训练样本对第一模型进行训练。
28.具体而言,如果配置信息中设置有超参数,则表明用户已经设置好了模型训练过程中可以调整的参数个数,此时,构建装置根据用户设置的超参数以及确定出的训练样本训练第一模型即可。
29.具体地,在构建装置判断得出上述配置信息中设置有超参数范围的情况下,构建装置需要先通过迭代算法求解出该超参数范围中的最优超参数,即上述目标超参数,然后在根据目标超参数和上述训练样本对第一模型进行训练。
30.具体而言,如果配置信息中设置有超参数范围,则表明用户设置了模型训练过程中可以调整的参数个数的范围,但用户不能明确该范围中具体哪个超参数最优,所以,构建装置需要先通过迭代算法求解出该范围中最优的超参数,并以最优的超参数作为目标超参数训练第一模型。
31.具体地,在构建装置判断得出上述配置信息中未设置有超参数和超参数范围的情况下,构建装置需要先通过迭代算法求解出的构建第一模型时所采用的目标算法的最优超参数,即上述目标超参数,然后在根据目标超参数和上述训练样本对第一模型进行训练。
32.具体而言,如果配置信息中未设置有超参数和超参数范围,则表明用户不能明确该如何超参数,所以,构建装置需要先通过迭代算法求解出对于目标算法的最优超参数,并以最优超参数作为目标超参数训练第一模型。
33.在该技术方案中,在对第一模型的训练过程中,构建装置需要先判断配置信息中是否设置有超参数或者超参数范围,并根据设置情况选择不同的方式训练第一模型,这样,构建目标模型的过程即可以满足专业算法用户对模型构建各环节细致的功能需求,同时又能满足非算法专业用户的易用性需求。
34.在上述技术方案中,对训练数据集进行预处理,确定训练样本的步骤具体包括:采用特征列选择、目标列选择、数据筛选、数据探索、数据处理和不平衡样本处理中的一种或多种方式处理训练数据集,确定训练样本。
35.在该技术方案中,上述特征列选择表示判断训练数据集中的哪些数据属于特征序列,上述目标列选择表示判断训练数据集中的哪些数据属于求解的目标序列,上述数据筛选表示去除训练数据集中的异常数据,上述数据探索表示根据现有的训练数据推导新的训练数据,上述数据处理表示对数据的格式或者形式进行处理,上述不平衡样本处理表示对训练数据集中输入和输出不对应的样本进行处理。
36.具体地,确定训练样本的过程为:构建装置通过特征列选择、目标列选择、数据筛选、数据探索、数据处理和不平衡样本处理中的一种或多种方式对上述训练数据集进行处理,以确定上述训练样本。
37.具体而言,通过上述多种处理方式对训练数据集进行处理,可以提高确定出的训练样本的参考价值,进而可以提高根据训练样本对第一模型的训练效果。
38.可以理解的是,采用的上述处理方式的种类越多,确定出的训练样本越准确,对上述第一模型的训练效果越好。
39.在该技术方案中,在通过训练数据集训练第一模型之前,构建装置还需要采用特征列选择、目标列选择、数据筛选、数据探索、数据处理和不平衡样本处理等中的一种或多种方式对训练数据集,确定训练样本,然后再根据训练样本对第一模型进行训练。这样,可以保证后续步骤中对第一模型的训练效果。
40.在上述技术方案中,确定目标模型之后,构建方法还包括:对目标模型进行性能评估,并确定性能评估结果。
41.在该技术方案中,在确定出目标模型之后,构建装置还需要对目标模型进行性能评估,并确定出关于目标模型的评估结果。
42.具体而言,以目标模型以预测类型的模型为例,构建装置可以获取验证数据集,然后将验证数据集中的输入数据输入至目标模型中,得出输出结果,在将输出结果与验证数据集中的输出数据进行比较,确定输出结果与输出数据的匹配度,根据匹配度确定目标模型的评估结果。
43.进一步地,在确定出评估结果后,构建装置可以根据评估结果对目标模型进行优化,以提高目标模型的预测效果。
44.在该技术方案中,在确定出目标模型后,构建装置还可以对目标模型进行性能评估,这样,有利于用户了解目标模型的预测效果。
45.在上述技术方案中,在确定目标模型之后,构建方法还包括:对目标模型进行可解释性分析,并确定可解释性分析结果。
46.在该技术方案中,在确定出目标模型之后,构建装置还需要对目标模型进行可解释性分析,并确定出关于目标模型的可解释性分析结果。
47.具体而言,以目标模型以预测类型的模型为例,可解释性分析表示分析确定对于该目标模型,哪些输入数据对于其输出结果影响较大,以及影响的具体权重。
48.在该技术方案中,构建装置可以通过对目标模型进行可解释性分析,确定出对于该目标模型,哪些输入数据对于输出结果影响较大,以及影响的具体权重,这样,可以使用户在使用目标模型时,侧重保证影响较大的输入数据的准确性,以保证目标模型确定出的输出结果的准确性。
49.根据本技术的第二个方面,提出了一种目标模型的构建装置,用于构建用户需要的机器学习算法的目标模型,该目标模型的构建装置包括:获取模块,用于获取用户输入的配置信息和训练数据集;第一处理模块,用于根据配置信息设置第一系统中的配置选项,确定第一模型;第二处理模块,用于根据配置信息和训练数据集训练第一模型,确定目标模型;其中,第一系统为预先构建的能够根据用户输入的信息确定目标模型的模型构建系统。
50.在该技术方案中,上述配置信息表示用户需要构建的目标模型的相关信息,例如,要构建的目标模型的任务类型为数据预测类型等,上述第一系统表示预先构建的能够根据用户输入的信息确定目标模型的模型构建系统;上述配置选项表示通过第一系统构建目标模型时需要设置的选项。
51.具体地,首先通过获取模块获取用户输入的配置信息和训练数据集。具体而言,根据上述配置信息可以明确用户想要构建何种模型,根据训练数据集可以对基本模型进行优
化,所以,需要通过获取模块获取上述配置信息和上述训练数据集。
52.进一步地,第一处理模块根据获取的上述配置信息设置第一系统中的相关配置选项,以使第一系统构建出的上述第一模型。具体而言,第一处理模块通过配置信息可以设置待构建的目标模型的任务类型、采用的算法以及可以调整的超参数等,第一系统根据这些信息即可生成相应的第一模型。
53.进一步地,第二处理模块根据上述训练数据集对构建出的第一模型进行训练,以确定出上述目标模型。具体而言,通过训练数据集可以不断训练和优化第一模型,这样,可以保证确定出的目标模型对相关业务的处理效果。
54.在该技术方案中,第一处理模块能够根据获取的配置信息设置第一系统中的配置选项,确定第一模型,第二处理模块能够根据获取的训练数据集对第一模型进行训练,确定出目标模型。由此可见,在本发明的技术方案中,用户仅需输入配置信息和训练数据集,目标模型的构建装置即可通过第一系统得出用户想要构建的目标模型,无需用户进行编程。这样,减小了目标模型的开发难度,提高了目标模型构建的效率,解决了相关技术对于熟悉业务和算法但不熟悉具体编程语言的用户来说,开发模型难度大,开发周期长的问题。
55.根据本技术第三个方面,提出了另一种目标模型的构建装置,包括:存储器,存储器中存储有程序或指令;处理器,处理器执行存储在存储器中的程序或指令以实现如本技术上述技术方案提出的目标模型的构建方法的步骤,因而具有本技术上述技术方案提出的目标模型的构建方法的全部有益技术效果,在此不再做过多赘述。
56.根据本技术的第四个方面,提出了一种可读存储介质,其上存储有程序或指令,程序或指令被处理器执行时实现如本技术上述技术方案提出的目标模型的构建方法。因此,该可读存储介质具备本技术上述技术方案提出的目标模型的构建方法的全部有益效果,在此不再赘述。
57.根据本发明的第五个方面,提出了一种电子设备,包括如本发明上述技术方案提出的目标模型的构建装置,和/或如本发明上述技术方案提出的可读存储介质,因此,该电子设备具备本发明上述技术方案提出的目标模型的构建装置和/或本发明上述技术方案提出的可读存储介质的全部有益效果,在此不再赘述。
58.本技术的附加方面和优点将在下面的描述部分中变得明显,或通过本技术的实践了解到。
附图说明
59.本技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
60.图1示出了本技术实施例的目标模型的构建方法的流程示意图之一;
61.图2示出了本技术实施例的目标模型的构建方法的流程示意图之二;
62.图3示出了本技术实施例的目标模型的构建方法的流程示意图之三;
63.图4示出了本技术实施例的目标模型的构建方法的流程示意图之四;
64.图5示出了本技术实施例的目标模型的构建方法的流程示意图之五;
65.图6示出了本技术实施例的目标模型的构建装置的示意框图之一;
66.图7示出了本技术实施例的目标模型的构建装置的示意框图之二;
67.图8示出了本技术实施例的目标模型的构建方法的总流程示意图。
具体实施方式
68.为了能够更清楚地理解本技术的上述目的、特征和优点,下面结合附图和具体实施方式对本技术进行进一步的详细描述。需要说明的是,在不冲突的情况下,本技术的实施例及实施例中的特征可以相互组合。
69.在下面的描述中阐述了很多具体细节以便于充分理解本技术,但是,本技术还可以采用其他不同于在此描述的其他方式来实施,因此,本技术的保护范围并不限于下面公开的具体实施例的限制。
70.下面结合图1至图8,通过具体的实施例及其应用场景对本技术实施例提供的一种目标模型的构建方法、装置、存储介质和电子设备进行详细地说明。
71.实施例一:
72.图1示出了本技术实施例的目标模型的构建方法的流程示意图,该构建方法包括:
73.s102,获取用户输入的配置信息和训练数据集;
74.s104,根据配置信息设置第一系统中的配置选项,确定第一模型;
75.s106,根据配置信息和训练数据集训练第一模型,确定目标模型。
76.其中,第一系统为预先构建的能够根据用户输入的信息确定目标模型的模型构建系统。
77.需要说明的是,本技术所提出的目标模型的构建方法的执行主体可以是目标模型的构建装置,为了更加清楚的对本技术提出的目标模型的构建方法进行说明,下面实施例中以目标模型的构建方法的执行主体为目标模型的构建装置进行示例性说明。
78.在该实施例中,上述配置信息表示用户需要构建的目标模型的相关信息,例如,要构建的目标模型的任务类型为数据预测类型等,上述第一系统表示预先构建的能够根据用户输入的信息确定目标模型的模型构建系统;上述配置选项表示通过第一系统构建目标模型时需要设置的选项。
79.具体地,构建装置首先获取用户输入的配置信息和训练数据集。具体而言,构建装置根据上述配置信息可以明确用户想要构建何种模型,根据训练数据集可以对基本模型进行优化。
80.示例性地,上述第一系统中设置有与用户进行交互的前端界面,构建装置可以通过该前端界面获取上述配置信息。
81.进一步地,构建装置根据获取的上述配置信息设置第一系统中的相关配置选项,以使第一系统构建出的上述第一模型。具体而言,构建装置通过配置信息可以设置待构建的目标模型的任务类型、采用的算法以及可以调整的超参数等,第一系统根据这些信息即可生成相应的第一模型。
82.示例性地,构建装置还可以通过交互式的方式直接设置上述配置信息,即构建装置通过第一系统的前端界面将构建目标模型时需要设置的配置选项的呈现给用户,以使用户直接根据配置选项输入配置信息。这样,可以提高配置选项的设置效率和准确性。
83.进一步地,构建装置根据上述训练数据集对构建出的第一模型进行训练,以确定出上述目标模型。具体而言,通过训练数据集可以不断训练和优化第一模型,这样,可以保
证确定出的目标模型对相关业务的处理效果。
84.示例性地,上述第一系统包括机器学习sdk(softwaredevelopmentkit,软件开发包)、前端界面、结果输出模块和算法包。具体地,构建装置可以通过上述前端界面与用户交互的方式获取上述配置信息和训练数据集,构建装置通过算法包将配置信息配置给机器学习sdk中的配置选项中,以使机器学习sdk构建出上述第一模型,构建装置通过上述训练数据对第一模型进行训练和优化,使的结果输出模块上述目标模型。
85.需要说明的是,上述机器学习sdk中预先编辑好了表格类数据、自然语言处理、图像识别、时间序列等场景下的经典算法和自有算法,且该机器学习sdk能够支持用户自定义场景、算法,只需要根据格式增加算法侧内容即可。这样,使得上述第一系统可以满足用户开发模型的多种需求。
86.示例性地,上述机器学习sdk的包括有任务类型选择、数据选择、特征/目标列选择、数据筛选、数据探索、数据处理、不平衡样本处理、算法模型、损失函数/优化器选择、超参数优化设置、训练配置、训练/超参数优化、模型评估、可解释性分析等构建机器学习算法的目标模型涉及到的全部环节需要的软件开发包。这样,使得在获取的用户的配置信息后,构建装置可以通过第一系统中机器学习sdk包括的上述各个环节构建出上述目标模型。
87.示例性地,用户可以通过ai(adobe illustrator)服务部署平台访问第一系统方式,在第一系统的前端界面中输入配置信息和训练数据集,以构建出上述目标模型。
88.示例性地,在构建出目标模型后,构建装置还可以通过上述第一系统获取目标模型根据训练数据集的输入数据预测出的结果,以及关于目标模型的配置信息集合,这样,可以使用户了解目标模型的预测效果和训练目标模型的过程中配置的相关信息。
89.在该实施例中,构建装置能够根据获取的配置信息设置第一系统中的配置选项,确定第一模型,能够根据获取的训练数据集对第一模型进行训练,确定出目标模型。由此可见,在本发明的实施例中,用户仅需输入配置信息和训练数据集,构建装置即可通过第一系统得出用户想要构建的目标模型,无需用户进行编程。这样,减小了目标模型的开发难度,提高了目标模型构建的效率,解决了相关技术对于熟悉业务和算法但不熟悉具体编程语言的用户来说,开发模型难度大,开发周期长的问题。
90.图2示出了本技术实施例的目标模型的构建方法的流程示意图,其中,配置信息包括目标模型的任务类型的第一信息、任务类型对应算法的第二信息,该构建方法包括:
91.s202,获取用户输入的配置信息和训练数据集;
92.s204,根据第一信息确定配置选项中的任务类型;
93.s206,根据任务类型确定与其对应的算法列表;
94.s208,根据第二信息从算法列表中确定目标算法,并根据目标算法构建第一模型;
95.s210,根据配置信息和训练数据集训练第一模型,确定目标模型。
96.在该实施例中,上述配置信息中具体包括有关于待构建的目标模型的任务类型的第一信息以及该任务类型对应算法的第二信息,上述算法列表表示例举出的可以用于构建用户选择的任务类型的模型的相关算法列表。
97.具体地,构建装置根据上述配置信息确定上述第一系统配置选项中的待构建模型的任务类型,并根据该任务类型确定出对应的算法列表。具体而言,构建装置根据上述第一信息可以明确用户想要构建的目标模型的任务类型是什么,例如,任务类型为数据预测。在
配置好任务类型的配置选项后,第一系统可以根据任务类型与算法的对应关系,生成能够构建该任务类型模型的算法列表。
98.进一步地,构建装置根据上述第二信息确定上述算法列表中的目标算法,并采用该目标算法构建上述第一模型。具体而言,构建装置根据上述第二信息可以明确用户希望采用哪种算法构建目标模型,因此,构建装置可以根据上述第二信息确定出上述目标算法。
99.在该实施例中,构建装置可以根据用户输入的配置信息准确的设置第一系统的相关配置选项,这样,可以使第一系统快速准确的确定出上述第一模型,进而可以保证后续步骤中训练该第一模型得出的目标模型能够满足用户的要求。
100.图3示出了本技术实施例的目标模型的构建方法的流程示意图,其中,该构建方法包括:
101.s302,获取用户输入的配置信息和训练数据集;
102.s304,根据配置信息设置第一系统中的配置选项,确定第一模型;
103.s306,根据配置信息和训练数据集训练第一模型,确定目标模型。
104.s308,对训练数据集进行预处理,确定训练样本;
105.s310,在配置信息中设置有超参数的情况下,以配置信息中设置的超参数作为目标超参数,并根据目标超参数和训练样本训练第一模型;
106.s312,在配置信息中设置有超参数范围的情况下,采用迭代算法求解超参数范围中的目标超参数,并根据目标超参数和训练样本训练第一模型;
107.s314,在配置信息未设置有超参数和超参数范围的情况下,采用迭代算法求解目标算法的目标超参数,并根据目标超参数和训练样本训练第一模型。
108.在该实施例中,上述超参数表示用户设置的模型训练过程中可以调整的参数个数,上述超参数范围表示用户设置的模型训练过程中可以调整的参数个数的选取范围。
109.具体地,构建装置训练上述第一模型的过程为:构建装置首先对上述训练数据集进行预处理,得出能够用于对第一模型进行训练的训练样本。
110.具体而言,由于获取的训练数据集中可能存在异常的、没有参考价值的数据,这些数据可能会对模型的训练产生不好的影响,所以,构建装置需要先对其进行预处理,确定出上述训练样本。
111.进一步地,构建装置判断上述配置信息中是否设置有超参数或者超参数范围。
112.具体地,在构建装置判断得出上述配置信息中设置有超参数的情况下,构建装置以该超参数作为目标超参数,并根据目标超参数和上述训练样本对第一模型进行训练。
113.具体而言,如果配置信息中设置有超参数,则表明用户已经设置好了模型训练过程中可以调整的参数个数,此时,构建装置根据用户设置的超参数以及确定出的训练样本训练第一模型即可。
114.具体地,在构建装置判断得出上述配置信息中设置有超参数范围的情况下,构建装置需要先通过迭代算法求解出该超参数范围中的最优超参数,即上述目标超参数,然后在根据目标超参数和上述训练样本对第一模型进行训练。
115.具体而言,如果配置信息中设置有超参数范围,则表明用户设置了模型训练过程中可以调整的参数个数的范围,但用户不能明确该范围中具体哪个超参数最优,所以,构建装置需要先通过迭代算法求解出该范围中最优的超参数,并以最优的超参数作为目标超参
数训练第一模型。
116.具体地,在构建装置判断得出上述配置信息中未设置有超参数和超参数范围的情况下,构建装置需要先通过迭代算法求解出的构建第一模型时所采用的目标算法的最优超参数,即上述目标超参数,然后在根据目标超参数和上述训练样本对第一模型进行训练。
117.具体而言,如果配置信息中未设置有超参数和超参数范围,则表明用户不能明确该如何超参数,所以,构建装置需要先通过迭代算法求解出对于目标算法的最优超参数,并以最优超参数作为目标超参数训练第一模型。
118.在该实施例中,在对第一模型的训练过程中,构建装置需要先判断配置信息中是否设置有超参数或者超参数范围,并根据设置情况选择不同的方式训练第一模型,这样,构建目标模型的过程即可以满足专业算法用户对模型构建各环节细致的功能需求,同时又能满足非算法专业用户的易用性需求。
119.在上述实施例中,对训练数据集进行预处理,确定训练样本的步骤具体包括:采用特征列选择、目标列选择、数据筛选、数据探索、数据处理和不平衡样本处理中的一种或多种方式处理训练数据集,确定训练样本。
120.在该实施例中,上述特征列选择表示判断训练数据集中的哪些数据属于特征序列,上述目标列选择表示判断训练数据集中的哪些数据属于求解的目标序列,上述数据筛选表示去除训练数据集中的异常数据,上述数据探索表示根据现有的训练数据推导新的训练数据,上述数据处理表示对数据的格式或者形式进行处理,上述不平衡样本处理表示对训练数据集中输入和输出不对应的样本进行处理。
121.具体地,确定训练样本的过程为:构建装置通过特征列选择、目标列选择、数据筛选、数据探索、数据处理和不平衡样本处理中的一种或多种方式对上述训练数据集进行处理,以确定上述训练样本。
122.具体而言,通过上述多种处理方式对训练数据集进行处理,可以提高确定出的训练样本的参考价值,进而可以提高根据训练样本对第一模型的训练效果。
123.可以理解的是,采用的上述处理方式的种类越多,确定出的训练样本越准确,对上述第一模型的训练效果越好。
124.在该实施例中,在通过训练数据集训练第一模型之前,构建装置还需要采用特征列选择、目标列选择、数据筛选、数据探索、数据处理和不平衡样本处理等中的一种或多种方式对训练数据集,确定训练样本,然后再根据训练样本对第一模型进行训练。这样,可以保证后续步骤中对第一模型的训练效果。
125.图4示出了本技术实施例的目标模型的构建方法的流程示意图,该构建方法包括:
126.s402,获取用户输入的配置信息和训练数据集;
127.s404,根据配置信息设置第一系统中的配置选项,确定第一模型;
128.s406,根据配置信息和训练数据集训练第一模型,确定目标模型;
129.s408,对目标模型进行性能评估,并确定性能评估结果。
130.在该实施例中,在确定出目标模型之后,构建装置还需要对目标模型进行性能评估,并确定出关于目标模型的评估结果。
131.具体而言,以目标模型以预测类型的模型为例,构建装置可以获取验证数据集,然后将验证数据集中的输入数据输入至目标模型中,得出输出结果,在将输出结果与验证数
据集中的输出数据进行比较,确定输出结果与输出数据的匹配度,根据匹配度确定目标模型的评估结果。
132.进一步地,在确定出评估结果后,构建装置可以根据评估结果对目标模型进行优化,以提高目标模型的预测效果。
133.在该实施例中,在确定出目标模型后,构建装置还可以对目标模型进行性能评估,这样,有利于用户了解目标模型的预测效果。
134.图5示出了本技术实施例的目标模型的构建方法的流程示意图,该构建方法包括:
135.s502,获取用户输入的配置信息和训练数据集;
136.s504,根据配置信息设置第一系统中的配置选项,确定第一模型;
137.s506,根据配置信息和训练数据集训练第一模型,确定目标模型;
138.s508,对目标模型进行可解释性分析,并确定可解释性分析结果。
139.在该实施例中,在确定出目标模型之后,构建装置还需要对目标模型进行可解释性分析,并确定出关于目标模型的可解释性分析结果。
140.具体而言,以目标模型以预测类型的模型为例,可解释性分析表示分析确定对于该目标模型,哪些输入数据对于其输出结果影响较大,以及影响的具体权重。
141.在该实施例中,构建装置可以通过对目标模型进行可解释性分析,确定出对于该目标模型,哪些输入数据对于输出结果影响较大,以及影响的具体权重,这样,可以使用户在使用目标模型时,侧重保证影响较大的输入数据的准确性,以保证目标模型确定出的输出结果的准确性。
142.实施例二:
143.图6示出了本技术实施例的目标项目的构建装置的示意框图,用于构建用户需要的机器学习算法的目标模型,该目标模型的构建装置600包括:获取模块602,用于获取用户输入的配置信息和训练数据集;第一处理模块604,用于根据配置信息设置第一系统中的配置选项,确定第一模型;第二处理模块606,用于根据配置信息和训练数据集训练第一模型,确定目标模型;其中,第一系统为预先构建的能够根据用户输入的信息确定目标模型的模型构建系统。
144.在该实施例中,上述配置信息表示用户需要构建的目标模型的相关信息,例如,要构建的目标模型的任务类型为数据预测类型等,上述第一系统表示预先构建的能够根据用户输入的信息确定目标模型的模型构建系统;上述配置选项表示通过第一系统构建目标模型时需要设置的选项。
145.具体地,首先通过获取模块602获取用户输入的配置信息和训练数据集。具体而言,根据上述配置信息可以明确用户想要构建何种模型,根据训练数据集可以对基本模型进行优化,所以,需要通过获取模块602获取上述配置信息和上述训练数据集。
146.进一步地,第一处理模块604根据获取的上述配置信息设置第一系统中的相关配置选项,以使第一系统构建出的上述第一模型。具体而言,第一处理模块604通过配置信息可以设置待构建的目标模型的任务类型、采用的算法以及可以调整的超参数等,第一系统根据这些信息即可生成相应的第一模型。
147.进一步地,第二处理模块606根据上述训练数据集对构建出的第一模型进行训练,以确定出上述目标模型。具体而言,通过训练数据集可以不断训练和优化第一模型,这样,
可以保证确定出的目标模型对相关业务的处理效果。
148.在该实施例中,第一处理模块604能够根据获取的配置信息设置第一系统中的配置选项,确定第一模型,第二处理模块606能够根据获取的训练数据集对第一模型进行训练,确定出目标模型。由此可见,在本发明的实施例中,用户仅需输入配置信息和训练数据集,目标模型的构建装置600即可通过第一系统得出用户想要构建的目标模型,无需用户进行编程。这样,减小了目标模型的开发难度,提高了目标模型构建的效率,解决了相关技术对于熟悉业务和算法但不熟悉具体编程语言的用户来说,开发模型难度大,开发周期长的问题。
149.进一步地,在上述实施例中,配置信息包括目标模型的任务类型的第一信息、任务类型对应算法的第二信息,第一处理模块604具体用于根据第一信息确定配置选项中的任务类型;根据任务类型确定与其对应的算法列表;根据第二信息从算法列表中确定目标算法,并根据目标算法构建第一模型。
150.进一步地,在上述实施例中,第二处理模块606具体用于对训练数据集进行预处理,确定训练样本;在配置信息中设置有超参数的情况下,以配置信息中设置的超参数作为目标超参数,并根据目标超参数和训练样本训练第一模型;或在配置信息中设置有超参数范围的情况下,采用迭代算法求解超参数范围中的目标超参数,并根据目标超参数和训练样本训练第一模型;或在配置信息未设置有超参数和超参数范围的情况下,采用迭代算法求解目标算法的目标超参数,并根据目标超参数和训练样本训练第一模型。
151.进一步地,在上述实施例中,第二处理模块606具体用于采用特征列选择、目标列选择、数据筛选、数据探索、数据处理和不平衡样本处理中的一种或多种方式处理训练数据集,确定训练样本。
152.进一步地,在上述实施例中,第二处理模块606还用于对目标模型进行性能评估,并确定性能评估结果。
153.进一步地,在上述实施例中,第二处理模块606还用于对目标模型进行可解释性分析,并确定可解释性分析结果。
154.实施例三:
155.图7示出了本技术实施例的目标模型的构建装置的示意框图,其中,该目标模型的构建装置700包括:存储器702,存储器702中存储有程序或指令;处理器704,处理器704执行存储在存储器702中的程序或指令以实现如本技术上述实施例提出的目标模型的构建方法的步骤,因而具有本技术上述实施例提出的目标模型的构建方法的全部有益技术效果,在此不再做过多赘述。
156.实施例四:
157.根据本技术的第四个实施例,提出了一种可读存储介质,其上存储有程序或指令,程序或指令被处理器执行时实现如本技术上述实施例提出的目标模型的构建方法。因此,该可读存储介质具备本技术上述实施例提出的目标模型的构建方法的全部有益效果,在此不再赘述。
158.实施例五:
159.根据本发明的第五个实施例,提出了一种电子设备,包括如本发明上述实施例提出的目标模型的构建装置,和/或如本发明上述实施例提出的可读存储介质,因此,该电子
设备具备本发明上述实施例提出的目标模型的构建装置和/或本发明上述实施例提出的可读存储介质的全部有益效果,在此不再赘述。
160.实施例六:
161.本实施结合图8对本技术提出的目标模型的构建方法进行说明,根据图8可以看出,构建装置可以通过第一系统的前端界面与用户进行交互,使用户设置第一系统的机器学习sdk中各功能模块的配置选项。
162.具体地,通过图8可以可出,用户首先通过机器学习sdk中的任务类型选择模块配置待构建的目标模型的任务类型,然后通过训练数据输入模块获取用户输入的相应训练数据集。
163.进一步地,构建装置会通过机器学习sdk中的特征列/目标列选择选择模块、数据筛选模块、数据探索模块、数据处理模块、不平衡样本处理模块分别对训练数据集进行特征列选择、目标列选择、数据筛选、数据探索、数据处理和不平衡样本处理,确定训练样本。
164.进一步地,构建装置根据用户的输入从算法列表中选择目标算法,构建第一模型,并通过机器学习sdk中的损失函数/优化器选择模块、训练配置模块、训练/超参优化模块,分别配置损失函数或者优化器、模型的超参数、模型的训练模式。
165.进一步地,按照设置的上述参数,通过训练样本上述第一模型得出目标模型。
166.进一步地,得出目标模型后,构建装置通过机器学习sdk中的模型评估模块和可解释性分析模块对目标模型的性能进行评估和对目标模型进行可解释性分析。
167.需要说明的是,图8中的算法包用于根据用户在前端界面的选择配置,协调机器学习sdk中各功能块的具体操作。
168.在本说明书的描述中,术语“第一”、“第二”仅用于描述的目的,而不能理解为指示或暗示相对重要性,除非另有明确的规定和限定;术语“连接”、“安装”、“固定”等均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本技术中的具体含义。
169.在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本技术的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
170.另外,本技术各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本技术要求的保护范围之内。
171.以上仅为本技术的优选实施例而已,并不用于限制本技术,对于本领域的技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1