一种模型预测的结果数据管理系统及方法与流程

本发明涉及模型训练技术领域，尤指一种模型预测的结果数据管理系统及方法。

背景技术：

在人工智能建模过程中，往往训练出模型之后，用户需要把模型拿走，然后单独进行预测任务，从而得到自己想要的数据，然后根据数据来进行业务调整。如果在执行预测任务之后，发现模型的效果并不好，预测出来的结果数据并不是自己想要的效果，那么还需要重新训练，然后再次拿走模型进行预测任务，开发周期和成本较高。

综上来看，现有技术通过建模训练，把模型拿走，然后执行预测任务，并对结果集数据进行评估的过程，直到达到业务要求的过程，会存在以下缺点：缺乏对结果集数据的统一管理，建模人员不能够直接执行预测任务并保存结果数据集及评估结果数据集，使开发周期较长、开发成本较高，并且无法控制访问权限。

因此，亟需一种可以克服上述问题，能够对结果数据集统一管理且能够控制访问权限的结果数据管理方案。

技术实现要素：

为克服上述问题，本发明提出了一种模型预测的结果数据管理系统及方法，使建模人员能够直接执行预测任务并保存结果数据集及评估结果集，将模型训练及执行预测任务之后结果数据进行存储、评估并导出给供业务部门使用，缩短了开发周期、节约成本，并且实现了对结果数据集进行统一管理(包括视图管理)，提供访问权限控制，保证数据集访问的安全性。

在本发明一实施例中，提出了一种模型预测的结果数据管理系统，该系统包括：

结果数据存储模块，用于获取模型预测过程中产生的结果数据，并存储在预设路径下；

结果数据管理模块，用于接收在结果数据集管理页面输入的操控指令，对所述结果数据进行处理，所述操控指令包括数据存储、数据预览、数据维护、数据删除及数据导出在内的指令；其中，根据所述数据存储的指令，将所述结果数据存储在结果数据集；根据所述数据预览、数据维护或数据删除的指令，对所述结果数据进行预览、维护或删除；

结果数据导出模块，用于根据所述数据导出的指令，将对应的结果数据导出，通过文件传输的方式传输至数据使用方；

结果数据集，用于存储模型预测过程中产生的结果数据。

在本发明另一实施例中，还提出了一种模型预测的结果数据管理方法，该方法包括：

获取模型预测过程中产生的结果数据，并存储在预设路径下；

接收在结果数据集管理页面输入的操控指令，对所述结果数据进行处理，所述操控指令包括数据存储、数据预览、数据维护、数据删除及数据导出在内的指令；其中，

根据所述数据存储的指令，将所述结果数据存储在结果数据集；

根据所述数据预览、数据维护或数据删除的指令，对所述结果数据进行预览、维护或删除；

根据所述数据导出的指令，将对应的结果数据导出，通过文件传输的方式传输至数据使用方。

在本发明另一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现模型预测的结果数据管理方法。

在本发明另一实施例中，还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现模型预测的结果数据管理方法。

本发明提出的模型预测的结果数据管理系统及方法可以针对异构结果集数据存储地址，提供统一的sdk访问方式，建模人员无需关注数据来源，也无需做单独适配；该系统及方法还提供结果集导出功能，建模人员可以确认结果集符合业务要求之后再将结果集导出，避免开发过程中的重复性操作，缩短开发周期，节约成本，并且还提供统一的结果数据集管理，建模人员可以通过可视化界面查询、管理有权限的结果数据。

附图说明

图1是本发明一实施例的模型预测的结果数据管理系统架构示意图。

图2是本发明一具体实施例的核心装置的架构设计示意图。

图3是本发明一实施例的模型预测的结果数据管理方法流程示意图。

图4是本发明一具体实施例的对结果数据进行处理的详细流程示意图。

图5是本发明另一实施例的模型预测的结果数据管理方法流程示意图。

图6是本发明一具体实施例的模型预测的结果数据管理方法详细流程示意图。

图7是本发明一实施例的计算机设备结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种模型预测的结果数据管理系统及方法。

需要说明的是，在本实施例中涉及的术语：

人工智能：英文缩写为ai(artificialintelligence)。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

ai模型：根据训练数据总结出的数据结构，基于此结构可以对新的数据做预测，判定其目标分类或取值。

ai算法：总结ai模型的方法，有机器学习算法(如逻辑回归lr、梯度提升决策树gbdt等等)和深度学习算法(dnn/cnn/rnn等)。

(ai/人工智能)建模：构建ai模型的过程。

ai研发任务：ai建模的所属项目。

ai建模工程：ai研发任务所需要开发的模型。

建模方案/代码：为了构建ai模型所编写的代码，代码中一般包含了数据引入、调用算法、设置参数、模型评估等一系列步骤，其目的是为了产出可用的ai模型。

(建模)结果数据：是建模人员训练好模型后，对预测数据执行预测过程，所生成的数据。这类数据是建模人员通过预测数据和模型得到的数据，供业务部门或相关部门使用。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

图1是本发明一实施例的模型预测的结果数据管理系统架构示意图。如图1所示，该系统包括：

结果数据存储模块110，用于获取模型预测过程中产生的结果数据；

结果数据管理模块120，用于接收在结果数据集管理页面输入的操控指令，对所述结果数据进行处理，所述操控指令包括数据存储、数据预览、数据维护、数据删除及数据导出在内的指令；其中，

根据所述数据存储的指令，将所述结果数据存储在结果数据集中；

根据所述数据预览、数据维护或数据删除的指令，对所述结果数据进行预览、维护或删除；

在一具体实施例中，建模人员可在结果数据集管理页面进行相应操作，例如预览预测任务产生的结果数据，以确保结果数据达到了业务要求；建模人员还可以对不满意的结果数据进行删除操作，或者将满意的结果数据进行导出。

结果数据导出模块130，用于根据所述数据导出的指令，将对应的结果数据导出，通过文件传输的方式传输至数据使用方；

结果数据集200，用于存储模型预测过程中产生的结果数据。

进一步的，再结合图1所示，该系统还包括：用户管理模块140、sdk300、可视化图形界面400；其中，

用户管理模块140，用于在用户发起请求时，验证用户身份；

相应的，所述结果数据管理模块120还用于在验证通过后，接收用户在结果数据集管理页面输入的操控指令，对所述结果数据进行处理。

sdk300(软件开发工具包)，sdk300中设置有结果数据集存储接口(结果数据集存储api)及结果数据集导出接口(结果数据集导出api)；

所述结果数据存储模块110，具体用于通过所述结果数据集存储接口，获取模型预测过程中产生的结果数据，并存储在结果数据集200的预设路径下；

所述结果数据导出模块130，具体用于通过结果数据集导出接口，将所述数据导出的指令对应的结果数据导出。

使用sdk作为存储结果数据集的方式，可以向建模人员(用户)屏蔽了ai预测过程中异构数据存储地址的访问差异，提供了统一的访问权限控制机制，建模人员无需关注数据来源，也无需做单独适配，使结果数据的管理更加方便。

可视化图形界面400用于提供用户登录、结果数据集预览、维护、导出、存储及删除等相关功能，用户可以在可视化图形界面上进行操作。

在一实施例中，结合图1所示，结果数据存储模块110、结果数据管理模块120、结果数据导出模块130及用户管理模块140组成核心装置100。

如图2所示，为本发明一具体实施例的核心装置100的架构设计示意图。其中，核心装置100具体包括：

restful接口101，作为外部请求的统一入口。每当新用户请求时，首先需要输入用户名密码登录，成功后才可以进行后续的数据集相关操作。其中，restful(representationalstatetransfer，表象性状态转变)是web服务的一种架构风格。

session缓存102，通过分布式缓存用于存放当前已登录用户session信息。

进一步的，通过用户管理模块140，当一用户发起请求时，验证输入的用户名及密码；在验证通过后，在存储的用户登录信息表中查询是否存储有所述用户的用户编号；如果未查询到，生成所述用户的用户编号并记录在所述用户登录信息表中；其中，所述用户登录信息表存储有每个用户对应的用户编号、具有管理权限的结果数据及具有访问权限的结果数据。

用户管理部分可以用于校验当前用户登录，也可以对接第三方单点登录集成，每当有新的第三方用户校验通过并登录时，会自动创建该用户在本装置中的唯一编号并记录在用户表中。登录成功后，系统会存储当前用户登录信息，后续每次针对数据集的请求操作都会校验当前用户已登录。

元数据库103，存储元数据，主要包括结果数据集管理信息、数据集存储配置信息、数据集权限信息、用户信息等。

在用户登录成功后，所述结果数据管理模块120会根据用户在结果数据集管理页面输入的操控指令，对结果数据集200的结果数据进行处理；

具体的，所述结果数据管理模块120包括：

数据存储单元121，用于根据数据存储的指令，将预设路径下的结果数据存储至结果数据集200，供建模人员查看并设置建模人员具有所述结果数据的管理权限；

在训练出模型之后，建模人员可以直接执行预测任务，并对生成的结果数据进行存储，以便于评估数据是否符合业务要求。

数据预览单元122，用于根据数据预览的指令，将用户具有访问权限的结果数据通过可视化界面进行显示；

具体的，可以将用户具有访问权限的结果数据中的数据集名称、说明信息、数据内容及生成时间通过可视化界面进行显示；数据内容可以是详细的数据信息，如每列或每行的内容或者图片的内容，以确保数据符合业务要求。

其中，预览结果数据支持文本数据、结构化数据、图片数据的预览。

数据维护单元123，用于根据数据维护的指令，维护结果数据的管理信息(数据集说明、清理策略等)和权限信息。

其中，访问权限可以是完全公开或指定项目公开(在项目内的用户可以访问，其他用户不可以访问)，具体权限通过数据权限管理模块160进行管理和校验。

数据删除单元124，用于根据数据删除的指令，将用户具有管理权限的结果数据进行删除。

用户可以对自己有权限访问的结果数据进行删除操作，如一些没达到业务要求的结果数据，可以在预览评估之后立即删除。

数据导出单元125，用于根据数据导出的指令，控制所述结果数据导出模块130将用户具有访问权限的结果数据导出。

建模人员在评估了结果数据符合业务要求之后，可以将结果数据导出到一个指定区域，然后通过文件传输的方式把数据传输到自己的业务部门能够访问的地方。

当确定导出的结果数据后，结果数据导出模块130通过结果数据集导出接口，将所述数据导出的指令对应的结果数据导出到一个指定区域，可供用户通过文件传输的方式将数据传输到其业务部门可以访问到的地方。

在核心装置100中，还设置有数据清理模块150及数据权限管理模块160；其中，

数据清理模块150用于根据设置的保留时间或者保留存储空间的清理策略，按照指定周期将结果数据集中的超出保留时间或保留存储空间的结果数据进行清理。该模块的功能主要是针对那些用户满意的结果数据集做定期清理，用户不满意的数据，可以使用数据删除功能进行删除。

数据权限管理模块160，连接数据维护单元123，用于根据数据集所有者制定的数据集访问权限，数据权限校验功能会依据该策略校验当前用户对某个数据集是否具有访问权限。访问权限主要包含有2类：1、指定项目公开，在项目内的用户可以访问，其他用户不可以访问；2、完全公开，所有人都可以访问。

通常权限可以分为管理权限和访问权限，建模人员在建立模型，执行预测任务并得到的结果数据后，则该建模人员可以具有该结果数据的管理权限(如存储、删除、导出、维护、预览等)，其可以设置访问权限，例如完全公开或指定项目公开等；有访问权限的用户，则可以预览结果数据，如果是满意的结果数据则可以进行导出给相应的业务部门使用。

利用上述系统可以使建模人员能够直接执行预测任务并保存结果数据集及评估结果集，然后导出供业务部门使用，缩短了开发周期、节约了开发成本。

在一实施例中，元数据库103中的重要的元数据设计如下表1至表4所示。

表1结果数据集管理

表2数据集内部存储方式

表3数据集权限指定公开人员映射

表4用户校验信息

其中，结合表1，结果数据集管理的信息主要包括结果数据集名称、结果数据集描述、ai研发任务、ai建模工程、建模方案、创建人、创建时间、管理方式、结果数据集保存天数、结果数据集保存大小及公开方式；

结合表2，数据集内部存储方式主要包括数据集存储配置；

结合表3，数据集权限指定公开人员映射主要包括指定公开人员编号；

结合表4，用户校验信息主要包括用户编号、用户登录名、用户密码校验及结果数据集默认指定公开人员编号列表。

在一实施例中，设置sdk300是为了在建模代码中方便地存储结果数据集，其中重要的api(应用程序接口)有两类，分别是结果数据集存储和结果数据集导出。

接口如下：

#结果数据集存储接口

defsaveresultset(sys.argv,resset_name,res_path):resultsave

#结果数据集导出接口

defexportresultset(sys.argv,resset_name):resultsetexport

上述接口最终调用核心装置100的restful接口101。

在人工智能建模训练存储及导出结果数据集的过程中，对于不同的建模方案的预测任务产生的结果数据，数据名称可以重复，但是同一个建模方案下的结果数据名称是不能重复的。因此，利用上述系统，将预测过程中产生的结果数据可以存储在规范的路径下，路径可以具体到建模方案，保证每个建模方案的结果数据是分开存储的；这样，建模人员可以对生成的结果数据进行预览，以确保是符合业务要求的数据。建模人员对于那些没有达到业务要求的数据，可以立即删除。在生成结果数据之后，建模人员需要把数据传输到一个可以让其业务部门访问到的地方，供业务部门使用。

本发明提出的模型预测的结果数据管理系统可以针对异构结果集数据存储地址，提供统一的sdk访问方式，建模人员无需关注数据来源，也无需做单独适配。该系统还提供结果集导出功能，建模人员可以确认结果集符合业务要求之后再将结果集导出，避免开发过程中的重复性操作，缩短开发周期，节约成本，并且还提供统一的结果数据集管理(包括视图)，建模人员可以通过可视化界面查询、管理有权限的结果数据。

应当注意，尽管在上文详细描述中提及了模型预测的结果数据管理系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

在介绍了本发明示例性实施方式的系统之后，接下来，参考图3至图6对本发明示例性实施方式的模型预测的结果数据管理方法进行介绍。

基于同一发明构思，本发明还提出了一种模型预测的结果数据管理方法，如图3所示，该方法包括：

步骤s310，获取模型预测过程中产生的结果数据，并存储在预设路径下；

步骤s320，接收在结果数据集管理页面输入的操控指令，对所述结果数据进行处理，所述操控指令包括数据存储、数据预览、数据维护、数据删除及数据导出在内的指令；其中，

步骤s321，根据所述数据存储的指令，将所述结果数据存储在结果数据集；

步骤s322，根据所述数据预览、数据维护或数据删除的指令，对所述结果数据进行预览、维护或删除；

步骤s323，根据所述数据导出的指令，将对应的结果数据导出，通过文件传输的方式传输至数据使用方。

在一实施例中，结合图4，对所述结果数据进行处理的详细过程包括：

步骤s321，根据数据存储的指令，将预设路径下的结果数据存储至结果数据集，供建模人员查看并设置建模人员具有所述结果数据的管理权限；

步骤s322的详细过程为：

步骤s3221，根据数据预览的指令，将用户具有访问权限的结果数据通过可视化界面进行显示；具体的，显示的信息可以为数据集名称、说明信息、数据内容及生成时间；其中，预览结果数据支持文本数据、结构化数据、图片数据的预览。数据内容可以是详细的数据信息，如每列或每行的内容或者图片的内容，以确保数据符合业务要求。

步骤s3222，根据数据维护的指令，维护结果数据的管理信息和权限信息；其中，访问权限为完全公开或指定项目公开。

步骤s3223，根据数据删除的指令，将用户具有管理权限的结果数据进行删除。

步骤s323，根据所述数据导出的指令，控制所述结果数据导出模块将用户具有访问权限的结果数据导出。

在一实施例中，结合图5，模型预测的结果数据管理方法还包括：

步骤s300，利用sdk设置结果数据集存储接口及结果数据集导出接口。基于这两个接口，则对应的数据存储及数据导出的步骤为：

步骤s310，通过所述结果数据集存储接口，获取模型预测过程中产生的结果数据，并存储在预设路径下；

步骤s321及步骤s322的过程可以参考前述图3的实施例。

步骤s323，通过结果数据集导出接口，将所述数据导出的指令对应的结果数据导出。

步骤s330，根据设置的保留时间或者保留存储空间的清理策略，按照指定周期将结果数据集中的超出保留时间或保留存储空间的结果数据进行清理。

在一实施例中，结合图6，在执行步骤s320之前，模型预测的结果数据管理方法还包括验证用户身份的过程：

步骤s315，在用户发起请求时，验证用户身份；

详细过程为：

步骤s3151，当一用户发起请求时，验证输入的用户名及密码；

步骤s3152，在验证通过后，在存储的用户登录信息表中查询是否存储有所述用户的用户编号；如果未查询到，生成所述用户的用户编号并记录在所述用户登录信息表中；其中，所述用户登录信息表存储有每个用户对应的用户编号、具有管理权限的结果数据及具有访问权限的结果数据。

在验证通过后，执行步骤s320，即可接收建模人员(用户)在结果数据集管理页面输入的操控指令，对所述结果数据进行处理。

需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

基于前述发明构思，如图7所示，本发明还提出了一种计算机设备700，包括存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序730，所述处理器720执行所述计算机程序730时实现前述模型预测的结果数据管理方法。

在本发明另一实施例中，还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述模型预测的结果数据管理方法。

通过本发明提出的模型预测的结果数据管理系统及方法，可以针对异构结果集数据存储地址，提供统一的sdk访问方式，建模人员无需关注数据来源，也无需做单独适配；该系统及方法还提供结果集导出功能，建模人员可以确认结果集符合业务要求之后再将结果集导出，避免开发过程中的重复性操作，缩短开发周期，节约成本，并且还提供统一的结果数据集管理(包括视图)，建模人员可以通过可视化界面查询、管理有权限的结果数据。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。