数据挖掘模型管理方法、装置、电子设备及存储介质与流程

本发明涉及计算机大数据，特别是涉及一种数据挖掘模型管理方法、装置、电子设备及存储介质。

背景技术：

1、数据挖掘一般是指通过算法搜索，从海量数据中寻找规律和有价值信息的技术。数据挖掘可以视为机器学习和数据库的交叉，它主要利用机器学习提供的技术来分析海量数据，利用数据库提供的技术来管理海量数据。换句话说，机器学习为数据挖掘提供了解决实际问题的方法。

2、数据挖掘生命周期由六个阶段组成：商业理解、数据理解、数据准备、建立模型、模型评估和方法实施。其中，模型全生命周期是指模型从“开发”到“上线”再到“下线”的整个流程，主要包括：数据准备、特征工程、算法实现、模型开发、模型发布、模型监控、模型优化、模型下线等阶段。

3、在数据驱动决策的今天，越来越多的企业认识到数据是企业重要战略资产。如何从海量数据中挖掘有价值信息，指导企业的智能运营与生产，支撑企业实时、精准、敏捷快速的决策，已成为当下企业迫切的业务需求，特别是在金融、电信、网络等行业。为满足企业上述需求，各类模型开发平台涌现。

4、就技术应用层面而言，目前的模型开发平台多为机器学习平台，可基本实现从数据准备到模型发布的过程。但这些平台缺乏对模型效果的监控和预警，缺乏模型上下线等流程的管理审批，模型版本混乱，使得企业难以对模型进行有效管理。另外，这些还缺乏对标准化建模流程的指引，亦缺乏对参数选择的指引，使得机器学习模型的开发门槛依然较高。

5、由于业务人员缺乏模型开发的专业知识和技能，业务人员在实施机器学习的过程中往往感到异常困难，主要体现在以下几个方面：

6、(1)学习门槛高，代码复杂，缺少可视化的操作界面，缺少标准化流程指引，缺少参数选择指引。

7、(2)开发效率低，缺乏模型管理的知识和经验，导致模型无法复用，且新开发模型的周期长。

8、而对于企业而言，在发展数据挖掘技术的过程中，通常面临着以下几个方面的挑战：

9、(1)开发成本高，培训业务人员的成本高，服务器算力要求高。

10、(2)模型监控少，模型的开发与部署存在缺口，生产模型的运行效果缺少监控，无法提示模型重新训练或退役。

11、(3)模型治理难，模型的开发、注册、部署、退役等流程缺乏审批。

技术实现思路

1、基于此，本发明的目的在于，提供一种数据挖掘模型管理方法、装置、电子设备及存储介质，提供了标准化的建模流程和工作流模板，降低了开发门槛，提高了开发效率。

2、第一方面，本发明提供一种数据挖掘模型管理方法，包括以下步骤：

3、响应于模型部署指令，生成并展示模型部署界面，所述模型部署界面包括已上线的模型名称、已上线的模型对应的状态，和对已注册模型的操作指令按钮；

4、响应于对已注册模型的操作指令，生成操作审批消息，并发送至对应的决策者；所述对已注册模型的操作指令包括以下至少一项：上线、更新、停用；

5、获取决策者的审批结果，当所述审批结果指示通过所述操作指令，执行所述操作指令；

6、其中，所述已注册模型的注册步骤包括：

7、获取模型注册指令，生成对应的标准建模流程；

8、获取参数调整指令，并根据所述参数调整指令修改当前模型对应的参数；

9、获取运行指令，执行所述运行指令对应的操作，并将运行结果展示在画布；

10、获取模型保存指令，保存当前的模型及对应参数至已注册模型。

11、进一步地，所述运行指令包括以下至少一项：

12、数据源文件选取、数据分区、数据质量检查、数据清洗、数据分箱、特征重要性评估、变量共线性检查、算法实现。

13、进一步地，还包括步骤：

14、根据当前用户的登录信息，获取该用户的系统权限；

15、根据所述用户的系统权限，生成该用户的系统界面。

16、进一步地，还包括步骤：

17、对于已上线的模型，获取服务监控指令，生成并展示当前模型对应的运行数据；所述运行数据包括以下至少一项：提升度、auc值、准确率、精确率、召回率；

18、根据所述运行数据的历史变化情况，生成当前模型的运行性能变化报告。

19、进一步地，所述模型部署界面以表格形式展示当前已上线部署模型的名称、版本、模型状态、更新时间。

20、进一步地，还包括步骤：

21、对于已上线的模型，获取定时任务指令；

22、根据所述定时任务指令对应的定时调度信息，执行该定时任务，并在执行后生成对应的提醒信息。

23、进一步地，所述定时任务包括以下至少一项：

24、模型任务，用于已注册的模型进行周期性更新；

25、传输任务，用于提供数据迁移服务；

26、预测任务，用于提供自动化批量推理。

27、第二方面，本发明还提供一种数据挖掘模型管理装置，包括：

28、模型部署界面展示模块，用于响应于模型部署指令，生成并展示模型部署界面，所述模型部署界面包括已上线的模型名称、已上线的模型对应的状态，和对已注册模型的操作指令按钮；

29、操作审批消息生成模块，用于响应于对已注册模型的操作指令，生成操作审批消息，并发送至对应的决策者；所述对已注册模型的操作指令包括以下至少一项：上线、更新、停用；

30、操作指令指令执行模块，用于获取决策者的审批结果，当所述审批结果指示通过所述操作指令，执行所述操作指令；

31、其中，所述已注册模型的注册步骤包括：

32、获取模型注册指令，生成对应的标准建模流程；

33、获取参数调整指令，并根据所述参数调整指令修改当前模型对应的参数；

34、获取运行指令，执行所述运行指令对应的操作，并将运行结果展示在画布；

35、获取模型保存指令，保存当前的模型及对应参数至已注册模型。

36、第三方面，本发明还提供一种电子设备，包括：

37、至少一个存储器以及至少一个处理器；

38、所述存储器，用于存储一个或多个程序；

39、当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明第一方面任一所述的一种数据挖掘模型管理方法的步骤。

40、第四方面，本发明还提供一种计算机可读存储介质，

41、所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面任一所述的一种数据挖掘模型管理方法的步骤。

42、本发明提供的一种数据挖掘模型管理方法、装置、电子设备及存储介质，当用户执行创建模型时，系统提供了行业配套的工作流模板，以及标准化的建模流程组件，大大降低了用户开发模型的门槛。当用户需要查看已注册或已部署模型信息时，都会受到角色权限的严格管控，避免了用户权限过大或过小的情况。当用户需要执行模型部署相关操作时，还需要提请决策者审批，防止用户误操作或越权操作。模型效果的实时监控，可以帮助用户更及时准确地了解模型效果的变化，及时对模型进行优化或停用。

43、为了更好地理解和实施，下面结合附图详细说明本发明。