基于数据库解耦数据挖掘流程的方法与流程

本申请涉及数据处理，尤其涉及一种基于数据库解耦数据挖掘流程的方法。

背景技术：

1、数据挖掘是一门涉及多个学科的交叉学科，它的目标是从大型数据集中提取有用的信息和知识。数据挖掘技术包括聚类、分类、关联规则挖掘、异常检测、回归分析等多种方法。

2、数据挖掘的传统流程包括明确目标、数据搜集、数据清洗、数据预处理、数据分析、建立模型、模型评估和模型部署等步骤。这些步骤之间是相互关联的，每个步骤都为下一个步骤提供了必要的信息和准备工作。例如，数据搜集和数据清洗是数据预处理的前置步骤，而数据预处理又是建立模型的前置步骤。在实际操作中，这些步骤可能会交替进行，由此，导致数据挖掘的效率较低。

技术实现思路

1、本申请的目的在于提出一种基于数据库解耦数据挖掘流程的方法，用于解决或者缓解现有技术中存在的技术问题。

2、本申请实施例提供的技术方案如下：

3、一种基于数据库解耦数据挖掘流程的方法，其特征在于，包括：

4、确定数据挖掘流程的各个数据处理节点，并按照数据处理节点参与数据挖掘流程的逻辑时序，建立挖掘时序队列；

5、基于所述挖掘时序队列，建立各个数据处理节点在数据挖掘处理流程中进行业务配合的逻辑表，其中，在所述逻辑表中，各个数据处理节点的输入数据映射为数据库中的第一数据表，以及将各个数据处理节点的输出数据映射为数据库中的第二数据表，且对于相邻的两个数据处理节点，上一个数据处理节点的输出数据为下一个数据处理节点的输入数据，以使得所述第一数据表与所述第二数据表关联；

6、基于所述逻辑表，启动所述数据挖掘流程以控制各个数据处理节点解耦的方式参与数据挖掘流程。

7、一种数据挖掘流程的解耦装置，其包括：

8、序列建立单元，用于确定数据挖掘流程的各个数据处理节点，并按照数据处理节点参与数据挖掘流程的逻辑时序，建立挖掘时序队列；

9、表建立单元，用于基于所述挖掘时序队列，建立各个数据处理节点在数据挖掘处理流程中进行业务配合的逻辑表，其中，在所述逻辑表中，各个数据处理节点的输入数据映射为数据库中的第一数据表，以及将各个数据处理节点的输出数据映射为数据库中的第二数据表，且对于相邻的两个数据处理节点，上一个数据处理节点的输出数据为下一个数据处理节点的输入数据，以使得所述第一数据表与所述第二数据表关联；

10、挖掘单元，用于基于所述逻辑表，启动所述数据挖掘流程以控制各个数据处理节点解耦的方式参与数据挖掘流程。

11、一种电子设备，其包括：

12、一个或多个处理器；

13、计算机可读介质，配置为存储一个或多个程序，

14、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请任意实施例所述的方法。

15、一种计算机程序，其上存储有计算机可执行程序，当所述计算机可执行程序被执行时，实施如本申请任意实施例所述的方法。

16、本实施例中，通过建立挖掘时序队列，确定了各个数据处理节点参与数据挖掘流程的逻辑时序，使得各个数据处理节点可以按照正确的顺序参与数据挖掘流程，避免了因数据处理节点之间的依赖关系而导致的流程阻塞问题。同时，通过建立逻辑表，将各个数据处理节点的输入数据映射为数据库中的第一数据表，将各个数据处理节点的输出数据映射为数据库中的第二数据表，并确保相邻的两个数据处理节点之间的输入和输出数据关系正确，从而使得各个数据处理节点可以独立地处理数据，避免了因数据处理节点之间的依赖关系而导致的资源争抢问题。最后，通过基于逻辑表启动数据挖掘流程，控制各个数据处理节点解耦的方式参与数据挖掘流程，从而提高了数据挖掘的效率。

技术特征：

1.一种基于数据库解耦数据挖掘的方法，应用于数据库解耦数据挖掘流程，其特征在于，包括：

2.根据权利要求1所述的一种基于数据库解耦数据挖掘流程的方法，其特征在于，所述确定数据挖掘流程的各个数据处理节点，并按照数据处理节点参与数据挖掘流程的逻辑时序，建立挖掘时序队列，包括：

3.根据权利要求2所述的一种基于数据库解耦数据挖掘流程的方法，其特征在于，所述确定数据挖掘流程的各个数据处理节点，并对所述各个数据处理节点的逻辑时序进行编码，得到逻辑时序标识码，包括：

4.根据权利要求2所述的一种基于数据库解耦数据挖掘流程的方法，其特征在于，所述基于所述逻辑时序标识码，建立逻辑时序序列，包括：

5.根据权利要求2所述的一种基于数据库解耦数据挖掘流程的方法，其特征在于，所述基于所述逻辑时序标识码，建立逻辑时序序列，包括：

6.根据权利要求2所述的一种基于数据库解耦数据挖掘流程的方法，其特征在于，所述将所述逻辑时序序列映射到创建的fifo队列中，以建立挖掘时序队列，包括：通过调用队列的添加操作，将所述逻辑时序序列映射到创建的fifo队列，确保每个节点的逻辑时序标识码和功能关键词与其在队列中的位置相对应，以建立挖掘时序队列。

7.根据权利要求2所述的一种基于数据库解耦数据挖掘流程的方法，其特征在于，所述基于所述挖掘时序队列，建立各个数据处理节点在数据挖掘处理流程中进行业务配合的逻辑表，包括：

8.根据权利要求7所述的一种基于数据库解耦数据挖掘流程的方法，其特征在于，所述基于所述挖掘时序队列，建立各个数据处理节点在数据挖掘处理流程中进行业务配合的逻辑表，包括：

9.根据权利要求8所述的一种基于数据库解耦数据挖掘流程的方法，其特征在于，所述在所述逻辑表中创建外键约束，以基于所述外键约束构建所述第一数据表和第二数据表的关联关系，包括：

10.根据权利要求1所述的一种基于数据库解耦数据挖掘流程的方法，其特征在于，所述基于所述逻辑表，启动所述数据挖掘流程以控制各个数据处理节点解耦的方式参与数据挖掘流程，包括：

技术总结
本申请提出一种基于数据库解耦数据挖掘流程的方法，通过建立挖掘时序队列，确定了各个数据处理节点参与数据挖掘流程的逻辑时序，使得各个数据处理节点可以按照正确的顺序参与数据挖掘流程，避免了因数据处理节点之间的依赖关系而导致的流程阻塞问题。同时，通过建立逻辑表，将各个数据处理节点的输入数据映射为数据库中的第一数据表，将各个数据处理节点的输出数据映射为数据库中的第二数据表，并确保相邻的两个数据处理节点之间的输入和输出数据关系正确，从而使得各个数据处理节点可以独立地处理数据，避免了因数据处理节点之间的依赖关系而导致的资源争抢问题。最后，通过基于逻辑表启动数据挖掘流程，控制各个数据处理节点解耦的方式参与数据挖掘流程，从而提高了数据挖掘的效率。

技术研发人员：韩涵,王晓文,何江,谢开浪,马文龙,陈善君,夏暄
受保护的技术使用者：北京中数睿智科技有限公司
技术研发日：
技术公布日：2024/5/8