一种数据挖掘系统及方法

本发明涉及数据挖掘技术领域，更具体的说，涉及一种数据挖掘系统及方法。

背景技术：

数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材，数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字，称为数字数据。在计算机系统中，数据以二进制信息单元0，1的形式表示。数据挖掘(datamining，dm)是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。现有数据挖掘的方法计算量普遍较大，面对大数据量的数据源时经常出现反应慢的问题。

近年来，随着网络技术的迅猛发展，海量数据不断增长，数据挖掘引起了信息产业界的极大关注，现有的数据挖掘系统依据数据挖掘方法较为简单，不能够验证数据的可靠性以及准确性，且挖掘出的数据不能够有效整合，使用者获取数据时还要归类整理，较为不便，为此我们提供一种数据挖掘系统以及数据挖掘方法，克服现有技术存在的困难是本领域技术人员亟需解决的问题。

技术实现要素：

有鉴于此，本发明提供了一种数据挖掘系统及方法。

为了实现上述目的，本发明采用如下技术方案：

一种数据挖掘系统，包括：

数据库模块，用于提供数据挖掘所需信息数据；

数据读取模块，与数据库模块的输出端连接，用于从数据库中读取所需信息数据；

数据挖掘模块，与数据读取模块的输出端连接，用于对数据读取模块所读取的信息数据进行数据挖掘；

数据推送模块，与数据挖掘模块的第一输出端连接，用于根据挖掘的信息数据所需要的传输端口自动匹配对应接口；

网络传输模块，与数据推送模块的第二输出端连接，用于实现挖掘的信息数据的传输；

显示模块，与网络传输模块的输出端连接，用于显示挖掘后的信息数据。

优选的，数据挖掘模块包括依次连接的数据预处理单元、迭代单元、转化单元和决策单元；

数据预处理单元，用于对读取的信息数据进行数据验证和数据筛选后，获得有效的信息数据，并将该信息数据传输至迭代单元；

迭代单元，用于根据接收的信息数据进行迭代计算，得到一个满足标准的目标数据集合；

转化单元，用于将目标数据集合内的数据进行归一化，将归一化过程中删除的数据进行原始位置标记，并存入数据缓冲集合；

决策单元，用于根据转化单元的结果，从决策表中选取相应决策。

优选的，网络传输模块包括db接口、api接口和opc接口；db接口、api接口和opc接口均与显示模块的输入端电性连接。

优选的，数据推送模块依据网络传输模块的接口类型，自动匹配对应的db接口、api接口和opc接口。

优选的，还包括存储模块，与所述数据挖掘模块的第二输出端连接，用于存储挖掘出的数据信息。

一种数据挖掘方法，包括如下步骤：

s1、显示模块接收到用户需求，通过数据读取模块从数据库中读取相关的信息数据；

s2、通过数据读取模块将信息数据传递到数据预处理模块，对信息数据进行验证，若验证通过，再进行数据筛选，将筛选后的信息数据传递至数据挖掘模块；验证未通过时，数据预处理模块下发读取指令至数据读取模块，重新读取信息数据；

s3、数据挖掘模块对筛选后的信息数据进行迭代处理，得到满足标准的目标数据集合；将目标数据集合内的数据进行归一化，将归一化过程中删除的数据进行原始位置标记，并存入数据缓和集合；根据数据归一化的结果，从决策表中选取相应对策；

s4、数据推送模块依据所需要的传输端口自动匹配对应的db接口、api接口和opc接口，通过网络传输模块将信息数据传输到显示模块，显示模块显示挖掘后的信息数据。

优选的，步骤s3还包括：将挖掘的信息数据存储于存储模块中。

经由上述的技术方案可知，与现有技术相比，本发明提供了一种数据挖掘系统及方法，通过数据预处理模块的数据检验以及数据筛选功能，对提取读取的数据信息进行识别筛选，去除数据信息中的无效数据以及其他数据，降低数据挖掘模块的计算量，提高数据挖掘模块的运行效率；通过设有的数据推送模块和网络传输模块，便于使用者筛选出合适自己的数据信息，使用方便。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一种数据挖掘系统结构示意图；

图2为本发明数据挖掘模块结构示意图；

图3为本发明一种数据挖掘方法的流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参照附图1所示，本实施例公开了一种数据挖掘系统，包括：

数据库模块，用于提供数据挖掘所需信息数据；

数据读取模块，与数据库模块的输出端连接，用于从数据库中读取所需信息数据；

数据挖掘模块，与数据读取模块的输出端连接，用于对数据读取模块所读取的信息数据进行数据挖掘；

数据推送模块，与数据挖掘模块的第一输出端连接，用于根据挖掘的信息数据所需要的传输端口自动匹配对应接口；

网络传输模块，与数据推送模块的第二输出端连接，用于实现挖掘的信息数据的传输；

显示模块，与网络传输模块的输出端连接，用于显示挖掘后的信息数据。

在一个具体实施例中，如图2所示，数据挖掘模块包括依次连接的数据预处理单元、迭代单元、转化单元和决策单元；

数据预处理单元，用于对读取的信息数据进行数据验证和数据筛选后，获得有效的信息数据，并将该信息数据传输至迭代单元；

迭代单元，用于根据接收的信息数据进行迭代计算，得到一个满足标准的目标数据集合；

转化单元，用于将目标数据集合内的数据进行归一化，将归一化过程中删除的数据进行原始位置标记，并存入数据缓冲集合；

决策单元，用于根据转化单元的结果，从决策表中选取相应决策。

在一个具体实施例中，网络传输模块包括db接口、api接口和opc接口；db接口、api接口和opc接口均与显示模块的输入端电性连接。

在一个具体实施例中，数据推送模块依据网络传输模块的接口类型，自动匹配对应的db接口、api接口和opc接口。

在另一个具体实施例中，还包括存储模块，与所述数据挖掘模块的第二输出端连接，用于存储挖掘出的数据信息。

参照附图3所示，公开了一种数据挖掘方法，包括如下步骤：

s1、显示模块接收到用户需求，通过数据读取模块从数据库中读取相关的信息数据；

s2、通过数据读取模块将信息数据传递到数据预处理模块，对信息数据进行验证，若验证通过，再进行数据筛选，将筛选后的信息数据传递至数据挖掘模块；验证未通过时，数据预处理模块下发读取指令至数据读取模块，重新读取信息数据；

s3、数据挖掘模块对筛选后的信息数据进行迭代处理，得到满足标准的目标数据集合；将目标数据集合内的数据进行归一化，将归一化过程中删除的数据进行原始位置标记，并存入数据缓和集合；根据数据归一化的结果，从决策表中选取相应对策；

s4、数据推送模块依据所需要的传输端口自动匹配对应的db接口、api接口和opc接口，通过网络传输模块将信息数据传输到显示模块，显示模块显示挖掘后的信息数据。

在一个具体实施例中，步骤s1中，数据读取具体内容为：从数据库中抽取若干个采样数据，其中采样方法为系统每生成一个随机数，使用随机数从数据源中抽取对应位置的数据；计算采样数据的分布关系，并根据采样数据的分布关系将数据源中其余的数据进行分隔，形成若干个数据集合，每个采样数据代表一个数据集合。每个采样数据所包含的特征元素为其对应的数据集合的特征向量；根据数据类型和挖掘要求的不同而不同。

在一个具体实施例中，步骤s2中，数据预处理中的数据筛选的具体内容为：确定特征向量中各个元素的权重值，权重值根据各个元素对数据挖掘重要性的强弱进行设定，元素对数据挖掘的重要性使用1～10区间内的数值表示，设权重值为l，元素即特征向量的组成部分对数据挖掘的重要性参数为b，则l＝b²，对特征向量进行修正。

在一个具体实施例中，步骤s3中的数据迭代处理的具体内容为：迭代的目的是为了得到一个满足标准的集合，提前设定的标准就是目标集合，根据目标集合的格式设置迭代矩阵，随机选择符合要求的迭代矩阵，通过循环迭代进行修正，逐步靠近目标。将数据集合与迭代矩阵相乘，然后与修正后的特征向量相乘，得到第一中间数据集合，求出第一中间数据集合与数据集合的第一偏移率；使用第一中间数据集合与迭代矩阵相乘，然后与修正后的特征向量相乘，得到第二中间数据集合，求出第二中间数据集合与第一中间数据集合的第二偏移率，当第二偏移率小于第一偏移率时，继续上述迭代过程，直至第n偏移率小于设定的阈值，得到目标数据集(目标数据集合即最后一次的中间数据集合)，当第二偏移率大于第一偏移率时，修订迭代矩阵，重新进行迭代。

在一个具体实施例中，步骤s3中的数据归一化的具体内容为：将目标数据集合内的数据进行归一化，将归一化过程中删除的数据进行原始位置标记，并存入数据缓冲集合；原始位置标记采用三维数据组的形式，三个维度的数据分别为数据绝对位置、与上一个数据的相对位置、与下一个数据的相对位置；归一化的目标函数方法：

方法1：归一化的目标函数的形式为y＝ax²+bx+ex+c；

方法2：归一化的目标函数的形式为y＝ax³+bx²+tan(x/lnx)；

在一个具体实施例中，步骤s3中的决策判断：根据数据归一化的结果，从决策表中选取相应决策。决策表采用若干个堆栈结构并列设置而成。

在另一个具体实施例中，步骤s3还包括：将挖掘的信息数据存储于存储模块中。

对所公开的实施例的上述说明，按照递进的方式进行，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。