一种仿真数据多维分析方法及系统

本发明涉及数据分析，具体为一种仿真数据多维分析方法及系统。

背景技术：

1、在当前的数据分析领域中，多维数据分析有着先进的数据分析理念，作为一项新兴技术一直以来都备受企业的青睐，多维数据分析是指按照多个维度即多个角度对数据进行观察和分析，多维的分析操作是指通过对多维形式组织起来的数据进行切片、切块、聚合、钻取、旋转等分析操作，以求剖析数据，使用户能够从多种维度、多个侧面、多种数据综合度查看数据，从而深入地了解包含在数据中的信息和规律，多维数据分析以数据仓库为基础，按照维度模型来设计数据仓库，在维度模型中，把存储度量的表称作事实表，把存储属性的表叫做维度表，事实表存储的是可概括的数据，维度中包含属性和层次结构，用户可以按照层次结构对数据进行聚合，从high level上分析数据，多维分析(olap)是企业经营分析的核心内容，可以帮助用户进行多角度、立体化、灵活动态、下钻上卷的分析业务数据，多维分析广泛应用于零售行业，电商行业以及制造业等等。

2、但是，传统的数据分析存在以下缺点：

3、传统的数据分析体系较为复杂，参与数据分析的系统对象较多，分析过程中产生的数据量较大，而且分析系统对性能较为敏感，采用单一的数据采集手段和方法，采集过程中对业务系统的性能影响大，不利于不同形态数据的分析。

技术实现思路

1、本发明的目的在于提供一种仿真数据多维分析方法及系统，以解决上述背景技术中提出的传统的数据分析体系较为复杂，参与数据分析的系统对象较多，分析过程中产生的数据量较大，而且分析系统对性能较为敏感，采用单一的数据采集手段和方法，采集过程中对业务系统的性能影响大，不利于不同形态数据的分析的问题。

2、为实现上述目的，本发明提供如下技术方案：一种仿真数据多维分析方法，包括以下步骤：

3、步骤一、数据采集：通过数据采集平台根据仿真内容通过采集策略配置模块对策略所需的特征数据批量采集，采集全局调度能力模块根据策略各节点中的节点的请求分批次按照策略对数据采集；

4、步骤二、数据筛选：数据采集平台对采集的数据进行粗滤和精滤，筛选出所需的数据，且数据粗滤模块删除其中空值、重复以及逻辑错误的数据；

5、步骤三、数据分析：数据分析平台对采集数据进行格式化，使得其规格一致，再根据数据类型分别进行预聚合、并行处理和排序索引；

6、步骤四、数据存储：数据存储平台将处理分析后的数据进行存储备份，便于后续查阅；

7、步骤五、数据展示：数据展示平台根据显示器的展示类型将分析后的数据在显示器上通过折线、统计图或窗口展示出来。

8、本发明一种仿真数据多维分析系统，包括数据多维分析系统，所述数据多维分析系统包括数据采集平台、数据存储平台、数据传输平台、数据分析平台和数据展示平台，所述数据采集平台对仿真数据进行实时采集，所述数据存储平台对采集的数据和处理后数据进行存储，所述数据传输平台对所需数据进行传输，所述数据展示平台对处理后数据进行展示。

9、作为本发明的一种优选技术方案，所述数据采集平台包括采集策略配置模块、采集异常处理机制模块、采集全局调度能力模块、数据输出接口模块、数据粗滤模块、信号解码模块和数据接口适配模块；

10、所述数据接口适配模块通过udp连接有文书文件元和音视频文件元；

11、所述数据接口适配模块通过tcp连接有数据库、仿真中间件和仿真模型；所述数据接口适配模块对连接的数据适配类型进行确定；

12、所述采集策略配置模块根据仿真数据所需采集的信息进行测量配置；

13、所述采集异常处理机制模块对采集时出现的异常进行处理；

14、所述采集全局调度能力模块对调度自身采集能力进行全局采集；

15、所述数据输出接口模块对输出数据的接口类型进行设定；

16、所述数据粗滤模块对仿真数据进行过滤，具体为在特定的特征空间中，通过设置阈值来排除不符合规定模式的数据，而后对排除后的数据进行空值、重复以及逻辑错误的精滤处理；

17、所述信号解码模块对加密的仿真数据进行解码。

18、作为本发明的一种优选技术方案，所述数据存储平台包括网络发生模块、缓冲实时监听模块、本地缓存模块和溢写文件模块；

19、所述本地缓存模块对仿真数据进行缓存；

20、所述缓冲实时监听模块对仿真数据缓存的状态实时监听，本地缓冲模块监听启动vue；

21、所述溢写文件模块对本地缓存模块存满后的数据进行存储；

22、本地缓冲模块内留有容量，溢写文件模块对本地缓冲模块存储不到的数据进行存储，当本地缓冲模块容量出现空余时进行数据补发；

23、所述网络发生模块对数据进行批量发生。

24、作为本发明的一种优选技术方案，所述数据传输平台包括网络监测器和传输控制器；

25、所述网络监测器从网络拓扑信息、交换机路径表、端口流量表和流表流量信息进行实时监测，网络拓扑信息、交换机路径表、端口流量表和流表流量信息均为传输必备设备，网络监测器监监测保证传输设备的正常运作；

26、所述传输控制器对传输数据进行动态流量调整、传输数据下发和仿真数据传输策略配置，先设立传输策略，而后根据事实传输的数据进行动态流量调整，根据调整后的策略实时下发传输的数据。

27、作为本发明的一种优选技术方案，所述数据分析平台包括预聚合算法模块、并行处理算法模块和排序索引算法模块，所述预聚合算法模块通过一些或者所有的维度，预先计算聚合的值，并且存储它们，所述并行处理算法模块将数据划分为多个段，分别处理它们，并收集那些相互独立的子任务所处理的结果，从而进行聚合，所述排序索引算法模块一处的数据按照d1,…,dn维度进行排序，而另一处的数据则按照dn,…,d1维度来排序，由此产生的数据量只是原来的两倍，通过该二维序列，就有了一处切片维度总是从首部开始降序排列的，此维度的切片数据在整体上是连续的，所述排序索引算法模块依据各种数据需要根据特定维度的排序目的进行复制，确保数据复制的完整性。

28、作为本发明的一种优选技术方案，所述预聚合算法模块的计算公式为k＝a*exp(-ea/rt)，其中，k表示反应速率常数，a是指前因子，ea是活化能，r是数据常数，t是数据特征,所述并行处理算法模块的计算公式为c＝a op b，其中c、a和b分别表示计算任务的结果、输入数据和操作符，a和b通常表示大规模的数据集，而op则表示需要对a和b进行的计算操作，在并行计算中，a和b的数据通常被分割成多个小块，然后分配给不同的处理器或计算单元进行并行计算。

29、与现有技术相比，本发明的有益效果是：

30、1、该数据多维分析系统，通过预聚合算法模块、并行处理算法模块和排序索引算法模块从多角度对仿真数据进行分析，避免采集过程中对业务系统的性能影响大，便于其不同形态数据的分析；

31、2、数据采集平台针对仿真数据过程中产生的各种不同形态的仿真数据，提供不同的采集方式提高数据的采集性能，以满足数据多维分析系统对海量数据采集和采集实时性的要求，该数据多维分析系统采集的数据完整性要求较高。