基于大数据的可视化分析运营方法及系统与流程

本发明涉及大数据可视化领域，设计了基于大数据的可视化分析运营方法及系统。

背景技术：

1、可视化分析是一种重要的大数据分析方法，主要应用于海量数据的关联分析，然后做出完整的分析图标呈现复杂数据中蕴含的规律，并支持交互式的数据分析，一个好的可视化结果具有化繁为简和一目了然等特征，可以结构数据中蕴含的复杂信息，进而高效的传达数据，引导用户关注数据的重要属性特征和赋予用户洞察不同数据侧面的能力

2、可是，现有可视化分析仍然面临着许多问题，例如数据准备代价高、交互响应高延迟、效率低的问题，且采用的可视化查询语言对用户的编程和相关技能有着极高的要求，需要用户明确指明对哪部分数据自己进行何种可视化操作，导致手动录入数据异常、缺失的情况增加，无法实现智能有效的可视化分析。

技术实现思路

1、有鉴于现有技术的上述缺陷，本发明提出基于大数据的可视化分析运营方法及系统，本发明设计的技术方案步骤包括：

2、所述基于大数据的可视化分析运营系统，包括：数据采集模块，数据处理模块，数据检测模块，可视化模块；所述数据处理模块连接数据采集模块和数据检测模块；所述可视化模块连接数据处理模块和数据检测模块；所述数据采集模块用于采集数据信息；所述数据处理模块用于接收所述数据信息，然后对所述数据信息进行预处理，得到标签数据信息；所述数据检测模块用于接收所述标签数据信息，然后对所述标签数据信息进行安全检测；所述可视化模块用于接收所述安全检测后的标签数据信息，然后设计可视化界面和交互方式，并将所述安全检测后的标签数据信息进行可视化展示。

3、优选地，所述数据采集模块包括：所述数据采集模块选择scrapy-redis作为爬虫框架，支持分布式，并采用融合的爬虫策略进行数据采集，当需要采集的数据类型单一时，采用普通爬虫策略获取数据信息；当需要采集的数据类型复杂时，采用基于主体的爬虫策略，利用融合的爬虫策略进行相关主体的分析获取数据信息。

4、优选地，所述可视化模块包括：所述可视化模块还用于通过compassql结合voyager2实现自动数据可视化推荐和用户交互式可视化，当voyager2检测到compassql存在通配符，自动进入可视化结果的推荐；当voyager2检测到compassql不存在通配符，根据用户指定的可视化属性和映射方式进行相应的可视化结果推荐。

5、优选地，所述可视化模块包括：所述可视化模块还用于进行实时信息推送的优化，在前后端信息沟通方式上，首选后端服务器推送模型，前端订阅相关信息主体后，等待来自服务器的消息推送；所述可视化模块还用于选用redis组件作为voyager2的高速缓存，定时定量的推送数据。

6、所述基于大数据的可视化分析运营方法，应用于所述的基于大数据的可视化分析运营系统，所述方法包括以下步骤：s10：所述数据采集模块采集数据信息；s20：所述数据处理模块接收所述数据信息，然后对所述数据信息进行预处理，得到标签数据信息；s30：所述数据检测模块接收所述标签数据信息，然后对所述标签数据信息进行安全检测；s40：所述可视化模块接收所述安全检测后的标签数据信息，然后设计可视化界面和交互方式，并将所述安全检测后的标签数据信息进行可视化展示。

7、优选地，所述s10包括以下步骤：s101：根据用户需求确定采集数据信息的数据类型，选择数据来源网站；s102：使用scrapy-redis提供的爬虫框架，然后编写爬虫程序，实现对所述数据来源网站的访问和数据抓取；s103：将抓取的数据储存到数据库或文件中，得到所述数据信息；s104：定期对爬虫程序进行监控和维护。

8、优选地，所述s20包括以下步骤：s201：所述数据处理模块接收所述数据信息，得到所述数据信息的数据缺失值，然后采用填充法对所述数据缺失值进行自动填充补正；s202：然后对所述自动填充补正后的数据信息进行数据集合操作，将多个数据格式整合为一个单一的数据集；s203：对所述数据集进行标准化处理，按比例进行缩放，使数据集处于一个特定的小区间；s204：对所述标准化处理后的数据集进行数据标识操作，首先设置数据的点号信息，然后使点号信息与所述标准化处理后的数据集进行关联，得到所述标签数据信息。

9、优选地，所述s30包括以下步骤：s301：所述数据检测模块接收所述标签数据信息，读取对应的点号信息，对所述点号信息逐个与现有线路的点位信息进行匹配检查，匹配筛选出正常数据和待定数据；s302：对所述待定数据进行二次检查，进一步筛选和纠正；s303：对所述正常数据进行变形值检查，输出所述安全检测后的标签数据信息。

10、优选地，所述s302包括以下步骤：s3001：读取所述待定数据的点号信息；s3002：使用预分配的点号信息替代所述待定数据的点号信息；s3003：对所述替代后的点号信息进行匹配检查，筛选出正常数据和异常数据；s3004：对所述异常数据进行剔除。

11、优选地，所述s303包括：首先将所述正常数据随机排序，得到2个序列的所述正常数据，表示为：

12、{x1，x2，…，xn}

13、然后利用hampel识别器，对所述序列里的数据的中值和标准值进行估计，所述中值mi公式为：

14、mi＝median(xi-k，…，xi+k)

15、式中，i为序列里预设的第i个数据，median为中值函数表达，k为hampel内预设的滑动窗口值；

16、所述标准值σi公式为：

17、

18、式中，erf为高斯误差函数表达；

19、然后设定阈值ε进行判断，公式为：

20、

21、当超过该阈值时，判定数据为异常数据，反之则判定数据为正常数据。

22、有益效果：

23、1、本发明通过数据处理对数据进行预处理，设置了数据的标签，省去后续检测和转换调试的人力和时间，并保证检测结果和输出结果的准确性；

24、2、本发明通过针对性的对数据的标签进行安全检查，保证数据的准确性和完整性；

25、3、本发明通过采用优化的声明式的可视化查询语言和添加对检测模块的正常数据的点号信息进行可视化分析，将可视化模块、数据处理模块和数据检测模块进行数据联动，保证数据传输过程的可视化，使用户有高智能的深度交互效果。

技术特征：

1.基于大数据的可视化分析运营系统，其特征在于，包括：

2.根据权利要求1所述的基于大数据的可视化分析运营系统，其特征在于，所述数据采集模块包括：

3.根据权利要求1所述的基于大数据的可视化分析运营系统，其特征在于，所述可视化模块包括：

4.根据权利要求3所述的基于大数据的可视化分析运营系统，其特征在于，所述可视化模块包括：

5.基于大数据的可视化分析运营方法，其特征在于，应用于如权利要求1-4任一项所述的基于大数据的可视化分析运营系统，所述方法包括以下步骤：

6.根据权利要求5所述的基于大数据的可视化分析运营方法，其特征在于，所述s10包括以下步骤：

7.根据权利要求5所述的基于大数据的可视化分析运营方法，其特征在于，所述s20包括以下步骤：

8.根据权利要求5所述的基于大数据的可视化分析运营方法，其特征在于，所述s30包括以下步骤：

9.根据权利要求8所述的基于大数据的可视化分析运营方法，其特征在于，所述s302包括以下步骤：

10.根据权利要求2所述的基于大数据的可视化分析运营方法，其特征在于，所述s303包括：

技术总结
本发明公开了基于大数据的可视化分析运营方法及系统，所述基于大数据的可视化分析运营系统，包括：数据采集模块，数据处理模块，数据检测模块，可视化模块；所述数据处理模块连接数据采集模块和数据检测模块；所述可视化模块连接数据处理模块和数据检测模块；所述数据采集模块用于采集数据信息；所述数据处理模块用于接收所述标签数据信息，然后对所述标签数据信息进行安全检测；所述数据检测模块用于接收所述标签数据信息，然后对所述标签数据信息进行安全检测；所述可视化模块用于接收所述安全检测后的标签数据信息进行可视化展示，本申请基于模块间联动，优化数据安全传输和可视化步骤，实现智能有效的大数据可视化分析。

技术研发人员：胡军
受保护的技术使用者：深圳君南信息系统有限公司
技术研发日：
技术公布日：2024/1/15