一种基于多模型融合的产业可视化分析方法与流程

本发明涉及数据可视化处理领域，特别是涉及一种基于多模型融合的产业可视化分析方法。

背景技术：

1、产业是区域经济的风向标，政府可通过深入研究产业来为科学决策、精准施策和指导经济发展提供有效的数据支撑。传统的产业研究方法主要是通过电话访谈、面对面访谈、会议座谈、问卷调查、网络搜索、实地调研、文献资料等渠道获取信息资源，然后结合理论基础和实践经验进行加工分析，再借助excel等传统办公软件，制作出柱形图、拆线图、饼图、条形图等图表形式，形成产业分析成果。

2、现有传统的产业分析方法需要耗费大量的人力物力资源和成本，且因为采用的是抽样调查的统计数据，导致数据样本量小、时效低、误差大、成本高。

技术实现思路

1、本发明目的是针对背景技术中存在的问题，提出一种样本量大、效率高、误差小、成本低的基于多模型融合的产业可视化分析方法。

2、本发明的技术方案，一种基于多模型融合的产业可视化分析方法，包括如下步骤s1-s5：

3、s1、基于scrapy框架对政府部门和企事业单位发布的多线程数据进行爬取与解析，形成文本信息和数据信息；

4、s2、将文本信息和数据信息存入mysql数据库中，当产生数据增量时，通过调用消息通知应用向手机客户端发送消息，同时数据驱动线程会向多模型数据融合模式发送数据和启动命令，自动启动数据融合模式的运行，并将数据信息作为驱动；

5、s3、多模型数据融合模式运行时，数据融合模式分量分别采用gm（1，1）算法和lasso算法对数据进行分析，两个分量同时运行；

6、s4、数据融合模式分量运算完成后，将数据输入数据融合模块，将得到的最终数据输入到数据资源队列中，当数据预处理程序监测到数据资源队列不为空时，则启动数据传输组件，将数据传输到可视化数据资源队列中；

7、s5、前端引擎通过获取可视化资源数据队列中的数据，再通过基于zrender技术的canvas绘制方法，将最终结果呈现在div盒子中，实现数据可视化模型展示。

8、优选地，步骤s1中，在调度器中将信息爬取分为文本信息获取、数据信息获取两个进程，并通过调度器实现各进程的有序进行，在下载器中实现网页的请求并返回框架能识别的文档内容，并将该内容发送至信息解析端，借助爬虫文档解析组件beautifulsoup，依据数据特点，将网页结构拆解，形成文本信息和数据信息。

9、优选地，步骤s3中，模式运行时，自动调用数据库中爬取的数据信息，将其分别输入到gm（1，1）模型和lasso模型中，两个模块分量同时对数据进行分析；

10、gm（1，1）模型具体实现过程如下：

11、设置建模序列公式为：；

12、一次累加过程序列公式为：，并且该公式为的紧邻均值生成序列；

13、则有：；

14、gm（1，1）的灰微分方程为：；

15、其中，a为发展系数，b为灰色作用量，设待估参数，则上述灰微分方程参数的最小二乘估计值为：；

16、其中，；

17、gm（1，1）的白化方程为：，gm（1，1）的白化方程的解为：，gm（1，1）的灰微分方程的解为；

18、令，则变为，由该式推出灰色预测gm(1，1)方程为：；

19、lasso回归模型是在线性回归模型中添加l1正则项作为惩罚项，lasso回归模型的惩罚函数压缩回归系数，将不相关变量精确收缩到零，从而达到变量选择和参数估计的目的；假设因变量为，自变量为，考虑以下线性模型：；

20、lasso方法的变量选择和参数估计通过下式得到，为正则化参数，该式的求解转化为如下带有惩罚项的优化问题：

21、，其中，t为调整参数，与相对应。

22、优选地，步骤s4中，融合模块具体处理方法如下：对每个分量数据分配不同的权重，对所有的数据进行加权求和，再除以所有权重的总和来得到融合值，其公式为：。

23、优选地，步骤s5的具体步骤如下：

24、s51、获取数据，使用umi内置的request库，它基于axios实现，可以发起http请求获取远程数据，request会返回promise对象，其次，在resolve回调中获取到数据；

25、s52、数据处理，采用javascript常用的数组及对象api，比如map、reduce、filter来转换数据格式，利用数学运算方法对数据进行统计计算；

26、s53、数据存储，该umi项目本质上是基于react的框架，为了实时监控数据的变化来引导页面通过diff算法实现页面重新渲染，采用react的usestate和useeffect hooks来管理组件状态和副作用；

27、s54、数据渲染，在react组件顶部，使用import语句导入echarts模块，其封装了zrender底层渲染引擎，利用canvas或svg来绘制各种图形，通过setoption把数据传给echarts实例，zrender layer作为渲染引擎，会根据图形描述，利用底层的canvas或svgapi绘制出各种图形；绘制完成后，将图形展示到页面上，此时动画和交互也通过zrenderlayer实现，在这里传给setoption的数据是保存在usestate状态中的，并用useeffect监听，所以只要数据改变，页面就会重新渲染，并且echarts layer也会再次调用zrenderlayer更新绘制；

28、s55、echarts的交互事件，如点击、hover，本质上是浏览器原生的事件，通过addeventlistener监听，然后执行回调函数实现交互逻辑，使图表更富交互性；

29、s56、为做响应式，采用react框架提供的resize事件，然后根据容器宽高改变echarts的大小，利用css布局与浏览器事件进行配合；

30、s57、最后将形成的echarts挂载到div结点上，来实现预测数据的图表可视化，展示不同情况下的预测结果对比。

31、与现有技术相比，本发明具有如下有益的技术效果：

32、本发明能自动采集并处理产业数据，且产业数据的样本量大、效率高、误差小、成本低，极大地节省了人工。同时，将数据融合模式分量分别采用gm（1，1）算法和lasso算法对数据进行分析，两个分量同时运行；模式运行时，自动调用数据库中爬取的数据信息，将其分别输入到gm（1，1）模型和lasso模型中，两个模块分量同时对数据进行分析，数据分析结果的可靠性更高、准确度更高，更有利于精准可视化展示产业数据，为政策的制定提供直观的、准确的数据支撑。

技术特征：

1.一种基于多模型融合的产业可视化分析方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于多模型融合的产业可视化分析方法，其特征在于，步骤s1中，在调度器中将信息爬取分为文本信息获取、数据信息获取两个进程，并通过调度器实现各进程的有序进行，在下载器中实现网页的请求并返回框架能识别的文档内容，并将该内容发送至信息解析端，借助爬虫文档解析组件beautifulsoup，依据数据特点，将网页结构拆解，形成文本信息和数据信息。

3.根据权利要求1所述的基于多模型融合的产业可视化分析方法，其特征在于，步骤s3中，模式运行时，自动调用数据库中爬取的数据信息，将其分别输入到gm（1，1）模型和lasso模型中，两个模块分量同时对数据进行分析；

4.根据权利要求1所述的基于多模型融合的产业可视化分析方法，其特征在于，步骤s4中，融合模块具体处理方法如下：对每个分量数据分配不同的权重，对所有的数据进行加权求和，再除以所有权重的总和来得到融合值，其公式为：。

5.根据权利要求1所述的基于多模型融合的产业可视化分析方法，其特征在于，步骤s5的具体步骤如下：

技术总结
本发明涉及数据可视化处理领域，具体为一种基于多模型融合的产业可视化分析方法。其包括如下步骤：S1、基于Scrapy框架对政府部门和企事业单位发布的多线程数据进行爬取与解析，形成文本信息和数据信息；S2、将文本信息和数据信息存入MySQL数据库中，当产生数据增量时，通过调用消息通知应用向手机客户端发送消息，同时数据驱动线程会向多模型数据融合模式发送数据和启动命令；S3、多模型数据融合模式运行时，数据融合模式分量对数据进行分析；S4、启动数据传输组件，将数据传输到可视化数据资源队列中；S5、实现数据可视化模型展示。本发明采集并处理数据的样本量大、效率高、误差小、成本低。

技术研发人员：邱小剑,阮杰,郑涛,李祥,熊卿智,万磊
受保护的技术使用者：江西省军民融合研究院
技术研发日：
技术公布日：2024/1/15