一种面向网络舆情的数据分布式定向存储方法和装置与流程

本发明涉及大数据领域，具体涉及一种面向网络舆情的数据分布式定向存储方法和装置。

背景技术：

网络舆情是通过互联网传播的公众对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点，主要通过bbs论坛、博客、新闻跟贴、转贴等实现并加以强化。现有存储网络舆情数据的方式存在如下问题：存储数据量过大，进行全量存储。不利于数据的传输和维护，设备故障易导致数据丢失造成严重统失；并且存储成本高，设备的配置要求较高，大数据时代的到来存储的数据量过大，会提高运营成本；如何对舆情数据进行稳定和低成本的存储是目前亟待解决的问题。

技术实现要素：

本发明所要解决的技术问题是提供一种面向网络舆情的数据分布式定向存储方法和装置，可以实现对舆情数据稳定和低成本的存储。

本发明解决上述技术问题的技术方案如下：一种面向网络舆情的数据分布式定向存储方法，包括以下步骤，

s1，从网络大数据中筛选出网络舆情数据；

s2，对所述网络舆情数据进行风险评估，并根据风险评估结果对所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集；

s3，将各个所述网络舆情子数据集定向的存储至各个对应的分布式数据库中。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述s1具体为，为网络舆情事件配置多个关键词，利用多个所述关键词构建网络舆情事件模型；对所述网络舆情事件模型进行训练，得到网络舆情识别模型；将网络大数据输入至所述网络舆情识别模型中，得到网络舆情数据。

进一步，所述s2之间还包括如下步骤，基于所述关键词构建网络舆情风险评估模型。

进一步，所述s2具体为，根据所述网络舆情风险评估模型对所述网络舆情数据进行评估，计算出所述网络舆情数据在所述网络舆情风险评估模型中与各个所述关键词的关联系数；根据所述关联系数将所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集。

进一步，所述s3之间还包括如下步骤，布设分布式数据库。

基于上述一种面向网络舆情的数据分布式定向存储方法，本发明还提供一种面向网络舆情的数据分布式定向存储装置。

一种面向网络舆情的数据分布式定向存储装置，包括以下模块，

网络舆情数据筛选模块，其用于从网络大数据中筛选出网络舆情数据；

网络舆情数据分类模块，其用于对所述网络舆情数据进行风险评估，并根据风险评估结果对所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集；

定向分布式存储模块，其用于将各个所述网络舆情子数据集定向的存储至各个对应的分布式数据库中。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述网络舆情数据筛选模块具体用于，为网络舆情事件配置多个关键词，利用多个所述关键词构建网络舆情事件模型；对所述网络舆情事件模型进行训练，得到网络舆情识别模型；将网络大数据输入至所述网络舆情识别模型中，得到网络舆情数据。

进一步，还包括网络舆情风险评估模型构建模块，所述网络舆情风险评估模型构建模块，其用于基于所述关键词构建网络舆情风险评估模型。

进一步，所述网络舆情数据分类模块具体用于，根据所述网络舆情风险评估模型对所述网络舆情数据进行评估，计算出所述网络舆情数据在所述网络舆情风险评估模型中与各个所述关键词的关联系数；根据所述关联系数将所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集。

进一步，还包括分布式数据库建设模块，所述分布式数据库建设模块，其用于布设分布式数据库。

本发明的有益效果是：本发明一种面向网络舆情的数据分布式定向存储方法和装置，从大数据中筛选出网络舆情数据，并进行存储，而不是对所有大数据进行存储，可以节省存储空间；另外，根据风险等级采用定向分布式的方式对舆情数据进行存储，可以实现稳定的存储，有利于数据的传输和维护。

附图说明

图1为本发明一种面向网络舆情的数据分布式定向存储方法的流程图；

图2为本发明一种面向网络舆情的数据分布式定向存储装置的结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种面向网络舆情的数据分布式定向存储方法，包括以下步骤，

s1，从网络大数据中筛选出网络舆情数据；

s2，对所述网络舆情数据进行风险评估，并根据风险评估结果对所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集；

s3，将各个所述网络舆情子数据集定向的存储至各个对应的分布式数据库中。

在本具体实施例中，所述s1具体为，为网络舆情事件配置多个关键词，利用多个所述关键词构建网络舆情事件模型；对所述网络舆情事件模型进行训练，得到网络舆情识别模型；将网络大数据输入至所述网络舆情识别模型中，得到网络舆情数据。

在本具体实施例中，所述s2之间还包括如下步骤，基于所述关键词构建网络舆情风险评估模型。

在本具体实施例中，所述s2具体为，根据所述网络舆情风险评估模型对所述网络舆情数据进行评估，计算出所述网络舆情数据在所述网络舆情风险评估模型中与各个所述关键词的关联系数；根据所述关联系数将所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集。

在本具体实施例中，所述s3之间还包括如下步骤，布设分布式数据库。

基于上述一种面向网络舆情的数据分布式定向存储方法，本发明还提供一种面向网络舆情的数据分布式定向存储装置。

如图2所示，一种面向网络舆情的数据分布式定向存储装置，包括以下模块，

网络舆情数据筛选模块，其用于从网络大数据中筛选出网络舆情数据；

网络舆情数据分类模块，其用于对所述网络舆情数据进行风险评估，并根据风险评估结果对所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集；

定向分布式存储模块，其用于将各个所述网络舆情子数据集定向的存储至各个对应的分布式数据库中。

在本具体实施例中，所述网络舆情数据筛选模块具体用于，为网络舆情事件配置多个关键词，利用多个所述关键词构建网络舆情事件模型；对所述网络舆情事件模型进行训练，得到网络舆情识别模型；将网络大数据输入至所述网络舆情识别模型中，得到网络舆情数据。

在本具体实施例中，还包括网络舆情风险评估模型构建模块，所述网络舆情风险评估模型构建模块，其用于基于所述关键词构建网络舆情风险评估模型。

在本具体实施例中，所述网络舆情数据分类模块具体用于，根据所述网络舆情风险评估模型对所述网络舆情数据进行评估，计算出所述网络舆情数据在所述网络舆情风险评估模型中与各个所述关键词的关联系数；根据所述关联系数将所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集。

在本具体实施例中，还包括分布式数据库建设模块，所述分布式数据库建设模块，其用于布设分布式数据库。

本发明一种面向网络舆情的数据分布式定向存储方法和装置，从大数据中筛选出网络舆情数据，并进行存储，而不是对所有大数据进行存储，可以节省存储空间；另外，根据风险等级采用定向分布式的方式对舆情数据进行存储，可以实现稳定的存储，有利于数据的传输和维护。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。