一种食品安全舆情监控方法及系统与流程

本发明涉及食品安全监控领域，特别是一种食品安全舆情监控方法及系统。

背景技术：

近年来频发的食品事件在网络环境下成为热点、焦点话题的趋势与日俱增，食品安全问题逐渐成为了社会关注的焦点。在政府监管方面，通过舆情分析结果，实时获取常规情况下辖区内的舆情动态，以便及时分发给下级部门、辖区食品企业；设置重点的生产经营主体、食品品类、风险指标进行关注、深入跟踪和处置。在企业自治方面，通过舆情分析，获取同行业同类别的舆情动态，并进行自我对比，以提前化解食品安全风险；设置重点关注的食品分类、风险指标进行关注、深度调查跟踪等。在消费者监督方面，根据舆情分析结果，了解舆情事件的整个过程，以避免以偏概全，进行风险交流等。因此，能够及时捕捉完整的、精准的数据信息，将有助于通过分析获取全面的、精确的、有趣的和有效的舆情动态，以得到各种有效的舆情管控措施，如舆情重要性分级、处置意见、预警通报、事后总结、风险管控和场景分析等。但是目前还没有一套针对食品安全的舆情监控方法及系统。

技术实现要素：

本发明的目的在于，提供一种食品安全舆情监控方法及系统。本发明能够提高舆情事件的处理能力，降低舆情事件扩大的风险。

本发明的技术方案：一种食品安全舆情监控方法，按下述步骤进行：

(1)通过舆情数据源构建动态媒体库；所述的舆情数据源为，包括新闻、微博、论坛、贴吧、微信和博客的网络舆情数据来源；

(2)根据舆情事件发生语义分析品名、风险类别、风险危害大小、各类关键词关系，初始化关键词库；

(3)通过网络爬虫或者网站公开api的方式，结合关键词库中的关键词，从步骤(1)中的动态媒体库进行数据采集，获取网络新闻文本数据；

(4)对网络新闻文本数据进行预处理，得到包括新闻标题、摘要、内容、发布时间、新闻媒体、转发、评论的，结构化的优化文本数据，将优化文本数据存储于舆情动态数据库；

(5)根据舆情事件的报道频率，政府、企业和消费者三方的关注热点以及演化关联程度，计算各媒体的重要性权重指标，并进行动态更新，根据权重指标对媒体重要性进行等级划分，以实时地获取最新的动态媒体库，其中媒体的重要性权重指标计算公式为：

δ1为舆情事件的报道频率，δ2为政府、企业和消费者三方的关注热点，δ3为舆情演化关联程度，δ4为其他影响因子；

(6)对优化文本数据进行分词处理，得到分词结果和词性，进行特征筛选，利用分词结果不断优化完善关键词库，以实时地获取最新的舆情数据；

(7)利用tf-idf值量化分词处理结果中每个分词的权重，得到每个分词的权重值；

(8)根据权重值，利用single-pass算法计算优化文本数据中各新闻的相似度，从而进行文本聚类；

(9)从舆情数据源中采集网络新闻文本数据的关注度、转发率和媒体重要性指标，利用网络传播热度指数算法，计算新闻关注度；

(10)结合相似度和关注度，识别判定网络重要舆情信息，对舆情信息的重要性进行判别，识别后存入动态舆情数据库；

(11)对步骤(10)的所识别的网络重要舆情信息，进行舆情分级、舆情事件处理分类、多维度分析、舆情群体分析、舆情处置分析、舆情预警分析和决策支持分析，得到舆情发展趋势、舆情群体分布走势和舆情预警等级的分析结果，根据分析结果形成舆情事件的政府、企业和消费者三方的舆情风险管控措施和补救机制；即，形成舆情事件等级转化机制。

前述的食品安全舆情监控方法所述的步骤(11)中，得到分析结果后，将分析结果中的舆情发展趋势、舆情群体分布走势和舆情预警等级在舆情展示平台上进行舆情分析可视化展示，形成舆情报告、历史舆情案列分析和舆情决策；所述的舆情报告包括热点推荐、预警短信、预警邮件、舆情统计和专项事件分析报告。

前述的食品安全舆情监控方法所述的步骤(11)中，得到分析结果后，根据分析结果，再结合专家意见和政府部门政策形成舆情事前、事中和事后的解决方案：事前快速精准发现舆情事件、及时提醒预警，事中分析舆情走势、提供相应危机应对干预措施，事后舆情分析总结、整合信息进行风险交流。

前述的食品安全舆情监控方法所述的步骤(1)中，所述的动态媒体库，需根据舆情事件的报道频率，政府、企业、消费者三方的关注热点，及演化关联程度进行实时更新。

前述的食品安全舆情监控方法所述的步骤(11)中，所述的舆情分级，具体是将优化文本数据对应的舆情事件分为重点舆情事件、中等舆情事件和一般舆情事件；所述的舆情事件处理分类是，将动态舆情数据库中的网络舆情数据对应的舆情事件的处理方式分为系统内部处理，系统外部处理，短期处理、长期处理、个例处理和事件真伪。

前述的食品安全舆情监控方法所述的步骤(3)中，所述的关键词包括舆情事件发生时间、地点、涉及企业名称、食品类别、食品名称、风险类别、风险危害大小。

前述的食品安全舆情监控方法所述的步骤(7)中，所述的tf-idf值计算如下：

其中，ni,j表示词i在文档k中出现的次数，∑knk,j表示文档k中词的总次数；d表示总文档数，di表示包含词i的文档数。

前述的食品安全舆情监控方法所述的所述的步骤(8)中，所述的single-pass算法如下：

a,b两个文本的余弦值越接近1，则两个向量夹角越接近0度,那么两个文本越相似。

前述的食品安全舆情监控方法所述的步骤(9)中，所述的网络传播热度指数算法如下：

新闻关注度h包含了事件转播热度h1和事件报道热度h2，即：

新闻关注度h＝事件转播热度h1+事件报道热度h2；

其中：

x1＝新闻条数×0.189+电子报刊条数×0.175+客户端条数×0.187+微信条数×0.182+政务条数×0.167+外媒条数×0.100；

x2＝微博条数×0.319+论坛条数×0.355+博客条数×0.326

x3＝视频条数；

x4＝其他网站条数。

前述的食品安全舆情监控方法用的监控系统，包括数据采集子系统和数据分析应用子系统；

数据采集子系统：用于从舆情数据源获取网络新闻文本数据，并对所述的网络新闻文本数据进行预处理和存储；

所述的数据采集子系统由数据采集模块、动态舆情数据库和动态关键词数据库构成；

数据采集模块：用于从舆情数据源获取网络新闻文本数据，并对所述的网络新闻文本数据进行预处理得到优化文本数据；

动态舆情数据库：用于存储优化文本数据；

动态关键词数据库：用于存储关键词库的关键词；

数据分析应用子系统：用于对数据采集子系统预处理后的网络重要舆情信息分析处理，根据分析处理的分析结果形成舆情事件等级转化机制；所述的分析处理包括舆情分级、舆情事件处理分类、多维度分析、舆情群体分析、舆情处置、舆情预警分析和决策支持分析；

所述的数据分析应用子系统由多维度分析模块、舆情群体分析模块和舆情处置模块构成；

多维度分析模块：用于对动态舆情数据库中的网络舆情数据进行舆情分级和舆情事件处理分类；同时用于从语义、情感、传播和受众反馈的角度对优化文本数据进行多维度分析，预判舆情的走势；

舆情群体分析模块：用于舆情群体分析；

舆情处置模块：用于舆情处置分析，舆情预警分析和决策支持分析。

有益效果

与现有技术相比，本发明通过对优化文本数据进行分词处理后，利用tf-idf值和single-pass算法处理得到优化文本数据中各新闻的相似度，再利用网络传播热度指数算法，计算新闻关注度；结合相似度和关注度识别出优化文本数据中的网络重要舆情信息，之后再对网络重要舆情信息进行舆情分级、舆情事件处理分类、多维度分析、舆情群体分析、舆情处置分析、舆情预警分析和决策支持分析，得到舆情发展趋势、舆情群体分布走势和舆情预警等级的分析结果；根据分析结果形成舆情事件的政府、企业和消费者三方的舆情风险管控措施和补救机制；通过上述方法，政府监管部门能够根据舆情分析结果，实时获取常规情中的况下辖区内的舆情动态，以便及时分发给下级部门、辖区食品企业；设置重点的生产经营主体、食品品类、风险指标进行关注、深入跟踪和处置；在出现舆情事件时，能够根据分析结果舆情风险管控措施和补救机制及时进行处理，提高了政府监管部门对舆情事件的处理能力。

本发明能够让企业通过舆情的分析结果，获取同行业同类别的舆情动态，并进行自我对比，以提前化解食品安全风险；设置重点关注的食品分类、风险指标进行关注、深度调查跟踪等，提高了企业对舆情事件的处理能力

本发明能够让消费者了解舆情事件的整个过程，避免了消费者因信息缺失而被误导，进而以谣传谣；从而降低了消费者的风险交流的几率，进而降低了舆情事件因谣言而出现事态扩大的风险。

综上，本发明能够提高舆情事件的处理能力，降低舆情事件扩大的风险。

附图说明

图1为本发明的流程示意图；

图2是本发明系统的结构示意图；

图3是数据采集子系统的工作流程图；

图4是数据分析应用子系统的工作流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例1。一种食品安全舆情监控方法，如图1，3和4所示，按下述步骤进行：

(1)通过舆情数据源构建动态媒体库；所述的舆情数据源为，包括新闻、微博、论坛、贴吧、微信和博客的网络舆情数据来源；

(2)根据舆情事件发生语义分析品名、风险类别(名称、昵称)、风险危害大小(地点、性质、危害人数、危害程度)、各类关键词关系等，初始化关键词库；

(3)通过网络爬虫或者网站公开api等方式，结合关键词，从步骤(1)中的动态媒体库进行数据采集，获取网络新闻文本数据；

(4)对网络新闻文本数据进行预处理，得到包括新闻标题、摘要、内容、发布时间、新闻媒体、转发、评论的，结构化的优化文本数据，将优化文本数据存储于舆情动态数据库；预处理包括对是指对网络新闻文本数据进行过滤和数据抽提；过滤的目的是消除网络新闻文本数据中存在的噪声数据；数据抽提的目的是消除原始数据中的冗余；通过预处理，能够降低数据存储成本，保障原始数据的精炼性；

(5)根据舆情事件的报道频率，政府、企业和消费者三方的关注热点以及演化关联程度，计算各媒体的重要性权重指标，并进行动态更新，根据权重指标对媒体重要性进行等级划分，以实时地获取最新的动态媒体库；其中媒体的重要性权重指标计算公式为：

δ1为舆情事件的报道频率，δ2为政府、企业和消费者三方的关注热点，δ3为舆情演化关联程度，δ4为其他影响因子；

(6)对优化文本数据进行分词处理，得到分词结果和词性，进行特征筛选，利用分词结果不断优化完善关键词库，以实时地获取最新的舆情数据；

(7)利用tf-idf值量化分词处理结果中每个分词的权重，得到每个分词的权重值；

(8)根据权重值，利用single-pass算法计算优化文本数据中各新闻的相似度，从而进行文本聚类；

(9)从舆情数据源中采集网络新闻文本数据的关注度、转发率和媒体重要性指标，利用网络传播热度指数算法，计算新闻关注度；

(10)结合相似度和关注度，识别判定网络重要舆情信息，对舆情信息的重要性进行判别，识别后存入动态舆情数据库；

(11)对步骤(10)的所识别的网络重要舆情信息，进行舆情分级、舆情事件处理分类、多维度分析、舆情群体分析、舆情处置分析、舆情预警分析和决策支持分析，得到舆情发展趋势、舆情群体分布走势和舆情预警等级的分析结果，根据分析结果形成舆情事件的政府、企业和消费者三方的舆情风险管控措施和补救机制；即，形成舆情事件等级转化机制。如图4所示。

所述的步骤(11)中，得到分析结果后，将分析结果中的舆情发展趋势、舆情群体分布走势和舆情预警等级在舆情展示平台上进行舆情分析可视化展示，形成舆情报告、历史舆情案列分析和舆情决策；所述的舆情报告包括热点推荐、预警短信、预警邮件、舆情统计和专项事件分析报告。

前述的步骤(11)中，得到分析结果后，根据分析结果，再结合专家意见和政府部门政策形成舆情事前、事中和事后的解决方案：事前快速精准发现舆情事件、及时提醒预警，事中分析舆情走势、提供相应危机应对干预措施，事后舆情分析总结、整合信息进行风险交流。

前述的步骤(1)中，所述的动态媒体库，需根据舆情事件的报道频率，政府、企业、消费者三方的关注热点，及演化关联程度进行实时更新。

前述的步骤(11)中，所述的舆情分级，具体是将优化文本数据对应的舆情事件分为重点舆情事件、中等舆情事件和一般舆情事件；舆情分级的依据是：依据舆情事件频率，政府、企业和消费者三方的关注度，相似度，转发率和首发媒体重要性，对舆情事件进行舆情等级划分，类似于高温等级划分；所述的舆情事件处理分类是，将动态舆情数据库中的网络舆情数据对应的舆情事件的处理方式分为系统内部处理，系统外部处理，短期处理、长期处理、个例处理和事件真伪。事件真伪是指事件的真实性，是否存在造谣。

前述的步骤(3)中，所述的关键词包括舆情事件发生时间、地点、涉及企业名称、食品类别、食品名称、风险类别、风险危害大小。

前述的步骤(7)中，所述的tf-idf值计算如下：

其中，ni,j表示词i在文档k中出现的次数，∑knk,j表示文档k中词的总次数；d表示总文档数，di表示包含词i的文档数。

前述的所述的步骤(8)中，所述的single-pass算法如下：

a,b两个文本的余弦值越接近1，则两个向量夹角越接近0度,那么两个文本越相似。

前述的步骤(9)中，所述的网络传播热度指数算法如下：

新闻关注度h包含了事件转播热度h1和事件报道热度h2，即：

新闻关注度h＝事件转播热度h1+事件报道热度h2；

其中：

x1＝新闻条数×0.189+电子报刊条数×0.175+客户端条数×0.187+微信条数×0.182+政务条数×0.167+外媒条数×0.100；

x2＝微博条数×0.319+论坛条数×0.355+博客条数×0.326

x3＝视频条数；

x4＝其他网站条数。

前述的食品安全舆情监控方法用的监控系统，构成如图2所示，包括数据采集子系统和数据分析应用子系统；

数据分析应用子系统：用于对数据采集子系统预处理后的网络重要舆情信息分析处理，根据分析处理的分析结果形成舆情事件等级转化机制；所述的分析处理包括舆情分级、舆情事件处理分类、多维度分析、舆情群体分析、舆情处置、舆情预警分析和决策支持分析；

所述的数据分析应用子系统由多维度分析模块、舆情群体分析模块和舆情处置模块构成；

多维度分析模块：用于对动态舆情数据库中的网络舆情数据进行舆情分级和舆情事件处理分类；同时用于从语义、情感、传播和受众反馈的角度对优化文本数据进行多维度分析，预判舆情的走势；

舆情群体分析模块：用于舆情群体分析；所述的舆情群体分析是：从话题舆情活跃参与者的参与平台、地理分布、身份特征、粉丝数、职业、兴趣分布和表达习惯方面进行分析，预判舆情群体分布走势；

舆情处置模块：用于舆情处置分析、舆情预警分析和决策支持分析；所述的舆情处置分析是：从舆情传播扩散路径、传播内容、传播焦点转移、观点倾向变化的角度出发，结合案例库以及舆情研究专家的建议，建立舆情处置机制；舆情预警分析是指：从舆情传播扩散路径、传播内容、传播焦点转移、观点倾向变化的角度出发，结合案例库以及舆情研究专家的建议，进行舆情预警分析；决策支持分析是指：从官方响应、信息发布、公信力、动态反应、问责处理、应对技巧六大角度进行梳理，评估舆情应对的特点、优点、缺点、经验、教训、态度和策略。

前述的舆情监控系统还包括舆情展示平台，所述的舆情展示平台用于实现分析结果的可视化。

前述的舆情监控系统还包括解决方案模块，所述的解决方案模块用于结合分析结果、专家意见和政府部门政策，形成事件前期、中期和后期的解决方案。