一种旅游消费价格及舆论异常告警方法及系统与流程

本发明涉及自然语言处理，具体地说是一种旅游消费价格及舆论异常告警方法及系统。

背景技术：

1、互联网时代，信息载体逐渐由纸质载体向互联网媒介过渡，同时随着电子商务的不断发展，旅游、住宿等消费行为也出现了从线下到线上的转变，消费者越来越倾向于线上提前预定景区、酒店，这就使得互联网上出现了大量的旅游消费数据。

2、随着社交媒体的快速发展，人们发表言论的途径日益增加，互联网上产生了大量的关于产品、服务、热点等的评论信息，这些评论信息表达了人们对这些事物不同的观点和态度，从这些信息中，无论个人、企业还是政府，都能从中挖掘出对自己有益的信息；对于个人，可以从评论信息或个人发表的社交文章中获取与景区、酒店、消费等信息，这些信息无形中也会引导个人的消费行为；企业跟政府也可从中获取个人对景区、酒店的情感倾向是正面还是负面，帮助企业跟政府作出相应对策应对不良影响，并及时处理商家不合规行为，避免对本地旅游经济造成负面影响。将这些数据信息进行整合、分析、处理并应用将会更有利于旅游经济的发展。

技术实现思路

1、本发明的技术任务是针对以上不足之处，提供一种旅游消费价格及舆论异常告警方法及系统，能够方便消费者了解旅游消费价格，且方便地方各政府部门及时对此类涨价行为作出响应，避免舆论扩大，影响地方旅游消费。

2、本发明解决其技术问题所采用的技术方案是：

3、一种旅游消费价格及舆论异常告警方法，利用网络爬虫技术收集互联网上的消费及评论数据，包括各主流旅游、酒店、社交网站的消费及评论数据；建立消费数据库与舆情数据库；

4、消费数据库用于训练价格异常预警模型；

5、利用text-rank算法对舆情数据库中的评论、新闻等舆情内容进行关键词提取，同时利用bayesian lstm算法训练舆情预警模型；

6、利用所述价格异常预警模型监测地方旅游消费存在的商家临时涨价行为，同时利用舆情预警模型监测消费者对涨价行为的舆论导向。

7、本方法基于网络爬虫技术、关键词提取技术及多标记分类算法，利用网络爬虫技术收集互联网上的旅游消费及舆情数据，利用text-rank算法对舆情内容进行关键词提取；利用bayesian lstm算法训练舆情预警模型，并进行自动推送。

8、网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。通过网络爬虫可以很方便的获取指定网页的数据，可以通过爬虫爬取网站公开的数据，并根据数据进行建模、分析，生成有利于自己的数据报告。

9、textrank算法是一种用于文本的基于图的排序算法。其基本思想来源于谷歌的pagerank算法,通过把文本分割成若干组成单元(单词、句子)并建立图模型,利用投票机制对文本中的重要成分进行排序,仅利用单篇文档本身的信息即可实现关键词提取、文摘。和lda、hmm等模型不同,textrank不需要事先对多篇文档进行学习训练,因其简洁有效而得到广泛应用。textrank算法，首先会对提供的句子进行分词操作，得到的分词放入到一个集合中，分词的重要程度，主要看这个分词的前后邻居有多少，邻居越多，给它投票的分词就越多，权值越高，也就越重要，当这个分词出现的持续越多，它的邻居也越多；这个分词越在中间(相比开头和结尾)，它的邻居也越多。textrank算法的主要用途有两个方面，一是提取出文本中比较重要的关键词，二是选出一段话中哪个关键词出现的次数多的问题。

10、优选的，本方法的实现过程如下：

11、1)、数据采集，包括消费数据、舆论数据；

12、2)、数据处理，将收集的消费数据、舆论数据进行清洗，去重，剔除冗余数据、脏数据、噪音数据，并将清洗后的数据，存入到系统数据库中；

13、3)、特征提取，应用text-rank算法提取舆论数据中的关键信息；

14、4)、训练价格异常预警模型，

15、基于消费数据库中的产品价格，训练价格异常预警模型，并制定各类旅游类产品的价格预警值；

16、5)、训练舆情预警模型，

17、应用bayesian lstm算法训练舆情预警模型；

18、6)、优化模型；

19、7)、预警信息推送。

20、优选的，所述数据采集，选择消费数据与舆论数据的来源网站，并使用网络爬虫技术进行收集，收集内容主要包括旅游类产品的价格、销量、评论、时间，以及舆论数据的发布时间、发布用户、发布内容、评论留言。

21、优选的，所述优化模型，每日获取数据，不断优化预警模型，使得预警的准确性更加稳定。

22、优选的，设置价格预警模型阈值，当某类产品价格高于所述预警模型阈值，则发出预警通知。

23、优选的，舆情预警模型监测到舆情中的负面倾向，发出预警通知。

24、本发明还要求保护一种旅游消费价格及舆论异常告警系统，包括数据采集模块、数据处理模块、消费异常预警模块和舆论异常告警模块，

25、采集模块用于采集消费数据及舆论数据；

26、采集的数据经数据处理模块处理，建立消费数据库和舆情数据库；

27、消费数据库用于训练价格异常预警模型，利用所述价格异常预警模型监测地方旅游消费存在的商家临时涨价行为；

28、利用text-rank算法对舆情数据库中的评论、新闻等舆情内容进行关键词提取，同时利用bayesian lstm算法训练舆情预警模型；利用舆情预警模型监测消费者对涨价行为的舆论导向。

29、优选的，该系统实现价格异常预警和舆论异常告警方式如下：

30、数据采集模块采集数据，包括消费数据、舆论数据；

31、数据处理模块处理数据，将收集的消费数据、舆论数据进行清洗，去重，剔除冗余数据、脏数据、噪音数据，并将清洗后的数据，存入到系统数据库中；

32、舆论异常告警模块进行特征提取，应用text-rank算法提取舆论数据中的关键信息；

33、消费异常预警模块训练价格异常预警模型：

34、基于消费数据库中的产品价格，训练价格异常预警模型，并制定各类旅游类产品的价格预警值；

35、舆论异常告警模块训练舆情预警模型：

36、应用bayesian lstm算法训练舆情预警模型；

37、进行模型优化；

38、进行预警信息推送。

39、本发明还要求保护一种旅游消费价格及舆论异常告警装置，包括：至少一个存储器和至少一个处理器；

40、所述至少一个存储器，用于存储机器可读程序；

41、所述至少一个处理器，用于调用所述机器可读程序，实现上述的旅游消费价格及舆论异常告警方法。

42、本发明还要求保护一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器实现上述的旅游消费价格及舆论异常告警方法。

43、本发明的一种旅游消费价格及舆论异常告警方法及系统与现有技术相比，具有以下有益效果：

44、利用网络爬虫实时收集旅游类产品价格方式，可以获取产品的实时价格，当出现临时涨价此类问题时，能够利用预警系统及时作出应对；且可利用舆情预警系统，及时获取消费者对涨价事件的舆情倾向。