一种基于时空属性的实体竞争关系数据挖掘方法与流程
本发明属于数据挖掘技术领域，具体涉及一种基于时空属性的实体竞争关系数据挖掘方法的设计。
背景技术：
目前在针对实体企业竞争关系的数据挖掘领域中，有些研究以用户评论为数据源，利用信息抽取技术从本企业产品评论中抽取用户较为关注的产品特征，基于情感分析技术设计特征情感权重算法对本企业产品特征进行优劣势分析挖掘出与本企业产品优势相似及劣势互补的候选竞争产品，并选择优势相似且劣势互补的产品为主要竞争对手，其他优势相似的产品为次要竞争对手；或者是通过分析网络链接提取竞争关系。上述竞争关系的数据挖掘方法是基于文本挖掘提取竞争关系数据，因为数据源受人的主观思想影响，所以挖掘结果带有主观性，客观程度不能得到保证。
还有一些研究开始以电子商务客观事实数据为分析数据源，结合以往的竞争关系挖掘方法进行分析挖掘，提升挖掘方法的客观性。传统的针对电子商务平台的数据挖掘工作一般是收集电商平台数据，然后从中挖掘可供使用的用户推荐、用户习惯等信息。利用产品信息(例如价格、功能以及销量等)挖掘竞争关系。该挖掘方法只考虑了商家(实体)信息对竞争关系的影响，而没有考虑到用户对竞争关系的影响。然而在实际生活中，无论实体是企业还是商店，用户(消费者)对竞争关系的影响是不容忽视的。因此单纯的根据实体信息挖掘实体竞争关系得到结果是存在较大偏差、不准确的。
此外，在专利网络中运用主题模型挖掘企业竞争关系是一种新兴的方法。但专利文件有其特殊性，这对实体类型有严格的要求(必须为拥有专利的企业)，因此在实用性上存在局限性，方法的可移植性不强，不能适用于除企业外的其他实体。
上述这些方法和模型并没有把网络数据包括进来，随着社交网络的蓬勃发展，像微博、twitter等社交网站为竞争关系挖掘带来了新的数据来源。这些新的数据源对竞争关系分析方法和竞争关系挖掘技术提出了新的要求。因此，利用社交网络数据来挖掘实体竞争关系数据是一个新兴的研究点。通过分析用户评论，挖掘数据时间、空间上存在的特征，分析实体间的竞争关系，可以更好的为企业发展和决策提供支撑。
现有的竞争关系数据挖掘研究，注重于实体专利数据和实体网络用户评论数据的挖掘，而忽视了数据的时间特征和空间特征。通过融合数据的时空属性，可以进一步改进现有的竞争关系数据挖掘方法，从而提升挖掘模型的实用性、客观性和准确性。
技术实现要素：
本发明的目的是为了解决现有的竞争关系数据挖掘方法并未考虑时空属性的影响，无法准确识别和科学量化竞争关系，并且挖掘输出结果需要人工整理、识别才能被非技术人员看懂的问题，提出了一种基于时空属性的实体竞争关系数据挖掘方法。
本发明的技术方案为：一种基于时空属性的实体竞争关系数据挖掘方法，包括以下步骤：
s1、通过网络爬虫程序爬取实体的用户评论数据、实体的用户评论时间数据以及实体的经纬度数据。
s2、对实体的用户评论数据进行预处理。
s3、采用lda对预处理后实体的用户评论数据进行主题提取，得到用户评论主题。
s4、根据用户评论主题构建主题-特征匹配规则，并根据主题-特征匹配规则计算得到实体的主题-特征匹配值。
s5、根据实体的经纬度数据计算得到实体距离量化值。
s6、根据实体的用户评论时间数据计算得到实体时间属性影响力量化值。
s7、根据实体的主题-特征匹配值、实体距离量化值以及实体时间属性影响力量化值计算得到实体相似度量化值。
s8、根据实体相似度量化值计算得到实体竞争关系量化值。
s9、对实体竞争关系量化值进行归一化处理，得到实体竞争关系数据。
进一步地，步骤s2中对实体的用户评论数据进行预处理包括小写转换、去除标点、去除停用词、词条化、拼写校正、词形还原以及词干提取。
进一步地，步骤s3包括以下分步骤：
s31、针对预处理后实体的用户评论数据，将每个实体对应的所有评论作为一篇文档。
s32、从文档的dirichlet分布α中取样生成文档i的主题分布θi。
s33、从主题分布θi中取样生成文档i第j个词的主题zi,j。
s34、从文档的dirichlet分布β中取样生成主题zi,j的词语多项式分布φzi,j。
s35、从词语多项式分布φzi,j中采样生成主题zi,j的词语wi,j。
s36、重复步骤s32～s35，直至生成k个主题及其对应的词语。
进一步地，步骤s36中主题数量k的确定方法为：
计算每个主题分布的困惑度perplexity，计算公式为：
其中n表示在不排重的情况下统计得到的主题分布中所有词语的数量，p(w)表示主题分布中出现词语w的概率，计算公式为：
p(w)＝∑zp(z|d)*p(w|z)(2)
其中p(z|d)表示从文档d中抽到主题z的概率，p(w|z)表示从主题z中抽到词语w的概率。
根据每个主题分布的不同区间范围和步长对困惑度perplexity进行迭代，绘制主题数量-困惑度曲线，并在主题数量-困惑度曲线的局部最小值处取得主题数量k的最佳取值。
进一步地，步骤s4包括以下分步骤：
s41、根据k个主题及其对应的词语，建立k条主题-特征匹配规则，每条主题-特征匹配规则为该主题与该主题下概率值最大的词语相匹配。
s42、将每个实体的用户评论对应文档依次输入k条主题-特征匹配规则，根据匹配结果计算得到每个实体的主题-特征匹配值，计算公式为：
其中c(entityi)表示第i个实体entityi的主题-特征匹配值，i＝1,2,...,m，m为实体总数，scoreij表示第i个实体中第j个词语的匹配值，计算公式为：
ni表示第i个实体的用户评论数据中词语的数量，
进一步地，步骤s5包括以下分步骤：
s51、根据实体的经纬度数据计算实体两两之间的实际距离disij，其中disij表示第i个实体entityi和第j个实体entityj之间的实际距离，i＝1,2,...,m；j＝1,2,...,m，m为实体总数。
s52、设置空间阈值d，将实际距离小于空间阈值d的两个实体entityi和entityj定义为相邻实体neighbor(entityi,entityj)。
s53、以相邻实体neighbor(entityi,entityj)作为聚类初始值，采用knn算法对实际距离disij进行聚类，得到簇c＝{c1,c2,c3,...,cn}。
s54、根据簇c计算得到地理位置信息影响因子α＝{α1,α2,α3,...,αn}，计算公式为：
其中n为簇的个数，ci表示第i个簇内点的数量。
s55、根据地理位置信息影响因子α和实际距离disij计算得到实体距离量化值f(disij)：
f(disij)＝α·disij(6)。
进一步地，步骤s6包括以下分步骤：
s61、以周为单位对实体的用户评论时间数据进行划分，在每周内将实体的用户评论时间数据分为工作日week1和假期week2，得到集合g1＝{week1,week2}，并根据集合g1计算得到短期时间属性因子βn：
其中weekn(userh)表示第i个实体entityi中第h个用户userh评论时间在集合g1中的类别。
s62、以月为单位将实体的用户评论时间数据划分为12类，得到集合g2＝{month1,month2,...,month12}，并根据集合g2计算得到中长期时间属性因子γj：
其中monthj(userh)表示第i个实体entityi中第h个用户userh评论时间在集合g2中的类别。
s63、以季度为单位将实体的用户评论时间数据划分为4类，得到集合g3＝{quarter1,quarter2,quarter3,quarter4}，并根据集合g3计算得到长期时间属性因子θk：
其中quarterk(userh)表示第i个实体entityi中第h个用户userh评论时间在集合g3中的类别。
s64、根据短期时间属性因子βn、中长期时间属性因子γj和长期时间属性因子θk计算得到实体时间属性影响力量化值：
h(entityi)＝βn+γj+θk(10)
其中h(entityi)表示第i个实体entityi的实体时间属性影响力量化值。
进一步地，步骤s7中实体相似度量化值的计算公式为：
p(entityi)＝c(entityi)+f(disij)+h(entityi)(11)
其中p(entityi)表示第i个实体entityi的实体相似度量化值，c(entityi)表示第i个实体entityi的主题-特征匹配值，f(disij)表示第i个实体entityi和第j个实体entityj之间的实体距离量化值，h(entityi)表示第i个实体entityi的实体时间属性影响力量化值，i＝1,2,...,m；j＝1,2,...,m，m为实体总数。
进一步地，步骤s8中实体竞争关系量化值的计算公式为：
其中
进一步地，步骤s9中实体竞争关系数据的计算公式为：
其中xij表示第i个实体entityi和第j个实体entityj之间的实体竞争关系数据，
本发明的有益效果是：
(1)本发明将实体竞争关系探测与前沿的计算机技术相结合，克服了传统的竞争关系数据挖掘方法不考虑时空属性影响的缺点，科学的融合实体用户评论、实体用户评论时间和实体空间位置三大因素，科学精确的量化了实体间的竞争关系。
(2)本发明输出的实体i与实体j竞争关系量化结果，该结果取值范围为[0,1]，有效解决了传统的竞争关系挖掘方法和竞争对手识别方法结果对于非技术人员无法理解，最终还需要人工处理和筛选的问题。
(3)本发明可以输出一个端到端的结果，只需要使用者按数据格式要求准备数据即可，极大的方便了使用者的使用，有良好的实用性，适应当前的市场需求。
附图说明
图1所示为本发明实施例提供的一种基于时空属性的实体竞争关系数据挖掘方法流程图。
图2所示为本发明实施例提供的lda模型示意图。
图3所示为本发明实施例提供的主题数量-困惑度曲线示意图。
图4所示为本发明实施例提供的距离聚类示意图。
图5所示为本发明实施例提供的实体时间属性影响力量化值挖掘模型示意图。
具体实施方式
现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。
本发明实施例提供了一种基于时空属性的实体竞争关系数据挖掘方法，如图1所示，包括以下步骤s1～s9：
s1、通过网络爬虫程序爬取实体的用户评论数据、实体的用户评论时间数据以及实体的经纬度数据。
s2、对实体的用户评论数据进行预处理。
本发明实施例中，对实体的用户评论数据进行预处理包括小写转换、去除标点、去除停用词、词条化、拼写校正、词形还原以及词干提取。
其中，小写转换和去除标点有利于后续的其它数据预处理操作。
去除停用词指去除文本中对情感分析和语义信息挖掘无意义的词汇，例如英文文本中的a、an、i、me等，中文文本中的我、他、是等。因此，需要根据文本特性，制作一张停用词列表，把用户评论数据文本中对应表内的词汇去除。
词条化是将文本切割成单词、句子和有意义的短语的过程。
词形还原是将一个词从屈折形式转换为其原型，例如英文文本中的“cars”，通过词形还原为“car”。
词干提取指通过删除或置换后缀的方法，将句子中的每个词转化为它的原型(仅针对英文文本)。
s3、采用lda(latentdirichletallocation，文档主题生成模型)对预处理后实体的用户评论数据进行主题提取，得到用户评论主题，lda模型如图2所示。
步骤s3包括以下分步骤s31～s36：
s31、针对预处理后实体的用户评论数据，将每个实体对应的所有评论作为一篇文档。
s32、从文档的dirichlet分布α中取样生成文档i的主题分布θi。
s33、从主题分布θi中取样生成文档i第j个词的主题zi,j。
s34、从文档的dirichlet分布β中取样生成主题zi,j的词语多项式分布φzi,j。
本发明实施例中，dirichlet分布α以及dirichlet分布β的分布参数均需要根据实际文档进行设置。
s35、从词语多项式分布φzi,j中采样生成主题zi,j的词语wi,j。
s36、重复步骤s32～s35，直至生成k个主题及其对应的词语。
本发明实施例中，选择困惑度(perplexity)来确定k的取值，具体方法为：
计算每个主题分布的困惑度perplexity，计算公式为：
其中n表示在不排重的情况下统计得到的主题分布中所有词语的数量，p(w)表示主题分布中出现词语w的概率，计算公式为：
p(w)＝∑zp(z|d)*p(w|z)(2)
其中p(z|d)表示从文档d中抽到主题z的概率，p(w|z)表示从主题z中抽到词语w的概率。
根据每个主题分布的不同区间范围和步长对困惑度perplexity进行迭代，绘制主题数量-困惑度曲线，并在主题数量-困惑度曲线的局部最小值处取得主题数量k的最佳取值，如图3所示，本发明实施例中，主题数量-困惑度曲线在主题数量，即x＝60时稳定收敛，因此取得最优的主题数量值为60。
s4、根据用户评论主题构建主题-特征匹配规则，并根据主题-特征匹配规则计算得到实体的主题-特征匹配值。
步骤s4包括以下分步骤s41～s42：
s41、根据k个主题及其对应的词语，建立k条主题-特征匹配规则，每条主题-特征匹配规则为该主题与该主题下概率值最大的词语相匹配。
s42、将每个实体的用户评论对应文档依次输入k条主题-特征匹配规则，根据匹配结果计算得到每个实体的主题-特征匹配值，计算公式为：
其中c(entityi)表示第i个实体entityi的主题-特征匹配值，i＝1,2,...,m，m为实体总数，scoreij表示第i个实体中第j个词语的匹配值，计算公式为：
ni表示第i个实体的用户评论数据中词语的数量，
s5、根据实体的经纬度数据计算得到实体距离量化值。
步骤s5包括以下分步骤s51～s55：
s51、根据实体的经纬度数据计算实体两两之间的实际距离disij，其中disij表示第i个实体entityi和第j个实体entityj之间的实际距离，可通过百度地图提供的api计算得到，i＝1,2,...,m；j＝1,2,...,m，m为实体总数。
s52、设置空间阈值d，将实际距离小于空间阈值d的两个实体entityi和entityj定义为相邻实体neighbor(entityi,entityj)。
s53、以相邻实体neighbor(entityi,entityj)作为聚类初始值，采用knn算法对实际距离disij进行聚类，得到簇c＝{c1,c2,c3,...,cn}。
如图4所示，其中黑色的点表示的是任意两个实体之间的距离，选择其中具有neighbor属性的点作为聚类初始点进行聚类，得到图4中的3个簇c＝{c1,c2,c3}。
s54、根据簇c计算得到地理位置信息影响因子α＝{α1,α2,α3,...,αn}，计算公式为：
其中n为簇的个数，本发明实施例中n＝3，ci表示第i个簇内点的数量。
在实际应用过程中，单纯从距离衡量竞争关系大小的角度出发是不准确的，因为在互联网上，相距较远的实体也可能存在竞争关系，以美团为例，美团上理发店a和理发店b相距五公里，但其主营业务一样，即存在竞争关系。因此，单纯的考虑距离来评价竞争关系是不合理的，本发明实施例引入地理位置信息影响因子α，其作用是调整簇与簇之间的距离，让不同簇的差异性更大。
s55、根据地理位置信息影响因子α和实际距离disij计算得到实体距离量化值f(disij)：
f(disij)＝α·disij(6)
s6、根据实体的用户评论时间数据计算得到实体时间属性影响力量化值。
如图5所示，步骤s6包括以下分步骤s61～s64：
s61、以周为单位对实体的用户评论时间数据进行划分，在每周内将实体的用户评论时间数据分为工作日week1和假期week2，得到集合g1＝{week1,week2}，并根据集合g1计算得到短期时间属性因子βn：
其中weekn(userh)表示第i个实体entityi中第h个用户userh评论时间在集合g1中的类别。
s62、以月为单位将实体的用户评论时间数据划分为12类，得到集合g2＝{month1,month2,...,month12}，并根据集合g2计算得到中长期时间属性因子γj：
其中monthj(userh)表示第i个实体entityi中第h个用户userh评论时间在集合g2中的类别。
s63、以季度为单位将实体的用户评论时间数据划分为4类，得到集合g3＝{quarter1,quarter2,quarter3,quarter4}，并根据集合g3计算得到长期时间属性因子θk：
其中quarterk(userh)表示第i个实体entityi中第h个用户userh评论时间在集合g3中的类别。
s64、根据短期时间属性因子βn、中长期时间属性因子γj和长期时间属性因子θk计算得到实体时间属性影响力量化值：
h(entityi)＝βn+γj+θk(10)
其中h(entityi)表示第i个实体entityi的实体时间属性影响力量化值。
s7、根据实体的主题-特征匹配值、实体距离量化值以及实体时间属性影响力量化值计算得到实体相似度量化值，计算公式为：
步骤s7中实体相似度量化值的计算公式为：
p(entityi)＝c(entityi)+f(disij)+h(entityi)(11)
其中p(entityi)表示第i个实体entityi的实体相似度量化值，c(entityi)表示第i个实体entityi的主题-特征匹配值，f(disij)表示第i个实体entityi和第j个实体entityj之间的实体距离量化值，h(entityi)表示第i个实体entityi的实体时间属性影响力量化值，i＝1,2,...,m；j＝1,2,...,m，m为实体总数。
s8、根据实体相似度量化值计算得到实体竞争关系量化值，计算公式为：
步骤s8中实体竞争关系量化值的计算公式为：
其中
s9、对实体竞争关系量化值进行归一化处理，得到实体竞争关系数据。
本发明实施例中，采用min-maxnormalization方法对实体竞争关系量化值进行归一化处理，计算公式为：
其中xij表示第i个实体entityi和第j个实体entityj之间的实体竞争关系数据，
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！