专利名称：网络用户行为信息分析系统及其分析方法
技术领域：
本发明属于网络信息分析领域，特别是一种网络用户行为信息分析系统及其分析方法。
背景技术：
随着互联网的发展和计算机的普及，网络用户的数量增长迅速，网络行为逐渐成为了人类行为中最重要的社会现象之一。深入了解和分析网络用户的行为，才能发现用户网站使用行为的影响因素，有助于改进和优化基于网络的信息服务，提高信息管理和服务的效率。
在行为信息的范围内，行为指的是作为行动、操作或事件的活动以及在虚拟或实际组织中实体在特定的情境和环境下产生的活动序列。本发明主要研究的是在网络环境下用户行为所具有的特点。网络行为可以用某些特征量的统计特征或特征量的关联关系定量或定性的表示。用户通过电子商务网站进行交易，在这些网站的运转过程中，积累了大量有关客户行为的数据信息，对这些行为数据进行进一步的研究，可以发现用户网站使用行为中的一般模式和规律，进而发现网页和网站功能设计中可能存在的问题，从而找到网站改进和完善的方向。文献I:中国专利CN 101188521 A,宁辉，张涛.一种挖掘用户行为数据的方法和网站服务器.2008. 5公开了一种挖掘用户行为数据的方法和网站服务器，通过网站服务器保存网站日志数据，读取所述网站日志数据，并对所述网站日志数据进行分析，这种方法不用单独设置统计服务器，节省硬件资源和成本。但是这种方法无法实现对网络用户动态行为的分析。由于网站日志数据记录的数据有一定的规范，主要记录了用户的访问时间，访问页面，用户ID，访问IP等，无法获取更多所需要的信息。例如，仅通过网站日志数据不能获取在网站注册失败的用户的行为信息。文献2 :中国专利CN102238045 A，谢永开.一种无线互联网用户行为预测系统.2011. 11公开了一种无线互联网用户行为的预测系统，该系统通过位于客户端的手机用户行为数据采集模块，收集手机用户运行时间的用户行为数据，并发送到服务器，位于服务器端的手机用户行为分析预测模块，对用户行为建模，根据客户端的用户行为数据采集模块收集的用户行为数据进行用户行为分析及预测。该发明与本发明在思想和方法上有一定的一致性，但是也存在缺陷该发明对收集到的用户行为数据进行聚类分析得到用户分组，通过关联规则建立用户分组与对应行为间的关系，那么不同的聚类方法可能会使分组的结果不一致，造成分析结论的不准确，同时该发明主要针对手机无线上网用户，并且所支持的智能手机操作系统有限。
发明内容
本发明的目的在于提供一种能方便快速的获取网络用户行为信息，且能保证了用户行为信息的完整性、连续性和有效性的网络用户行为信息分析系统及分析方法。实现本发明目的的技术解决方案为
一种网络用 户行为信息分析系统，包括依次连接的网络用户行为数据获取模块，网络用户行为数据预处理模块，网络用户行为数据存储模块，网络用户行为数据分析模块，分析结果显示模块。一种网络用户行为信息分析方法，包括以下步骤
步骤一网络用户行为数据获取模块利用集成在其中的埋点程序获取网站用户行为数据，并将其记录在网站日志数据中，然后对单位时间内搜集到的数据是否异常进行判断，最后将数据同步至本地数据库；其中埋点程序是由嵌入到浏览器端的收集用户行为数据的程序代码和后端用于监测用户行为数据收集结果是否异常的程序代码组成；
步骤二 网络用户行为数据预处理模块对网站日志数据进行识别，筛选出用于用户行为信息分析的用户行为数据；
步骤三通过行为序列分析将提取的用户行为数据转换成面向行为特征空间的行为数据，将其存储于网络用户行为数据存储模块；
步骤四网络用户行为数据分析模块调用网络用户行为数据存储模块中的用户行为数据，运用系统设定的用户行为模式挖掘方法对用户行为数据进行分析；
步骤五分析结果显示模块将用户行为信息分析的结果展示于用户终端显示器界面。本发明与现有技术相比，其显著优点
1、方便快速的获取网络用户行为信息，包括静态和动态的行为信息，保证了用户行为信息的完整性、连续性和有效性；
2、分析每一个网络用户的正向和负向行为信息，充分挖掘出网络用户行为特征和模
式；
3、数据挖掘算法离线计算，计算结果清晰、客观，以方便企业进一步总结出业务规则，进行网站结构的优化和调整。下面结合附图对本发明作进一步详细描述。
图I是根据本发明的网络用户行为信息分析系统的结构示意图。图2是根据本发明实施例的网站用户注册行为信息分析系统的JS页面前端埋点程序图。图3是根据本发明实施例的网站用户注册行为信息分析系统的Java后端埋点程序图。图4是根据本发明实施例的网站用户注册行为信息收集与存储结构示意图。图5是根据本发明实施例的网站用户注册行为序列示意图。图6是根据本发明实施例的网站用户注册行为信息分析系统的流程图。
具体实施例方式为使本发明的实施例的目的、技术方案和优点更加清楚，下面对本发明中涉及的一些术语做简单解释。
埋点程序是由嵌入到浏览器端的收集用户行为数据的程序代码和后端用于监测用户行为数据收集结果是否异常的程序代码组成。基础数据是埋点程序捕获的用于用户行为信息分析的数据。基础数据属于初级数据，需要经过本系统根据规则抽取为中间层数据。中间层数据是从基础数据中根据预先设定的规则抽取的为本系统所用的业务信息组合，中间层数据属于半成品数据，还需要经过本系统根据预先设定的算法模块求解出分析结果。用户访问网站的用户。
目标行为指与企业的绩效相关的行为。本发明一种网络用户行为信息分析系统，该系统包括依次连接的网络用户行为数据获取模块，网络用户行为数据预处理模块，网络用户行为数据存储模块，网络用户行为数据分析模块，分析结果显示模块。参见图1，显示了根据本发明一种网络用户行为信息分析系统的结构示意图，具体包括以下模块。用户行为数据获取模块101 :在网页内嵌套JavaScript脚本，当用户访问网页时，触发统计脚本获取访问数据，后端Java程序判断数据结构是否异常，并将两者数据合并。网站用户行为数据预处理模块102 :根据预先设定的日志数据存储规则对数据库记录的日志数据进行识别、筛选、分类和汇总。网站用户行为数据存储模块103 :将经过数据预处理的网络用户行为数据以标准的格式存储到UEAM系统数据库单元中。网站用户行为数据分析模块104 :根据系统设定的数据挖掘算法对日志数据进行分析，并将得出的用户行为分析结果存储于分析结果存储单元中。分析结果显示模块105 :将数据分析的结果显示于系统管理员终端显示器界面。一种网络用户行为信息分析方法，包括以下步骤
步骤一网络用户行为数据获取模块利用集成在其中的埋点程序获取网站用户行为数据，并将其记录在网站日志数据中，然后对单位时间内收集到的数据是否异常进行判断，最后将数据同步至本地数据库；其中埋点程序是由嵌入到浏览器端的收集用户行为数据的程序代码和后端用于监测用户行为数据收集结果是否异常的程序代码组成；
获取网站用户行为数据时，利用了埋点程序，当用户登陆客户端浏览器时，触发收集用户行为数据的程序代码，在用户访问网站页面时，为用户创建一个会话和页面编号；用户按照要求填写相关信息时，收集用户行为数据的程序代码会自动记录用户行为数据；同时，系统设置了用户最小输入数据量，当收集到的用户行为数据达到用户最小输入数据量时，将记录到的页面整体数据打包发送到Web服务器；然后将单位时间内收集到的用户行为数据同步至本地数据库。将单位时间内收集到的用户行为数据同步至本地数据库时，由后端用于监测用户行为数据收集结果是否异常的程序进行入库判断，判断采集到的数据与平均值是否存在异常，如果存在异常，则将收集到的数据舍去，以平均值代替，否则直接将采集到的数据同步至本地数据库中；所述异常是通过与平均值的差别率判定的，其中差别率可以进行设定；
步骤二 网络用户行为数据预处理模块对网站日志数据进行识别，筛选出用于用户行为信息分析的用户行为数据；
对网站日志数据进行识别、筛选，即选出有用的用户行为数据，排除无用的用户行为数据；直接收集到的网络用户行为数据会出现以下几种情况(1)前端用户界面显示的页面元素名和后端记录于日志数据中的页面元素名不一致；如页面元素名为Full Name,而日志数据记录的字段为userName; (2)涉及用户安全隐私的内容无法收集记录，而会产生一些无关的杂乱信息；(3) —个用户对同一页面元素的每次填写都会被记录下来，从而造成同一页面元素信息的多次重复记录；如用户填写了邮箱地址后，又更换了邮箱地址，那么用户的两次填写行为都会被记录下来，从而造成邮箱这一信息出现2次记录。因此，在识别、筛选有用的用户行为数据时排除了涉及用户安全隐私的页面元素，并构建了页面元素和日志数据中记录的页面元素的对照表单，针对重复记录的现象，采取以最后一次记录的信息为准的原则。步骤三通过行为序列分析将提取的用户行为数据转换成面向行为特征空间的行为数据，将其存储于网络用户行为数据存储模块；
在构建用户行为序列时采用了正向构建行为序列的方法，即时间窗口的方法；设置一个滚动的时间窗口，根据每个目标的发生顺序，将用户行为在行为坐标里从左边移动到右边。步骤四网络用户行为数据分析模块调用网络用户行为数据存储模块中的用户行为数据，运用系统设定的用户行为模式挖掘方法对用户行为数据进行分析；
在对网络用户行为数据进行用户行为模式挖掘时，主要采用了支持度计算和相关性分析这两种方法；
支持度计算是通过计算页面元素对目标行为的支持度，来挖掘出那些很可能导致用户目标频繁发生的行为模式，计算公式为
Supporliai(D) =
其中今代表用户行为， 代表用户行为数据集，其中包括目标数据集Dr和非目标数据集;
同时，为了捕捉到那些虽然出现频率低，但会对目标行为产生重大影响的行为，我们还对同一行为在不同数据集中的支持度做了对比分析；
S^poriiai/Dt)
tAmirast =-------------------------
SupportiaiZBf)
其中珥是指目标数据集，馬·是指非目标数据集，！■是目标，f=是非目标，这里€kminmt>0，设置一个阈值，如果Οοιι& Β ><r，说明珥对目标Γ的影响要大于对非目标T的影响；如果,则相反；
为了衡量用户行为之间的相关密切程度，进行了相关性分析。进行相关性分析是利用SPSS软件，采用Pearson相关系数P来判断页面元素之间的相关性程度；若p〈0则认为是负相关；若0〈p〈0. 2则认为不相关；若O. 2<P<0. 4则认为是弱正相关；若O. 4〈P〈0. 6则认为是中等正相关；若O. 6〈P〈0. 8则认为是强正相关；若P>0. 8则认为是极强正相关。步骤五分析结果显示模块将用户行为信息分析的结果展示于用户终端显示器界面。
实施例I 一种网络用户检索行为信息分析方法
步骤一网络用户行为数据获取模块利用集成在其中的埋点程序获取网站用户检索行为数据，其中埋点程序是由嵌入到浏览器端的收集用户行为数据的程序代码和后端用于监测用户行为数据收集结果是否异常的程序代码组成；当用户按照需求检索信息时，通过Java程序编写的收集用户行为数据的程序代码自动记录用户名和用户检索的信息，如果用户检索到了所需信息，则将记录的用户检索行为数据打包发送到网站web服务器；如果用户没有检索到所需信息，当用户离开页面时，将记录的用户检索行为数据发送到网站web服务器；前端Java程序收集了一周的用户检索行为数据，向服务器发出请求，此时启动后端由JavaScript程序编写的用于监测用户行为数据收集结果是否异常的程序代码进行数据的入库判断，将这一周采集的数据与之前每周的平均数据进行对比，判断采集的数据与平均数据相比的差别率是否超出预先设定的浮动范围，如果超出，则用平均值代替，然后将数据同步至本地数据库，否则直接将采集到的数据同步至本地数据库。步骤二 网络用户行为数据预处理模块对网站日志数据进行识别，筛选出用于用户行为信息分析的用户检索行为数据；
对网站日志数据进行识别、筛选，即选出有用的用户检索行为数据，排除无用的用户检索行为数据；直接收集到的网络用户检索行为数据会出现以下几种情况(I)前端用户界面显示的页面元素名和后端记录于日志数据中的页面元素名不一致；(2)涉及用户安全隐私的内容无法收集记录，而会产生一些无关的杂乱信息；(3)—个用户对同一页面元素的每次填写都会被记录下来，从而造成同一页面元素信息的多次重复记录；如用户输入了一个检索词之后，又对检索词进行了更改，那么用户的两次填写行为都会被记录下来，从而造成一次检索行为的检索信息重复记录的情况。因此，在识别、筛选有用的用户行为数据时排除了涉及用户安全隐私的页面元素，并构建了页面元素和日志数据中记录的页面元素的对照表单，针对重复记录的现象，采取以最后一次记录的信息为准的原则。步骤三通过行为序列分析将提取的用户检索行为数据转换成面向行为特征空间的行为数据，将其存储于网络用户行为数据存储模块；
在构建用户检索行为序列时采用了正向构建行为序列的方法，即时间窗口的方法；设置一个滚动的时间窗口，根据每个目标的发生顺序，将用户检索行为在行为坐标里从左边移动到右边。步骤四网络用户行为数据分析模块调用网络用户行为数据存储模块中的用户检索行为数据，运用系统设定的用户行为模式挖掘方法对用户检索行为数据进行分析；
在对网络用户检索行为数据进行用户行为模式挖掘时，主要采用了支持度计算和相关性分析这两种方法；
支持度计算是通过计算检索行为对检索目标的支持度，来挖掘出那些很可能导致用户目标频繁发生的行为模式，计算公式为其中今代表用户检索行为， 代表用户检索行为数据集，其中包括目标数据集^ 1■和非目标数据集巧;
同理可以得出数据集珲和中导致用户检索成功和失败的行为模式的支持度
权利要求
1.一种网络用户行为信息分析系统，其特征在于，包括依次连接的网络用户行为数据获取模块，网络用户行为数据预处理模块，网络用户行为数据存储模块，网络用户行为数据分析模块，分析结果显示模块。
2.—种网络用户行为信息分析方法，其特征在于，包括以下步骤 步骤一网络用户行为数据获取模块利用集成在其中的埋点程序获取网站用户行为数据，并将其记录在网站日志数据中，然后对单位时间内搜集到的数据是否异常进行判断，最后将数据同步至本地数据库；其中埋点程序是由嵌入到浏览器端的收集用户行为数据的程序代码和后端用于监测用户行为数据收集结果是否异常的程序代码组成； 步骤二 网络用户行为数据预处理模块对网站日志数据进行识别，筛选出用于用户行为信息分析的用户行为数据； 步骤三通过行为序列分析将提取的用户行为数据转换成面向行为特征空间的行为数据，将其存储于网络用户行为数据存储模块； 步骤四网络用户行为数据分析模块调用网络用户行为数据存储模块中的用户行为数据，运用系统设定的用户行为模式挖掘方法对用户行为数据进行分析； 步骤五分析结果显示模块将用户行为信息分析的结果展示于用户终端显示器界面。
3.根据权利要求2所述的一种网络用户行为信息分析方法，其特征在于，步骤一中获取网站用户行为数据时，利用了埋点程序，当用户登陆客户端浏览器时，触发收集用户行为数据的程序代码，在用户访问网站页面时，为用户创建一个会话和页面编号；用户按照要求填写相关信息时，收集用户行为数据的程序代码会自动记录用户行为数据；同时，系统设置了用户最小输入数据量，当收集到的用户行为数据达到用户最小输入数据量时，将记录到的页面整体数据打包发送到Web服务器；然后将单位时间内收集到的用户行为数据同步至本地数据库。
4.根据权利要求2所述的一种网络用户行为信息分析方法，其特征在于，步骤二中对网站日志数据进行识别、筛选，即选出有用的用户行为数据，排除无用的用户行为数据；直接收集到的网络用户行为数据会出现以下几种情况第一，前端用户界面显示的页面元素名和后端记录于日志数据中的页面元素名不一致；第二，涉及用户安全隐私的内容无法收集记录，而会产生一些无关的杂乱信息；第三，一个用户对同一页面元素的每次填写都会被记录下来，从而造成同一页面元素信息的多次重复记录；因此，在识别、筛选有用的用户行为数据时排除了涉及用户安全隐私的页面元素，并构建了页面元素和日志数据中记录的页面元素的对照表单，针对重复记录的现象，采取以最后一次记录的信息为准的原则。
5.根据权利要求2所述的一种网络用户行为信息分析方法，其特征在于，步骤三在构建用户行为序列时采用了正向构建行为序列的方法，即时间窗口的方法；设置一个滚动的时间窗口，根据每个目标的发生顺序，将用户行为在行为坐标里从左边移动到右边。
6.根据权利要求2所述的一种网络用户行为信息分析方法，其特征在于，步骤四在对网络用户行为数据进行用户行为模式挖掘时，主要采用了支持度计算和相关性分析这两种方法； 支持度计算是通过计算页面元素对目标行为的支持度，来挖掘出那些很可能导致用户目标频繁发生的行为模式，计算公式为
7.根据权利要求3所述的一种网络用户行为信息分析方法，其特征在于，将单位时间内收集到的用户行为数据同步至本地数据库时，由后端用于监测用户行为数据收集结果是否异常的程序进行入库判断，判断采集到的数据与平均值是否存在异常，如果存在异常，则将收集到的数据舍去，以平均值代替，否则直接将采集到的数据同步至本地数据库中。
8.根据权利要求6所述的一种网络用户行为信息分析方法，其特征在于，进行相关性分析是利用SPSS软件，采用Pearson相关系数P来判断页面元素之间的相关性程度；若P〈0则认为是负相关；若0〈P〈0. 2则认为不相关；若O. 2<P<0. 4则认为是弱正相关；若O.4〈P〈0. 6则认为是中等正相关；若O. 6〈P〈0. 8则认为是强正相关；若P>0. 8则认为是极强正相关。
9.根据权利要求7所述的一种网络用户行为信息分析方法，其特征在于，所述异常是通过与平均值的差别率判定的，其中差别率可以进行设定。
全文摘要
本发明公开了一种网络用户行为信息分析系统及其分析方法，系统包括依次连接的网络用户行为数据获取模块，网络用户行为数据预处理模块，网络用户行为数据存储模块，网络用户行为数据分析模块，分析结果显示模块；方法包括数据的采集，数据的预处理，数据的转换，数据的分析和数据的显示等步骤，本发明能方便快速的获取网络用户行为信息，保证了用户行为信息的完整性、连续性和有效性。
文档编号H04L12/26GK102946319SQ20121037429
公开日2013年2月27日 申请日期2012年9月29日 优先权日2012年9月29日
发明者李莉, 郑一曼, 熊巍, 刘欣 申请人:焦点科技股份有限公司, 南京理工大学