根据终端的统一资源定位符确定商品信息的方法及装置与流程

本发明涉及数据分析和挖掘技术，尤其涉及一种根据终端的统一资源定位符确定商品信息的方法及装置。

背景技术：

在移动互联网时代，网络运营商有针对性地解析用户具体的上网行为，具有巨大的理论研究和商业应用价值；在终端上网产生的统一资源定位符(uniformresourcelocator，url)中，有一部分由用户在网上购物所产生，而在现有的方案中，网络运营商并没有对这些网上购物所产生的url进行深入解析，无法得到用户感兴趣的商品及商品的详细信息，无法有针对性的开展后续的数据分析和数据挖掘，降低了工作效率。

技术实现要素：

有鉴于此，本发明实施例期望提供一种根据终端的统一资源定位符确定商品信息的方法及装置，以实现网络运营商可以及时得到用户感兴趣的商品信息，可以针对性的开展后续的数据分析和数据挖掘，提高工作效率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供一种根据终端的统一资源定位符确定商品信息的方法，所述方法包括：

利用网络爬虫技术获取至少一个电商的商品库，得到每个商品的商品信息；

通过标签体系整合算法将所述每个商品的商品信息整合成自有商品库；

接收终端发送来的包含有所述终端利用应用抓包技术获取所述终端上的应用所访问的统一资源定位符url的网络封包；

利用网络封包分析技术解析所述网络封包，得到所述url的特征；

在所述url的特征与所述自有商品库的特征匹配时，在所述自有商品库中确定所述url的特征所对应的商品的商品信息。

上述方案中，在所述得到所述url的特征之后，所述方法还包括：

判断所述url的特征是否与所述自有商品库中的特征匹配；

在所述url的特征与所述自有商品库中的特征不匹配时，结束处理。

上述方案中，所述url的特征包括：第一电商名称、第一动作行为、第一商品参数；

所述自有商品库的特征包括：第二电商名称、第二动作行为、第二商品参数。

上述方案中，所述判断所述url的特征是否与所述自有商品库中的特征匹配，包括：

判断所述url的特征中的第一电商名称是否与所述自有商品库的特征中的第二电商名称匹配，如果所述第一电商名称与所述第二电商名称不匹配，则结束处理；

如果所述第一电商名称与所述第二电商名称匹配，则判断所述url的特征中的第一动作行为是否与所述自有商品库的特征中的第二动作行为匹配，如果所述第一动作行为与所述第二动作行为不匹配，则结束处理；

如果所述第一动作行为与所述第二动作行为匹配，则判断所述url的特征中的第一商品参数是否与所述自有商品库的特征中的第二商品参数匹配，如果所述第一商品参数与所述第二商品参数不匹配，则结束处理；

如果所述第一商品参数与所述第二商品参数匹配，则在所述自有商品库中确定所述第二商品参数所对应的商品信息。

上述方案中，所述商品信息包括：商品名称、商品价格、商品品牌、商品分类、商品属性、商品产地。

本发明还提供一种根据终端的统一资源定位符确定商品信息的装置，所述装置包括：

获取模块，用于利用网络爬虫技术获取至少一个电商的商品库，得到每个 商品的商品信息；

整合模块，用于通过标签体系整合算法将所述每个商品的商品信息整合成自有商品库；

接收模块，用于接收终端发送来的包含有所述终端利用应用抓包技术获取所述终端上的应用所访问的统一资源定位符url的网络封包；

解析模块，用于利用网络封包分析技术解析所述网络封包，得到所述url的特征；

确定模块，用于在所述url的特征与所述自有商品库的特征匹配时，在所述自有商品库中确定所述url的特征所对应的商品的商品信息。

上述方案中，所述装置还包括：

判断模块，用于判断所述url的特征是否与所述自有商品库中的特征匹配；

所述确定模块，还用于在所述url的特征与所述自有商品库中的特征不匹配时，结束处理。

上述方案中，所述url的特征包括：第一电商名称、第一动作行为、第一商品参数；

所述自有商品库的特征包括：第二电商名称、第二动作行为、第二商品参数。

上述方案中，所述判断模块，具体用于判断所述url的特征中的第一电商名称是否与所述自有商品库的特征中的第二电商名称匹配，如果所述第一电商名称与所述第二电商名称不匹配，则结束处理；

如果所述第一电商名称与所述第二电商名称匹配，则判断所述url的特征中的第一动作行为是否与所述自有商品库的特征中的第二动作行为匹配，如果所述第一动作行为与所述第二动作行为不匹配，则结束处理；

如果所述第一动作行为与所述第二动作行为匹配，则判断所述url的特征中的第一商品参数是否与所述自有商品库的特征中的第二商品参数匹配，如果所述第一商品参数与所述第二商品参数不匹配，则结束处理；

如果所述第一商品参数与所述第二商品参数匹配，则在所述自有商品库中确定所述第二商品参数所对应的商品信息。

上述方案中，所述商品信息包括：商品名称、商品价格、商品品牌、商品分类、商品属性、商品产地。

本发明实施例提供的根据终端的统一资源定位符url确定商品信息的方法，网络运营商的根据终端的url确定商品信息的装置利用网络爬虫技术获取至少一个电商的商品库，得到每个商品的商品信息；通过标签体系整合算法将所述每个商品的商品信息整合成自有商品库；接收终端发送来的包含有所述终端利用应用抓包技术获取所述终端上的应用所访问的url的网络封包；利用网络封包分析技术解析所述网络封包，得到所述url的特征；判断所述url的特征是否与所述自有商品库中的特征匹配；当匹配时，在所述自有商品库中确定所述url的特征所对应的商品的商品信息；网络运营商可以及时得到用户感兴趣的商品信息，可以针对性的开展后续的数据分析和数据挖掘，提高工作效率。

附图说明

图1为本发明根据终端的统一资源定位符确定商品信息的方法实施例的流程图；

图2为本发明根据终端的统一资源定位符确定商品信息的装置实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为本发明根据终端的统一资源定位符确定商品信息的方法实施例的流程图，如图1所示，本发明的方法可以包括如下步骤：

步骤101、利用网络爬虫技术获取至少一个电商的商品库，得到每个商品 的商品信息。

网络运营商的根据终端的url确定商品信息的装置利用网络爬虫技术获取至少一个电商的商品库，得到每个电商的商品库的标签体系和每个商品的商品信息；其中，在一个电商的商品库中某个商品的商品参数是唯一的，所以每个商品参数对应的商品信息包括了每个商品的商品名称、商品价格、商品品牌等信息。

所述网络爬虫技术是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

例如，以获取电商a的商品库为例进行说明；电商a会对商品进行分类，一般是3级分类，每级类别分别用不同的标签值表示不同的类，比如在电商a商品库体系中，“手机数码-手机通讯-手机”就是一个具体的3级标签，“手机数码”是1级标签，“手机通讯”是2级标签，“手机”是3级标签，每个3级标签下面包含众多的商品，用商品参数唯一确定某一款商品，这套3级标签体系和所有的商品就构成了一棵树，通过遍历这颗树，利用网络爬虫爬取每个商品参数所在网页上的商品信息，可以得到商品名称、商品价格、商品品牌等信息，这个标签体系和这些具体的商品信息便是电商a的商品库的内容。

在本实施例中，获取多少个电商的商品库可以根据实际需求进行设置，在此不加以限定。

步骤102、通过标签体系整合算法将所述每个商品的商品信息整合成自有商品库。

网络运营商的所述根据终端的url确定商品信息的装置在得到每个电商的商品库的标签体系和每个商品的商品信息后，通过标签体系整合算法将每个电商的独立的商品库的标签体系合并，建立海量商品库，形成一个统一的自有商品库，该自有商品库存储有获得的每个商品的商品信息。

具体的，标签体系整合算法如下：

设有来自不同电商的商品分类标签体系(都是3级标签)s1、s2、……、sn，将这些标签体系合并成为一个最大最全的标签体系t，这可以由以下算法 实现。

标签体系整合算法

通过标签体系整合算法建立了来自不同电商的商品之间的联系，从而将多个电商的商品库整合成一个统一的自有商品库，这在后续对于数据的全局分析是极为重要的。

步骤103、接收终端发送来的包含有所述终端利用应用抓包技术获取所述终端上的应用所访问的统一资源定位符url的网络封包。

网络运营商的所述根据终端的url确定商品信息的装置接收所述终端利用数据业务发送来的包含有所述终端利用应用抓包技术获取所述终端上的某个电商应用所访问的url的网络封包。

下面以提取用户在终端上访问电商a的应用时产生url的网络封包为例 进行说明；终端中预先安装有itest(一款手机应用性能测试工具)工具，该itest工具可以通过网络运营商的数据业务与根据终端的url确定商品信息的装置连接；该itest工具监控电商a的应用，用户在访问电商a的应用时，对某个商品进行操作(例如收藏该商品、将该商品加入购物车、对该商品提交订单、对该商品支付等操作)，此时因对该商品进行操作而产生的url会被该itest工具记录在网络封包中；该itest工具会定期或实时利用终端的数据业务将该网络封包发送给根据终端的url确定商品信息的装置。

步骤104、利用网络封包分析技术解析所述网络封包，得到所述url的特征。

网络运营商的所述根据终端的url确定商品信息的装置利用网络封包分析技术解析由所述终端发送来的所述网络封包，得到url的特征。

具体的，根据终端的url确定商品信息的装置利用wireshark(一款网络封包分析工具)工具解析终端发送来的网络封包，解析出url并提取出该url的特征，根据url可以得到url的来源，即可以确定是哪个电商，该url的特征包括了第一电商名称、第一动作行为、第一商品参数，即得到了终端对电商a的应用中的某个商品进行的具体操作行为；其中，第一动作行为可以包括浏览行为、收藏行为、加入购物车行为、支付行为等。

步骤105、判断所述url的特征是否与所述自有商品库中的特征匹配。

在得到url的特征之后，网络运营商的根据终端的url确定商品信息的装置判断该url的特征是否与自有商品库中的特征匹配，如果不匹配，则执行步骤106；如果匹配，则执行步骤107。

所述自有商品库中的特征包括了第二电商名称、第二动作行为、第二商品参数。

具体的，所述根据终端的url确定商品信息的装置判断所述url的特征是否与所述自有商品库中的特征匹配包括如下步骤：

首先，判断所述url的特征中的第一电商名称是否与所述自有商品库的特征中的第二电商名称匹配，如果所述第一电商名称与所述第二电商名称不匹配， 则执行步骤106；

如果所述第一电商名称与所述第二电商名称匹配，然后，则判断所述url的特征中的第一动作行为是否与所述自有商品库的特征中的第二动作行为匹配，如果所述第一动作行为与所述第二动作行为不匹配，则执行步骤106；

如果所述第一动作行为与所述第二动作行为匹配，最后，则判断所述url的特征中的第一商品参数是否与所述自有商品库的特征中的第二商品参数匹配，如果所述第一商品参数与所述第二商品参数不匹配，则执行步骤106；

如果所述第一商品参数与所述第二商品参数匹配，则执行步骤107。

步骤106、结束处理。

网络运营商的所述根据终端的url确定商品信息的装置结束处理流程。

步骤107、在所述自有商品库中确定所述url的特征所对应的商品的商品信息。

网络运营商的所述根据终端的url确定商品信息的装置在所述url的特征中的第一电商名称、第一动作行为、第一商品参数与所述自有商品库的特征中的第二电商名称、第二动作行为、第二商品参数各自都匹配时，在所述自有商品库中确定所述第二商品参数所对应的商品信息，所述商品信息包括了商品名称、商品价格、商品品牌、商品分类、商品属性、商品产地等详细信息。

最终，网络运营商的所述根据终端的url确定商品信息的装置将确定出的商品信息输出，网络运营商可以及时得到用户感兴趣的商品信息，可以针对性的开展后续的数据分析和数据挖掘，提高工作效率。

本发明实施例提供的根据终端的统一资源定位符url确定商品信息的方法，网络运营商的根据终端的url确定商品信息的装置利用网络爬虫技术获取至少一个电商的商品库，得到每个商品的商品信息；通过标签体系整合算法将所述每个商品的商品信息整合成自有商品库；接收终端发送来的包含有所述终端利用应用抓包技术获取所述终端上的应用所访问的url的网络封包；利用网络封包分析技术解析所述网络封包，得到所述url的特征；判断所述url的特征是否与所述自有商品库中的特征匹配；当匹配时，在所述自有商品库中确 定所述url的特征所对应的商品的商品信息；网络运营商可以及时得到用户感兴趣的商品信息，可以针对性的开展后续的数据分析和数据挖掘，提高工作效率。

另外，还建立了来自不同电商的商品之间的联系，从而将多个电商的商品库整合成一个统一的自有商品库，这在后续对于数据全局分析和数据全局挖掘是极为重要的。

图2为本发明根据终端的统一资源定位符确定商品信息的装置实施例的结构示意图，如图2所示，该根据终端的统一资源定位符确定商品信息的装置02包括：获取模块21、整合模块22、接收模块23、解析模块24、确定模块25；其中，

所述获取模块21，用于利用网络爬虫技术获取至少一个电商的商品库，得到每个商品的商品信息；

所述整合模块22，用于通过标签体系整合算法将所述每个商品的商品信息整合成自有商品库；

所述接收模块23，用于接收终端发送来的包含有所述终端利用应用抓包技术获取所述终端上的应用所访问的统一资源定位符url的网络封包；

所述解析模块24，用于利用网络封包分析技术解析所述网络封包，得到所述url的特征；

所述确定模块25，用于在所述url的特征与所述自有商品库的特征匹配时，在所述自有商品库中确定所述url的特征所对应的商品的商品信息。

进一步的，所述装置还包括：判断模块26；其中，

所述判断模块26，用于判断所述url的特征是否与所述自有商品库中的特征匹配；

所述确定模块25，还用于在所述url的特征与所述自有商品库中的特征不匹配时，结束处理。

进一步的，所述url的特征包括：第一电商名称、第一动作行为、第一商品参数；

所述自有商品库的特征包括：第二电商名称、第二动作行为、第二商品参数。

进一步的，所述判断模块26，具体用于判断所述url的特征中的第一电商名称是否与所述自有商品库的特征中的第二电商名称匹配，如果所述第一电商名称与所述第二电商名称不匹配，则结束处理；

如果所述第一电商名称与所述第二电商名称匹配，则判断所述url的特征中的第一动作行为是否与所述自有商品库的特征中的第二动作行为匹配，如果所述第一动作行为与所述第二动作行为不匹配，则结束处理；

如果所述第一动作行为与所述第二动作行为匹配，则判断所述url的特征中的第一商品参数是否与所述自有商品库的特征中的第二商品参数匹配，如果所述第一商品参数与所述第二商品参数不匹配，则结束处理；

如果所述第一商品参数与所述第二商品参数匹配，则在所述自有商品库中确定所述第二商品参数所对应的商品信息。

进一步的，所述商品信息包括：商品名称、商品价格、商品品牌。

本实施例的装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在实际应用中，所述获取模块21、整合模块22、接收模块23、解析模块24、确定模块25、判断模块26可由位于装置上的中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)或现场可编程门阵列(fpga)等器件实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方 框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。