专利名称:号码信息数据库的建立方法及系统的制作方法
技术领域:
本发明涉及计算机技术领域,特别是涉及号码信息数据库的建立方法及系统。
背景技术:
移动通信終端(例如手机等)作为常用的通讯工具,可以极大的方便用户和他人取得联系,建立通话。然而,由于个人号码信息会通过很多渠道被他人知晓,甚至被恶意的泄露和获取,使得用户在使用移动电话的过程中,受到很多陌生号码的来电打扰。移动电话的用户在收到陌生来电显示时,在未通话之前,无法了解此联系人的通话目的。在一些情况下,陌生通话的内容可能涉及保险推销,房屋中介,甚至是恶意诈骗等, 用户在接听这些电话时,会使正常的生活受到干扰,甚至会侵害到自身的财产安全。同吋,在另ー些情况下,陌生通话的内容可能涉及到用户关心的信息,比如需要他签收的邮件已经送到,更换了新号码的朋友主动联系等,在这些情况下,陌生来电的通话内容对用户是有用,甚至是意义重大的。因此,一般情况下,用户只能冒着被干扰等风险来接听陌生来电,但对于骚扰电话或者恶意诈骗电话而言,一旦用户接听了,就使得正常生活被干扰成为既定事实,同时也给来电者留下了可乘之机,使得用户的自身财产安全遭受侵害的可能性大大上升。但如果不接听陌生来电,又会担心错过了ー些重要的信息。现有技术中存在为用户提供号码归属地等信息的应用,例如,一些手机自身或者手机软件产品,采用在预先在手机本地保存的数据库,主动地为用户标记出陌生号码的归属地信息。比如当用户收到158XXXX1078的来电提醒时,会同时获得此号码的归属地信息XX省XX市,同时,可能还会包含运营商信息中国移动、中国联通,等。或者,也可以为用户提供查询的网络入口(例如在网页中提供查询输入框等形式),用户可以在发现未接的陌生电话之后,通过在查询输入框中输入陌生号码,得到号码的归属地或者运营商信息等等。这种提供号码归属地或运营商信息的方式,虽然能够帮助用户在一定程度上识别陌生来电,但是,只能为用户提供简单的參考,并不能帮助用户准确的识别陌生来电的身份
发明内容
本发明提供了号码信息数据库的建立方法及系统,能够在用户使用移动通信終端的过程中遇到陌生的电话号码时,降低被骚扰或者自身财产安全等被侵害的概率。本发明提供了如下方案一种号码信息数据库的建立方法,包括对网络中的网页进行抓取;根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份
信息;保存所述抽取出的目标号码及其对应的使用者身份信息,建立号码信息数据库。其中,所述对网络中的网页进行抓取包括
对网络中特定站点下的网页进行抓取;所述根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份信息包括针对同一特定站点下的网页,根据预置的该特定站点对应的抽取规则,从该特定站点下的网页中抽取出目标号码及其对应的使用者身份信息。其中,还包括通过机器学习的方式获取所述特定站点对应的抽取规则。其中,所述通过机器学习的方式获取所述特定站点对应的抽取规则包括从ー特定站点中提取预置数量的网页作为训练样本; 根据预置的电话号码特征,判断训练样本网页中是否存在电话号码;如果存在,则根据训练样本网页的HTML代码创建DOM树;通过计算DOM树中各个节点之间的编辑距离,获取其中的最小循环单元;将所述最小循环单元的父节点确定为用户评论列表节点;记录DOM树中从根节点到所述用户评论列表节点的路径,生成路径抽取规则,将所述路径抽取规则确定为该特定站点对应的抽取规则。其中,所述根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份信息包括根据所述路径抽取规则,从所述站点的其他网页中抽取出目标号码,以及用户评论信息;根据所述用户评论信息中包含的特征词,确定所述目标号码对应的使用者身份信
ο其中,还包括使用正则表达式,对相同的路径抽取规则对应的网页的统ー资源定位符URL进行归ー化,生成URL抽取规则;所述根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份信息包括根据所述URL抽取规则,从所述站点的其他网页中抽取URL特征相匹配的网页;根据所述路径抽取规则,从所述相匹配的网页中抽取出目标号码,以及用户评论
信息;根据所述用户评论信息中包含的特征词,确定所述目标号码对应的使用者身份信
ο一种号码信息数据库的建立系统,包括网页抓取单元,用于对网络中的网页进行抓取;信息抽取单元,用于根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份信息;保存単元,用于保存所述抽取出的目标号码及其对应的使用者身份信息,建立号码信息数据库。其中,所述网页抓取単元包括特定站点网页抓取子単元,用于对网络中特定站点下的网页进行抓取;
所述信息抽取单元包括特定站点网页信息抽取子単元,用于针对同一特定站点下的网页,根据预置的该特定站点对应的抽取规则,从该特定站点下的网页中抽取出目标号码及其对应的使用者身份信息。其中,还包括机器学习单元,用于通过机器学习的方式获取所述特定站点对应的抽取规则。其中,所述机器学习单元包括训练样本获取子単元,用于从ー特定站点中提取预置数量的网页作为训练样本;判断子単元,用于根据预置的电话号码特征,判断训练样本网页中是否存在电话号码; DOM树创建子单元,用于如果存在,则根据训练样本网页的HTML代码创建DOM树;计算子単元,用于通过计算DOM树中各个节点之间的编辑距离,获取其中的最小循环单元;节点确定子单元,用于将所述最小循环单元的父节点确定为用户评论列表节点;路径记录子单元,用于记录DOM树中从根节点到所述用户评论列表节点的路径,生成路径抽取规则,将所述路径抽取规则确定为该特定站点对应的抽取规则。其中,所述信息抽取单元包括第一用户评论信息抽取子単元,用于根据所述路径抽取规则,从所述站点的其他网页中抽取出目标号码,以及用户评论信息;第一信息确定子単元,用于根据所述用户评论信息中包含的特征词,确定所述目标号码对应的使用者身份信息。其中,还包括URL抽取规则生成単元,用于使用正则表达式,对相同的路径抽取规则对应的网页的统ー资源定位符URL进行归一化,生成URL抽取规则;所述信息抽取单元包括URL匹配子単元,用于根据所述URL抽取规则,从所述站点的其他网页中抽取URL特征相匹配的网页;第二用户评论信息抽取子単元,用于根据所述路径抽取规则,从所述相匹配的网页中抽取出目标号码,以及用户评论信息;第二信息确定子単元,用于根据所述用户评论信息中包含的特征词,确定所述目标号码对应的使用者身份信息。根据本发明提供的具体实施例,本发明公开了以下技术效果通过本发明,通过从互联网的网页中进行信息提取,可以确定出各个号码分别对应的使用者身份信息,并进行保存,以此建立起号码信息数据库。这样,就可以为帮助用户准确识别陌生来电的身份提供基础。例如,可以对用户使用通信终端过程中的应用场景进行监测,如果发现用户接收到了陌生来电,或者正在拨打陌生人的号码,则可以通过查询该号码信息数据库,将陌生号码对应的使用者身份信息显示给用户,这样,就可以使得用户对陌生号码对应的使用者身份有比较准确地了解,降低被骚扰或者自身财产安全等被侵害的概率。或者,也可以为用户提供可以查询的网络入口,例如,在网页中提供捜索入口,当用户发现某未接的陌生来电时,在决定是否要回电话之前,可以首先通过该搜索入口查询该号码对应的使用者身份信息,在查询到之后,再确定是否回电话,这样,同样可以降低用户财产安全等被侵害的概率。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图I是本发明实施例提供的方法的流程图;图2是本发明实施例提供的方法中一柚取结果示意图;图3是本发明实施例提供的方法中抽取结果对应的页面区域示意图;图4是本发明实施例提供的方法中第一用户界面示意图;图5是本发明实施例提供的方法中第二用户界面示意图;图6是本发明实施例提供的系统的示 意图。
具体实施例方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。參见图1,本发明实施例提供的号码信息数据库的建立方法包括以下步骤SlOl :对网络中的网页进行抓取;S102 :根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份信息;S103:保存所述抽取出的目标号码及其对应的使用者身份信息,建立号码信息数据库。首先需要说明的是,在本发明实施例中,陌生号码对应的使用者身份信息是指,陌生号码的拥有者具有怎样的身份,例如,是否为骗子、房产中介、保险推销、快递等等,总之通过这样的使用者身份信息,用户可以分辨出是否要接听ー个陌生来电,或者拨打ー个陌生电话时是否安全。由于互联网中包含各种各样的网页,其中包含的信息也是异常丰富,甚至还有些网页是专门用于收集诈骗电话等信息供用户查询的,因此,可以利用搜索引擎技术抓取网页中的目标号码(也即本发明实施例中涉及的诈骗电话、中介电话、保险销售电话等等,当然,也可以包括其他正常的电话号码)及对应的使用者身份信息,然后进行保存。具体实现时,针对各类身份,可以分别设定ー些搜索的范围,然后在具体的捜索范围内,根据目标电话在网页中的特征,从网页中抽取出目标电话及对应的使用者身份信息。具体实现时,可以通过具体的站点来进行搜索范围的设定。例如,对于诈骗电话,捜索的范围可以覆盖ー些主要用于收录诈骗电话信息的站点,这些站点中收录了很多带有网友评论的号码信息,比如指定某个电话为响一声就挂、吸费电话、诈骗电话等等。因此,可以根据信息抽取规则,从这些站点中抽取出目标号码及其对应的使用者身份信息。又如,对应房产中介电话,捜索的范围可以覆盖ー些提供房屋买卖、租赁等服务信息的站点,在这些站点中,信息发布者一般会提供自己的联系电话,并且站点会对中介及个人进行分类,在一些中介冒充个人发布信息的情况下,站点允许用户对其发现的房产中介电话进行标记,等等。因此,同样可以根据中介电话在网页中具有的规则,从网页中抽取出目标电话及对应的使用者身份信息。其中,对于使用的抽取规则,可以是预先由人为等方式设置,但在本发明实施例中,还可以使用机器学习的方法来生成抽取规则。具体实现时,对于各类目标电话,在选定 捜索范围内的站点之后,可以首先分别针对各个选中的站点,选出ー些网页作为训练样本,由机器学习模块对这些网页进行分析,然后从中总结出抽取规则。也即,针对某ー类目标电话,在选中了几个站点之后,分别针对每个站点会学习出抽取规则,然后分别用各自的抽取规则到站点内的网页中抽取出号码及其对应的使用者身份信息。例如,对于诈骗类的号码,搜索范围内的站点包括搜电话(http: I Iwm.soudianhua. com/)、哪个打的(http://www. nagedade. com/)、防骗数据库(http://www. fps jk. com)、查号 ロ巴(http: / / www. chahaoba. com)、手机号码归属地查询(http: / /www. 096. me/)、无地遁形(http://www. unxing. com/)、我要搜号(http://www. 51sh. cc/)等等。由于这些网站的页面中一般会包含用户到手机号的评论信息,从评论信息中就能抽取出号码对应的使用者身份信息。因此,抽取规则可以根据评论信息来设置。在机器学习抽取规则时,相当于是需要通过程序去发现作为训练样本的网页中是否存在用户评论,获取到用户评论的抽取规则。具体实现时,可以基于DOM树来学习抽取规则。其中,DOM是专门适用于HTML/XHTML的文档对象模型,可以将DOM理解为网页的API。它把所有的数据以父子的节点层次结构装入内存构成ー棵树,这些节点的类型可以是元素、文本、属性、注释或其它。它允许开发者读取、创建、删除和编辑HTML数据。因此,通过分析DOM树中的各个节点,就可以从中获取到想要的信息。对于本发明实施例中想要获取的对号码的用户评论而言,用户评论列表本身对应着DOM树中的ー个节点,并且同一个站点下的各个网页的结构会比较相似,甚至可能是采用一种或者几种结构,也就是说,从根节点到用户评论列表节点的路径可能是相同的,或者可能分为几种情况,因此,在机器学习的过程中,就可以从作为训练样本的网页中找出从根节点到用户评论列表节点的路径,以此作为提取规则。在机器学习的过程中,如何从作为训练样本的网页中发现用户评论列表节点是比较关键的问题,下面对此进行介绍。由于同一页面中一般都是针对同一号码的用户评论,并且评论列表中一般可能会有多条,各条评论信息在页面的DOM树中,是同一父节点(该父节点即为评论列表节点)下的各个子节点,并且各个子节点之间的相似度比较高(例如索引、标签名、属性名等都会比较相似)。因此,就可以基于这ー特点,来查找到评论列表节点。具体实现时,就可以首先针对ー个站点中的指定网页,根据号码的特征(例如,一般一个完整的电话号码的位数可能是固定的,如,手机号码一般是11位,固定电话号码一般是7位或8位,如果加上服务区号,则固定电话也一般为11位,此外还有IP业务号码,但一般也有固定的编码规则,如,一般都是五位固定的数字,后面跟固定位数的电话号码等等),判断页面中是否包含电话号码;如果包含,则根据该页面的HTML代码创建该页面的DOM树,并通过基于编辑距离的方式计算各个节点之间的相似度,找到其中包含的最小重复单元,每ー个最小重复单元就相当于对应着一条用户评论,然后就可以将这些最小重复单元对应的共同父节点确定为用户评论节点,记录下从根节点到该用户评论节点的路径,就可以将该路径作为这ー类网页的ー种规则模板,也即路径抽取规则。当然,如前文所述,同一站点下的各个网页可能会具有几种(一般不会太多)不同的结构,在每种结构下对应的从根节点到用户评论列表节点的路径也不尽相同,因此,针对不同的页面结构,可以分别学习出不同的路径抽取规则,分别进行存储即可。在通过机器学习的方式获取到上述路径抽取规则之后,就可以在同一站点下的其他网页中,利用上述路径抽取规则抽取出网页中包含的目标号码以及使用者身份信息。具体实现时,可以针对同一站点下的各个网页,分别使用路径抽取规则抽取出用户评论列表节点下的具体信息内容。例如,使用路径抽取规则抽取到的用户评论信息如图2所示,对应的页面中的区域如图3所示。进而,根据抽取出的用户评论信息,可以判断其中是否存在预置的检测特征词(例如诈骗、骚扰等等),如果包含,就可以提取出来,进而就可以根据提取出的特征词,来确定目标号码对应的使用者身份信息。当然,如前文所述,同一站点下可能包括多种路径抽取规则,此时,可以使用个各种路径抽取规则进行轮询,直到成功抽取出所需イ目息为止。另外,在其他实施例中,在提取从根节点到用户评论列表节点的路径作为抽取规则的同时,还可以对符合上述特征的网页的URL提取出来,井根据各个URL中存在的共性部分,使用正则表达式对URL进行归一化,得到URL的提取规则。例如,针对形如以下所示的URL http://www. 5lsh. cc/index, php type = code&sky = 18647777777&V = vh,归一化之后可以得到http://www. 5lsh. cc/index. php\ type = code&sky = \d+&v = vh$。需要说明的是,在进行上述归ー化时,需要将相同网页结构的网页的U RL进行归一化,也就是说,在提取从根节点到用户评论列表节点的路径时,在同一站点下,有可能提取出多种,此时,同一种下的网页URL可以进行归ー化,得到URL抽取规则,并且可以与提取到的路径抽取规则相对应。在通过机器学习得到上述路径抽取规则以及URL抽取规则之后,就可以使用捜索引擎技术抓取到同一站点下的其他网页,然后,使用这种规则到这些网页中进行匹配抽取。具体的,首先可以利用URL抽取规则抽取到匹配的网页,然后再利用对应的路径抽取规则,从网页中抽取出其中包含的号码,以及用户评论列表下的各条评论信息。然后,通过对抽取到的用户评论信息中包含的关键词,即可获取到号码对应的可能的使用者身份信息。例如,针对某号码131****2751,从网页中抽取出的用户评论信息中包括“骚扰”、“只响ー声”、“胡乱骂人”等特征词,则可以根据这些信息最終将该号码对应的使用者身份信息确定为“骚扰”,等等。这种使用路径抽取规则以及URL抽取规则进行抽取的方式,相当于首先利用URL抽取规则对站点下的网页进行过滤,然后再使用路径抽取规则从剰余的网页中抽取需要的信息,因此,可以降低计算量,提高效率。针对其他目标站点,也可以分别进行上述处理,最終就可以从众多的网页中抽取出大量的号码及其对应的使用者身份信息,保存这些信息即可创建起号码信息数据库,以供查询使用。
当然,除了上述网页中包含有用户对电话号码的评论信息的站点之外,还有ー些站点的网页中可能会包含针对某号码非常明显的使用者身份信息。例如,在房产买卖或租赁的网站中,可能会规定用户在发布消息时,提供自己的身份信息,或者需要用户在自己所属的身份类别中进行发布,等等。也就是说,在一个页面中显示发布者的电话号码时,会同时显示出发布者的身份信息。例如,某用户发布出租房屋的消息时,如果是中介公司的职员,则在其信息发布页面中显示该用户的电话号码的同时,会有明显的“中介”字样,甚至还可能提供所属的中介公司,等等。针对这种情况,就可以直接在网页中提取其中包含的电话号码及其对应的使用者身份信息。具体实现吋,同样可以预先设置捜索的覆盖范围,例如在抽取中介电话时,可以使得捜索范围覆盖ー些常用的提供房屋买卖、租赁服务的站点,例如,搜房网soufun. com、搜狐焦点51f. com、安居客anjuke. com等等。然后使用搜索引擎技术抓取这些站点下的所有网页,然后根据电话号码的特征从网页中提取出电话号码,同时提取出网页中包含的特征词。最終,就可以根据提取出的特征词,来确定目标号码对应的使用者身份信息。总之,在本发明实施例中,通过从网页中抽取出的信息,可以确定出各个号码分别对应的使用者身份信息,并进行保存,以此建立起号码信息数据库。这样,就可以为帮助用户准确识别陌生来电的身份提供基础。例如,可以对用户使用通信终端过程中的应用场景进行监测,如果发现用户接收到了陌生来电,或者正在拨打陌生人的号码,则可以通过查询该号码信息数据库,将陌生号码对应的使用者身份信息显示给用户,这样,就可以使得用户对陌生号码对应的使用者身份有所了解,降低被骚扰或者自身财产安全等被侵害的概率。例如,可以在手机来电界面展现给用户相关号码的使用者身份信息。具体的,当客户端监测到用户接到一个陌生号码的来电时,则利用系统相关API获取该陌生号码,并利用Wifi网络等,将该号码以字符串等形式封装在url中,使用http get请求提交到服务器端进行查询,服务器端查询服务模块收到该请求后,在号码信息数据库中查询该号码的身份信息,并返回给客户端,客户端调用显示模块在系统来电界面显示信息,就能够有效的提示用户决定是否接听该来电。如图4所示,当用户接收到“ 146****0876”的来电时,就可以将使用者身份信息“北京市人才市场”显示在用户界面中。又如,可以在手机拨号界面根据用户所拨号码展现相关的使用者身份信息。具体的,当客户端监测到用户在手机拨号界面输入号码时,与监测到陌生来电时类似,向服务器进行查询并获取用户所输号码的使用者身份信息,然后显示给用户。如图5所示当用户呼叫“010-62793650”时,可以将该号码的使用者身份信息“招商银行北京分行清华园支行”显示在用户界面中。这里需要说明的是,具体在为用户提供陌生号码的使用者身份信息时,并不限于上述文本的形式,例如,还可以是图片、音频、视频等。或者,也可以为用户提供可以查询的网络入口,例如,在网页中提供捜索入口,当用户发现某未接的陌生来电时,在决定是否要回电话之前,可以首先通过该搜索入口查询该号码对应的使用者身份信息,在查询到之后,再确定是否回电话,这样,同样可以降低用户财产安全等被侵害的概率。另外,对于这种未接的陌生来电的情况,也可以由应用程序在响铃过程中(当然也可以是在响铃结束之后),查询本发明实施例中的数据库,将获取到的使用者身份信息记录下来并保存在用户本地,这样,用户进入通话记录界面时,就可以显示给用户,也就是说,用户可以在通话记录的界面中看到未接来电的陌生号码的使用者身份信息。与本发明实施例提供的号码信息数据库的建立方法相对应,本发明实施例还提供了一种号码信息数据库的建立系统,參见图6,该系统包括网页抓取单元601,用于对网络中的网页进行抓取;信息抽取单元602,用于根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份信息;保存単元603,用于保存所述抽取出的目标号码及其对应的使用者身份信息,建立号码信息数据库。具体实现时,网页抓取单元601可以包括特定站点网页抓取子単元,用于对网络中特定站点下的网页进行抓取;相应的,信息抽取单元602可以包括特定站点网页信息抽取子単元,用于针对同一特定站点下的网页,根据预置的该特定站点对应的抽取规则,从该特定站点下的网页中抽取出目标号码及其对应的使用者身份信息。为了提高抽取的效率以及准确度,该系统还可以包括机器学习单元,用于通过机器学习的方式获取所述特定站点对应的抽取规则。具体实现时,所述机器学习单元具体可以包括训练样本获取子単元,用于从ー特定站点中提取预置数量的网页作为训练样本;判断子単元,用于根据预置的电话号码特征,判断训练样本网页中是否存在电话号码;DOM树创建子单元,用于如果存在,则根据训练样本网页的HTML代码创建DOM树;计算子単元,用于通过计算DOM树中各个节点之间的编辑距离,获取其中的最小循环单元;节点确定子单元,用于将所述最小循环单元的父节点确定为用户评论列表节点;路径记录子单元,用于记录DOM树中从根节点到所述用户评论列表节点的路径,生成路径抽取规则,将所述路径抽取规则确定为该特定站点对应的抽取规则。 其中,信息抽取单元602可以包括第一用户评论信息抽取子単元,用于根据所述路径抽取规则,从所述站点的其他网页中抽取出目标号码,以及用户评论信息;第一信息确定子単元,用于根据所述用户评论信息中包含的特征词,确定所述目标号码对应的使用者身份信息。或者,为了提高效率,该系统还可以包括URL抽取规则生成単元,用于使用正则表达式,对相同的路径抽取规则对应的网页的统ー资源定位符URL进行归一化,生成URL抽取规则;此时,信息抽取单元602可以包括URL匹配子単元,用于根据所述URL抽取规则,从所述站点的其他网页中抽取URL特征相匹配的网页;第二用户评论信息抽取子単元,用于根据所述路径抽取规则,从所述相匹配的网页中抽取出目标号码,以及用户评论信息;
第二信息确定子単元,用于根据所述用户评论信息中包含的特征词,确定所述目标号码对应的使用者身份信息。总之,在本发明实施例提供的号码信息数据库建立系统中,通过从互联网的网页中进行信息提取,可以确定出各个号码分别对应的使用者身份信息,并进行保存,以此建立起号码信息数据库。这样,就可以为帮助用户准确识别陌生来电的身份提供基础。例如,可以对用户使用通信终端过程中的应用场景进行监测,如果发现用户接收到了陌生来电,或者正在拨打陌生人的号码,则可以通过查询该号码信息数据库,将陌生号码对应的使用者身份信息显示给用户,这样,就可以使得用户对陌生号码对应的使用者身份有所了解,降低被骚扰或者自身财产安全等被侵害的概率。或者,也可以为用户提供可以查询的网络入ロ,例如,在网页中提供捜索入口,当用户发现某未接的陌生来电时,在决定是否要回电话之前,可以首先通过该搜索入口查询该号码对应的使用者身份信息,在查询到之后,再确定是否回电话,这样,同样可以降低用户财产安全等被侵害的概率。通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如R0M/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相參见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处參见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的単元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理単元,即可以位于ー个地方,或者也可以分布到多个网络単元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。以上对本发明所提供的号码信息数据库的建立方法及系统,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思 想,在具体实施方式
及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
权利要求
1.一种号码信息数据库的建立方法,其特征在于,包括对网络中的网页进行抓取;根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份信保存所述抽取出的目标号码及其对应的使用者身份信息,建立号码信息数据库。
2.根据权利要求1所述的方法,其特征在于,所述对网络中的网页进行抓取包括对网络中特定站点下的网页进行抓取;所述根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份 信息包括针对同一特定站点下的网页,根据预置的该特定站点对应的抽取规则,从该特定站点 下的网页中抽取出目标号码及其对应的使用者身份信息。
3.根据权利要求2所述的方法,其特征在于,还包括通过机器学习的方式获取所述特定站点对应的抽取规则。
4.根据权利要求3所述的方法,其特征在于,所述通过机器学习的方式获取所述特定 站点对应的抽取规则包括从一特定站点中提取预置数量的网页作为训练样本;根据预置的电话号码特征,判断训练样本网页中是否存在电话号码;如果存在,则根据训练样本网页的HTML代码创建D0M树;通过计算D0M树中各个节点之间的编辑距离,获取其中的最小循环单元;将所述最小循环单元的父节点确定为用户评论列表节点;记录D0M树中从根节点到所述用户评论列表节点的路径,生成路径抽取规则,将所述 路径抽取规则确定为该特定站点对应的抽取规则。
5.根据权利要求4所述的方法,其特征在于,所述根据预置的抽取规则从抓取到的网 页中抽取出目标号码及其对应的使用者身份信息包括根据所述路径抽取规则,从所述站点的其他网页中抽取出目标号码,以及用户评论信根据所述用户评论信息中包含的特征词,确定所述目标号码对应的使用者身份信息。
6.根据权利要求4所述的方法,其特征在于,还包括使用正则表达式,对相同的路径抽取规则对应的网页的统一资源定位符URL进行归一 化,生成URL抽取规则;所述根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份 信息包括根据所述URL抽取规则,从所述站点的其他网页中抽取URL特征相匹配的网页;根据所述路径抽取规则,从所述相匹配的网页中抽取出目标号码,以及用户评论信根据所述用户评论信息中包含的特征词,确定所述目标号码对应的使用者身份信息。
7.一种号码信息数据库的建立系统,其特征在于,包括网页抓取单元,用于对网络中的网页进行抓取;信息抽取单元,用于根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份信息;保存单元,用于保存所述抽取出的目标号码及其对应的使用者身份信息,建立号码信 息数据库。
8.根据权利要求7所述的系统,其特征在于,所述网页抓取单元包括特定站点网页抓取子单元,用于对网络中特定站点下的网页进行抓取;所述信息抽取单元包括特定站点网页信息抽取子单元,用于针对同一特定站点下的网页,根据预置的该特定 站点对应的抽取规则,从该特定站点下的网页中抽取出目标号码及其对应的使用者身份信肩、O
9.根据权利要求8所述的系统,其特征在于,还包括机器学习单元,用于通过机器学习的方式获取所述特定站点对应的抽取规则。
10.根据权利要求9所述的系统,其特征在于,所述机器学习单元包括训练样本获取子单元,用于从一特定站点中提取预置数量的网页作为训练样本;判断子单元,用于根据预置的电话号码特征,判断训练样本网页中是否存在电话号码;D0M树创建子单元,用于如果存在,则根据训练样本网页的HTML代码创建D0M树; 计算子单元,用于通过计算D0M树中各个节点之间的编辑距离,获取其中的最小循环 单元;节点确定子单元,用于将所述最小循环单元的父节点确定为用户评论列表节点;路径记录子单元,用于记录D0M树中从根节点到所述用户评论列表节点的路径,生成 路径抽取规则,将所述路径抽取规则确定为该特定站点对应的抽取规则。
11.根据权利要求10所述的系统,其特征在于,所述信息抽取单元包括第一用户评论信息抽取子单元,用于根据所述路径抽取规则,从所述站点的其他网页 中抽取出目标号码,以及用户评论信息;第一信息确定子单元,用于根据所述用户评论信息中包含的特征词,确定所述目标号 码对应的使用者身份信息。
12.根据权利要求10所述的系统,其特征在于,还包括URL抽取规则生成单元,用于使用正则表达式,对相同的路径抽取规则对应的网页的统 一资源定位符URL进行归一化,生成URL抽取规则;所述信息抽取单元包括URL匹配子单元,用于根据所述URL抽取规则,从所述站点的其他网页中抽取URL特征 相匹配的网页;第二用户评论信息抽取子单元,用于根据所述路径抽取规则,从所述相匹配的网页中 抽取出目标号码,以及用户评论信息;第二信息确定子单元,用于根据所述用户评论信息中包含的特征词,确定所述目标号 码对应的使用者身份信息。
全文摘要
本发明公开了号码信息数据库的建立方法及系统,其中,所述方法包括对网络中的网页进行抓取;根据预置的抽取规则从抓取到的网页中抽取出目标号码及其对应的使用者身份信息;保存所述抽取出的目标号码及其对应的使用者身份信息,建立号码信息数据库。通过本发明,能够在用户使用移动通信终端的过程中遇到陌生的电话号码时,降低被骚扰或者自身财产安全等被侵害的概率。
文档编号G06F17/30GK102663105SQ20121011015
公开日2012年9月12日 申请日期2012年4月13日 优先权日2012年4月13日
发明者孟二利 申请人:北京搜狗科技发展有限公司