RESTful Web服务的自动化语义标注系统和方法
【专利摘要】一种RESTful?Web服务的自动化语义标注系统和方法，该系统设有两种组成构件：作为系统的核心构件、负责网页的自动语义分析和标注的整个处理过程的网页处理构件和负责采用机器学习方法提取网页特征和特征分类的特征处理构件。网页处理构件设有四个模块：预处理模块、网页分块模块、特征匹配模块和自动标注模块，特征处理构件设有三个模块：特征提取模块、特征分类模块和网页特征库。本发明较好地解决了目前只能人工标注、无法解决网上现存的大量文档急需实时标注的难题，可以有效处理海量的RESTful?Web服务页面的标注，同时本发明提出的基于网页特征库的算法可以切实保证服务标注的准确率。
【专利说明】RESTfu I Web服务的自动化语义标注系统和方法
【技术领域】
[0001]本发明涉及一种RESTful Web服务的相关技术，确切地说，涉及一种在RESTfulWeb服务页面分析和结构标注的基础上，提出了一种RESTful Web服务的自动化语义标注系统及其对RESTful Web服务页面自动分析和标注的方法，属于互联网的信息提取【技术领域】。
【背景技术】
[0002]随着互联网上Web应用的增多，越来越多的Web服务被企业发布到互联网上，Web服务在企业之间开发基于构件的松散耦合系统中起着重要作用。然而，传统的基于XML的简单对象访问协议SOAP (Simple Object Access Protocol)和Web服务描述语言WSDL(Web Services Description Language)的Web服务在应用范围和规模上的优势现在都在逐渐下降，有被互联网上新增的RESTful Web服务逐步取代的发展趋势。
[0003]表不性状态转移REST的英文全称为！Representational State Transfer,这个概念来源于 2000 年的 Roy Fielding 博士论文《Architectural Styles and the Design ofNetwork-based Software Architectures〉〉。
[0004]RESTful Web服务遵循表示性状态转移REST的架构设计风格:REST定义了一组体系风格架构，以供根据这些风格设计以系统资源为中心的WEB服务，包括:使用不同语言编写的客户端、如何通过HTTP处理和传输资源状态等。这种Web服务在统一资源定位符URL、即网页地址链接的设计和协议的选择和消息的传输上，都比传统的WSDL的Web服务要简单得多。许多Web网站,例如Google、Amazon、Facebook、Flickr和Twitter等都提供了容易使用的、且免费访问其资源的RESTful Web服务及APIs。
[0005]ProgrammableWeb.com的统计表明:RESTful Web服务在所有Web服务中所占的比例已经达到70%，RESTful Web服务具有无固定描述格式、非结构化、采用HTML技术等特性，其页面的描述信息难以被机器自动识别和处理。而且，各个服务供应商所发布的RESTfulWeb服务页面的格式、内容、组织形式都不尽相同。随着RESTful Web服务的日渐增多，使用服务搜索引擎对互联网上的RESTful Web服务进行自动识别、获取和分析处理也是大势所趋。但是，直到目前为止，仍然没有一种解决办法能够较好地处理现实中数量庞大、半结构化的RESTful Web服务文档。
[0006]服务搜索功能的一个目标，就是能够为数量庞大的RESTful Web服务文档提供精确的搜索功能。实现这个目标的前提是从服务文档中提取出重要的描述信息。然而能否精确提取文档中的描述信息，取决于对文档结构的分析和标注是否准确。
[0007]目前，国内外对RESTfulWeb服务标注方法的研究都停留在手动标注上，虽然该方式的精确度尚满意；但是，其功效实在太慢，无法对现实中大量已有的RESTful Web服务页面完成实时标注。因此，RESTful Web服务页面标注的自动化是一个亟待解决的问题。
[0008]目前，有两种现有技术与网络服务页面的标注相关，其实现方式简介如下:
[0009]方案一:由RESTful Web服务的开发者手动标注页面。其实施方案是由服务开发者选用一种标注语言，目前主流的标注语言包括:描述RESTful服务的标注语言hRESTS、在网页中添加语义信息的标注语言MicroData和在网页中添加语义信息的标注语言RDFa等，具体方法是:先按照要求组织描述文档的格式，然后进行标注。
[0010]方案二:通过可视化界面对已有文档进行手动标注。其实施方案是用浏览器生成网页，再由人工对网页结构和内容进行识别和手动标注。
[0011]上述两种现有技术都可以精确地标注出文档结构，其中方案一比方案二更为优胜的地方是:标注和文档组织都是由服务开发者完成的，这意味着文档标注的准确性和完整性都能够得到最大的保障。而方案二只能够根据已有的文档结构进行标注。但是，考虑到手动标注的效率非常低，上述两个方案都没有办法解决网上现存的大量文档的标注问题，无法进入真正的实际使用。
【发明内容】
[0012]有鉴于此，本发明的目的是提供一种面向RESTful Web服务的自动化语义标注系统及其对RESTful Web服务页面自动语义分析和标注的方法。本发明作为首创的RESTfulWeb服务页面的自动化标注系统，较好地解决了目前只能人工标注、无法解决网上现存的大量文档急需实时标注的难题，可以有效处理海量的RESTful Web服务页面，同时提出的基于网页特征库的算法可以切实保证服务标注的准确率。
[0013]为了达到上述目的，本发明提供了一种RESTful Web服务的自动化语义标注系统，其特征在于:该系统设有下述两种组成构件:
[0014]网页处理构件，作为系统的核心构件，负责网页的自动语义分析和标注的整个处理过程:从磁盘中读取RESTful Web服务源网页，通过预处理操作对网页中的文档结构进行统一分析，并根据文档结构的分析结果将文档划分为语义上相互独立的多个文本块，再分别提取每个文本块的文本内容和提取每个文本内容中的特征项，组成文本块的特征向量，再扫描网页特征库进行特征匹配，识别各个文本块所表述的信息，以供在网页中标注；该构件设有下述四个模块:预处理模块、网页分块模块、特征匹配模块和自动标注模块；
[0015]特征处理构件，负责采用机器学习方法提取网页特征和特征分类，采用聚类算法计算每个文本块与特征向量的相关程度，将网页的文本块根据网页特征的相关程度划分到不同的语义类别中；再计算特征项的语义相似度，根据文本块类的语义相关程度进行二次分类，得到语义上相互独立的多个类别后，从中选取携带有用信息的语义类别，并生成这些语义类别的特征向量，存储于网页特征库中；该构件设有顺序连接的下述三个模块:特征提取模块、特征分类模块和网页特征库。
[0016]为了达到上述目的，本发明还提供了一种采用本发明系统对RESTful Web服务页面自动分析和标注的方法，其特征在于:所述方法包括下述操作步骤:
[0017](I)训练阶段:因系统启动时，网页特征库为空，故首先进入训练阶段，生成语义类别的特征向量，作为RESTful Web服务页面的分析依据；
[0018](2)分析标注阶段:系统读取新增添的RESTful Web服务页面，经过预处理、分块和特征提取的操作，得出该网页的文本块特征向量，再执行特征匹配操作，识别出文本块的语义，并使用包括hRESTS、MicroData和MicroWSMO的标注语言进行标注。
[0019]本发明与现有技术相比较的创新技术优点是:[0020]前述的两种现有技术“由RESTful Web服务的开发者手动标注页面”和“通过可视化界面对已有文档进行手动标注”都属于以手动方式进行人工标注，其工作效率非常低，根本无法应用于网络上现有的大量RESTful Web服务页面。本发明首创提出RESTful Web服务页面的自动化标注系统及其标注方法，可以有效地处理海量的RESTful Web服务页面，同时所提出的基于网页特征库的算法可以切实保证服务标注的准确率。因此，本发明具有很好的推广应用前景。
【专利附图】
【附图说明】
[0021]图1是本发明RESTful Web服务的自动化语义标注系统结构组成图。
[0022]图2是本发明自动化语义标注系统工作方法的训练阶段操作流程图。
[0023]图3是本发明自动化语义标注系统工作方法的分析标注阶段操作流程图。
[0024]图4是图2中训练阶段的步骤2的具体操作内容流程图。
[0025]图5是图2中训练阶段的步骤2B分块操作的一个实施例的操作流程容图。
[0026]图6是图2中训练阶段的步骤3的具体操作内容流程图。
[0027]图7是图2中训练阶段的步骤5的具体操作内容流程图。
[0028]图8是图3中分析标注阶段的步骤4特征匹配操作流程图。
[0029]图9是图3中分析标注阶段的步骤5网页标注操作流程图。
【具体实施方式】
[0030]为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
[0031]参见图1，先介绍本发明面向RESTful Web服务的自动化语义标注系统的结构组成。该系统设有两种构件:网页处理构件和特征处理构件，其结构组成与功效介绍如下:
[0032](一)网页处理构件是系统的核心构件，负责网页的自动语义分析和标注的整个处理过程:从磁盘中读取RESTful Web服务源网页，通过预处理操作对网页中的文档结构进行统一分析，并根据文档结构的分析结果，将文档划分为语义上相互独立的多个文本块，再分别提取每个文本块的文本内容和提取每个文本内容中的特征项，组成文本块的特征向量，再扫描网页特征库进行特征匹配，识别各个文本块所表述的信息，以供在网页中标注。该构件设有下述四个模块:预处理模块、网页分块模块、特征匹配模块和自动标注模块。各模块分别具有下述功能:
[0033]预处理模块:负责对源网页进行预处理操作:读取源网页和生成网页的文档对象模型D0M(Document Object Model),它是以树形结构表不超文本标记语言HTML(HyperTextMarkup Language)文档，并对该网页的DOM执行包括删除多重嵌套和非文本节点的操作，只保留文本节点后，再检测DOM节点的嵌套结构，尤其是标题节点是否嵌套在多个DIV节点中，若是，则将标题节点从嵌套中提取出来，以保证标题节点与其兄弟文本节点在节点树的同一层中。然后将完成检测与预处理的网页DOM交给网页分块模块。
[0034]网页分块模块:负责根据网页文档结构中各个标题节点的位置划分语义上相互独立的文本块，具体处理过程为:从预处理模块读取完成预处理的网页D0M，从根节点开始遍历整个DOM树，当读取到标题节点时，将标题节点后的兄弟节点和标题节点本身都包装到一个分块DIV (Division)节点中，并作为一个文本块；然后根据标题节点的嵌套关系将文本块分成不同的嵌套等级，再将分块后的DOM交给特征处理构件中的特征提取模块。
[0035]特征匹配模块:负责网页文本块的特征匹配:从网页特征库中读取各个语义类别的特征向量，并与从特征提取模块获取的各个文本块特征向量进行比较，为每个语义类别选取匹配程度最高的文本块后，将匹配结果交给自动标注模块。
[0036]自动标注模块:负责对源网页进行语义标注:从特征匹配模块获取匹配结果，采用包括hRESTS、MicroData和MicroWSMO等标注语言(也可根据需要选用其他标注语言)在源网页中标注文本块的语义，并输出带有语义标注的RESTful Web服务页面。
[0037](二)特征处理构件，负责采用机器学习方法提取网页特征和特征分类，采用聚类算法计算每个文本块与特征向量的相关程度，将网页的文本块根据网页特征的相关程度划分到不同的语义类别中；再计算特征项的语义相似度，根据文本块类的语义相关程度进行二次分类，得到语义上相互独立的多个类别后，从中选取携带有用信息的语义类别，并生成这些语义类别的特征向量，存储于网页特征库中。该构件设有顺序连接的下述三个模块:特征提取模块、特征分类模块和网页特征库，它的各个模块分别具有下述功能:
[0038]特征提取模块:负责分析文本块的文本内容，提取文本块的特征项，组成文本块的特征向量:从网页分块模块获取分块后的DOM J^DOM中各个文本块的文本执行包括分词、删除停用词、数字等无用字词和统计词频的操作，再采用特征提取算法从中选取最能确切表示该文本块特征的多个词作为特征项，组成各个文本块的特征向量；以供在系统的训练阶段，将特征提取结果交给特征分类模块处理；或者在系统的分析标注阶段，将特征提取结果交给特征匹配模块处理。
[0039]特征分类模块:负责将文本块划分为若干个语义类别:从特征提取模块获取文本块的特征向量，采用聚类算法将文本块依据特征项的相关程度进行初步分类，得到若干个文本块类；再计算这些文本块类的特征项的语义相似度，根据语义相似度的计算结果对特征项进行二次分类，并将语义相关程度高的文本块类聚合成一个语义类别，最后将得到的若干个语义类别的特征向量存入网`页特征库中。
[0040]网页特征库，用于存储特征分类模块生成的语义类别的特征向量的集合，并通过向量计算得出文本块与每个语义类别的相关程度，以供选取计算结果数值最大、且超过设定阈值的语义类别作为匹配的语义类别。
[0041]本发明RESTful Web服务页面的自动分析和标注系统对RESTful Web服务页面进行自动分析和标注的方法，包括下述两个操作阶段:
[0042](I)训练阶段:因系统启动时，网页特征库为空，故首先进入训练阶段:使用训练样本集合对系统进行训练，系统通过机器学习从训练样本中自动提取出文本块语义类别的特征向量，再生成网页特征库的过程，用作RESTful Web服务页面的分析依据。
[0043](2)分析标注阶段:是系统的实际运行过程，对现实中获取的RESTful Web服务页面进行自动化分析:系统读取新增添的RESTful Web服务页面，经过预处理、分块和特征提取的操作，得出该网页的文本块特征向量，再执行特征匹配操作，识别出文本块的语义，并使用包括hRESTS、MicroData和MicroWSMO的标注语言进行标注。
[0044]下面结合附图，分别具体介绍上述两个阶段的具体操作步骤:
[0045]参见图3，介绍训练阶段的下述五个操作步骤:[0046](11)预处理模块读取训练网页集合，并对每个网页进行预处理操作:先提取网页主干内容，以便保留原结构的基础；再丢弃所有的非文本节点和只保留文本节点，然后，检测文档结构中的DOM节点嵌套结构时，要将处于深层嵌套中的节点提取出来，保证标题节点与其兄弟文本节点在位于节点树的同一层，从而统一文档结构。
[0047](12)网页分块模块对网页进行分块:读取经过预处理的D0M，检测网页中的标题节点，从根节点开始遍历整个DOM树,当读取到标题节点时,生成一个新的DIV节点，并将标题节点后的兄弟节点和标题节点本身都包装到一个DIV节点中，作为一个文本块。且每次分块操作仅针对当前同一级的标题节点进行，经由逐级的分块操作，完成所有标题节点的分块。
[0048]参见图4，介绍该步骤的操作内容:
[0049](12A)按照设定顺序遍历DOM树，当遇到标题节点时进行处理。
[0050](12B)针对标题节点进行第一次分块操作，将标题节点及其后的所有非同级标题的兄弟节点放入一个DIV节点中，得到第一级的文本块。
[0051]参见图5，介绍该步骤分块操作的具体内容:
[0052](BI)读取下一个节点。
[0053](B2)检查当前节点是否为标题节点，若是，则执行后续步骤(B3);否则，返回执行步骤(BI)。
[0054](B3)生成一个新的DIV节点，将标题节点放入DIV节点中。
[0055](B4)读取下一个兄弟节点，若该节点为非同级标题的节点，则执行后续步骤(B5);若该节点为空或为同级标题节点，则跳转执行步骤(B6 )。
[0056](B5)将当前节点放入新的DIV节点中，并在DOM中删除原节点。
[0057](B6)将新DIV节点插入D0M，取代标题节点在DOM中的位置。
[0058](B7)循环执行(BI)?(B6)，直到所有节点被访问。
[0059](12C)重复执行步骤(12A)和(12B)，直到DOM中所有的标题节点都被访问过。
[0060](12D)检查每个分块，若还存在未访问的标题节点，则执行步骤(12E)，否则，结束该分块操作。
[0061](12E)进行当前层级的分块操作:遍历每个上一级DIV分块，再将分块中的标题节点及其所有非同级标题的兄弟节点放到同一个子分块中。
[0062](12F)循环执行(12D)?(12E)，直到所有标题都被访问过，结束该分块操作。
[0063](13)对提取的文本块内容进行特征提取操作:包括分词处理，删除停用词、数字等无用字词和统计词频，再结合统计结果和使用特征提取算法对统计结果进行下述处理:计算每个词的得分，将得分高于设定阈值的词项作为该文本块的特征项，同时计算出每个特征项在文本块中的权重。
[0064]参见图6，介绍该步骤提取特征操作的具体内容:
[0065](13A)读取一个文本块的文本内容，进行分词处理:删除停用词，并过滤掉数字、符
号等无用信息。
[0066](13B)统计各个单词在文本块中的出现次数。
[0067](13C)重复执行步骤(13A)和(13B)，直到所有文本块都处理完毕。
[0068](13D)采用互信息等算法计算每个单词在各个文本块中的分值，选取高于设定阈值的若干个单词作为文本块的特征项，同时计算每个特征项的权重。
[0069]互信息是信息论中的一种信息度量，互信息算法经常被用于度量单词与文本的相关性。通过统计单词在某个类别文档的出现频率和非该类别文档的出现频率，能够计算该单词与该类别文档的相关程度。
[0070](13E)生成文本块的特征向量。
[0071](13F)重复执行步骤(13D)和(13E)，直到完成生成所有文本块的特征向量。
[0072](14)循环执行上述步骤(11)?(13)，直到所有训练网页的文本块都完成特征提取操作。
[0073](15)将文本块的所有特征项组成文本块的特征向量，并使用聚类算法完成特征分类:先用聚类算法进行第一次分类计算，即根据特征向量的相关程度将文本块划分成若干个类，作为第一次分类结果；然后计算特征项的语义相似度，将语义相近的特征项划归到一个语义类别后，进行第二次聚类运算，得出若干个大的语义类别；同时生成每个大的语义类别的特征向量，并存入网页特征库中。
[0074]参见图7，介绍该步骤生成文本块的语义特征向量操作的具体内容:
[0075](15A)使用Kmeans等分类算法对文本块进行第一次分类，得到若干个文本块类。Kmeans算法是在文本特征向量空间中选择K个初始中心点，分别计算所有样本点到该K个中心点的距离，再根据计算结果修正所有中心点的位置。重复上述过程，直到K个中心点的位置不再发生变化。
[0076](15B)使用WordNet等本体词库计算文本块的特征项之间的语义相似度。
[0077](15C)基于语义相似度的计算结果对特征项进行第二次分类，得到若干个语义类别。
[0078](15D)生成每个语义类别的特征向量，存入网页特征库。建立语义类别与hRESTS等标注语言的映射关系。
[0079]本发明方法完成训练阶段后，就进入包括下列操作步骤的分析标注阶段:
[0080](21)特征提取模块读取RESTful Web服务页面，并对网页进行预处理操作:读取网页，生成网页的DOM节点树，扫描DOM节点，先提取网页主干内容，即在保留原结构的基础上，丢弃所有的非文本节点和只保留文本节点。然后，检测文档结构，将处于深层嵌套中的节点提取出来，以保证标题节点与其兄弟文本节点都位于节点树的同一层中，从而统一文档结构。
[0081](22)网页分块模块对网页进行分块处理:读取预处理后的D0M，从根节点开始遍历整个DOM树,检测网页中的标题节点，每当读到标题节点时，就生成一个新的DIV节点，并把该标题节点和标题节点后的兄弟节点都包装在一个DIV节点中(作为一个文本块)；同时将标题节点的嵌套关系保留于该文本块中。每次分块操作都是只针对当前同一级的标题节点进行的，经过逐级的分块操作，直到所有标题节点都被访问过。
[0082](23)提取文本块特征:读取网页的文本块内容，进行相应的预处理操作后，结合统计结果采用特征提取算法计算每个词项的得分，再选取得分超过设定阈值的多个词项作为该文本块的特征项，基于特征项词典直接统计每个特征项的出现频次，并计算出每个特征项在文本块中的权重。
[0083]需要说明的是:上述三个步骤(21)?(23)的操作内容与第I阶段的前三个步骤(11)?(13)相同。
[0084](24)特征匹配:将每个文本块的所有特征项都组合在一起，生成特征向量，再计算该文本块特征向量与网页特征库中每个语义类别的特征向量相关程度，选取数值最大、且超过设定阈值者为匹配的语义类别。该步骤中，每个语义类别在每个网页中有、且只有最多一个文本块与之相匹配。
[0085]参见图8，介绍该步骤特征匹配操作的具体内容:
[0086](24A)读取文本块的特征向量。
[0087](24B)遍历网页特征库，计算每个语义类别的特征向量与该文本块的特征向量的相关程度。
[0088](24C)重复执行步骤(24A)和(24B)，直到完成所有的文本块的计算。
[0089](24D)选取每个语义类别匹配分值最高且超过设定阈值的文本块。
[0090](25)网页标注:使用包括hRESTS、MicroData和MicroWSMO的标注语言在源网页中标注出匹配的文本块；
[0091]参见图9，介绍该步骤网页标注操作的具体内容:
[0092](25A)确定匹配的文本块在源网页中的位置。
[0093](25B)根据匹配文本块的语义类别到hRESTS等标注语言的映射关系，确定标注
ο
[0094](25C)在源网页插入标签，标记出文本块的开始和结束位置。
[0095](25D)在文本块开始处进行标注。
[0096](25E)重复执行上述各个步骤，直到所有匹配的文本块都完成标注。
[0097](26)循环执行上述步骤(21)?(25)，直到所有网页都处理完毕。
【权利要求】
1.一种RESTful Web服务的自动化语义标注系统，其特征在于:该系统设有下述两种组成构件: 网页处理构件，作为系统的核心构件，负责网页的自动语义分析和标注的整个处理过程:从磁盘中读取RESTful Web服务源网页，通过预处理操作对网页中的文档结构进行统一分析，并根据文档结构的分析结果将文档划分为语义上相互独立的多个文本块，再分别提取每个文本块的文本内容和提取每个文本内容中的特征项，组成文本块的特征向量，再扫描网页特征库进行特征匹配，识别各个文本块所表述的信息，以供在网页中标注；该构件设有下述四个模块:预处理模块、网页分块模块、特征匹配模块和自动标注模块； 特征处理构件，负责采用机器学习方法提取网页特征和特征分类，采用聚类算法计算每个文本块与特征向量的相关程度，将网页的文本块根据网页特征的相关程度划分到不同的语义类别中；再计算特征项的语义相似度，根据文本块类的语义相关程度进行二次分类，得到语义上相互独立的多个类别后，从中选取携带有用信息的语义类别，并生成这些语义类别的特征向量，存储于网页特征库中；该构件设有顺序连接的下述三个模块:特征提取模块、特征分类模块和网页特征库。
2.根据权利要求1所述的系统，其特征在于:所述网页处理构件中的各个模块的功能如下所述: 预处理模块，用于对源网页进行预处理操作:读取源网页和生成网页的、以树形结构表示超文本标记语言HTML文档的文档对象模型DOM，并对该网页的DOM执行包括删除多重嵌套和非文本节点的操作，只保留文本节点后，再将完成检测与预处理的网页DOM交给网页分块1吴块； 网页分块模块，负责根据网页文档结构中各个标题节点的位置划分语义上相互独立的文本块，具体处理过程为:从预处理模块读取完成预处理的网页D0M，从根节点开始遍历整个DOM树，当读取到标题节点时，将标题节点后的兄弟节点和标题节点本身都包装到一个分块DIV节点中，并作为一个`文本块；然后根据标题节点的嵌套关系将文本块分成不同的嵌套等级，再将分块后的DOM交给特征处理构件中的特征提取模块； 特征匹配模块，负责网页文本块的特征匹配:从网页特征库中读取各个语义类别的特征向量，并与从特征提取模块获取的各个文本块特征向量进行比较，为每个语义类别选取匹配程度最高的文本块，将匹配结果交给自动标注模块； 自动标注模块，负责对源网页进行语义标注:从特征匹配模块获取匹配结果，采用包括hRESTS、MicroData和MicroWSMO的标注语言在源网页中标注文本块的语义，并输出带有语义标注的RESTful Web服务页面。
3.根据权利要求1所述的系统，其特征在于:所述特征处理构件中的各个模块的功能如下所述: 特征提取模块，负责分析文本块的文本内容，提取文本块的特征项，组成文本块的特征向量:从网页分块模块获取分块后的DOMJ^ DOM中各个文本块的文本执行包括分词、删除停用词和统计词频的操作，再采用特征提取算法从中选取最能确切表示该文本块特征的多个词作为特征项，组成各个文本块的特征向量；以供在系统的训练阶段，将特征提取结果交给特征分类模块处理；或在系统的分析标注阶段，将特征提取结果交给特征匹配模块处理；特征分类模块，负责将文本块划分为若干个语义类别:从特征提取模块获取文本块的特征向量，采用聚类算法将文本块依据特征项的相关程度进行初步分类，得到若干个文本块类；再计算这些文本块类的特征项的语义相似度，根据语义相似度的计算结果再次对特征项进行分类，并将语义相关程度高的文本块类聚合成一个语义类别，最后将得到的若干个语义类别的特征向量存入网页特征库中； 网页特征库，用于存储特征分类模块生成的语义类别的特征向量的集合，并通过向量计算得出文本块与每个语义类别的相关程度，以供选取计算结果数值最大、且超过设定阈值的语义类别作为匹配的语义类别。
4.一种采用权利要求1所述的系统对RESTful Web服务页面自动分析和标注的方法，其特征在于:所述方法包括下述操作步骤: (1)训练阶段:因系统启动时，网页特征库为空，故首先进入训练阶段，生成语义类别的特征向量，作为RESTful Web服务页面的分析依据； (2)分析标注阶段:系统读取新增添的RESTfulWeb服务页面，经过预处理、分块和特征提取的操作，得出该网页的文本块特征向量，再执行特征匹配操作，识别出文本块的语义，并使用包括hRESTS、MicroData和MicroWSMO的标注语言进行标注。
5.根据权利要求4所述的方法，其特征在于:所述步骤(1)包括下列操作内容: (11)预处理模块读取训练网页集合，并对每个网页进行预处理操作:先提取网页主干内容，丢弃所有的非文本节点和只保留文本节点，然后，检测文档结构，将处于深层嵌套中的节点提取出来，从而统一 文档结构； (12)网页分块模块对网页进行分块处理:检测网页中的标题节点，把标题节点和标题后的兄弟节点都包装在一个DIV节点中，同时将标题节点的嵌套关系保留于文本块中； (13)对提取的文本块内容进行处理:包括分词处理，删除停用词和统计词频，再使用特征提取算法对统计结果进行下述处理:将得分高于设定阈值的词项作为该文本块的特征项，同时计算出每个特征项在文本块中的权重； (14)循环执行上述步骤(11)~(13)，直到所有训练网页的文本块都完成特征提取操作； (15)将文本块的所有特征项组成文本块的特征向量，并使用聚类算法进行第一次分类计算:根据特征向量的相关程度将文本块划分成若干个类，作为本次分类结果；然后计算特征项的语义相似度，将语义相近的特征项划归到一个语义类别后，进行第二次聚类运算，得出若干个大的语义类别；同时生成每个大的语义类别的特征向量，并存入网页特征库中。
6.根据权利要求4所述的方法，其特征在于:所述步骤(2)包括下列操作内容: (21)特征提取模块读取RESTfulWeb服务页面，并对网页进行预处理操作:先提取网页主干内容，丢弃所有的非文本节点和只保留文本节点，然后，检测文档结构，将处于深层嵌套中的节点提取出来，以便统一文档结构； (22)网页分块模块对网页进行分块处理:检测网页中的标题节点，把标题节点和标题后的兄弟节点都包装在一个DIV节点中，同时将标题节点的嵌套关系保留于文本块中； (23)提取网页的文本块内容，再基于特征项词典直接统计每个特征项的出现次数，同时计算出每个特征项在文本块中的权重； (24)将每个文本块的所有特征项都组合在一起，生成特征向量，再计算文本块与网页特征库中每个语义类别的相关程度，选取数值最大、且超过设定阈值者为匹配的语义类别； (25)使用包括hRESTS、MicroData和MicroWSMO的标注语言在源网页中标注出匹配的文本块； (26)循环执行上述步骤(21)~(25)，直到所有网页都处理完毕。
7.根据权利要求6所述的方法， 其特征在于:所述步骤(24)中，每个语义类别在每个网页中有、且只有最多一个文本块与之相匹配。
【文档编号】G06F17/30GK103559234SQ201310506897
【公开日】2014年2月5日 申请日期:2013年10月24日 优先权日:2013年10月24日
【发明者】赵耀, 林荣恒, 罗程多, 邹华, 杨放春 申请人:北京邮电大学