一种识别网络小说中垃圾章节的方法及装置制造方法
【专利摘要】本发明适用于计算机【技术领域】，提供了一种识别网络小说中垃圾章节的方法及装置，所述方法包括：抓取网络小说数据；计算每一网络小说数据的ID，所述ID用于唯一标识一网络小说；获取每个ID对应的网络小说数据的章节名称；统计并计算相同章节名称对应的ID数量；识别符合预设条件的章节名称和/或ID数量的章节为垃圾章节。本发明实现可以及时、有效识别网络小说中垃圾章节。
【专利说明】-种识别网络小说中垃圾章节的方法及装置
【技术领域】
[0001] 本发明属于计算机【技术领域】，尤其涉及一种识别网络小说中垃圾章节的方法及装 置。
【背景技术】
[0002] 网络小说是一种新兴的小说体裁，随着网络的快速发展而出现，网络小说以网络 为基础平台，网络小说作者在小说网站发布小说，并不断对小说进行更新，以使网络读者进 行阅读，其特点为风格自由，文体不限，发表阅读方式较为简单。然而，很多网络小说中包括 很多的垃圾章节，这些垃圾章节的内容与小说内容本身并不相干，例如：网站广告、作者广 告、新书推荐等，十分影响小说的阅读。
[0003] 现有技术，通常采用人工查询或者关键字查询的方式，去除网络小说中的垃圾章 节，然而，对于人工查询方式，查询速度较慢，当网络小说数量较多的时候，需要花费大量的 人工成本，花费很长时间去处理查找垃圾章节，因此，人工查询方式查询速度慢，无法及时 有效的发现垃圾章节；而使用关键字进行查询的方式，虽然可以发现包括预设垃圾关键词 的网络小说，但由于网络小说更新速度很快，小说中的垃圾关键字也不断更新，因此，关键 字查询方式也无法及时发现网络小说中的垃圾章节。综上，现有技术无法及时、有效的去除 网络小说中垃圾章节。
【发明内容】
[0004] 本发明实施例的目的在于提供一种识别网络小说中垃圾章节的方法，旨在解决现 有技术无法及时、有效的去除网络小说中垃圾章节问题。
[0005] 为了实现上述目的，本发明实施例提供如下技术方案：
[0006] 本发明第一方面提供了一种识别网络小说中垃圾章节的方法，所述方法包括：
[0007] 抓取网络小说数据；
[0008] 计算每一网络小说数据的ID，所述ID用于唯一标识一网络小说；
[0009] 获取每个ID对应的网络小说数据的章节名称；
[0010] 统计并计算相同章节名称对应的ID数量；
[0011] 识别符合预设条件的章节名称和/或ID数量的章节为垃圾章节。
[0012] 本发明第二方面提供了一种识别网络小说中垃圾章节的装置，所述装置包括：
[0013] 抓取单元，用于抓取网络小说数据；
[0014] 计算单元，用于计算每一网络小说数据的ID，所述ID用于唯一标识一网络小说；
[0015] 获取单元，用于获取每个ID对应的网络小说数据的章节名称；
[0016] 计算单元，用于统计并计算相同章节名称对应的ID数量；
[0017] 识别单元，用于识别符合预设条件的章节名称和/或ID数量的章节为垃圾章节。
[0018] 本发明实施例与现有技术相比，有益效果在于：抓取网络小说数据，计算每一网络 小说数据的ID，所述ID用于唯一标识一本网络小说，获取每个ID对应的网络小说数据的章 节名称，统计并计算相同章节名称对应的ID数量，识别符合预设条件的章节名称和/或ID 数量的章节为垃圾章节。使得不需要人工参与，即可实现可以及时、有效识别网络小说中垃 圾章节。
【专利附图】
【附图说明】
[0019] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用 的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的 附图。
[0020] 图1是本发明实施例一提供的识别网络小说中垃圾章节的方法的实现的流程图；
[0021] 图2是本发明实施例二提供的识别网络小说中垃圾章节的方法的实现的流程图；
[0022] 图3是本发明实施例三提供的识别网络小说中垃圾章节的装置的结构图；
[0023] 图4是本发明实施例四提供的识别网络小说中垃圾章节的装置的结构图。
【具体实施方式】
[0024] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0025] 本实施例中，通过计算每一网络小说数据的ID，统计并计算相同章节名称对应的 ID数量，识别符合预设条件的章节名称和/或ID数量的章节为垃圾章节。
[0026] 以下结合具体实施例对本发明的实现进行详细描述：
[0027] 实施例一
[0028] 图1示出了本发明实施例一提供的识别网络小说中垃圾章节的方法的实现的流 程图，详述如下：
[0029] 在S101中，抓取网络小说数据；
[0030] 在S102中，计算每一网络小说数据的标识（Identify，ID)，所述ID用于唯一标识 一网络小说；
[0031] 本实施例中，优选的所述ID为小说名，或者小说名和作者名，其它的可以唯一标 识一本小说的数据均可以作为小说的网络数据。
[0032] 在S103中，获取每个ID对应的网络小说数据的章节名称；
[0033] 本实施例中，由于同一网络小说数据可能存储在不同的站点，因此，相同ID的网 络小说可以认为是相同的小说，为了避免相同ID的小说数据被多次统计，而影响后续统计 结果，S103优选的可以采用以下方式实现：获取不同ID对应的网络小说数据的章节名称， 具有相同ID对应的网络小说数据可以只获取一次。
[0034] 本实施例中，所述章节名称可以包括章节名称的文字信息和/或数字信息。
[0035] 本实施例中，获取后的每个ID对应的章节名称可以采用以下方式表示：{idl， chapterA}、{idl，chapterB}、{idl，chapterC}、{id2, chapterA，}、{id2, chapterB，}、{id2， chapterC，}，……。
[0036] 在S104中，统计并计算相同章节名称对应的ID数量；
[0037] 本实施例中，统计S103中获取的章节名称中的每一章节对应的ID数量如下： {chapterA, {idl, id3, ···}}> {chapterB, {idl, id5, ···}}> {chapterC, {id2, id3, ···}}，···； 则根据所述统计结果，计算每个章节名对应的ID数量（即相同章节名称出现在多少本小说 中）具体为：IchapterA，nl}，{chapterB，n2}，{chapterC，n3}，…。
[0038] 在S105中，识别符合预设条件的章节名称和/或ID数量的章节为垃圾章节。
[0039] 本实施例中，抓取网络小说数据，计算每一网络小说数据的ID，所述ID用于唯一 标识一本网络小说，获取每个ID对应的网络小说数据的章节名称，统计并计算相同章节名 称对应的ID数量，识别符合预设条件的章节名称和/或ID数量的章节为垃圾章节。使得 不需要人工参与，即可实现可以及时、有效识别网络小说中垃圾章节。
[0040] 实施例二
[0041] 图2示出了本发明实施例一提供的识别网络小说中垃圾章节的方法的实现的流 程图，详述如下：
[0042] 在S201中，抓取网络小说数据；
[0043] 在 S202 中，通过信息摘要算法 5 (Message Digest Algorithm 5, MD5)，计算每一网 络小说数据的ID，所述ID用于唯一标识一网络小说；
[0044] 在S203中，获取每个ID对应的网络小说数据的章节名称；
[0045] 在S204中，统计并计算相同章节名称对应的ID数量；
[0046] 在S205中，识别章节名称大于预设长度和/或ID数量大于预设数量的章节为垃 圾章节。
[0047] 其中，可以识别章节名称大于预设长度m和/或ID数量大于预设数量η的章节为 垃圾章节，其中，所述m和η为为整数，且根据实际需要进行设定，其中，垃圾章节可以表示 为：{chapterD, chapterE, ChapterK,…}〇
[0048] 可选的，为了避免将一些非垃圾章节的小说数据识别为垃圾章节，所述S205优选 的为：
[0049] S205a、识别符合预设条件的章节名称和/或ID数量的章节为疑似垃圾章节；
[0050] S205b、将所述疑似垃圾章节的章节名称在预设白名单中进行匹配，将与所述预设 白名单中存储的关键词的匹配度小于预设阈值的章节名称对应的疑似垃圾章节识别为垃 圾章节，所述预设白名单存储合法的关键词。
[0051] 其中，当章节名称与所述预设白名单中存储的关键词的匹配度小于预设阈值时， 说明该章节名称为垃圾章节的概率已经很高，所以可以认为该章节为垃圾章，通过白名单 进一步对疑似垃圾章节进行处理，可以有效提供高垃圾章节识别的准确率。
[0052] 通过将所述大于预设阈值的章节名称更新至所述预设白名单，可以不断对白名单 进行更新，从而及时与互联网网络数据的更新同步。
[0053] 可选的，除了预设白名单的实现方式，S205b还可以将所述疑似垃圾章节的章节名 称在预设白名单中进行匹配，将与所述预设白名单中存储的关键词的匹配度大于预设阈值 的章节名称对应的疑似垃圾章节识别为垃圾章节，所述预设黑名单存储非法的关键词。
[0054] 进一步，可以将与所述预设黑名单中存储的关键词的匹配度大预设阈值的章节名 称更新至所述预设白名单中。
[0055] 本实施例中，根据同名章节的小说数量的多少，以及章节名称的长短信息，发现小 说数据中的垃圾章节，实现及时、有效识别小说中的垃圾章节数据。
[0056] 实施例三
[0057] 图3是本发明实施例三提供的识别网络小说中垃圾章节的装置的结构图，为了便 于说明，仅示出了与本发明实施例相关的部分，该装置可以是内置于终端设备中的软件单 元、硬件单元或者软硬结合单元。
[0058] 所述装置包括：抓取单元31、计算单元32、获取单元33、计算单元34及识别单元 35。
[0059] 抓取单元31，用于抓取网络小说数据；
[0060] 计算单元32,用于计算每一网络小说数据的ID，所述ID用于唯一标识一网络小 说；
[0061] 获取单元33,用于获取每个ID对应的网络小说数据的章节名称；
[0062] 计算单元34,用于统计并计算相同章节名称对应的ID数量；
[0063] 识别单元35,用于识别符合预设条件的章节名称和/或ID数量的章节为垃圾章 节。
[0064] 可选的，所述ID为小说名，或者小说名和作者名。
[0065] 可选的，所述计算单元34,用于通过MD5,计算每一网络小说数据的ID。
[0066] 可选的，所述识别单元35,用于识别章节名称大于预设长度和/或ID数量大于预 设数量的章节为垃圾章节。
[0067] 本发明实施例提供的识别网络小说中垃圾章节的装置可以使用在前述对应的方 法实施例一中，详情参见上述实施例一的描述，在此不再赘述。
[0068] 实施例四
[0069] 图4是本发明实施例三提供的识别网络小说中垃圾章节的装置的结构图，为了便 于说明，仅示出了与本发明实施例相关的部分，该装置可以是内置于终端设备中的软件单 元、硬件单元或者软硬结合单元。
[0070] 所述装置包括：抓取单元41、计算单元42、获取单元43、计算单元44及识别单元 45。
[0071] 本实施例与实施例三的区别在于：
[0072] 所述识别单元45包括：识别模块451和匹配模块452。
[0073] 识别模块451，用于识别符合预设条件的章节名称和/或ID数量的章节为疑似垃 圾章节；
[0074] 匹配模块452,用于将所述疑似垃圾章节的章节名称在预设白名单中进行匹配，将 与所述预设白名单中存储的关键词的匹配度小于预设阈值的章节名称对应的疑似垃圾章 节识别为垃圾章节，所述预设白名单存储合法的关键词。
[0075] 所述匹配模块452,还用于将与所述预设白名单中存储的关键词的匹配度大于预 设阈值的章节名称更新至所述预设白名单中。
[0076] 本发明实施例提供的识别网络小说中垃圾章节的装置可以使用在前述对应的方 法实施例二中，详情参见上述实施例二的描述，在此不再赘述。
[0077] 值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的， 但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也 只是为了便于相互区分，并不用于限制本发明的保护范围。
[0078] 另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介 质中，所述的存储介质，如R0M/RAM、磁盘或光盘等。
[0079] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【权利要求】
1. 一种识别网络小说中垃圾章节的方法，其特征在于，所述方法包括： 抓取网络小说数据； 计算每一网络小说数据的ID，所述ID用于唯一标识一网络小说； 获取每个ID对应的网络小说数据的章节名称； 统计并计算相同章节名称对应的ID数量； 识别符合预设条件的章节名称和/或ID数量的章节为垃圾章节。
2. 如权利要求1所述的方法，其特征在于，所述ID包括小说名，或者小说名和作者名。
3. 如权利要求1所述的方法，其特征在于，所述计算每一网络小说数据的ID包括： 通过MD5,计算每一网络小说数据的ID。
4. 如权利要求1所述的方法，其特征在于，所述识别符合预设条件的章节名称和/或 ID数量的章节为垃圾章节包括： 识别章节名称大于预设长度和/或ID数量大于预设数量的章节为垃圾章节。
5. 如权利要求1所述的方法，其特征在于，所述识别符合预设条件的章节名称和/或 ID数量的章节为垃圾章节包括： 识别符合预设条件的章节名称和/或ID数量的章节为疑似垃圾章节； 将所述疑似垃圾章节的章节名称在预设白名单中进行匹配，将与所述预设白名单中存 储的关键词的匹配度小于预设阈值的章节名称对应的疑似垃圾章节识别为垃圾章节，所述 预设白名单存储合法的关键词。
6. 如权利要求5所述的方法，其特征在于，所述识别符合预设条件的章节名称和/或 ID数量的章节为疑似垃圾章节之后，所述方法还包括： 将与所述预设白名单中存储的关键词的匹配度大于预设阈值的章节名称更新至所述 预设白名单中。
7. -种识别网络小说中垃圾章节的装置，其特征在于，所述装置包括： 抓取单元，用于抓取网络小说数据； 计算单元，用于计算每一网络小说数据的ID，所述ID用于唯一标识一网络小说； 获取单元，用于获取每个ID对应的网络小说数据的章节名称； 计算单元，用于统计并计算相同章节名称对应的ID数量； 识别单元，用于识别符合预设条件的章节名称和/或ID数量的章节为垃圾章节。
8. 如权利要求7所述的装置，其特征在于，所述ID包括小说名，或者小说名和作者名。
9. 如权利要求7所述的装置，其特征在于，所述计算单元，用于通过MD5,计算每一网络 小说数据的ID。
10. 如权利要求7所述的装置，其特征在于，所述识别单元，用于识别章节名称大于预 设长度和/或ID数量大于预设数量的章节为垃圾章节。
11. 如权利要求7所述的装置，其特征在于，所述识别单元包括： 识别模块，用于识别符合预设条件的章节名称和/或ID数量的章节为疑似垃圾章节； 匹配模块，用于将所述疑似垃圾章节的章节名称在预设白名单中进行匹配，将与所述 预设白名单中存储的关键词的匹配度小于预设阈值的章节名称对应的疑似垃圾章节识别 为垃圾章节，所述预设白名单存储合法的关键词。
12. 如权利要求11所述的装置，其特征在于，所述匹配模块，还用于将与所述预设白名 单中存储的关键词的匹配度大于预设阈值的章节名称更新至所述预设白名单中。
【文档编号】G06F17/27GK104216872SQ201310214058
【公开日】2014年12月17日 申请日期:2013年5月31日 优先权日:2013年5月31日
【发明者】高健, 牛小彬 申请人:腾讯科技（深圳）有限公司