一种在内容分发网络中进行内容管理的方法、装置及系统的制作方法

一种在内容分发网络中进行内容管理的方法、装置及系统的制作方法
【专利摘要】本发明涉及一种在内容分发网络中进行内容管理的方法及装置，上述方法包括：监测边缘节点的已用存储空间是否超出预定的阈值，若是则执行以下步骤：从一个索引系统处获取需保护文件的集合U1；对该边缘节点进行目录遍历以获取所有最后修改时间与当前时间之间相差超过预定值的文件的集合U0；获取待删除文件的集合U2=U0-U1；以及从该边缘节点内删除U2内的每个文件。根据上述的方法及装置，在内容分发网络中进行内容管理具有硬件开销低、速度快，且不影响服务可用率、不引起服务质量下降的优点。
【专利说明】一种在内容分发网络中进行内容管理的方法、装置及系统

【技术领域】
[0001] 本发明涉及内容分发网络（Content Delivery Network, Q)N)，特别涉及一种在内 容分发网络中进行内容管理的方法、装置及系统。

【背景技术】
[0002] 内容分发网络的目的是通过在现有的互联网中增加一层新的网络架构，将热点资 源或用户所需的资源分发到最接近用户的边缘节点上，使用户可以就近取得所需的内容， 解决互联网网络拥挤的状况，提高用户访问资源的响应速度。
[0003] 图1所示为一个典型的⑶N架构示意图，其中，DC表示数据中心，AC表示区域中 心，0C表示边缘节点。当用户请求在距用户网络拓扑距离最近的0C节点命中资源时，由0C 直接提供服务；若不命中，则0C节点中的Web服务器返回HTTP302回复，并把用户重定向到 DC或AC，这个过程称作一次"回源"。
[0004] 在一个⑶N系统中，提高服务质量（Quality of Service, QoS)的一个重要手段就 是尽可能降低回源的概率。但是，如果持续不断地把资源分发到⑶N边缘节点，那么由于其 存储容量有限，一段时间之后必然达到存储容量的极限而导致服务质量下降。另外，随着时 间的推移，有些热点数据逐渐变成冷而失去在CDN边缘节点存储的必要。所以就必须维持 边缘节点的存储量不能超过一特定阈值，或者在达到某阈值后执行主动淘汰。另外，一些新 业务的上线等场景又要求CDN边缘节点具有更强的主动淘汰的能力。
[0005] -个最直接的想法是把0C机房（即CDN的边缘节点）里所有文件按最后访问时间 排序，或按类似最近最少使用（Least Recently Used, LRU)的规则维护一个所有文件信息 的LRU链表，执行淘汰时，删除最后访问时间最早的或访问链表LRU端的一个或若干个文 件。
[0006] 但是，一直维护一个机房所有文件的信息所费内存空间比较大。而前一种方案每 有一次用户访问请求都需要付出O(logn)的调整全局数据结构的额外代价；后一种方案虽 然是0(1)的，但如若一旦程序意外崩溃或者有特殊需要人为重启，就要付出0(1)的时间来 重建LRU链，但此时的LRU链只具有不能表征访问情况的临时信息，且会对淘汰过程产生滞 后影响。
[0007] 为了避免上述方案的开销，一个粗略的替代实现方案是利用文件系统中的atime 属性。atime表示某文件最后一次被访问的时间戳，如果开启atime，那么只需要遍历文件 系统中的所有文件，并且在此过程中删除早于一个既定时刻的所有文件即可完成类似于 LRU方式的淘汰。然而，而系统更新atime所带来的开销却是巨大的。因为系统每访问一 次某个文件，就要对这个文件更新一个新的atime时间值。这里所说的访问，并不是从用户 角度来看的打开一个文件，而是系统底层的每一次打开（open)和读取（read)等操作。每对 文件进行一次读操作，都要引起一个对磁盘的写操作，即使我们要读的内容已经存在于内 存的页缓存（Page Cache)中，还是要对磁盘进行一个写操作。这样引起的开销确实是巨大 的，这些写操作会使磁盘更多的处于忙碌状态，这对系统性能（因为磁盘在完成一个写操作 的时候会暂时阻止其他的写操作）以及电量消耗都是不利的。所以在实际互联网服务系统 中，atime通常是关闭的。虽然Linux2. 6. 20和2. 6. 24两个版本的内核分别针对atime做 了一些延迟更新的策略，但其在提供海量文件满足海量并发用户的访问需求的系统中所能 起到的作用甚微。
[0008] 所以就需要设计一种开销低、速度快，且不影响服务可用率、不引起服务质量下降 的高效淘汰策略。


【发明内容】

[0009] 有鉴于此，有必要提供一种在内容分发网络中进行内容管理的方法、装置及系统， 其硬件开销低、速度快，且不影响服务可用率、不引起服务质量下降。
[0010] 一种在内容分发网络中进行内容管理的方法，包括：监测边缘节点的已用存储空 间是否超出预定的阈值，若是则执行以下步骤：从一个索引系统处获取需保护文件的集合 Ui ;对该边缘节点进行目录遍历以获取所有最后修改时间与当前时间之间相差超过预定值 的文件的集合％ ;获取待删除文件的集合队却^仏；以及从该边缘节点内删除u2内的每个文 件。
[0011] -种在内容分发网络中进行内容管理的装置，包括：监测模块，用于监测边缘节点 的已用存储空间是否超出预定的阈值，若是则调用文件删除模块；该文件删除模块包括： 第一获取单元，用于从一个索引系统处获取需保护文件的集合Ui ;目录遍历单元，用于对该 边缘节点进行目录遍历以获取所有最后修改时间与当前时间之间相差超过预定值的文件 的集合％;第二获取单元，用于获取待删除文件的集合队印^仏；以及文件删除单元，用于从 该边缘节点内删除u 2内的每个文件。
[0012] 一种在内容分发网络中进行内容管理的系统，包括：主控服务器及索引服务器； 该主控服务器用于监测该内容分发网络的边缘节点的已用存储空间是否超出预定的阈值， 若是则从该索引服务器处获取需保护文件的集合U1 ;对该边缘节点进行目录遍历以获取 所有最后修改时间与当前时间之间相差超过预定值的文件的集合U0 ;获取待删除文件的 集合U2=U0-U1 ;从该边缘节点内删除U2内的每个文件；该索引服务器用于根据请求返回该 需保护文件的集合U1。
[0013] 上述的在内容分发网络中进行内容管理的方法、装置及系统具有以下优点：
[0014] 1.不需要在CDN的边缘节点维护资源的全局索引，更不需要按访问频度等信息来 对资源进行排序，保持CDN边缘节点逻辑功能设计的最简单化，减少边缘节点的硬件资源 消耗，从而提升边缘节点的运行效率。
[0015] 2.⑶N边缘节点中的每台网络服务器和存储服务器均不需要开启atime，这样防 止了每对文件进行一次读操作，都要引起一个对某磁盘块的写操作。不仅降低了不必要的 磁盘写，提升了并发服务性能，而且降低了能耗。
[0016] 为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例， 并配合所附图式，作详细说明如下。

【专利附图】

【附图说明】
[0017] 图1所示为一个典型的⑶N架构示意图。
[0018] 图2为一个视频网站的访问情况示意图。
[0019] 图3为一个视频网站的访问请求的累积分布函数。
[0020] 图4为若干影片票房收入和公映时间的关系示意图。
[0021] 图5至图7分别为三种不同的资源访问模式示意图。
[0022] 图8为本发明实施例提供的在内容分发网络中进行内容管理的方法及装置的运 行环境示意图。
[0023] 图9为Unix/Linux文件系统中文件树的示意图。
[0024] 图10为索引节点的内容不意图。
[0025] 图11为目录项的结构示意图。
[0026] 图12为一个文件相关的i_节点、目录项和数据块的示意图。
[0027] 图13为文件路径解析过程的示意图。
[0028] 图14为仅包含两个媒体文件的目录项所在的块的示意图。
[0029] 图15为一种目录遍历的流程示意图。
[0030] 图16为图15的目录遍历的部分步骤流程示意图。
[0031] 图17为另一种目录遍历的流程示意图。
[0032] 图18为第一实施例提供的在内容分发网络中进行内容管理的方法流程图。
[0033] 图19为第二实施例提供的在内容分发网络中进行内容管理的方法流程图。
[0034] 图20为第三实施例提供的在内容分发网络中进行内容管理的方法流程图。
[0035] 图21为文件删除操作时目录项的变化示意图。
[0036] 图22为第四实施例提供的在内容分发网络中进行内容管理的方法流程图。
[0037] 图23至图27分别为全部资源、UGC资源、新闻、音乐、及影视等各类资源的302回 源统计示意图。
[0038] 图28为第五实施例提供的在内容分发网络中进行内容管理的装置的结构框图。
[0039] 图29为代理服务器的结构框图。
[0040]图30为第六实施例提供的在内容分发网络中进行内容管理的系统的结构框图。

【具体实施方式】
[0041] 为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合 附图及较佳实施例，对依据本发明的【具体实施方式】、结构、特征及其功效，详细说明如后。
[0042] 幂律分布
[0043] I"9年9月，Barabasi小组在《自然》上发表了 一篇通讯（Albert, R.，Jeong， H. and Barabasi, A. L. . ^Diameter of the World-Wide Web. "Nature(London)401, no. 6749(1999) :130.)，指出互联网的出度分布和入度分布都与正态分布有很大的不同，而 是服从幂律分布。更为重要的是，文中揭示了幂律分布产生的两个机理。不同于ER随机 图（Erd6s-Rinyi random graph ),实际网络具备两个重要特性：第一是增长（Growth) 特性，即网络的规模是不断扩大的。第二是优先连接（Preferential attachment)特性， 即新的节点更倾向于与那些具有较高连接度的节点相连接，这种现象也成为"富者更富" 或者"马太效应（Matthew effect)"。一个月之后，Barabasi小组又在《科学》上发表文 章（Albert_L0szl0 Barabasi&Reka Albert (0ctoberl999) · "Emergence of scaling in random networks". Science286 (5439) : 509 - 512.)指出，包括电影演员网络和电力网络在 内的其他许多实际网络的度分布也都服从与泊松分布有很大差异的幂律分布。
[0044] 中国科学技术大学的汪秉宏等人的实证研究总结出："通过各种不同的数据收集 方法，人们的研究涉及市场交易、网站浏览、电影点播、欣赏网络音乐、手机通讯、在游戏及 虚拟社区中的行为、计算机指令的使用行为等，包含了商业行为、娱乐行为、日常使用习惯 等众多的人类行为，在这些行为中，都较好地服从幂律分布。"（请参见周涛，肖伟科，任捷， 汪秉宏网络集团度的幂律分布复杂系统与复杂性科学2007年02期；樊超，郭进利，韩筱璞， 汪秉宏人类行为动力学研究综述复杂系统与复杂性科学2011年02期）
[0045] 现以某视频网站为例，统计了某一周时间内该视频网站的一个子系统在某城市的 媒体文件的访问情况，如图2所示。进一步计算表明，媒体文件的访问请求次数和其排名在 双对数坐标下的皮尔逊线性相关系数为0. 93,可近似认为其服从Zipf分布。
[0046] 图3为访问请求的累积分布函数，从中可以看出，访问频数排名在前20%的媒体文 件贡献了超过86%的访问量，此亦即符合"二八"法则。
[0047] 进一步统计最近一个月内该视频网站全部子平台全量产生流量的资源的每日访 问计数，发现：超过56%的媒体资源虽然在过去30天内有访问请求，但每日的请求次数均不 超过1 ;超过77%的媒体资源的每日请求次数均不超过3。由此看见，访问呈现出显著的长 尾分布，但大部分文件属于冷门资源。
[0048] 指数衰减
[0049] 图4显示了互联网电影资料库（Internet Movie Database, IMDB)数据库中的若 干影片票房收入和公映时间的关系。与此类似，视频网站等内容服务平台上的资源访问也 呈现出相近情况。一个媒体资源通常在引入13天之内达到访问最高值，此后便以近似指数 函数的方式衰减。
[0050] 虽然各种不同类别的媒体资源的衰减参数各不相同，甚至个别资源会出现几个高 峰，但深入统计人为划分出的状态之间的转移情况后发现：如果一个资源文件在第i-3日 及之前有访问，第i-2和第i-Ι日无访问，则其在第i日仍无访问的概率超过0. 75 ;在过去 5日之内无访问而在下一日有访问的概率则小于0. 01。这个结果表明：一旦一个资源变冷， 则接下来出现访问的可能性很小。
[0051] 图5、6、7显示了三种不同的资源访问模式。其中，大部分新闻视频和绝大部分用 户生成（User Generated Content,UGC)视频都符合图5的模式，即视频在引入1-3天内达 到访问峰值，此后骤减，再在之后以指数方式衰减直零。一部分新闻视频和大部分不太热门 的影视视频符合图6的访问模式，总体以指数方式平缓衰退，但中间由于某些原因会形成 若干次局部峰值。一小部分极热资源(无论编辑上传资源还是UGC资源)，会出现如图7所 示振幅较大但访问频度始终维持在较高值的现象。
[0052] 但无论哪种情况，一旦某个资源在某时访问频度降低到一个足够小的值，那么其 后几乎必然满足指数衰减；一旦某个资源连续几日访问频数为0,那么其后一日有访问的 概率极小。
[0053] 以上统计亦适用于图片、静态资源等平台，只是统计出来的参数有所差异。
[0054] 图8为本发明实施例提供的在内容分发网络中进行内容管理的方法及装置的运 行环境示意图。边缘节点601为一个内容分发网络的一个边缘节点，其内包括网络服务器 602、主控服务器603、存储服务器604、以及缓存服务器606。
[0055] 网络服务器602用于边缘节点601中面向用户的网络接入，即接收用户的请求并 返回相应的资源。在一个实例中，网络服务器的配置是：1个4核CPU，8G内存，1*1TSATA硬 盘。主控服务器603硬件结构上可与网络服务器602相同，其功能亦类似，其不同之处在于 还承担一些边缘节点601的管理功能，例如本发明实施例提供的在内容分发网络中进行内 容管理的方法即可由主控服务器603触发执行。
[0056] 存储服务器604用于边缘节点601中的数据存储，其可挂接多个存储器605如硬 盘。在一个实施例中，存储服务器604的配置是：2个4核CPU，16G内存，主机总线适配器， 12*1T SATA 硬盘（605)。
[0057] 缓存服务器606用于边缘节点601中的热点资源缓存。在一个实例中，缓存服务 器606的配置是：2个4核CPU，36G内存，4*500GB SATA硬盘，512G*2 (华为?)或160G*8 (因特尔?)固态硬盘。
[0058] 网络服务器602以及主控服务器603均可通过网络文件系统管理存储服务器604 以及缓存服务器606内存储的文件。
[0059] 边缘节点601通过互联网与代理服务器607相连，代理服务器607通过企业网与 索引系统608相连。代理服务器607可以基于以下技术构建：一、双向TCP (Transmission Control Protocol，传输控制协议）代理；二、HTTP 上的 CGI (Common Gateway Interface, 通用网关接口）代理；三、基于ASN.l (Abstract Syntax Notation One,抽象语法标记）协 议框架的代理。
[0060] 为了保证安全，代理服务器607与边缘节点601或者索引系统608的通讯采用加 密的方式进行处理。例如，如果采用前两者，传输时须携带有参数校验字段以防止黑客注 入，保证安全。生成校验字段的一个实施例是基于块的对称加密算法(如Extended Tiny Encryption Algorithm, XTEA)，或者基于流的等对称加密算法(如chacha)。而如果采用第 三者，因为ASN. 1本身就是一种可灵活实现编码/解码(加密/解密)的协议框架，所以不需 要额外实现校验字段。
[0061] 索引系统608内包括请求记录数据库609。请求记录数据库用于存储所有边缘节 点601内文件的访问记录、用户生成的文件以及需要永久保存的文件等信息。在一个实例 中，请求记录数据库609包括以下几个子库：DBhot、DBpub、以及DBperm。
[0062] DBhot记录文件的访问记录，至少包括文件名、所属频道、访问次数等项，每天一个 数据表。由于对全局访问的统计有稍许时延，且需要归并各边缘节点和区域中心的访问记 录日志，所以需要在每天访问的低谷时刻(如凌晨4点）进行数据的校验计算和重新入库。
[0063] DBpub记录每天由编辑新上传但还没有发布推广的文件，同DBhot,-日一数据 表。
[0064] DBperm通常只包含一个数据具有时变特征的数据表，记录该段时间需要保护防止 删除的文件信息。
[0065] 上述的DBhot数据库，是由一个内容分发网络内的多个(如几十个)边缘节点、多个 (如十个左右)区域中心/数据中心节点，根据服务用户的服务器产生的用户访问日志，每间 隔一段时间（如15分钟)上报一次，再合并，而每天凌晨把前一天的上报数据统计归并，再重 新入库的。故而这个在索引系统608内的"全量访问记录"，是缺少当天访问的数据的，或者 至少当天访问的记录是不准、有延迟的。
[0066] ⑶N内文件的存储
[0067] 可以理解，要在CDN中发布的文件需要首先分发至各个边缘节点内的存储服务器 中。在实际的分发过程中，文件的发布可以是由专门的分发系统完成。换言之，每个边缘节 点内均包括上述分发系统的客户端，用于接收来自发布源推送的文件。进一步地，在接收到 推送的文件后，将其存储至存储服务器中的某个目录下。
[0068] 在一个实例中，分发系统根据以下策略决定文件将要存储的路径：
[0069] /DATAx/(CHANNEL/)y/z/filename
[0070] 上面路径中，CHANNEL为频道名，DATAx为索引为x的磁盘的根路径，filename为 要存储的文件的文件名。可以理解，频道名并不是必须的，或者频道还可以具有多级目录结 构，本领域普通技术人员可以根据实际需要任意采用合适的目录结构。
[0071] x、y、z满足以下条件：
[0072]

【权利要求】
1. 一种在内容分发网络中进行内容管理的方法，其特征在于，包括： 监测边缘节点的已用存储空间是否超出预定的阈值，若是则执行以下步骤： 从一个索引系统处获取需保护文件的集合Ui ; 对该边缘节点进行目录遍历以获取所有最后修改时间与当前时间之间相差超过预定 值的文件的集合％; 获取待删除文件的集合;以及 从该边缘节点内删除u2内的每个文件。
2. 如权利要求1所述的在内容分发网络中进行内容管理的方法，其特征在于，该需保 护文件的集合Α包括：在过去第一预定时间内至少存在某天访问次数大于1的文件集合、 过去第二预定时间内上传但未发布的文件的集合、以及所有需要永久保存的文件的集合。
3. 如权利要求2所述的在内容分发网络中进行内容管理的方法，其特征在于，从一个 索引系统处获取需保护文件的集合Α包括： 向代理服务器发送淘汰预警信号； 该代理服务器根据该淘汰预警信号向该索引系统发送获取文件请求并相应获取该需 保护文件的集合A ;以及 接收该代理服务器返回的该需保护文件的集合仏。
4. 如权利要求3所述的在内容分发网络中进行内容管理的方法，其特征在于，与该代 理服务器之间的网络传输采用加密方式进行处理。
5. 如权利要求3所述的在内容分发网络中进行内容管理的方法，其特征在于，还包括： 接收来自该代理服务器的目录遍历请求及该预定值，对该边缘节点进行目录遍历以获 取所有最后修改时间与当前时间之间相差超过预定值的文件的集合％是根据来该目录遍 历请求进行的。
6. 如权利要求3所述的在内容分发网络中进行内容管理的方法，其特征在于，还包括： 该代理服务器将该第一预定时间及第二预定时间发送至该索引系统。
7. 如权利要求3所述的在内容分发网络中进行内容管理的方法，其特征在于，还包括： 在该代理服务器中根据用户输入获取该预定值或者读取预先的设定信息以获取该预定值。
8. 如权利要求1所述的在内容分发网络中进行内容管理的方法，其特征在于，还包括： 接收一个客户端发送的文件，以及将接收到的文件存储在连接至该边缘节点的存储器内； 该文件的存储路径为：/DATAxACHANNEL/)y/z/filename ; 其中DATAx表示索引号为X的存储器的根目录，CHANNEL表示频道名，filename为该文 件的文件名，且X、y、z满足以下条件： (X = DiskID， DiskID < 256/N; y = hash^filename) mod A, 96 < < 128; z = hashyXfilename) mod B, 96 < B < 128. N表示边缘节点的数目，hash与hash2为两个不同的哈希函数。
9.如权利要求8所述的在内容分发网络中进行内容管理的方法，其特征在于，在对该 边缘节点进行目录遍历之前还包括： 通过网络文件系统将连接至该边缘节点的存储器内的文件挂载至一个虚拟路径下，该 虚拟路径为： /data/k/(CHANNEL/)y/z/filename ； 其中，k彡10000,且k与x之间为均匀的多对一映射关系。
10. 如权利要求8-9任一项所述的在内容分发网络中进行内容管理的方法，其特征在 于，对该边缘节点进行目录遍历时采用广度优先遍历。
11. 如权利要求8-9任一项所述的在内容分发网络中进行内容管理的方法，其特征在 于，对该边缘节点进行目录遍历时采用非递归遍历。
12. 如权利要求1所述的在内容分发网络中进行内容管理的方法，其特征在于，对该边 缘节点进行目录遍历时，对于同一个存储器内的目录，其遍历过程串行进行，而不同的存储 器的遍历过程并行进行。
13. 如权利要求1所述的在内容分发网络中进行内容管理的方法，其特征在于，对该边 缘节点进行目录遍历的过程中还将遍历进程绑定至特定的处理器核心。
14. 如权利要求1所述的在内容分发网络中进行内容管理的方法，其特征在于，对该边 缘节点进行目录遍历的结果按照索引节点、文件索引节点所在块号、或者文件目录项所在 块号进行排序。
15. -种在内容分发网络中进行内容管理的装置，其特征在于，包括： 监测模块，用于监测边缘节点的已用存储空间是否超出预定的阈值，若是则调用文件 删除模块； 该文件删除模块包括： 第一获取单元，用于从一个索引系统处获取需保护文件的集合从； 目录遍历单元，用于对该边缘节点进行目录遍历以获取所有最后修改时间与当前时间 之间相差超过预定值的文件的集合％; 第二获取单元，用于获取待删除文件的集合;以及 文件删除单元，用于从该边缘节点内删除U2内的每个文件。
16. 如权利要求15所述的在内容分发网络中进行内容管理的装置，其特征在于，该需 保护文件的集合A包括：在过去第一预定时间内至少存在某天访问次数大于1的文件集 合、过去第二预定时间内上传但未发布的文件的集合、以及所有需要永久保存的文件的集 合。
17. 如权利要求16所述的在内容分发网络中进行内容管理的装置，该第一获取单元用 于： 向代理服务器发送淘汰预警信号； 该代理服务器根据该淘汰预警信号向该索引系统发送获取文件请求并相应获取该需 保护文件的集合A ;以及 接收该代理服务器返回的该需保护文件的集合仏。
18. 如权利要求17所述的在内容分发网络中进行内容管理的装置，其特征在于，与该 代理服务器之间的网络传输采用加密方式进行处理。
19. 如权利要求17所述的在内容分发网络中进行内容管理的装置，其特征在于，该文 件删除模块还包括： 接收单元，用于接收来自该代理服务器的目录遍历请求及该预定值，该目录遍历单元 是根据该目录遍历请求进行目录遍历操作。
20. 如权利要求17所述的在内容分发网络中进行内容管理的装置，其特征在于，该代 理服务器还包括发送模块，用于将该第一预定时间及第二预定时间发送至该索引系统。
21. 如权利要求17所述的在内容分发网络中进行内容管理的装置，其特征在于，该代 理服务器还包括获取模块，用于根据用户输入获取该预定值或者读取预先的设定信息以获 取该预定值。
22. 如权利要求15所述的在内容分发网络中进行内容管理的装置，其特征在于，还包 括： 文件存储模块，用于接收一个客户端发送的文件，以及将接收到的文件存储在连接至 该边缘节点的存储器内； 该文件的存储路径为：/DATAxACHANNEL/)y/z/filename ; 其中DATAx表示索引号为X的存储器的根目录，CHANNEL表示频道名，filename为该文 件的文件名，且X、y、z满足以下条件： (X = DiskID, DiskID < 256/N: y = has 1^( filename) mod A, 96 < /1 < 128; z = hash2if ilename) mod B, 96 < B < 128. N表示边缘节点的数目，hash与hash2为两个不同的哈希函数。
23.如权利要求22所述的在内容分发网络中进行内容管理的装置，其特征在于，还包 括目录挂载模块，用于在该目录遍历单元进行目录遍历之前通过网络文件系统将连接至该 边缘节点的存储器内的文件挂载至一个虚拟路径下，该虚拟路径为： /data/k/(CHANNEL/)y/z/filename ； 其中，k彡10000,且k与x之间为均匀的多对一映射关系。
24.如权利要求22-23任一项所述的在内容分发网络中进行内容管理的装置，其特征 在于，该目录遍历单元对该边缘节点进行目录遍历时采用广度优先遍历。
25.如权利要求22-23任一项所述的在内容分发网络中进行内容管理的装置，其特征 在于，该目录遍历单元对该边缘节点进行目录遍历时采用非递归遍历。
26.如权利要求15所述的在内容分发网络中进行内容管理的装置，其特征在于，该目 录遍历单元对该边缘节点进行目录遍历时，对于同一个存储器内的目录，其遍历过程串行 进行，而不同的存储器的遍历过程并行进行。
27.如权利要求15所述的在内容分发网络中进行内容管理的装置，其特征在于，该目 录遍历单元对该边缘节点进行目录遍历的过程中还将遍历进程绑定至特定的处理器核心。
28.如权利要求15所述的在内容分发网络中进行内容管理的装置，其特征在于，该目 录遍历单元对该边缘节点进行目录遍历的结果按照索引节点、文件索引节点所在块号、或 者文件目录项所在块号进行排序。
29. -种在内容分发网络中进行内容管理的系统，包括： 主控服务器及索引服务器； 该主控服务器用于监测该内容分发网络的边缘节点的已用存储空间是否超出预定的 阈值，若是则： 从该索引服务器处获取需保护文件的集合Ui ; 对该边缘节点进行目录遍历以获取所有最后修改时间与当前时间之间相差超过预定 值的文件的集合％; 获取待删除文件的集合;以及 从该边缘节点内删除u2内的每个文件； 该索引服务器用于根据请求返回该需保护文件的集合Ui。
30. 如权利要求29所述的在内容分发网络中进行内容管理的系统，其特征在于，该需 保护文件的集合A包括：在过去第一预定时间内至少存在某天访问次数大于1的文件集 合、过去第二预定时间内上传但未发布的文件的集合、以及所有需要永久保存的文件的集 合。
31. 如权利要求30所述的在内容分发网络中进行内容管理的系统，其特征在于，还包 括：代理服务器，用于在该主控服务器与该索引服务器之间提供通讯。
32. 如权利要求31所述的在内容分发网络中进行内容管理的系统，其特征在于，该代 理服务器采用加密方式处理该主控服务器与该索引服务器之间的通讯。
33. 如权利要求31所述的在内容分发网络中进行内容管理的系统，其特征在于，该主 控服务器还用于： 接收来自该代理服务器的目录遍历请求及该预定值，该主控服务器是根据该目录遍历 请求进行目录遍历操作。
34. 如权利要求31所述的在内容分发网络中进行内容管理的系统，其特征在于，该代 理服务器还用于：将该第一预定时间及第二预定时间发送至该索引系统。
35. 如权利要求31所述的在内容分发网络中进行内容管理的系统，其特征在于，该代 理服务器还用于：根据用户输入获取该预定值或者读取预先的设定信息以获取该预定值。
36. 如权利要求29所述的在内容分发网络中进行内容管理的系统，其特征在于，该主 控服务器还用于： 接收一个客户端发送的文件，以及将接收到的文件存储在连接至该边缘节点的存储器 内； 该文件的存储路径为：/DATAxACHANNEL/)y/z/filename ; 其中DATAx表示索引号为X的存储器的根目录，CHANNEL表示频道名，filename为该文 件的文件名，且X、y、z满足以下条件： fx = DiskID, DiskID < 256/N; 1 y = hash^filename) mod 96 < A < 128; V z = hash2{fllename) mod B^ 96 < B < 128. N表示边缘节点的数目，hash与hash2为两个不同的哈希函数。
37. 如权利要求36所述的在内容分发网络中进行内容管理的系统，其特征在于，该主 控服务器还用于：在该进行目录遍历之前通过网络文件系统将连接至该边缘节点的存储器 内的文件挂载至一个虚拟路径下，该虚拟路径为： /data/k/(CHANNEL/)y/z/filename ； 其中，10000,且k与x之间为均匀的多对一映射关系。
38. 如权利要求36-37任一项所述的在内容分发网络中进行内容管理的系统，其特征 在于，该主控服务器对该边缘节点进行目录遍历时采用广度优先遍历。
39. 如权利要求36-37任一项所述的在内容分发网络中进行内容管理的系统，其特征 在于，该主控服务器对该边缘节点进行目录遍历时采用非递归遍历。
40. 如权利要求29所述的在内容分发网络中进行内容管理的系统，其特征在于，该主 控服务器对该边缘节点进行目录遍历时，对于同一个存储器内的目录，其遍历过程串行进 行，而不同的存储器的遍历过程并行进行。
41. 如权利要求29所述的在内容分发网络中进行内容管理的系统，其特征在于，该主 控服务器对该边缘节点进行目录遍历的过程中还将遍历进程绑定至特定的处理器核心。
42. 如权利要求29所述的在内容分发网络中进行内容管理的系统，其特征在于，该主 控服务器对该边缘节点进行目录遍历的结果按照索引节点、文件索引节点所在块号、或者 文件目录项所在块号进行排序。
【文档编号】H04L29/06GK104243425SQ201310244635
【公开日】2014年12月24日 申请日期:2013年6月19日 优先权日:2013年6月19日
【发明者】庄奇东 申请人:深圳市腾讯计算机系统有限公司