专利名称：基于地理位置信息编码的cdn网络系统及分发处理方法
技术领域：
本发明涉及由分布式节点组成的内容分发网络的结构，尤其涉及一种基于层次 型地理位置信息编码方法的CDN网络系统及其分发处理方法。
背景技术：
CDN的全称是Content Distribution/Delivery Network,即内容分发网络。其目的 是通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户 的网络边缘使用户可以就近取得所需的内容， 一方面，CDN可以减少延迟，解决 Internet网络拥挤的状况；另一方面，还可以有效实现多种宽带应用，推动整个宽带 产业的发展。
CDN是建立并覆盖在互联网之上、由分布在不同区域的结点服务器群组成的虚 拟网络，是在己有的Internet网络结构基础上构建的应用层"增值"网络，也是一种 提供透明服务的中间层，它利用分布式缓存/复制、负载均衡、流量工程和客户端重 定向等技术，专门提供各种网络内容分布和服务发送的功能，包括动态地部署网络 内容到边缘，根据网络内容处理通信量，将访问请求转发给最优服务器，从而使得 用户能以最快的速度，从最接近用户的地方获得所需的信息，可解决网络拥塞，提 高响应速度和服务质量，特别是在流媒体传输方面有着其它技术无可比拟的优势。
随着互联网和P2P技术的发展，越来越多的运营商和公司看到了其中的商机， 而如何让用户更快更好地获得服务则是一个关键问题。由于地区的差别，不同地方 对内容的需求可能有所侧重，为了让本地区侧重的内容易于被本区域用户访问，系 统会利用全局负载均衡技术，将该内容分发到与用户访问距离最近的正常工作的服 务节点上，当用户提出请求时，直接对其响应。当用户访问已经使用了CDN服务的 节点时，充分考虑用户发起请求的地点和当时网络的情况，来决定把用户的请求定 向到离用户最近同时负载相对较轻的节点服务器上，保证用户的访问能得到更及时 可靠的响应。由于大量的用户访问都由分布在网络边缘的CDN节点服务器直接响应 了，这就不仅提高了用户的访问质量，同时有效地降低了源服务器的负载压力。
发明内容
本发明的目的在于提供一种基于地理位置信息编码的CDN网络系统及其分发处 理方法，通过对媒体数据和管理数据的分层存储和管理，使CDN系统具有更高的抗 动态性和扩展性，便于媒体文件的分发处理和数据管理。
为了实现上述目的，本发明的一种基于地理位置信息编码的CDN网络系统，包 括三层体系结构全网管理层，本地内容中心管理层和Cache网络层，其中，所述 全网管理层由稳定可靠、有备份的服务器担任，主要负责全网的信息管理和系统管 理员操作命令的分析和执行；所述本地内容中心管理层是由部分存储能力稳定，计 算能力强的节点所组成，主要任务是负责CDN局部区域的相关计算和管理信息的存 储，使管理数据和媒体数据分离，便于系统扩展和用户行为的统计和计算；所述Cache 网络层是由许多节点通过P2P的方式组织，主要负责对所需备份数据的路由和存储， 同时，层次型地理位置编码方法的引入，保证了 Cache网络层中节点的区域聚集性， 而P2P技术的应用，便于该层的扩展，降低了全网管理和内容管理服务器的负载， 提升了用户体验。
在本发明的网络系统中，各服务器功能和处理方法如下
* 所述全网管理层采用全网管理服务器(Global Manage Server: GM):负责
配置网络控制参数、对参数进行维护和更新；根据地域属性配置内容中心； 存储所有内容中心的全局信息；设置分发内容。根据预先配置的全局参数， 帮助生成目标内容中心及Cache网络；定期收集各个内容中心和Cache网络 的存储总量、节点总数、文件总数、文件访问次数等全局统计信息，为进一 步的优化管理做准备。该层的设置便于服务的扩展和新服务地区的加入，同 时利于运营商对控制信息的更新和优化。
*所述内容中心层采用本地管理服务器(Local Manage Server: LM):内容中 心是由GM指定，负责每个地区Cache网络全局信息维护和计算的服务器， 所有从数据源得到文件，都由LM下载到本地，并由LM对其进行分块，根 据己有的文件流行度等信息计算每个数据块所需的副本数和对应放置位置， 并向Cache网络节点进行分发。同时，同一个地区的内容管理中心层，可由 多个LM共同负责，每个LM中都存储该地区Cache网络内的全局索引信息， LM之间全互联(见图2)。多LM可以减少LM的计算压力，加速分发过程 的处理时间。该层的优势为-■无需人工干预地集中了文件的管理信息，有效地将CDN中的计算功能 和存储功能划分到不同节点上，降低了节点负载和维护复杂性；
■基于管理信息和存储内容的分层管理，通过局部信息定期更新的方式， GM可以从LM中有效收集文件访问的统计信息，便于运营商或者系统 设计者对用户行为的分析。
* 所述Cache网络层的组成节点称为Cache节点(Cache Peer: CP)，所有地 区的所有CP通过分布式哈希表(DHT)共同组成一个全局的Cache网络， 而同一个地区的CP节点称为一个地区的Cache网络，并由每个地区的LM 进行管理，Cache网络中的节点会和至少一个LM保持连接(见图3)。为了 使同一个地区Cache网络中的节点具有拓扑临近性，这里应用基于层次型地 理位置信息的编码方法(即哈希方法)，保证地理位置相近的节点在拓扑图 上处于同一个区域。CP节点接收LM所发出的分发消息，找到数据副本所 要放置的位置，并做备份，加速用户访问。每个地区的LM对Cache网络的 所有CP进行管理，包括文件数据块的副本数，副本放置位置，用户访问行 为分布，生存期，流行度等信息。每个CP节点存储ID与当前节点ID最近 的数据块和对应数据块生存函数，定期检测数据块状态，删除过期数据块。 为了使Cache网络便于扩展，更新，适应网络动态性，所有的CP节点通过 DHT进行组织。最后，LM为每个文件生成数据块索引项并进行管理。该层 的优势为-
■ P2P技术的应用可以无需中心监督而快速、有效地进行数据定位；
■ CP对本身存储内容自行管理，减少了网络通信代价。
■基于层次型地理位置信息的编码方法，可以使地理区域临近的节点在哈 希空间上也临近。
另外，为本发明的网络系统提供数据源的内容提供服务器(Content Providing Server, CPS),是独立于上述三层结构之外的部分，可以是单独的服务器，也可以 是服务器集群，其作为数据源存储待分发文件的原始数据。
另外，本发明的一种基于地理位置信息编码的CDN网络系统的数据分发处理方 法，其特征在于，包括如下步骤
71) 全网管理服务器决策分发内容(可以通过管理员设定的方式，也可通过预先设定 规则由系统进行自动分发决策)，包括文件名、目标区域以及其他辅助信息；
2) 全网管理服务器根据分发决策信息，向目标网络的本地管理服务器发送消息，包 含待分发的文件数目、名称、数据总量、每个节目的数据量、文件名、文件源地 址、节目流行度初值以及地理位置信息；
3) 本地管理服务器处理消息，将每个待分发文件切成数据块，计算所有数据块的大 小、每一块的备份数目和放置位置以及所需存储空间，并计算所需空间总和；
4) 本地管理服务器判断本地的Cache网络剩余空间是否满足存储要求；
5) 如果满足，本地管理服务器通过基于层次型地理位置信息的编码方法，计算每个 blocki的哈希值blockIDj，并向Cache节点发出分发指令；否则，转而执行步骤9);
其中，上述层次型地理位置信息的编码方法，可以有效的将地理空间相近的节 点和数据映射到哈希空间上也相近的点，使节点和数据具有地理区域聚集性，有助 于提高CDN的命中率。在层次型地理位置信息的编码方法中，得到的ID值是一个 N位的序列，该序列从左到右，由大区域到小区域、层次性的表示地理位置信息， 每个区域可以由不同位数的数值表示。比如一个8位的数字序列，其中，前两位表 示省市，3、 4两位表示地区/县市，5、 6两位表示街道，最后两位表示门牌号等等。 不同的应用环境，存在不同的编码粒度，由粗到细，条理清晰。
该编码有多种生成方法，例如
a) 通过一些官方规定的地理区域代号进行组合表示，比如邮政编码、行政区域 代码以及电话区号等；
b) 针对不同应用，通过IP地址映射、匹配等方式得到表征区域差别的编码。
6) 本地管理服务器将分发blocki的消息发送至Cache网络层中的节点，收到消息的 节点通过分布式哈希路由协议(如Chord, Pastry, CAN, Tapstry等)，找到与blockID—i 哈希空间上最近的节点，作为blocki的主节点home node; blocki的所有备份信息， 都存储在主节点home node上，同时，根据计算得到的副本数目和位置，在Cache 网络层中对blocki的副本做存储；
7) Cache节点通知本地管理服务器数据备份成功消息；
8) 本地管理服务器为对应文件建立索引，索引项包括文件名、文件ID、对应数据 块ID、数据块副本数以及数据块副本生存期。
9) 通过本地管理服务器的计算，优化Cache存储空间，即删除不常用的block,增加可用空间，同时更新LM中的全局信息。
在本步骤的优化Cache存储空间过程中，文件的删除方法步骤如下
a) 通过LM计算得到待删除数据块列表后(通过某种删除策略，例如加入CDN 网络时间越长的block,优先级越低的原则进行选择，列表中包括每个数据块的ID 值等信息)，逐一处理待删除block。
b) 逐一取出block的ID值。
c) 对每个block ID，通过DHT协议，向其home node发送删除消息。
d) 每个数据块的home node保存了该数据块所有的备份位置，取出备份位置信 息列表。
e) Home node向列表中的每个CP节点发送删除消息。
f) CP节点删除block后，通知homenode。
g) 删除完成后，home node通知LM。
h) LM更新索引信息。
10) 本地管理服务器判断当前Cache网络层空间大小，如果优化后空间足够，转而 执行步骤5);否则，执行步骤ll);
11) 由本地管理服务器LM通知全网管理服务器GM分发失败。
本发明的基于层次型地理位置信息编码方法的CDN网络系统及其分发处理方法 的有益效果在于该系统通过多层体系结构，保证了节点在管理能力上的有效分工， 利于系统的扩展，通过层次型地理位置信息，使CDN中的管理节点和存储节点进行 有效聚集，便于网络的管理和扩展，同时，通过P2P网络结构，系统具有良好的抗 动态性特点。另外，分发和删除优化过程，保证了内容的动态更新性，加强了系统 的服务能力，提升了用户体验。
图1为本发明的基于地理位置信息编码的CDN网络系统的结构示意图。 图2为本发明的基于地理位置信息编码的CDN网络系统的内容中心管理服务器 LM的组织方式示意图。
图3为本发明的基于地理位置信息编码的CDN网络系统的Cache网络的结构示
9意图。
图4为本发明的基于地理位置信息编码的CDN网络系统的分发处理方法的流程图。
图5为本发明的基于地理位置信息编码的CDN网络系统的分发处理方法中的数 据删除过程流程图。
图6为全国的Cache网络层示意图。
具体实施例方式
下面结合附图和具体实施例对本发明的基于地理位置信息编码的CDN网络系统 及其分发处理方法进行详细的说明。
图1为本发明的基于地理位置信息编码的CDN网络系统的结构示意图。如图1 所示，本发明的一种基于地理位置信息编码的CDN网络系统，包括三层体系结构 全网管理层，本地内容中心管理层和Cache网络层，其中，所述全网管理层由稳定 可靠、有备份的服务器担任，主要负责全网的信息管理和系统管理员操作命令的分 析和执行；所述本地内容中心管理层是由部分存储能力稳定，计算能力强的节点所 组成，主要任务是负责CDN局部区域的相关计算和管理信息的存储，使管理数据和 媒体数据分离，便于系统扩展和用户行为的统计和计算；所述Cache网络层是由许 多节点通过P2P的方式组织，主要负责对所需备份数据的路由和存储，同时，层次 型地理位置编码方法的引入，保证了 Cache网络层中节点的区域聚集性，而P2P技 术的应用，便于该层的扩展，降低了全网管理和内容管理服务器的负载，提升了用 户体验。
在本发明的网络系统中，各服务器功能和处理方法如下
*全网管理层采用全网管理服务器(Global Manage Server: GM):负责配置 网络控制参数、对参数进行维护和更新；根据地域属性配置内容中心；存储 所有内容中心的全局信息；设置分发内容。根据预先配置的全局参数，帮助 生成目标内容中心及Cache网络；定期收集各个内容中心和Cache网络的存 储总量、节点总数、文件总数、文件访问次数等全局统计信息，为进一步的 优化管理做准备。该层的设置便于服务的扩展和新服务地区的加入，同时利 于运营商对控制信息的更新和优化。* 内容中心层采用本地管理服务器(Local Manage Server: LM):图2为本发 明的基于地理位置信息编码的CDN网络系统的内容中心管理服务器LM的 组织方式示意图。内容中心是由GM指定，负责每个地区Cache网络全局信 息维护和计算的服务器，所有从数据源得到文件，都由LM下载到本地，并 由LM对其进行分块，根据已有的文件流行度等信息计算每个数据块所需的 副本数和对应放置位置，并向Cache网络节点进行分发。同时，如图2所示， 同一个地区的内容管理中心层，可由多个LM共同负责，每个LM中都存储 该地区Cache网络内的全局索引信息，LM之间全互联。多LM可以减少LM 的计算压力，加速分发过程的处理时间。该层的优势为
■无需人工干预地集中了文件的管理信息，有效地将CDN中的计算功能 和存储功能划分到不同节点上，降低了节点负载和维护复杂性；
■基于管理信息和存储内容的分层管理，通过局部信息定期更新的方式， GM可以从LM中有效收集文件访问的统计信息，便于运营商或者系统 设计者对用户行为的分析。
*图3为本发明的基于地理位置信息编码的CDN网络系统的Cache网络的结 构示意图。如图3所示，Cache网络层的组成节点称为Cache节点(Cache Peer: CP)，所有地区的所有CP通过分布式哈希表(DHT)共同组成一个 全局的Cache网络，而同一个地区的CP节点称为一个地区的Cache网络， 并由每个地区的LM进行管理，Cache网络中的节点会和至少一个LM保持 连接。为了使同一个地区Cache网络中的节点具有拓扑临近性，这里应用基 于层次型地理位置信息的编码方法(即哈希方法)，保证地理位置相近的节 点在拓扑图上处于同一个区域。CP节点接收LM所发出的分发消息，找到 数据副本所要放置的位置，并做备份，加速用户访问。每个地区的LM对 Cache网络的所有CP进行管理，包括文件数据块的副本数，副本放置位置， 用户访问行为分布，生存期，流行度等信息。每个CP节点存储ID与当前 节点ID最近的数据块和对应数据块生存函数，定期检测数据块状态，删除 过期数据块。为了使Cache网络便于扩展，更新，适应网络动态性，所有的 CP节点通过DHT进行组织。最后，LM为每个文件生成数据块索引项并进 行管理。该层的优势为-
■ P2P技术的应用可以无需中心监督而快速、有效地进行数据定位；■CP对本身存储内容自行管理，减少了网络通信代价。
■基于层次型地理位置信息的编码方法，可以使地理区域临近的节点在哈 希空间上也临近。
另外，为本发明的网络系统提供数据源的内容提供服务器(Content Providing Server, CPS)，是独立于上述三层结构之外的部分，可以是单独的服务器，也可以 是服务器集群，其作为数据源存储待分发文件的原始数据。
图4为本发明的基于地理位置信息编码的CDN网络系统的分发处理方法的流程 图。如图4所示，本发明的一种基于地理位置信息编码的CDN网络系统的数据分发 处理方法，其特征在于，包括如下步骤
1) 全网管理服务器决策分发内容(可以通过管理员设定的方式，也可通过预先设定
规则由系统进行自动分发决策)，包括文件名、目标区域以及其他辅助信息；
2) 全网管理服务器根据分发决策信息，向目标网络的本地管理服务器发送消息，包
含待分发的文件数目、名称、数据总量、每个节目的数据量、文件名、文件源地 址、节目流行度初值以及地理位置信息；
3) 本地管理服务器处理消息，将每个待分发文件切成数据块，计算所有数据块的大 小、每一块的备份数目和放置位置以及所需存储空间，并计算所需空间总和；
4) 本地管理服务器判断本地的Cache网络剩余空间是否满足存储要求；
5) 如果满足，本地管理服务器通过基于层次型地理位置信息的编码方法，计算每个 blocki的哈希值blockIDj，并向Cache节点发出分发指令；否则，转步骤9);
这里，层次型地理位置信息的编码方法，可以有效的将地理空间相近的节点 和数据映射到哈希空间上也相近的点，使节点和数据具有地理区域聚集性，有助 于提高CDN的命中率。在层次型地理位置信息的编码方法中，得到的ID值是 一个N位的序列，该序列从左到右，由大区域到小区域、层次性的表示地理位 置信息，每个区域可以由不同位数的数值表示。比如一个8位的数字序列，其中， 前两位表示省市，3、 4两位表示地区/县巿，5、 6两位表示街道，最后两位表示 门牌号等等。不同的应用环境，存在不同的编码粒度，由粗到细，条理清晰。
该编码有多种生成方法，例如
a)通过一些官方规定的地理区域代号进行组合表示，比如邮政编码、行政区域 代码、电话区号等等；
12b)针对不同应用，通过IP地址映射、匹配等方式得到表征区域差别的编码。
6) 本地管理服务器将分发blocki的消息发送至Cache网络层中的节点，收到消息的 节点通过分布式哈希路由协议(如Chord, Pastiy， CAN, Tapstry等)，找到与blockID—i 哈希空间上最近的节点，作为blocki的主节点home node; blocki的所有备份信息， 都存储在主节点home node上，同时，根据计算得到的副本数目和位置，在Cache 网络层中对blocki的副本做存储；
7) Cache节点通知本地管理服务器数据备份成功消息；
8) 本地管理服务器为对应文件建立索引，索引项包括文件名、文件ID、对应数据 块ID、数据块副本数以及数据块副本生存期。
9) 通过本地管理服务器的计算，优化Cache存储空间，即删除不常用的block,增 加可用空间，同时更新LM中的全局信息。
其中，图5为本发明的基于地理位置信息编码的CDN网络系统的分发处理方法 中的数据删除过程流程图。如图5所示，在本步骤9)的优化Cache存储空间过程中， 文件的删除方法步骤如下
a) 通过LM计算得到待删除数据块列表后(通过某种删除策略，例如加入CDN 网络时间越长的block，优先级越低的原则进行选择，列表中包括每个数据 块的ID值等信息)，逐一处理待删除block。
b) 逐一取出block的ID值。
c) 对每个block ID，通过DHT协议，向其home node发送删除消息。
d) 每个数据块的home node保存了该数据块所有的备份位置，取出备份位置信 息列表。
e) Home node向列表中的每个CP节点发送删除消息。
f) CP节点删除block后，通知homenode。
g) 删除完成后，home node通知LM。
h) LM更新索引信息。
10) 本地管理服务器判断当前Cache网络层空间大小，如果优化后空间足够，转而 执行步骤5);否则，执行步骤ll);11)由本地管理服务器LM通知全网管理服务器GM分发失败。
实施例
下面结合具体实施例来说明该CDN网络系统和功能。假设该CDN网络需覆盖 北京，上海，天津三地。以北京地区为例，假设服务器分布如下述表1所示；两台 服务器为LM1和LM2负责北京地区的内容中心管理；除此之外， 一台服务器作为 GM管理CDN的全局信息。这里，Pastry作为基本路由协议，通过其前缀匹配的方 式，快速匹配相应地区的节点。
表l:北京地区Cache网络层服务器分布情况示意
城市区堪服务器数目服务器放置地邮编
北京东城2100007
朝阳2100026
西城2100034
石景山1100041
宣武1100050
崇文1100061
丰台1100070
海淀200081
根据CDN网络的目标和所分发内容的设置，需要将其分发至离目标最近的服务 节点上。邮政编码是一个6位的数字序列，其中，前两位表示省巿，中间两位表示 地区/县市，最后两位表示所要投递的邮政所。因此，通过邮政编码，可以有效地将 地区从大区域划分到小区域甚至街道。因此，所需分发地区的邮政编码可以作为该 地区的地理位置信息，用以在DHT中生成ID值，各节点ID如图6所示的全国的 Cache网络层示意图。。当文件/要分发到海淀区时，过程如下
1) GM向LM1 (或者LM2)发出分发指令，将/分发至海淀区；
2) LMl将文件/从数据源下载到本地；
3) 通过LM1获取本地Cache网络中存储空间的占用情况，发现剩余空间不足以为 新的数据块做备份，根据一些优化准则(比如加入CDN网络时间越长的数据块， 优先级越低)，选出待删除的数据块列表，这里，待删除数据块列表为(block10 ，
14blockll};
4) 取出block10的ID，如节点1000812601825135;
5) 通过DHT协议找至lj节点1000812601825135的主节点home node 1000812501920145;
6) 从节点 1000812501920145 中取出blocklO所有的备份节点列表 {1000812501920145 ， 1000813 709467800};
7) 向列表中的所有CP节点发出删除blocklO的消息；
8) CP节点接到删除消息后删除blocklO;
9) 同时节点1000812501920145删除blocklO相关信息；
10) 所有blocklO都删除结束后，节点1000812501920145通知LMl删除成功；
11) LMl更新包含block10的索引表；
12) 取出下一个blockll，继续删除，其步骤与block10的删除过程相同；直至待删 除列表为空，停止；删除过程结束；
13) 为了加速用户获取，LM1将文件切成数据块(也可不切分)，每块是一个block， 文件可以被分为数据块序列，假设分为3块，为(blockl， block2， block3};
14) 根据文件名称，通过基于层次型地理位置信息的编码方法为文件生成索引存储 ID，假设ID共16位，前6位为邮政编码，后10位为哈希函数生成值，艮口
RID = 100081 (地理位置信息编码，这里用地区邮政编码表示)+ Hash(文 件名)(如2356780132)
即RID= 1000812356780132
15) 通过基于层次型地理位置信息的编码方法为每个数据块生成ID。数据块ID生成 公式
BIDi = 100081 (地理位置信息编码，这里用地区邮政编码表示)+ Hash(文 件名+block的序号)
假定{block 1 ， block2 ， block3}的ID为{1000810003215200,100081013567810， 100084816213269}。16) 综合流行度等信息，通过某种副本数目计算方法，为每个数据块计算所需副本数 目和对应放置位置(比如，blockl需要放置2份在节点1000812501920145和 1000813709467800， block2需要放置2份在节点1000812501920145和 1000813709467800， block3需要放置1份在节点100084816213269)。
17) 假设3个数据块的大小各为100M， 200M和300M，则步骤16)所需的存储空 间大小为900M。 LM1计算Cache网络中，海淀区节点的剩余可用空间，如果满 足副本备份要求，则根据步骤16)的计算结果生成资源副本，并进行放置。对 每个数据块的放置步骤如下，如blockl:
a) LM1随机选择一个节点作为入口节点，将blockl的分发消息通知该入口；
b) 入口节点找到ID00blockl的ID最近的节点10008137094678，该节点称为 block_l的home node,存储一份blockl的副本；
c) 根据计算得到的block—1的副本数和放置位置，通过Pastry路由协议，将剩 余副本进行放置，同时，每个备份数据都附加一个表示剩余生存时间的时间 戳，如100小时，并以24小时为周期定期自我检测剩余生存时间。备份完 成后，通矢口 home node;
d) home node接到备份完成的消息后，通知入口节点。
e) block全部加入完成后，将所有block的ID和对应副本信息组成索引项，根 据Pastry路由算法，存储于离RID ( 1000812356780132)最近的节点 1000812501920145上；
18) 节点1000812501920145通知内容中心LM1数据副本备份成功，生成一个全局索 引项，存储于LM1中，资源加入完成。
当读取数据时，首先找到文件/的索引节点1000812501920145，从中取出数据 块序列的ID列表，再通过Pastry路由方法从网络中将各个block内容取出。
说明文档中的其他内容针对本专业领域内的普通技术人员，均可进行技术实现， 这里不再赘述。
权利要求
1、一种基于地理位置信息编码的CDN网络系统，其特征在于，包括三层体系结构全网管理层，本地内容中心管理层和Cache网络层，其中，所述全网管理层由有备份的服务器担任，负责全网的信息管理和系统管理员操作命令的分析和执行；所述本地内容中心管理层是由部分存储能力稳定、计算能力强的节点组成，负责CDN局部区域的相关计算和管理信息的存储，使管理数据和媒体数据分离，便于系统扩展和用户行为的统计和计算；所述Cache网络层应用基于层次型地理位置信息的编码方式，由许多节点通过P2P的方式组织，负责对所需备份数据的路由和存储。
2、 如权利要求1所述的基于地理位置信息编码的CDN网络系统，其特征在于， 所述全网管理层采用全网管理服务器，该服务器负责配置网络控制参数、对参数进行维护和更新；根据地域属性配置内容中心；存储所有内容中心的全局信息； 设置分发内容；根据预先配置的全局参数，帮助生成目标内容中心及Cache网络； 定期收集各个内容中心和Cache网络的全局统计信息，包括存储总量、节点总数、 文件总数以及文件访问次数；所述内容中心层采用本地管理服务器，内容中心是由全网管理服务器指定，负 责每个地区Cache网络全局信息维护和计算的服务器，所有从数据源得到文件，都 由本地管理服务器下载到本地，并由本地管理服务器对其进行分块，根据已有的文 件流行度等信息计算每个数据块所需的副本数和对应放置位置，并向Cache网络节 点进行分发，同时，同一个地区的内容管理中心层，可由多个本地管理服务器共同 负责，每个本地管理服务器中都存储该地区Cache网络内的全局索引信息，本地管 理服务器之间全互联；所述Cache网络层的组成节点称为Cache节点，所有地区的所有Cache节点通 过分布式哈希表共同组成一个全局的Cache网络，而同一个地区的Cache节点组成 了一个地区的Cache网络，并由每个地区的本地管理服务器进行管理，Cache网络中 的节点会和至少一个本地管理服务器保持连接。
3、 一种基于地理位置信息编码的CDN网络系统的数据分发处理方法，其特征 在于，包括如下步骤1)全网管理服务器通过管理员设定的方式或者通过预先设定规则由系统进行自 动分发决策的方式决策分发内容，包括文件名、目标区域以及其他辅助信息；2) 全网管理服务器根据分发决策信息，向目标网络的本地管理服务器发送消息， 包含待分发的文件数目、名称、数据总量、每个节目的数据量、文件名、文件源 地址、节目流行度初值以及地理位置信息；3) 本地管理服务器处理消息，将每个待分发文件切成数据块，计算所有数据块 的大小、每一块的备份数目和放置位置以及所需存储空间，并计算所需空间总和；4) 本地管理服务器判断本地的Cache网络剩余空间是否满足存储要求；5) 如果满足，本地管理服务器通过基于层次型地理位置信息的编码方法，计算 每个blocki的哈希值blocklD—i，并向Cache节点发出分发指令；否则，转而执行步 骤9);6) 本地管理服务器将分发blocki的消息发送至Cache网络层中的节点，收到消 息的节点通过分布式哈希路由协议，找到与blockIDj哈希空间上最近的节点作为 blocki的主节点home node; blocki的所有备份信息都存储在主节点home node上， 同时，根据计算得到的副本数目和位置在Cache网络层中对blocki的副本做存储；7) Cache节点通知本地管理服务器数据备份成功消息；8) 本地管理服务器为对应文件建立索引，索引项包括文件名、文件ID、对应 数据块ID、数据块副本数以及数据块副本生存期；9) 通过本地管理服务器的计算，优化Cache存储空间，由Cache节点删除不常 用的block,增加可用空间，同时更新本地管理服务器中的全局信息；10) 本地管理服务器判断当前Cache网络层空间大小，如果优化后空间足够， 转而执行步骤5);否则，执行步骤ll);11) 由本地管理服务器通知全网管理服务器分发失败。
4、 如权利要求3所述的基于地理位置信息编码的CDN网络系统的数据分发处 理方法，其特征在于，所述步骤5)中所述的层次型地理位置信息的编码方法，是获 得一个N位序列的ID值，该序列从左到右，由大区域到小区域、层次性的表示地理 位置信息，每个区域由不同位数的数值表示，编码的生成方法包括a) 通过一些官方规定的地理区域代号进行组合表示，包括邮政编码、行政区 域代码以及电话区号；b) 针对不同应用，通过IP地址映射、匹配等方式得到表征区域差别的编码。
5、 如权利要求3所述的基于地理位置信息编码的CDN网络系统的数据分发处 理方法，其特征在于，所述步骤9)中，所述文件的删除方法步骤如下a)通过本地管理服务器利用某种删除策略计算得到待删除数据块列表后，逐一处理待删除block;b) 逐一取出block的ID值；c) 对每个block ID,通过DHT协议，向其主节点home node发送删除消息；d) 每个数据块的home node保存了该数据块所有的备份位置，取出备份位置信 息列表；e) 主节点Home node向列表中的每个Cache节点发送删除消息；f) Cache节点删除block后，通知主节点home node;g) 删除完成后，主节点home node通知本地管理服务器；h) 本地管理服务器更新索引信息。
6、如权利要求5所述的基于地理位置信息编码的CDN网络系统的数据分发处 理方法，其特征在于，所述删除策略按照加入CDN网络时间越长的block或者优先 级越低的原则进行选择。
全文摘要
本发明提供一种基于地理位置信息编码的CDN网络系统及其分发处理方法。该网络系统包括全网管理层，本地内容中心管理层和Cache网络层。全网管理层由有备份的服务器担任，负责全网的信息管理和系统管理员操作命令的分析和执行；本地内容中心管理层由部分存储能力稳定、计算能力强的节点组成，负责CDN局部区域的相关计算和管理信息的存储；Cache网络层应用基于层次型地理位置信息的编码方式，由许多节点通过P2P的方式组织，负责对所需备份数据的路由和存储。根据本发明的CDN网络系统，通过对媒体数据和管理数据的分层存储和管理，使CDN系统具有更高的抗动态性和扩展性，便于媒体文件的分发处理和数据管理。
文档编号H04L29/08GK101645922SQ200910082190
公开日2010年2月10日 申请日期2009年4月17日 优先权日2009年4月17日
发明者尤佳莉, 王劲林, 王玲芳, 邓浩江, 齐向东 申请人:中国科学院声学研究所