专利名称：一种二维瓦片在基于对象存储系统中的分布方法
技术领域：
本发明涉及一种存储系统中的分布方法，尤其涉及一种二维瓦片在基于对象存储 系统中的分布方法。
背景技术：
大规模地形实时漫游系统在多个领域(如数字地球、大规模军事仿真等)得到了 广泛应用，地形数据的网络用户急剧增加；随着地形数据分辨率的不断提高，地形数据的数 据量也呈爆炸性增长。当前的网络存储技术主要有直接附属存储、网络附属存储和存储区 域网三种，它们并不能给海量地形数据提供种同时满足高性能的存储服务和跨平台的安全 共享的存储解决方案。基于对象存储技术是下一代的分布式网络存储技术，具有高性能、高 可扩展性、高并行性、易管理性和安全可靠的特点。将地形数据按平面格网划分成若干个瓦 片，每个瓦片以对象的形式存储在基于对象存储系统中，可以满足海量地形数据存储管理 对高性能存储服务和跨平台安全共享的要求。地形漫游系统一般需要提取一个查询窗口内 相邻的多个瓦片的地形数据，采取一定的分布方法使查询窗口内的瓦片尽可能地分布到不 同的基于对象存储设备上，充分利用基于对象存储系统的高并行性，是降低瓦片平均响应 时间提高系统性能的关键。
基于对象存储是一种分布式网络存储技术，具有高度的并发访问特性。数据在多 个基于对象存储设备上分布的方法主要有两类一类是基于映射表的方法，另一类是基于 映射函数的方法。基于映射表的方法通过元数据目录映射表来记录数据的位置信息，如通 常采用的顺序分片映射或Hash方式。这类方法一方面造成数据分布的不均衡性，而且很少 考虑设备之间性能的差异，更加剧了设备的利用率不均衡；另一方面，随着系统的扩展，采 用映射表记录数据对象分布的位置所需的时间和空间代价使得元数据查找性能称为系统 性能的瓶颈。基于映射函数的方法是在存储客户端采用映射函数直接算出数据对象的位置 信息。虽然映射函数一般比较复杂，但是可以解决基于映射表的方法的数据分布不均衡性 和元数据查找性能瓶颈等问题，正成为目前大型存储系统数据分布方法研究的热点。在地形漫游系统中，查询窗口中所有瓦片都得到响应才能得到完整的地形数据， 其响应时间取决于查询窗口中响应时间最长的瓦片。这就要求查询窗口中的所有瓦片响应 时间尽可能相同。为此，查询窗口中的每个瓦片应当分布到性能相同的互不不同的基于对 象存储设备上，现有的基于对象存储对象分布方法并不能完全达到这种要求。
发明内容
本发明的目的在于提供一种二维瓦片在基于对象存储系统中的分布方法，该方法 降低查询窗口中瓦片的平均响应时间，提高地形漫游系统地形数据访问性能。本发明是这样来实现的，其特征是方法步骤为首先，构建一组性能完全相同的虚 拟存储设备V= {ν0,νι;…，VM_J，并且容量不限；地形数据划分成若干个二维瓦片，将查询 窗口中对应位置上的二维瓦片分布到M个虚拟存储设备中，M个虚拟存储设备中的数据依次均勻映射到w，l)中的M个等间距的区间；然后，按照N个真实存储设备R= (RojR1,-, Rn-J所分布的数据量占总数据量的百分比Ω = {ω0, ω17…，依次划分区间
then(tx, ty) — Vi
(2)从虚拟存储设备到真实存储设备的映射，记为f2 ；根据映射构造方法，映射f2可以表示为f2 if<formula>formula see original document page 5</formula>then(tx, ty) — Rj其中，O≤ i ≤ M-1，0 ≤ j ≤ N-l，O1 = O。参见
图1，本发明提供的分布方法的基本步骤为(a)地形数据按照平面格网划分成NjN2个瓦片，记为(tx，ty)，其中 O ^ tx ^ N1-LO ^ ty ^ N2-I, N1 和 N2 均为整数。(b)将全体二维瓦片，通过函数f^t^ty)映射到一致伪随机产生的均勻分布到单 位区间W，l)上的随机数集合；(c)构造性能相同、容量不限的M个虚拟存储设备组成的集合V = {V。，V1,…， VM_J，依次对应着单位区间[0，1)上的M个等间距划分的分布区间[i/M，(i+1) /M) (O ≤ i ≤ M-1)；(d)将查询窗口中对应位置上的所有二维瓦片分别映射到虚拟存储设备i所对应 的区间；(e)对N个真实存储设备的组成的集合R = {R0, R1,…，RN_J，按其实际性能计算
出各个真实存储设备所分布的数据量A= {a。，ai，…，aN_J，并按式’<formula>formula see original document page 5</formula>
计算出各个真实存储设备所分布的数据量占总数据量的分布百分比Ω = {ω0, ωι，…， N_J ；(f)根据分布百分比依次将单位区间[0，1)划分成N个分布区间[Ι^, 叭)
(O ≤ j ≤ N-I, CO1 = 0)；(g)如果<formula>formula see original document page 5</formula>)，则将二维瓦片(tx，ty)分布到真实存储 设备j上。
权利要求
一种二维瓦片在基于对象存储系统中的分布方法，其特征是方法步骤为首先，构建一组性能完全相同的虚拟存储设备V＝{V0，V1，...，VM-1}，并且容量不限；地形数据划分成若干个二维瓦片，将查询窗口中对应位置上的二维瓦片分布到M个虚拟存储设备中，M个虚拟存储设备中的数据依次均匀映射到[0，1)中的M个等间距的区间；然后，按照N个真实存储设备R＝{R0，R1，...，RN-1}所分布的数据量占总数据量的百分比Ω＝{ω0，ω1，...，ωN-1}依次划分区间[0，1)；最后，将落在各个真实存储设备区间的二维瓦片映射到对应的真实存储设备上。
2.根据权利要求1所述的一种二维瓦片在基于对象存储系统中的分布方法，其 特征是所述的地形数据被水平和垂直网格线划分成&*队个瓦片，记为(tx，ty)，其中 O ≤ tx ≤ N1-LO ≤ ty ≤ N2-I，N1 和 N2 均为整数。
3.根据权利要求1所述的一种二维瓦片在基于对象存储系统中的分布方法，其特征是 所述的M为正整数，是查询窗口中二维瓦片的个数。
4.根据权利要求1所述的一种二维瓦片在基于对象存储系统中的分布方法，其特征是 所述的N为正整数，是真实存储设备的个数。
5.根据权利要求1所述的一种二维瓦片在基于对象存储系统中的分布方法，其特征是 所述的均勻映射采用蒙特卡罗方法。
6.根据权利要求1所述的一种二维瓦片在基于对象存储系统中的分布方法，其特征是所述真实存储设备所分布的数据量占总数据量的百分比Ω = {ω0, ω”...，ω,—}是按照其实际性能计算出各个真实存储设备所分布的数据量A = {a0,ai;.. .，aN_J，然后按照公式 a j a j<formula>formula see original document page 2</formula> 计算。
7.根据权利要求1所述的一种二维瓦片在基于对象存储系统中的分布方法，其特征是 所述虚拟存储设备只是在算法进行过程中存在，当两层映射完毕之后，虚拟存储设备就不 存在了。
全文摘要
一种二维瓦片在基于对象存储系统中的分布方法，其特征是方法步骤为首先，构建一组性能完全相同的虚拟存储设备V＝{V0，V1，...，VM-1}，并且容量不限；将查询窗口中对应位置上的二维瓦片分布到M个虚拟存储设备中，最后，将落在各个真实存储设备区间的二维瓦片映射到对应的真实存储设备上。本发明的优点是优化二维瓦片在基于对象存储系统中的分布均衡性能，降低了瓦片的平均响应时间；将为大规模地形实时漫游系统的普及应用奠定坚实的地形数据存储基础，为人类生活的各方面应用地形数据带来巨大的方便。
文档编号H04L29/06GK101820445SQ20101013237
公开日2010年9月1日 申请日期2010年3月25日 优先权日2010年3月25日
发明者李忠民 申请人:南昌航空大学