1.一种面向大规模矢量场数据处理方法,其特征在于,该方法至少包括以下步骤:
(1)将大规模矢量场数据进行等分,且将等分后形成的每个分矢量场数据再次等分,重复上述步骤,直至等分次数达到矢量场数据的维数数值,最终等分后形成子区域,按子区域数据的位置按序进行编码;
(2)设定最大合并数,读取所有子区域数据,根据最大合并数依次将子区域数据按编码值由小至大依次合并成区域块;
(3)根据数据块的形成先后进行编码,读取数据块且根据数据块的编码通过哈希映射将数据块分配至相应分区,将空间上邻近的数据块分配到同一分区;
所用哈希映射公式为
式中a为分区数,c为数据块的编码数,m为分区总数,
(4)利用流数据阀门检验数据块单一性和完整性;具体步骤如下:
1)根据数据块的编码数值设置不同的缓冲区;
2)依次按编码数值将数据块分配至相应的缓冲区内且判断待分配的数据块是否与缓冲区内某一数据块相同,若相同则将该数据块替代缓冲区内与之相同的数据块,若不同则将该数据块添加至相应的缓冲区内;
3)判断缓冲区内数据块中数据是否完整,若完整则输出该数据快,若不完整则不输出该数据块;
(5)对数据块进行迭代计算,即始终使用上一次计算的结果数据进行计算,且将计算后的数据块合并形成数据流输出。
2.根据权利要求1所述的面向大规模矢量场数据处理方法,其特征在于:步骤(1)中所述等分为十字形均等切分。
3.根据权利要求1所述的面向大规模矢量场数据处理方法,其特征在于:步骤(1)中所述子区域数据的编码按00、01、10、11从左到右,自上而下依次标注,进一步等分后的子区域数据的编码,保留原有标注且按上述规则增加后缀标注。
4.根据权利要求1所述的面向大规模矢量场数据处理方法,其特征在于:步骤1)所述缓冲区仅存储相同编码前缀的数据块。
5.根据权利要求1所述的面向大规模矢量场数据处理方法,其特征在于:步骤2)所述数据块数据结构为键值名、数据类型、键值。
6.根据权利要求1或5所述的面向大规模矢量场数据处理方法,其特征在于,步骤2)所述待分配的数据块是否与缓冲区内某一数据块相同的具体方法为:判断待分配的数据块与缓冲区内数据块中键值是否相同。
7.根据权利要求1或5所述的面向大规模矢量场数据处理方法,其特征在于,步骤3)所述判断缓冲区内数据块中数据是否完整的具体方法为:依次检查数据块的键值中所有最小单元区域是否含有数据值,若全部含有,则该数据块中数据完整,反之,则该数据块中数据不完整。