一种面向大规模矢量场数据处理方法与流程

文档序号:22929897发布日期:2020-11-13 16:28阅读:来源:国知局

技术特征:

1.一种面向大规模矢量场数据处理方法,其特征在于,该方法至少包括以下步骤:

(1)将大规模矢量场数据进行等分,且将等分后形成的每个分矢量场数据再次等分,重复上述步骤,直至等分次数达到矢量场数据的维数数值,最终等分后形成子区域,按子区域数据的位置按序进行编码;

(2)设定最大合并数,读取所有子区域数据,根据最大合并数依次将子区域数据按编码值由小至大依次合并成区域块;

(3)根据数据块的形成先后进行编码,读取数据块且根据数据块的编码通过哈希映射将数据块分配至相应分区,将空间上邻近的数据块分配到同一分区;

所用哈希映射公式为

式中a为分区数,c为数据块的编码数,m为分区总数,为向下取整后的分区数;

(4)利用流数据阀门检验数据块单一性和完整性;具体步骤如下:

1)根据数据块的编码数值设置不同的缓冲区;

2)依次按编码数值将数据块分配至相应的缓冲区内且判断待分配的数据块是否与缓冲区内某一数据块相同,若相同则将该数据块替代缓冲区内与之相同的数据块,若不同则将该数据块添加至相应的缓冲区内;

3)判断缓冲区内数据块中数据是否完整,若完整则输出该数据快,若不完整则不输出该数据块;

(5)对数据块进行迭代计算,即始终使用上一次计算的结果数据进行计算,且将计算后的数据块合并形成数据流输出。

2.根据权利要求1所述的面向大规模矢量场数据处理方法,其特征在于:步骤(1)中所述等分为十字形均等切分。

3.根据权利要求1所述的面向大规模矢量场数据处理方法,其特征在于:步骤(1)中所述子区域数据的编码按00、01、10、11从左到右,自上而下依次标注,进一步等分后的子区域数据的编码,保留原有标注且按上述规则增加后缀标注。

4.根据权利要求1所述的面向大规模矢量场数据处理方法,其特征在于:步骤1)所述缓冲区仅存储相同编码前缀的数据块。

5.根据权利要求1所述的面向大规模矢量场数据处理方法,其特征在于:步骤2)所述数据块数据结构为键值名、数据类型、键值。

6.根据权利要求1或5所述的面向大规模矢量场数据处理方法,其特征在于,步骤2)所述待分配的数据块是否与缓冲区内某一数据块相同的具体方法为:判断待分配的数据块与缓冲区内数据块中键值是否相同。

7.根据权利要求1或5所述的面向大规模矢量场数据处理方法,其特征在于,步骤3)所述判断缓冲区内数据块中数据是否完整的具体方法为:依次检查数据块的键值中所有最小单元区域是否含有数据值,若全部含有,则该数据块中数据完整,反之,则该数据块中数据不完整。


技术总结
本发明提供了一种面向大规模矢量场数据处理方法。此方法将将大规模矢量场数据进行等分形成子区域,按子区域数据的位置按序进行编码;读取子区域数据,且将其合并成数据块;读取数据块且根据数据块的编码通过哈希映射将数据块分配至相应分区,将空间上邻近的数据块分配到同一分区,流数据阀门依次按编码数值判断数据块的单一性和完整性。由于该方法根据数据块的编码通过哈希映射将数据块分配至相应分区,从而将空间上邻近的数据块分配到同一分区,不需重新寻找数据块在空间上邻近的数据块,提高了迭代计算的效率;流数据阀门排除了重复和缺失信息的数据块,保证了数据流的单一性和完整性。

技术研发人员:答海玲;张柱;郑坤;冉秀桃
受保护的技术使用者:武汉兆图科技有限公司
技术研发日:2020.08.12
技术公布日:2020.11.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1