数据访问方法和装置、数据存储方法和装置与流程

文档序号:30815264发布日期:2022-07-20 00:35阅读:来源:国知局

技术特征:
1.一种数据访问方法,其特征在于,所述方法包括:获取与待访问对象对应的、且携带有目标索引信息的数据访问指令,所述待访问对象为写入至目标共享空间中的数据对象的至少一部分,且所述待访问对象中包括有至少一个目标对象;根据所述目标索引信息,确定加载有共享内存文件的目标地址空间的第一首地址、及所述待访问对象中的初始对象在所述目标共享空间中的初始位置信息;所述共享内存文件是对所述目标共享空间中的各数据对象进行映射得到;基于所述第一首地址对所述初始位置信息进行调整,得到与所述目标地址空间相匹配的对象位置信息;根据所述对象位置信息,并通过调用所述目标地址空间,获取与所述初始对象对应的数据内容;依次对所述待访问对象中除初始对象之外的各个目标对象进行轮询处理,以得到每个目标对象各自所对应的数据内容;其中,对于每次轮询至的当前目标对象,根据前次轮询至的前序目标对象的对象位置信息,确定当次轮询至的当前目标对象的对象位置信息,并根据所述当前目标对象的对象位置信息,通过调用所述目标地址空间,获取与所述当前目标对象对应的数据内容。2.根据权利要求1所述的方法,其特征在于,所述目标索引信息包括共享内存文件的文件存储路径和目标片段标识;所述根据所述目标索引信息,确定加载有共享内存文件的目标地址空间的第一首地址、及所述待访问对象中的初始对象在所述目标共享空间中的初始位置信息,包括:根据所述文件存储路径,确定加载有共享内存文件的目标地址空间的第一首地址,并基于所述第一首地址确定与所述共享内存文件对应的文件元数据;根据所述文件元数据和所述目标片段标识,确定与所述待访问对象对应的目标片段;根据所述目标片段的片段内容,确定所述待访问对象中的初始对象在所述目标共享空间中的初始位置信息。3.根据权利要求2所述的方法,其特征在于,所述文件元数据包括所述共享内存文件中的头部所占用内存的空间大小;所述根据所述文件元数据和所述目标片段标识,确定与所述待访问对象对应的目标片段,包括:根据所述目标片段标识和所述空间大小,确定与所述待访问对象对应的目标片段在所述目标共享空间中的第一偏移位置信息;根据所述第一首地址和所述第一偏移位置信息,确定与所述目标片段对应、且与所述目标地址空间相匹配的片段位置信息;根据所述目标片段的片段位置信息,确定所述目标片段的片段内容。4.根据权利要求1所述的方法,其特征在于,所述数据访问指令通过数据访问进程触发;所述根据所述对象位置信息,并通过调用所述目标地址空间,获取与所述初始对象对应的数据内容,包括:响应于所述数据访问指令,根据与所述初始对象对应的对象位置信息,并通过所述数据访问进程调用所述目标地址空间,从与所述目标地址空间相对应的目标物理内存中读取所述初始对象的数据内容并反馈;其中,所述目标物理内存中的数据内容是通过计算机内
核从所述共享内存文件中调入并存储至的。5.根据权利要求1所述的方法,其特征在于,所述对于每次轮询至的当前目标对象,根据前次轮询至的前序目标对象的对象位置信息,确定当次轮询至的当前目标对象的对象位置信息,包括:确定前次轮询至的前序目标对象的对象位置信息和所述前序目标对象所占用内存的空间大小;基于所述前序目标对象的对象位置信息和所述前序目标对象所占用内存的空间大小,确定当次轮询至的当前目标对象的对象位置信息。6.根据权利要求1所述的方法,其特征在于,所述根据所述当前目标对象的对象位置信息,通过调用所述目标地址空间,获取与所述当前目标对象对应的数据内容,包括:根据所述当前目标对象的对象位置信息,通过调用所述目标地址空间,获取所述当前目标对象中的数据内容;当所述当前目标对象中的数据内容表征所述当前目标对象引用了至少一层的引用对象时,基于各层引用对象各自所对应的引用位置信息,确定各层引用对象各自所包括的数据内容;将所述当前目标对象中的数据内容和各层引用对象各自所包括的数据内容,共同作为与所述当前目标对象对应的数据内容。7.根据权利要求6所述的方法,其特征在于,所述当所述当前目标对象中的数据内容表征所述当前目标对象引用了至少一层的引用对象时,基于各层引用对象各自所对应的引用位置信息,确定各层引用对象各自所包括的数据内容,包括:当所述当前目标对象中的数据内容包括所述当前目标对象在当前层级所引用的引用对象的引用位置信息时,基于所述第一首地址、以及所述目标共享空间的第二首地址中的至少一种,对当前层级的引用对象的引用位置信息进行调整,得到当前层级的引用对象所对应的、且与所述目标地址空间相匹配的对象位置信息;根据当前层级的引用对象的对象位置信息,并通过调用所述目标地址空间,获取与所述当前层级的引用对象对应的数据内容;当所述当前层级的引用对象中的数据内容包括下一层级的引用对象在所述目标共享空间中的引用位置信息时,将所述下一层级的引用对象作为下一轮的当前层级的引用对象,返回所述基于所述第一首地址、以及所述目标共享空间的第二首地址中的至少一种,对当前层级的引用对象的引用位置信息进行调整,得到当前层级的引用对象所对应的、且与所述目标地址空间相匹配的对象位置信息的步骤继续执行,直至得到最终层级的引用对象的数据内容为止。8.根据权利要求1至7中任一项所述的方法,其特征在于,所述待访问对象为olap引擎组件通过大数据平台采集的商品交易数据;所述方法还包括:当获取得到与所述待访问对象对应的目标商品交易数据时,对所述目标商品交易数据进行多维度分析,得到商品交易分析报告。9.一种数据存储方法,其特征在于,所述方法包括:获取待写入的数据对象,并确定与所述数据对象相对应的目标共享空间;所述目标共享空间包括内容存储区域和片段存储区域;
将所述数据对象写入所述目标共享空间中的内容存储区域;生成与所述数据对象相对应的原始片段,并将所述原始片段写入所述共享内存空间的片段存储区域;根据所述目标共享空间的第二首地址、以及所述数据对象中的初始存储对象在所述目标共享空间中的初始存储地址,确定所述初始存储对象在所述目标共享空间中的第二偏移位置信息;根据所述第二偏移位置信息,对所述原始片段中的片段元信息进行调整,得到与所述数据对象对应的目标片段;其中,所述目标片段中的片段元信息用于指示所述数据对象中的初始存储对象在所述目标共享空间中的存储位置。10.根据权利要求9所述的方法,其特征在于,所述将所述数据对象写入所述目标共享空间中的内容存储区域,包括:确定所述数据对象中的每个存储对象分别引用的引用对象;将所述存储对象和所述引用对象,写入所述内容存储区域。11.根据权利要求9所述的方法,其特征在于,所述生成与所述数据对象相对应的原始片段,并将所述原始片段写入所述共享内存空间的片段存储区域,包括:生成与所述数据对象相对应的原始片段;确定所述片段存储区域中已存储的、且位于最后顺序的片段在所述目标共享空间中的已占用位置信息;根据所述已占用位置信息,确定所述片段存储区域中的目标未占用位置,并将所述原始片段写入所述目标未占用位置处。12.根据权利要求9至11中任一项所述的方法,其特征在于,所述目标共享空间包括文件元信息存储区域;所述方法还包括:当所述数据对象被写入至所述目标共享空间中的内容存储区域中时,读取存储于所述文件元信息存储区域中的片段总数量和数据总量;分别对所述片段总数量和所述数据总量进行数值的增加。13.一种数据访问装置,其特征在于,所述装置包括:初始位置确定模块,用于获取与待访问对象对应的、且携带有目标索引信息的数据访问指令,所述待访问对象为写入至目标共享空间中的数据对象的至少一部分,且所述待访问对象中包括有至少一个目标对象;根据所述目标索引信息,确定加载有共享内存文件的目标地址空间的第一首地址、及所述待访问对象中的初始对象在所述目标共享空间中的初始位置信息;所述共享内存文件是对所述目标共享空间中的各数据对象进行映射得到;初始对象获取模块,用于基于所述第一首地址对所述初始位置信息进行调整,得到与所述目标地址空间相匹配的对象位置信息;根据所述对象位置信息,并通过调用所述目标地址空间,获取与所述初始对象对应的数据内容;目标对象获取模块,用于依次对所述待访问对象中除初始对象之外的各个目标对象进行轮询处理,以得到每个目标对象各自所对应的数据内容;其中,对于每次轮询至的当前目标对象,根据前次轮询至的前序目标对象的对象位置信息,确定当次轮询至的当前目标对象的对象位置信息,并根据所述当前目标对象的对象位置信息,通过调用所述目标地址空间,获取与所述当前目标对象对应的数据内容。
14.一种数据读取装置,其特征在于,所述装置包括:数据写入模块,用于获取待写入的数据对象,并确定与所述数据对象相对应的目标共享空间;所述目标共享空间包括内容存储区域和片段存储区域;将所述数据对象写入所述目标共享空间中的内容存储区域;片段写入模块,用于生成与所述数据对象相对应的原始片段,并将所述原始片段写入所述共享内存空间的片段存储区域;片段调整模块,用于根据所述目标共享空间的第二首地址、以及所述数据对象中的初始存储对象在所述目标共享空间中的初始存储地址,确定所述初始存储对象在所述目标共享空间中的第二偏移位置信息;根据所述第二偏移位置信息,对所述原始片段中的片段元信息进行调整,得到与所述数据对象对应的目标片段;其中,所述目标片段中的片段元信息用于指示所述数据对象中的初始存储对象在所述目标共享空间中的存储位置。15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

技术总结
本申请涉及数据存储和数据读取,具体涉及一种数据访问方法和装置。所述方法包括:获取与待访问对象对应的、且携带有目标索引信息的数据访问指令;根据目标索引信息,确定加载有共享内存文件的目标地址空间的第一首地址、及待访问对象中的初始对象在目标共享空间中的初始位置信息;共享内存文件是对目标共享空间中的各数据对象进行映射得到;基于第一首地址对初始位置信息进行调整,得到与目标地址空间相匹配的对象位置信息;根据对象位置信息,并通过调用目标地址空间,获取与初始对象对应的数据内容;依次对待访问对象中除初始对象之外的各个目标对象进行轮询处理,以得到每个目标对象各自所对应的数据内容。采用本方法能够节约计算机资源。约计算机资源。约计算机资源。


技术研发人员:孙宇
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2021.01.15
技术公布日:2022/7/19
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1