数据存储、查询方法及设备、数据处理设备、存储介质与流程

文档序号:19284352发布日期:2019-11-29 23:21阅读:149来源:国知局
数据存储、查询方法及设备、数据处理设备、存储介质与流程
本文涉及计算机技术,尤指一种数据存储、查询方法及设备、数据处理设备、存储介质。
背景技术
:信息包括字段和字段值,字段用于表示数据信息的共同属性,而字段值则是数据信息的具体描述。相关技术中,信息的存储往往是直接将字段和字段值进行存储。然而,由于字段繁多,而索引的建立又是根据字段进行的,因此这种数据存储方法无法保证后续索引的建立效率。技术实现要素:本申请提供了一种数据存储、查询方法及设备、数据处理设备、存储介质,能够保证后续索引的建立效率。本申请提供了一种数据存储方法,包括:获取包括字段的结构化数据;其中,所述字段包括:原始字段名和相应的字段值;对每一个所述字段,将所述字段的原始字段名替换为存储字段名;其中,所述存储字段名包括:所述字段的类型标识;存储替换后的结构化数据。所述存储字段名还包括:序号,所述序号用于表示所述字段在所述结构化数据包括的同类型字段中的排列位置。所述存储替换后的结构化数据之后,还包括:对同类型字段采用相同的索引建立逻辑建立索引。所述对每一个字段,将字段的原始字段名替换为存储字段名之后,还包括:存储每一个所述字段的原始字段名和存储字段名的对应关系。所述存储每一个字段的原始字段名和存储字段名的对应关系之后,还包括:获取所述结构化数据的来源信息,并将所述来源信息与所述对应关系对应存储。所述字段的类型包括:数字类型和字符串类型;或者包括:浮点数字类型、非浮点数字类型和字符串类型。本申请还提供了一种数据查询方法,包括:接收对已存储的结构化数据的查询请求,所述查询请求包括字段的原始字段名;根据预先存储的原始字段名与存储字段名的对应关系,将所述原始字段名替换为存储字段名后,使用所述存储字段名执行查询,得到查询结果;根据所述对应关系,将所述查询结果中的存储字段名替换为原始字段名后返回给查询的请求方。所述结构化数据是按照如权利要求1所述的数据存储方法存储的。所述结构化数据是按照如权利要求5所述的数据存储方法存储的;所述根据预先存储的原始字段名与存储字段名的对应关系,将所述原始字段名替换为存储字段名之前,还包括:获取所述结构化数据的来源信息,并根据所述来源信息查找到所述对应关系。本申请还提供了一种数据存储设备,包括:获取模块,用于获取包括字段的结构化数据;其中,所述字段包括:原始字段名和相应的字段值;第一处理模块,用于对每一个所述字段,将所述字段的原始字段名替换为存储字段名;其中,所述存储字段名包括:所述字段的类型标识;存储模块,用于存储替换后的结构化数据。本申请还提供了一种数据查询设备,包括:接收模块,用于接收对已存储的结构化数据的查询请求,所述查询请求包括字段的原始字段名;第二处理模块,用于根据预先存储的原始字段名与存储字段名的对应关系,将所述原始字段名替换为存储字段名后,使用所述存储字段名执行查询,得到查询结果;发送模块,用于根据所述对应关系,将所述查询结果中的存储字段名替换为原始字段名后返回给查询的请求方。本申请还提供了一种数据处理设备,包括:处理器和存储器,其中,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时实现如上述所述的方法的处理。本申请还提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述所述的方法的处理。与相关技术相比,本申请包括获取包括字段的结构化数据;其中,所述字段包括:原始字段名和相应的字段值;对每一个所述字段,将所述字段的原始字段名替换为存储字段名;其中,所述存储字段名包括:所述字段的类型标识;存储替换后的结构化数据。由于对每一个字段,将字段的原始字段名替换成了包括类型标识的存储字段名,替换后的结构化数据中的字段名是包含类型标识的字段名,因此使得后续索引的建立都能够依靠字段的类型进行,而又由于字段的类型是有限的,从而保证了后续索引的建立效率。本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本申请技术方案的理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请的技术方案,并不构成对本申请技术方案的限制。图1为本申请实施例提供的一种数据存储方法的流程示意图;图2为本申请实施例提供的一种数据查询的流程示意图;图3为本申请实施例提供的另一种数据查询的流程示意图;图4为本申请实施例的一种数据存储设备的结构示意图;图5为本申请实施例的一种数据查询设备的结构示意图。具体实施方式本申请描述了多个实施例,但是该描述是示例性的,而不是限制性的,并且对于本领域的普通技术人员来说显而易见的是,在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合,并在具体实施方式中进行了讨论,但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外,任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用,或可以替代任何其它实施例中的任何其他特征或元件。本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合,以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合,以形成另一个由权利要求限定的独特的发明方案。因此,应当理解,在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此,除了根据所附权利要求及其等同替换所做的限制以外,实施例不受其它限制。此外,可以在所附权利要求的保护范围内进行各种修改和改变。此外,在描述具有代表性的实施例时,说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而,在该方法或过程不依赖于本文所述步骤的特定顺序的程度上,该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的,其它的步骤顺序也是可能的。因此,说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外,针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤,本领域技术人员可以容易地理解,这些顺序可以变化,并且仍然保持在本申请实施例的精神和范围内。本申请实施例提供一种数据存储方法,如图1所示,该方法包括:步骤101、获取包括字段的结构化数据;其中,字段包括:原始字段名和相应的字段值。在一种示例性实例中,结构化数据来自某个信息源系统,或者某几个信息源系统。在一种示例性实例中,包含字段的结构化数据可以是:name:"张三",act:"浏览",item:"ipad2019",stay:3600,其中,待处理字段是:name、act、item、stay,待处理字段值是:"张三"、"浏览"、"ipad2019"、3600。步骤102、对每一个字段,将字段的原始字段名替换为存储字段名;其中,存储字段名包括:字段的类型标识。在一种示例性实例中,字段的类型包括:数字类型和字符串类型;或者包括:浮点数字类型、非浮点数字类型和字符串类型。在一种示例性实例中,数字类型还可以包括:时间类型、日期类型等,由于时间类型、日期类型都有特定的数据格式,因此可以将他们从数字类型中单独分离出来。在一种示例性实例中,如果字段的类型包括:数字类型和字符串类型,则字段:"张三"的字段类型为字符串类型,字段:"浏览"的字段类型为字符串类型,字段:"ipad2019"的字段类型为字符串类型,字段:3600的字段类型为字符串类型。在一种示例性实例中,假设字段的类型包括字符串类型和数字类型,用于表示字符串类型的类型标识为kw,用于表示数字类型的类型标识为int,那么字符串类型对应类型标识kw,数字类型对应类型标识int,字段的类型与类型标识之间存在一种对应关系,所存在的对应关系可以以表的形式表示,具体可以如下表1所示,表1步骤103、存储替换后的结构化数据。在一种示例性实例中,由于本申请实施例中对字段的原始字段名进行了替换,替换成了包括类型标识的存储字段名,而相同字段的类型都可以用一套索引建立逻辑建立索引,因此方便了索引的建立,极大程度地提高了索引的建立效率。在一种示例性实例中,存储字段名还包括:序号,序号用于表示字段在结构化数据包括的同类型字段中的排列位置。在一种示例性实例中,假设包括字段的结构化数据为:name:"张三",act:"浏览",item:"ipad2019",stay:3600。当前字段名为:name,由于该字段在结构化数据包括的同类型(字符串类型)字段中的排列位置为1,那么该字段的存储字段名为:kw_1;当前字段名为:act,由于该字段在结构化数据包括的同类型(字符串类型)字段中的排列位置为2,那么该字段的存储字段名为:kw_2;当前字段名为:item,由于该字段在结构化数据包括的同类型(字符串类型)字段中的排列位置为3,那么该字段的存储字段名为:kw_3;当前字段名为:stay,由于该在结构化数据包括的同类型(数据类型)字段中的排列位置为1,那么该字段的存储字段名为为:int_1。因此,替换后的结构化数据为:kw_1:"张三",kw_2:"浏览",kw_3:"ipad2019",int_1:3600。在一种示例性实例中,存储替换后的结构化数据之后,还包括:对同类型字段采用相同的索引建立逻辑建立索引。在一种示例性实例中,对每一个字段,将字段的原始字段名替换为存储字段名之后,还包括:存储每一个字段的原始字段名和存储字段名的对应关系。在一种示例性实例中,假设包括字段的结构化数据为:name:"张三",act:"浏览",item:"ipad2019",stay:3600,原始字段名为:name、act、item、stay,存储字段名为:kw_1、kw_2、kw_3、int_1,那么原始字段名:name对应存储字段名:kw_1,原始字段名:act对应存储字段名:kw_2,原始字段名:item对应存储字段名:kw_3,原始字段名stay对应存储字段名int_1,原始字段名和存储字段名之间的对应关系可以以表的形式表示,具体可以如下表2所示,原始字段名存储字段名namekw_1actkw_2itemkw_3stayint_1表2在一种示例性实例中,存储每一个字段的原始字段名和存储字段名的对应关系之后,还包括:获取结构化数据的来源信息,并将来源信息与对应关系对应存储。在一种示例性实例中,结构化数据的来源信息是结构化数据的来源方的信息,因为后续步骤中涉及有信息的查询,而查询者只能查询自身当时提交的结构化数据,因此需要对结构化数据的来源进行记录。在一种示例性实例中,每个来自于不同来源方的结构化数据都可以生成自己原始字段名和存储字段名的对应关系,举例来说,假设结构化数据来源于设备a、设备b和设备c,设备a的结构化数据可以生成设备a的原始字段名和存储字段名的对应关系,设备b的结构化数据可以生成设备b的原始字段名和存储字段名的对应关系,设备c的结构化数据可以生成设备c的原始字段名和存储字段名的对应关系,来源信息与对应关系的对应存储可以如下表3所示,表3本申请实施例提供的数据存储方法,由于对每一个字段,将字段的原始字段名替换成了包括类型标识的存储字段名,替换后的结构化数据中的字段名是包含类型标识的字段名,因此使得后续索引的建立都能够依靠字段的类型进行,而又由于字段的类型是有限的,从而保证了后续索引的建立效率。本申请实施例还提供一种数据查询理方法,如图2所示,该方法包括:步骤201、接收对已存储的结构化数据的查询请求,查询请求包括字段的原始字段名。步骤202、根据预先存储的原始字段名与存储字段名的对应关系,将原始字段名替换为存储字段名后,使用存储字段名执行查询,得到查询结果。在一种示例性实例中,由于服务器中存储的经过处理的待处理信息中的字段为转换字段,因此在进行查询时,需要获取与待查询字段对应的转换字段,才能进行查询。在一种示例性实例中,假设的查询请求为:name="张三",根据表2可知,与原始字段名:name对应的存储字段名为:kw_1,因此将原始字段名替换为存储字段名后,得到的包括存储字段名的查询请求为:kw_1="张三"。步骤203、根据对应关系,将查询结果中的存储字段名替换为原始字段名后返回给查询的请求方。在一种示例性实例中,假设查询请求为:name="张三",查询结果为:kw_1:"张三",kw_2:"浏览",kw_3:"ipad2019",int_1:3600,根据表2可知,与存储字段名:kw_1对应的原始字段名:name,与存储字段名:kw_2对应的原始字段名为:act,与存储字段名:kw_3对应的原始字段名为:item,与存储字段名:int_1对应的原始字段名为:stay,因此,将查询结果中的存储字段名替换为原始字段名后的查询结果为:name:"张三",act:"浏览",item:"ipad2019",stay:3600。在一种示例性实例中,结构化数据是按照如下的数据存储方法存储的:首先、获取包括字段的结构化数据;其中,字段包括:原始字段名和相应的字段值。其次、对每一个字段,将字段的原始字段名替换为存储字段名;其中,存储字段名包括:字段的类型标识。最后、存储替换后的结构化数据。在一种示例性实例中,结构化数据是按照如下的数据存储方法存储的:首先、获取包括字段的结构化数据;其中,字段包括:原始字段名和相应的字段值;其次、对每一个字段,将字段的原始字段名替换为存储字段名;其中,存储字段名包括:字段的类型标识;然后、存储替换后的结构化数据;存储每一个字段的原始字段名和存储字段名的对应关系。最后、获取结构化数据的来源信息,并将来源信息与对应关系对应存储。根据预先存储的原始字段名与存储字段名的对应关系,将原始字段名替换为存储字段名之前,还包括:获取结构化数据的来源信息,并根据来源信息查找到对应关系。在一种示例性实例中,在上述实施例中字段的转换可以由服务器中的转换器具体完成,信息的存储由服务器中的存储器完成,当字段的转换由服务器中的转换器完成,且信息的存储由服务器中的存储器完成时,流程示意图可以如图3所示。本申请实施例还提供一种数据存储设备,如图4所示,该数据存储设备4包括:获取模块41,用于获取包括字段的结构化数据;其中,字段包括:原始字段名和相应的字段值。第一处理模块42,用于对每一个字段,将字段的原始字段名替换为存储字段名;其中,存储字段名包括:字段的类型标识。存储模块43,用于存储替换后的结构化数据。在一种示例性实例中,存储字段名还包括:序号,序号用于表示字段在结构化数据包括的同类型字段中的排列位置。在一种示例性实例中,第一处理模块42,还用于对同类型字段采用相同的索引建立逻辑建立索引。在一种示例性实例中,存储模块43,还用于存储每一个字段的原始字段名和存储字段名的对应关系。在一种示例性实例中,获取模块41,还用于获取结构化数据的来源信息,并将来源信息与对应关系对应存储。在一种示例性实例中,字段的类型包括:数字类型和字符串类型;或者包括:浮点数字类型、非浮点数字类型和字符串类型。本申请实施例提供的数据存储设备,由于对每一个字段,将字段的原始字段名替换成了包括类型标识的存储字段名,替换后的结构化数据中的字段名是包含类型标识的字段名,因此使得后续索引的建立都能够依靠字段的类型进行,而又由于字段的类型是有限的,从而保证了后续索引的建立效率。在实际应用中,所述获取模块41、第一处理模块42和存储模块43位于数据存储设备中的中央处理器(centralprocessingunit,cpu)、微处理器(microprocessorunit,mpu)、数字信号处理器(digitalsignalprocessor,dsp)或现场可编程门阵列(fieldprogrammablegatearray,fpga)等实现。本申请实施例还提供一种数据查询设备,如图5所示,该数据查询设备5包括:接收模块51,用于接收对已存储的结构化数据的查询请求,查询请求包括字段的原始字段名。第二处理模块52,用于根据预先存储的原始字段名与存储字段名的对应关系,将原始字段名替换为存储字段名后,使用存储字段名执行查询,得到查询结果。发送模块53,用于根据对应关系,将查询结果中的存储字段名替换为原始字段名后返回给查询的请求方。在一种示例性实例中,结构化数据是按照如下的数据存储方法存储的:首先、获取包括字段的结构化数据;其中,字段包括:原始字段名和相应的字段值。其次、对每一个字段,将字段的原始字段名替换为存储字段名;其中,存储字段名包括:字段的类型标识。最后、存储替换后的结构化数据。在一种示例性实例中,结构化数据是按照如下的数据存储方法存储的:首先、获取包括字段的结构化数据;其中,字段包括:原始字段名和相应的字段值;其次、对每一个字段,将字段的原始字段名替换为存储字段名;其中,存储字段名包括:字段的类型标识;然后、存储替换后的结构化数据;存储每一个字段的原始字段名和存储字段名的对应关系。最后、获取结构化数据的来源信息,并将来源信息与对应关系对应存储。第二处理模块52,还用于获取结构化数据的来源信息,并根据来源信息查找到对应关系。在实际应用中,所述接收模块51、第二处理模块52和存发送模块53位于数据查询设备中的cpu、mpu、dsp或fpga等实现。本申请实施例还提供一种数据处理设备,包括:处理器和存储器,其中,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时实现如上述任意一种所述的方法的处理。本申请实施例还提供一种存储介质,存储介质上存储有计算机可执行命令,计算机可执行命令用于执行如上述任意一种所述的方法的处理。本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1