多数据源元数据终端查询快速比对方法及系统与流程

1.本发明属于信息检索技术领域，特别是涉及多数据源元数据终端查询快速比对方法及系统。


背景技术：

2.随着信息技术的广泛应用，大量数据存储在不同地点，导致对海量信息进行查询的过程中需要对数据进行大量跨网络比对，尤其是对于大文件的数据比对，更是会占用硬件资源拖慢查询速度。
3.为了提高多数据源的数据查询比对速度，传统方式是在同一个运算集群内建立文件副本或快照，因此实现基于本地检索的快速查询方案，但是此种方式需要建立庞大的本地存储库，大幅提高了硬件成本。


技术实现要素：

4.本发明的目的在于提供多数据源元数据终端查询快速比对方法及系统，通过建立存储元数据数字摘要的第一检索数据库和第二检索数据库，在不大幅提高硬件开销的情况下，有效提高元数据的查询对比效率。
5.为解决上述技术问题，本发明是通过以下技术方案实现的：本发明提供多数据源元数据终端查询快速比对方法，包括，获取每个所述数据源内每个所述元数据的网络存储地址；获取每个所述数据源内每个所述元数据的固定长度的数字摘要；将所述元数据的网络存储地址以及对应的所述数字摘要存储至第一检索数据库；获取所述数字摘要在所述第一检索数据库中的物理地址；按照所述数字摘要的字符串大小顺序将所述数字摘要在所述第一检索数据库中的物理地址进行顺序排列，将所述数字摘要与对应的物理地址存储至第二检索数据库；获取所述查询终端发送的查询指令；根据所述查询指令生成指向所述元数据的超链接；根据多个所述元数据的超链接得到多个所述元数据的数字摘要；根据多个所述元数据的数字摘要对所述查询指令对应的多个所述元数据进行一致性比对。
6.在本发明的一个实施例中，所述获取每个所述数据源内每个所述元数据的固定长度的数字摘要的步骤，包括，获取全部所述数据源内全部所述元数据的数量；根据全部所述数据源内全部所述元数据的数量获取所述数字摘要的固定长度；根据所述数字摘要的固定长度将所述元数据划分为若干个数据区块；获取每个所述数据区块内的数据的二进制编码；沿着所述数据区块内的数据的逻辑方向，对每个所述数据区块内的数据的二进制
编码进行去重；获取每个去重后的所述数据区块内的数据的二进制编码的字节长度；根据每个去重后的所述数据区块内的数据的二进制编码的字节长度对所述数据区块内的数据的二进制编码进行补码，使得每个去重后的所述数据区块内的数据的二进制编码的字节长度为二的整数次幂；沿着所述数据区块内的数据的逻辑方向对补码去重后的所述数据区块内的数据的二进制编码进行逻辑运算，得到所述数字摘要的固定长度的运算结果，即所述数字摘要。
7.在本发明的一个实施例中，所述根据全部所述数据源内全部所述元数据的数量获取所述数字摘要的固定长度的步骤，包括，获取设定的允许比对误差率；根据全部所述数据源内全部所述元数据的数量以及设定的允许比对误差率得到所述数字摘要的表达容量；根据所述数字摘要的表达容量得到所述数字摘要的最低位数；根据所述数字摘要的最低位数得到所述数字摘要的固定长度。
8.在本发明的一个实施例中，所述沿着所述数据区块内的数据的逻辑方向对补码去重后的所述数据区块内的数据的二进制编码进行逻辑运算，得到所述数字摘要的固定长度的运算结果，即所述数字摘要的步骤，包括，沿着所述数据区块内的数据的逻辑方向将补码去重后的所述数据区块内的数据的二进制编码每两个一组分成若干对初始数据单元；将每对初始数据单元内的数据进行相同的逻辑运算得到若干个初始数据编组，所述逻辑运算包括与、或以及非运算；若所述初始数据编组的字符长度达到所述数字摘要的固定长度，则将所述初始数据编组作为所述数字摘要；若所述初始数据编组的字符长度超过所述数字摘要的固定长度，则将所述初始数据编组内的数据位每两个一组分成若干对迭代数据单元；将每对所述迭代数据单元内的数据进行相同的逻辑运算得到迭代数据编组；若所述迭代数据编组的字符长度达到所述数字摘要的固定长度，则将所述迭代数据编组作为所述数字摘要；若所述迭代数据编组的字符长度超过所述数字摘要的固定长度，则将所述迭代数据编组内的数据位每两个一组进行相同逻辑运算得到更新后的迭代数据编组，直至所述迭代数据编组的字符长度达到所述数字摘要的固定长度，将所述迭代数据编组作为所述数字摘要。
9.在本发明的一个实施例中，所述按照所述数字摘要的字符串大小顺序将所述数字摘要在所述第一检索数据库中的物理地址进行顺序排列，将所述数字摘要与对应的物理地址存储至第二检索数据库的步骤，包括，将一组对应的所述元数据的网络存储地址以及对应的所述数字摘要作为一条第一存储条目，将所述第一检索数据库中能够容纳的所述第一存储条目的数量作为所述第一检索数据库的最大容纳数量；建立虚拟检索数据库，其中所述虚拟检索数据库中包括若干个虚拟存储仓，每个
所述虚拟存储仓中包括若干个虚拟存储条目；根据所述第一检索数据库的最大容纳数量对所述虚拟存储仓以及所述虚拟存储条目的包含关系和数量进行划分；根据每个所述虚拟存储仓以及每个所述虚拟存储条目的逻辑顺序得到每个虚拟存储仓的编号以及每个所述虚拟存储条目的编号；按照每个虚拟存储仓的编号以及每个所述虚拟存储条目的编号在所述虚拟存储条目内存入所述虚拟存储条目的编号、所述数字摘要以及对应的物理地址；将已存入所述虚拟存储条目的编号、所述数字摘要以及对应的物理地址的所述虚拟存储条目中的数据内容存入所述第二检索数据库。
10.在本发明的一个实施例中，所述根据所述第一检索数据库的最大容纳数量对所述虚拟存储仓以及所述虚拟存储条目的包含关系和数量进行划分的步骤，包括，按照所述第一检索数据库的最大容纳数量在所述虚拟数据库中划分出若干个所述虚拟存储仓；在每个所述虚拟存储仓内按照所述第一检索数据库的最大容纳数量在每个所述虚拟存储仓中划分出若干个所述虚拟存储条目。
11.在本发明的一个实施例中，所述根据每个所述虚拟存储仓以及每个所述虚拟存储条目的逻辑顺序得到每个虚拟存储仓的编号以及每个所述虚拟存储条目的编号的步骤，包括，按照每个所述虚拟存储仓的逻辑顺序对所述虚拟存储仓进行编号，得到高位编号；在每个所述虚拟存储仓内，按照每个所述虚拟存储条目的逻辑顺序对所述虚拟存储条目进行编号，得到低位编号；将每个所述虚拟存储条目对应的所述高位编号和所述低位编号进行组合得到每个所述虚拟存储条目的编号；其中，所述虚拟存储仓和所述拟存储条目的逻辑顺序包括生成顺序。
12.在本发明的一个实施例中，所述按照每个虚拟存储仓的编号以及每个所述虚拟存储条目的编号在所述虚拟存储条目内存入所述虚拟存储条目的编号、所述数字摘要以及对应的物理地址的步骤，包括，将第一个存入所述虚拟检索数据库的所述数字摘要以及对应的物理地址存储至编号顺序居中的所述虚拟存储条目；将第二个存入所述虚拟检索数据库的所述数字摘要以及对应的物理地址，按照第一个所述虚拟存储条目中所述数字摘要的字符串大小顺序存储至第一个存入所述虚拟检索数据库的所述虚拟存储条目的逻辑前方或逻辑后方；将之后存入所述虚拟检索数据库的所述数字摘要以及对应的物理地址，按照所述数字摘要的字符串大小，寻找更接近的已经存入所述虚拟检索数据库的所述虚拟存储条目作为虚拟存储标的条目；获取所述虚拟存储标的条目逻辑前方和逻辑后方的空白的所述虚拟存储条目的数量；根据之后存入所述虚拟检索数据库的所述数字摘要与对应所述虚拟存储标的条
目中所述数字摘要的字符串大小的比较结果，将之后存入所述虚拟检索数据库的所述数字摘要以及对应的物理地址存储至对应所述虚拟存储标的条目逻辑前方和逻辑后方的空白的若干个所述虚拟存储条目的居中位置。
13.在本发明的一个实施例中，所述方法还包括，实时获取所述元数据的数量；根据所述元数据的数量更新所述数字摘要的长度。
14.本发明还公开了多数据源元数据终端查询快速比对系统，用户端，用于向服务器端发送查询指令；服务器端，用于获取每个所述数据源内每个所述元数据的网络存储地址；获取每个所述数据源内每个所述元数据的固定长度的数字摘要；将所述元数据的网络存储地址以及对应的所述数字摘要存储至第一检索数据库；获取所述数字摘要在所述第一检索数据库中的物理地址；按照所述数字摘要的字符串大小顺序将所述数字摘要在所述第一检索数据库中的物理地址进行顺序排列，将所述数字摘要与对应的物理地址存储至第二检索数据库；获取所述查询终端发送的查询指令；根据所述查询指令生成指向所述元数据的超链接；根据多个所述元数据的超链接得到多个所述元数据的数字摘要；根据多个所述元数据的数字摘要对所述查询指令对应的多个所述元数据进行一致性比对。
15.本发明通过建立存储元数据数字摘要的第一检索数据库和第二检索数据库，在不大幅提高硬件开销的情况下，有效提高元数据的查询对比效率。
16.当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
17.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明所述多数据源元数据终端查询快速比对方法于一实施例的示意图一；图2为本发明所述步骤s2于一实施例的示意图；图3为本发明所述步骤s22于一实施例的示意图；图4为本发明所述步骤s29于一实施例的示意图；图5为本发明所述步骤s5于一实施例的示意图；图6为本发明所述步骤s53于一实施例的示意图；图7为本发明所述步骤s54于一实施例的示意图；图8为本发明所述步骤s55于一实施例的示意图；图9为本发明所述多数据源元数据终端查询快速比对方法于一实施例的示意图二；
图10为本发明所述多数据源元数据终端查询快速比对系统于一实施例的示意图。
19.附图中，各标号所代表的部件列表如下：1-用户端，2-服务器端。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
21.面对散布网络各处的海量数据，当用户进行检索的时候需要对全部元数据文件进行对比，消耗大量硬件资源，并且拖慢检索速度。
22.请参阅图1和9所示，本发明提供了多数据源元数据终端查询快速比对方法。在实际应用中，由于元数据文件散落可能是存储在各个相互并列的局域网中，局域网之间通过低带宽高延时的城域网等广域网进行连通，为了对每个元数据进行定位，需要首先执行步骤s1获取每个数据源内每个元数据的网络存储地址，网络存储地址可以是url地址，也可以是被服务器和用户端共同接受的自定义方案的地址。接下来需要执行步骤s2获取每个数据源内每个元数据的固定长度的数字摘要，数字摘要体现每个元数据文件的特性，用于对每个元数据文件进行区分。接下来可以执行步骤s3将元数据的网络存储地址以及对应的数字摘要存储至第一检索数据库，本方案中的第一检索数据库可以是实体数据库，存储在机械硬盘、磁带等外设内，由于第一数据库内存储的并非元数据而是其数据摘要，因此能够节省硬件资源开销，同时提高检索比对效率。接下来可以执行步骤s4获取数字摘要在第一检索数据库中的物理地址，在实践中可以是存储器中存储单元的编号。接下来可以执行步骤s5按照数字摘要的字符串大小顺序将数字摘要在第一检索数据库中的物理地址进行顺序排列，将数字摘要与对应的物理地址存储至第二检索数据库，第二减速数据库中的数字摘要按照字符串大小进行排列，在检索比对过程中也可以根据排列顺序进行快速检索，与此同时还可以将第二检索数据库存储在服务器端2的内存中，从而进一步提高检索比对效率。接下来可以执行步骤s6获取查询终端发送的查询指令，之后可以执行步骤s7根据查询指令生成指向元数据的超链接，再执行步骤s8根据多个元数据的超链接得到多个元数据的数字摘要，最后执行步骤s9根据多个元数据的数字摘要对查询指令对应的多个元数据进行一致性比对，从而能够快速得到检索比对结果。有于本方案依赖对元数据的数字摘要的生成、存储、转化以及比对，为了兼顾效率和误差率，本方案在执行过程中还可以同步执行步骤s10实时获取所述元数据的数量，之后再根据所述元数据的数量更新所述数字摘要的长度，本方案中的固定长度的数字摘要，指的是所有的元数据的数字摘要的长度都是相同的，但是更新后和更新前的数字摘要的长度可以是不同，因此本方案在实施过程中还通过更新数字摘要长度的方式兼顾检索准确性和检索效率。
23.请参阅图2所示，为了获取元数据的固定长度的数字摘要，上述的步骤s2中可以首先执行步骤s21获取全部数据源内全部元数据的数量。接下来可以执行步骤s22根据全部数据源内全部元数据的数量获取数字摘要的固定长度。接下来可以执行步骤s23根据数字摘要的固定长度将元数据划分为若干个数据区块，接下来可以执行步骤s24获取每个数据区
块内的数据的二进制编码。接下来可以执行步骤s25沿着数据区块内的数据的逻辑方向，对每个数据区块内的数据的二进制编码进行去重，接下来可以执行步骤s26获取每个去重后的数据区块内的数据的二进制编码的字节长度。接下来可以执行步骤s28根据每个去重后的数据区块内的数据的二进制编码的字节长度对数据区块内的数据的二进制编码进行补码，使得每个去重后的数据区块内的数据的二进制编码的字节长度为二的整数次幂。最后可以执行步骤s29沿着数据区块内的数据的逻辑方向对补码去重后的数据区块内的数据的二进制编码进行逻辑运算，得到数字摘要的固定长度的运算结果，即数字摘要。在上述方案中通过对元数据进行处理，得到与元数据的具体内容相关的且长度相同的数字摘要。
24.请参阅图3所示，为了避免数据摘要相同的两个元数据内容不同导致检索比对错误，需要根据元数据的数量确定合理数据长度的数字摘要，为了实现此技术目的，上述的步骤s22中可以首先执行步骤s221获取设定的允许比对误差率。接下来可以执行步骤s222根据全部数据源内全部元数据的数量以及设定的允许比对误差率得到数字摘要的表达容量，本方案中的数字摘要表达容量指的是数字摘要能够代表的元数据的最大数量，例如在二进制下的十位数的数字摘要，表达容量为1024个。接下来可以执行步骤s223根据数字摘要的表达容量得到数字摘要的最低位数，最后可以执行步骤s224根据数字摘要的最低位数得到数字摘要的固定长度。
25.请参阅图4所示，为了具体根据数据区块内计算得到数字摘要，上述的步骤s29中首先可以执行步骤s291沿着数据区块内的数据的逻辑方向将补码去重后的数据区块内的数据的二进制编码每两个一组分成若干对初始数据单元。接下来可以执行步骤s292将每对初始数据单元内的数据进行相同的逻辑运算得到若干个初始数据编组，逻辑运算包括与、或以及非运算。若初始数据编组的字符长度达到数字摘要的固定长度，则接下来可以执行步骤s293将初始数据编组作为数字摘要。若初始数据编组的字符长度超过数字摘要的固定长度，则接下来可以执行步骤s294将初始数据编组内的数据位每两个一组分成若干对迭代数据单元。接下来可以执行步骤s295将每对迭代数据单元内的数据进行相同的逻辑运算得到迭代数据编组，若迭代数据编组的字符长度达到数字摘要的固定长度，则接下来可以执行步骤s296将迭代数据编组作为数字摘要。若迭代数据编组的字符长度超过数字摘要的固定长度，则接下来可以返回执行步骤296将迭代数据编组内的数据位每两个一组进行相同逻辑运算得到更新后的迭代数据编组，直至迭代数据编组的字符长度达到数字摘要的固定长度，将迭代数据编组作为数字摘要。通过不断更新迭代数据编组并判断能够作为数字摘要，从而得到符合要求的数字摘要。
26.请参阅图5所示，为了进一步提高元数据的检索比对效率，可以将第一检索数据库中的内容进行梳理排序，从而实现提高查询检索的效率的技术效果，在实施的过程中，上述的步骤s5中首先可以执行步骤s51将一组对应的元数据的网络存储地址以及对应的数字摘要作为一条第一存储条目，将第一检索数据库中能够容纳的第一存储条目的数量作为第一检索数据库的最大容纳数量。接下来可以执行步骤s52建立虚拟检索数据库，其中虚拟检索数据库中包括若干个虚拟存储仓，每个虚拟存储仓中包括若干个虚拟存储条目。接下来可以执行步骤s53根据第一检索数据库的最大容纳数量对虚拟存储仓以及虚拟存储条目的包含关系和数量进行划分，接下来可以执行步骤s54根据每个虚拟存储仓以及每个虚拟存储条目的逻辑顺序得到每个虚拟存储仓的编号以及每个虚拟存储条目的编号。接下来可以执
行步骤s55按照每个虚拟存储仓的编号以及每个虚拟存储条目的编号在虚拟存储条目内存入虚拟存储条目的编号、数字摘要以及对应的物理地址。最后可以执行步骤s56将已存入虚拟存储条目的编号、数字摘要以及对应的物理地址的虚拟存储条目中的数据内容存入第二检索数据库。通过建立虚拟检索数据库的方式对第一检索数据库中的内容进行初步顺序整理，之后再存储至第二检索数据库中，从而提高后续的检索比对效率。
27.请参阅图6所示，为了对虚拟检索数据库的内部结构进行组织，上述的步骤s53在实施的过程中首先可以执行步骤s按照第一检索数据库的最大容纳数量在虚拟数据库中划分出若干个虚拟存储仓，最后可以执行步骤s在每个虚拟存储仓内按照第一检索数据库的最大容纳数量在每个虚拟存储仓中划分出若干个虚拟存储条目。通过结合第一存储数据库的具体情况划分虚拟检索数据库中的虚拟存储仓和虚拟存储条目，从而能够容纳各种顺序出现的数字摘要。
28.请参阅图7所示，为了对每个虚拟存储条目进行不重复编号，上述的步骤s54在执行的过程中首先可以执行步骤s541按照每个虚拟存储仓的逻辑顺序对虚拟存储仓进行编号，得到高位编号，逻辑顺序可以市生成顺序，也可以是虚拟检索数据库中虚拟存储仓的逻辑位置连接顺序。接下来可以执行步骤s542在每个虚拟存储仓内，按照每个虚拟存储条目的逻辑顺序对虚拟存储条目进行编号，得到低位编号。最后可以执行步骤s543将每个虚拟存储条目对应的高位编号和低位编号进行组合得到每个虚拟存储条目的编号。通过将高位编号和低位编号进行组合，从而避免虚拟存储条目编号重复导致检索比对结果错误。
29.请参阅图8所示，为了将第一检索数据库中的数字摘要以及对应的物理地址按照数字摘要的顺序存储，需要将数字摘要以及对应的物理地址按照数字摘要的顺序存储编号之后的虚拟存储条目，为了实现此技术目的，上述步骤s55中首先可以执行步骤s551将第一个存入虚拟检索数据库的数字摘要以及对应的物理地址存储至编号顺序居中的虚拟存储条目。接下来可以执行步骤s552将第二个存入虚拟检索数据库的数字摘要以及对应的物理地址，按照第一个虚拟存储条目中数字摘要的字符串大小顺序存储至第一个存入虚拟检索数据库的虚拟存储条目的逻辑前方或逻辑后方。接下来可以执行步骤s553将之后存入虚拟检索数据库的数字摘要以及对应的物理地址，按照数字摘要的字符串大小，寻找更接近的已经存入虚拟检索数据库的虚拟存储条目作为虚拟存储标的条目。接下来可以执行步骤s554获取虚拟存储标的条目逻辑前方和逻辑后方的空白的虚拟存储条目的数量。最后可以执行步骤s555根据之后存入虚拟检索数据库的数字摘要与对应虚拟存储标的条目中数字摘要的字符串大小的比较结果，将之后存入虚拟检索数据库的数字摘要以及对应的物理地址存储至对应虚拟存储标的条目逻辑前方和逻辑后方的空白的若干个虚拟存储条目的居中位置。由于虚拟检索数据库为虚拟出来的存储空间，只需要多消耗记录虚拟存储仓和虚拟存储条目编号的空间，使用极少的硬件资源代价，实现对数字摘要以及对应的物理地址按照数字摘要的顺序存储，由于第二检索数据库存储在内存中，因此可以将虚拟检索数据库中的内容在去除空白虚拟存储条目之后实时存入第二检索数据库中。
30.请参阅图10所示，本方案还提供了多数据源元数据终端查询快速比对系统，包括由用户操作的用户端1以及后台处理的服务器端2。
31.在运行过程中用户端1用于向服务器端2发送查询指令。
32.服务器端2用于获取每个数据源内每个元数据的网络存储地址，之后获取每个数
据源内每个元数据的固定长度的数字摘要。将元数据的网络存储地址以及对应的数字摘要存储至第一检索数据库，获取数字摘要在第一检索数据库中的物理地址。按照数字摘要的字符串大小顺序将数字摘要在第一检索数据库中的物理地址进行顺序排列，将数字摘要与对应的物理地址存储至第二检索数据库。获取查询终端发送的查询指令，根据查询指令生成指向元数据的超链接。根据多个元数据的超链接得到多个元数据的数字摘要，根据多个元数据的数字摘要对查询指令对应的多个元数据进行一致性比对，最后服务器端2将一致性比对结果发送至用户端1。
33.综上所述，本方案在实时过程中，通过将元数据提取的数字摘要作为元数据的标记用于后续的检索比对，避免直接比对元数据造成的效率低下。不仅如此本方案还通过建立第一检索数据库和第二检索数据库的方式提高将数字摘要顺序排列，从而进一步提高了后续的检索比对效率。
34.本发明所示实施例的上述描述（包括在说明书摘要中的内容）并非意在详尽列举或将本发明限制到本文所公开的精确形式。尽管在本文仅为说明的目的而描述了本发明的具体实施例和本发明的实例，但是正如本领域技术人员将认识和理解的，各种等效修改是可以在本发明的精神和范围内的。如所指出的，可以按照本发明实施例的上述描述来对本发明进行这些修改，并且这些修改将在本发明的精神和范围内。
35.本文已经在总体上将系统和方法描述为有助于理解本发明的细节。此外，已经给出了各种具体细节以提供本发明实施例的总体理解。然而，相关领域的技术人员将会认识到，本发明的实施例可以在没有一个或多个具体细节的情况下进行实践，或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下，并未特别示出或详细描述公知结构、材料和/或操作以避免对本发明实施例的各方面造成混淆。
36.因而，尽管本发明在本文已参照其具体实施例进行描述，但是修改自由、各种改变和替换意在上述公开内，并且应当理解，在某些情况下，在未背离所提出发明的范围和精神的前提下，在没有对应使用其他特征的情况下将采用本发明的一些特征。因此，可以进行许多修改，以使特定环境或材料适应本发明的实质范围和精神。本发明并非意在限制到在下面权利要求书中使用的特定术语和/或作为设想用以执行本发明的最佳方式公开的具体实施例，但是本发明将包括落入所附权利要求书范围内的任何和所有实施例及等同物。因而，本发明的范围将只由所附的权利要求书进行确定。