一种面向数联网的分布式搜索方法及系统

本发明涉及数据搜索，尤其涉及一种面向数联网的分布式搜索方法及系统。

背景技术：

1、当前的互联网实现是基于tcp/ip协议栈，实现了异构软件上基于二进制信息的数据传输和编解码，在此基础上产生了大量的网络应用和服务。但是与此同时，tcp/ip协议只提供了底层的数据互联，在此基础上的数据编解码及使用都由上层系统和应用来决定。在这个过程中，上层应用为了实现安全，高效，可靠的数据传输会使用不同的解决方案，这就会导致数据在同一个系统内部可以互联，但是不同系统之间由于设计标准不同而产生信息孤岛，无法充分发挥数据的价值，阻碍了数据的交流使用。

2、针对上述问题，为了解决异构平台之间的数据互联互通以及数据的可信可管可控，借鉴互联网的思路，产生了数据互联网（internetofdata），简称“数联网”。区别于平台化的大数据解决方案，数联网的目标是使用协议化的解决方案实现数据的互联互通。数联网是使用软件定义的方法，以数据为中心，通过标准化的操作协议连接异构系统而形成的基于互联网的虚拟网络，实现异构、异域、异主数据的互联互通互操作，在互联网的基础上进一步的实现全网一体化的数据应用。

3、而搜索是在海量数据当中挖掘价值的最直接的一种方式，也是在设计与实现一个高性能的系统时很关键的一部分。在传统的单机数据持久化时，会使用一些数据结构如b+树，跳表，红黑树，字典树等实现数据的高效检索。在平台化阶段，面临的数据量更大，但是本质上还是同一个系统内部的数据规模变大，通常是将原本的单节点架构改为分布式的主从架构，目的是实现更高的并发和吞吐，同时保证数据的一致性和可靠性。

4、针对数联网的场景，搜索需求和上述的单平台的大数据分布式搜索有着本质的区别。首先是整体架构的改变，平台化的分布式搜索需要一个强大的搜索平台，统一制定系统的标准，维护数据的索引，由多台机器共同实现这一功能。而在数联网场景下，每一个数据区域都是独立的，异构的，标准、性能都不尽相同，并且数联网要解决的关键问题就是使用协议化的方式实现异构数据互联互通。因此针对数联网场景的数据搜索，需要在传统的分布式搜索引擎技术基础之上，结合数联网的关键技术，实现协议化的分布式搜索，因此在数联网场景下进行高效的搜索则越来越受到重视。

技术实现思路

1、有鉴于此，本发明提供一种面向数联网的分布式搜索方法。旨在保证数据搜索可信可控的同时降低计算资源开销，以提高数据搜索效率。

2、在本发明实施例的第一方面，提供了一种面向数联网的分布式搜索方法，所述方法包括：

3、通过协调节点发出搜索请求；

4、基于合约接口，将所述搜索请求接入智能合约层；

5、通过所述智能合约层调用搜索引擎接口，将所述搜索请求接入搜索引擎；

6、通过所述搜索引擎确定具有所述搜索请求所请求的数据内容的各个最低节点，将所述各个最低节点确定为进行数据搜索的目标节点列表；

7、通过所述搜索引擎调用所述目标节点列表中各个目标节点各自的合约接口获取与所述搜索请求对应的数据，并将获取的数据在所述协调节点进行汇总，通过所述协调节点返回至用户所在终端。

8、可选地，所述方法还包括：

9、根据待接入节点的节点信息，通过标识解析系统将所述待接入节点接入数联网网络；

10、将所述待接入节点的节点信息输入所述待接入节点的父节点；

11、根据所述父节点接收的所述节点信息，所述父节点向所述待接入节点发送数字对象数据获取请求；

12、根据所述获取请求，所述待接入节点向所述父节点返回所述获取请求对应的数字对象数据；

13、根据获取的数字对象数据，所述父节点索引全部的元数据，以及，维护所述待接入节点的配置信息，以及向自身的上级节点同步获取的数字对象数据并更新自身的统计数据。

14、可选地，所述通过所述搜索引擎调用所述目标节点列表中各个目标节点各自的合约接口获取与所述搜索请求对应的数据，并将获取的数据在所述协调节点进行汇总，通过所述协调节点返回至用户所在终端，包括：

15、通过所述搜索引擎调用所述目标节点列表中各个目标节点各自的合约接口获取与所述搜索请求对应的数据；

16、将所述目标节点列表转化为树状结构；

17、所述树状结构中的每一级目标节点将自身包括的与所述搜索请求对应的数据进行排序过滤后传给父节点，直至获取的与所述搜索请求对应的数据进行排序过滤后传至根节点；

18、通过所述根节点将获取的与所述搜索请求对应的最终数据发送至所述协调节点，通过所述协调节点将所述最终数据返回至用户所在终端。

19、可选地，所述通过所述搜索引擎调用所述目标节点列表中各个目标节点各自的合约接口获取与所述搜索请求对应的数据，并将获取的数据在所述协调节点进行汇总，通过所述协调节点返回至用户所在终端，包括：

20、通过所述搜索引擎调用所述目标节点列表中各个目标节点各自的合约接口获取与所述搜索请求对应的数据；

21、根据所述目标节点列表和所述协调节点，以所述协调节点为根节点构建树状结构；

22、所述树状结构中的每一级目标节点将自身包括的与所述搜索请求对应的数据进行排序过滤后传给父节点，直至获取的与所述搜索请求对应的数据进行排序过滤后传至根节点；

23、通过所述根节点将与所述搜索请求对应的最终数据返回至用户所在终端。

24、可选地，所述方法还包括：

25、在所述目标节点列表中的节点数量超过数联网节点总数的预设比例的情况下，将根节点确定为目标节点。

26、可选地，所述方法还包括：

27、数联网中的节点对自身的数字对象目标文件进行数据持久化，所述数字对象目标文件包括：顺序存储的数字对象元数据文件、顺序存储的本地维护的数字对象仓库文件、数字对象的全文索引文件；记录各个数字对象仓库中的数字对象数量文件、持久化的本地注册表监听的仓库更新事件文件。

28、可选地，在通过标识解析系统将所述待接入节点接入数联网网络之前，所述方法还包括：配置所述待接入节点的节点属性和状态属性的参数集合。

29、本发明第二方面提供一种面向数联网的分布式搜索系统，所述系统包括：

30、前端用户界面，用于通过协调节点发出搜索请求；

31、合约接口，用于将所述搜索请求接入智能合约层；

32、搜索引擎接口，用于通过所述智能合约层调用搜索引擎接口，将所述搜索请求接入搜索引擎；

33、搜索引擎，用于确定具有所述搜索请求所请求的数据内容的各个最低节点，将所述各个最低节点确定为进行数据搜索的目标节点列表，以及，用于调用所述目标节点列表中各个目标节点各自的合约接口获取与所述搜索请求对应的数据，并将获取的数据在所述协调节点进行汇总，通过所述协调节点返回至用户所在终端。

34、针对在先技术，本发明具备如下优点：

35、本发明实施例提供的一种面向数联网的分布式搜索方法，首先用户在本地终端通过输入数联网中的一个注册表节点的url，调用该注册表节点（也就是协调节点）的用户界面输入包括想要搜索的数据和想要进行搜索的注册表节点的搜索请求，通过协调节点的用户界面发出该搜索请求；通过协调节点的智能合约接口，将该搜索请求接入智能合约层，以使得数据搜索的过程将经过智能合约层，从而保证数据搜索的可信可控；然后，通过智能合约层调用搜索引擎接口，通过搜索引擎接口将该搜索请求接入协调节点的搜索引擎；该协调节点的搜索引擎将确定具有所述搜索请求所请求的数据内容的各个最低节点，将所述各个最低节点确定为进行数据搜索的目标节点列表，以此降低数据搜索的计算资源开销，从而提高数据搜索的效率；在确定到目标节点列表后，通过协调节点的搜索引擎调用该目标节点列表中的各个目标节点各自的合约接口，接入各个目标节点各自的智能合约层，再通过各个目标节点各自的智能合约层调用各自的搜索引擎接口，再通过各个目标节点各自的搜索引擎接口调用各自的搜索引擎在各自的目标节点所维护的元数据中搜索到用户想要搜索的数据（也就是与所述搜索请求相对应的数据），然后返回至协调节点，由协调节点汇总后返回至用户所在的本地终端。由此，可以在保证数据搜索可信可控的同时降低计算资源开销，以提高数据搜索效率。

36、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。