索引数据生成方法、信息检索方法、装置及计算机系统与流程

1.本公开涉及大数据、信息安全技术领域，更具体地，涉及一种索引数据生成方法、信息检索方法、装置、计算机系统、计算机可读存储介质和计算机程序产品。


背景技术：

2.随着大数据技术的发展，数据检索被越来越多地应用于工农业生产、建筑、物流、和日常生活等诸多领域。数据检索是将经过选择、整理和评价的数据存入某种载体中，并根据用户需要从某种数据集合中检索出能回答问题的准确数据过程或技术。
3.索引是为了加速对表中数据行的检索而创建的一种分散的存储结构。索引是针对表而建立的，它是由数据页面以外的索引页面组成的，每个索引页面中的行都会含有逻辑指针，以便加速检索物理数据。
4.在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，数据检索效率不高。


技术实现要素：

5.有鉴于此，本公开提供了一种索引数据生成方法、信息检索方法、装置、计算机系统、计算机可读存储介质和计算机程序产品。
6.本公开的一个方面提供了一种索引数据生成方法，包括：响应于接收到根据配置文件确定的第一目标数据，将所述第一目标数据写入分布式全文搜索服务器单元，记录写入结果；响应于检测到表征将所述第一目标数据写入分布式全文搜索服务器单元的过程失败的目标写入结果，将与所述目标写入结果相对应的目标配置文件写入消息队列重试模块；响应于确定所述消息队列重试模块接收到所述目标配置文件，根据所述目标配置文件，确定第二目标数据；将所述第二目标数据写入所述分布式全文搜索服务器单元；以及根据写入所述分布式全文搜索服务器单元的第一目标数据和第二目标数据，确定索引数据。
7.本公开的一个方面提供了一种信息检索方法，包括：获取目标检索词；以及基于索引数据，对所述目标检索词进行检索，得到检索结果；其中，所述索引数据是根据本公开所述的所以数据生成方法确定的。
8.本公开的另一个方面提供了一种索引数据生成装置，包括：第一写入模块，用于响应于接收到根据配置文件确定的第一目标数据，将所述第一目标数据写入分布式全文搜索服务器单元，记录写入结果；第二写入模块，用于响应于检测到表征将所述第一目标数据写入分布式全文搜索服务器单元的过程失败的目标写入结果，将与所述目标写入结果相对应的目标配置文件写入消息队列重试模块；第一确定模块，用于响应于确定所述消息队列重试模块接收到所述目标配置文件，根据所述目标配置文件，确定第二目标数据；第三写入模块，用于将所述第二目标数据写入所述分布式全文搜索服务器单元；以及第二确定模块，用于根据写入所述分布式全文搜索服务器单元的第一目标数据和第二目标数据，确定索引数据。
9.本公开的一个方面提供了一种信息检索装置，包括：信息检索装置，包括：获取模块，用于获取目标检索词；以及检索模块，用于基于索引数据，对所述目标检索词进行检索，得到检索结果；其中，所述索引数据是根据本公开所述的所以数据生成装置确定的。
10.本公开的另一方面提供了一种计算机系统，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现根据本公开所述的索引数据生成方法和信息检索方法。
11.本公开的另一方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被执行时用于实现根据本公开所述的索引数据生成方法和信息检索方法。
12.本公开的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现根据本公开所述的索引数据生成方法和信息检索方法。
13.根据本公开的实施例，通过采用了响应于接收到根据配置文件确定的第一目标数据，将第一目标数据写入分布式全文搜索服务器单元，记录写入结果；响应于检测到表征写入过程失败的目标写入结果，将与目标写入结果相对应的目标配置文件写入消息队列重试模块；响应于确定消息队列重试模块接收到目标配置文件，根据目标配置文件，确定第二目标数据；将第二目标数据写入分布式全文搜索服务器单元；以及根据写入分布式全文搜索服务器单元的第一目标数据和第二目标数据，确定索引数据的技术手段，由于能够及时处理写入失败的第一目标数据，可以有效提高数据实时写入的效率，所以至少部分地克服了检索效率低的技术问题，进而达到了提高检索效率的技术效果。
附图说明
14.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
15.图1示意性示出了根据本公开实施例的可以应用索引数据生成方法和信息检索方法的示例性系统架构；
16.图2示意性示出了根据本公开实施例的索引数据生成方法的流程图；
17.图3示意性示出了根据本公开实施例的基于综合智能搜索引擎系统生成检索数据的流程图；
18.图4示意性示出了根据本公开实施例的信息检索方法的流程图；
19.图5示意性示出了根据本公开实施例的具有生成索引数据以及信息检索功能的综合智能搜索引擎系统的结构图；
20.图6示意性示出了根据本公开的实施例的索引数据生成装置的框图；
21.图7示意性示出了根据本公开的实施例的信息检索装置的框图；以及
22.图8示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。
具体实施方式
23.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细
节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
24.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
25.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
26.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
27.发明人在实现本公开构思的过程中发现，在数据资源井喷的大数据时代背景下，运用实时搜索技术来完成数据的聚合、整合的趋势呈指数级增长。此外，对于动辄上百万千万的数据量，难以满足智能搜索的实时性需求。
28.本公开的实施例提供了一种索引数据生成方法、信息检索方法、装置、计算机系统、计算机可读存储介质和计算机程序产品。索引数据生成方法包括响应于接收到根据配置文件确定的第一目标数据，将第一目标数据写入分布式全文搜索服务器单元，记录写入结果；响应于检测到表征将第一目标数据写入分布式全文搜索服务器单元的过程失败的目标写入结果，将与目标写入结果相对应的目标配置文件写入消息队列重试模块；响应于确定消息队列重试模块接收到目标配置文件，根据目标配置文件，确定第二目标数据；将第二目标数据写入分布式全文搜索服务器单元；以及根据写入分布式全文搜索服务器单元的第一目标数据和第二目标数据，确定索引数据。信息检索方法包括：获取目标检索词；以及基于索引数据，对目标检索词进行检索，得到检索结果；其中，索引数据是根据本公开实施例的索引数据生成方法确定的。
29.图1示意性示出了根据本公开实施例的可以应用索引数据生成方法和信息检索方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
30.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
31.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
32.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
33.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
34.需要说明的是，本公开实施例所提供的索引数据生成方法和信息检索方法一般可以由服务器105执行。相应地，本公开实施例所提供的索引数据生成装置和信息检索装置一般可以设置于服务器105中。本公开实施例所提供的索引数据生成方法和信息检索方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的索引数据生成装置和信息检索装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的索引数据生成方法和信息检索方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的索引数据生成装置和信息检索装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。
35.例如，待配置文件可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以在本地执行本公开实施例所提供的索引数据生成方法，或者将待配置文件发送到其他终端设备、服务器、或服务器集群，并由接收该待配置文件的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的索引数据生成方法。
36.例如，目标检索词可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以在本地执行本公开实施例所提供的信息检索方法，或者将目标检索词发送到其他终端设备、服务器、或服务器集群，并由接收该目标检索词的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的信息检索方法。
37.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
38.需要说明的是，本公开索引数据生成方法、信息检索方法、装置、计算机系统、计算机可读存储介质和计算机程序产品可用于大数据、信息安全技术领域，也可用于除大数据、信息安全技术领域之外的任意领域，本公开索引数据生成方法、信息检索方法、装置、计算机系统、计算机可读存储介质和计算机程序产品的应用领域不做限定。
39.图2示意性示出了根据本公开实施例的索引数据生成方法的流程图。
40.如图2所示，该方法包括操作s201～s205。
41.在操作s201，响应于接收到根据配置文件确定的第一目标数据，将第一目标数据写入分布式全文搜索服务器单元，记录写入结果。
42.根据本公开的实施例，配置文件可以配置与获得第一目标数据相关的属性信息、访问地址信息、文件信息、检索语句信息和用户相关信息等其中至少之一。根据配置文件中
的配置信息可以确定第一目标数据。配置文件可以包括数据源提供方根据预定义规则编写、配置得到的文件。
43.例如，配置文件中可以配置有至少一个文件名信息、与每个文件名信息相对应的字段信息以及与每个文件名信息所表征的文件名相对应的文件内容的信息等。根据字段信息可以从与该字段信息相对应的文件内容中确定第一目标数据。
44.例如，配置文件中也可以配置有检索语句信息、访问地址信息、访问端口信息、实例名信息、经授权的用户名密码信息等其中至少之一。通过利用经授权的用户名密码，访问已设定的地址、端口，基于检索语句检索与实例名相关的数据信息，可以得到第一目标数据。
45.根据本公开的实施例，分布式全文搜索服务器单元可以用于存储供检索的第一目标数据。分布式计算是一种新的计算方式。分布式计算可以在将搜索引擎分解成许多小模块后，分配给多台服务器进行处理，以节约整体计算时间和计算资源，提高计算效率。全文搜索是基于lucene(全文搜索引擎)的索引程序或者导数程序实现的检索方式。可以通过扫描数据中的每个分词，对每个分词建立一个索引，指明相应的分词在文章中出现的次数和位置。当用户检索时，检索程序就可以根据事先建立的索引进行查找，并将查找的结果反馈给用户。
46.根据本公开的实施例，写入结果可以包括写入时间段信息、写入数据的标识信息、写入成功或写入失败、以及其他相关信息等其中至少之一，且可不限于此。
47.在操作s202，响应于检测到表征将第一目标数据写入分布式全文搜索服务器单元的过程失败的目标写入结果，将与目标写入结果相对应的目标配置文件写入消息队列重试模块。
48.根据本公开的实施例，在根据写入结果，检测到存在写入失败的第一目标数据的情况下，消息队列重试模块可以将与写入失败的第一目标数据相对应的目标配置文件以队列的形式进行存储及重新处理。
49.在操作s203，响应于确定消息队列重试模块接收到目标配置文件，根据目标配置文件，确定第二目标数据。
50.根据本公开的实施例，在消息队列重试模块接收到目标配置文件之后，可以结合前述第一目标数据的获得方式，根据目标配置文件中的配置信息，得到第二目标数据。
51.在操作s204，将第二目标数据写入分布式全文搜索服务器单元。
52.根据本公开的实施例，第二目标数据作为供检索的的数据，也可以存储于分布式全文搜索服务器单元中。
53.在操作s205，根据写入分布式全文搜索服务器单元的第一目标数据和第二目标数据，确定索引数据。
54.根据本公开的实施例，分布式全文搜索服务器单元在接收到供检索的第一目标数据和第二目标数据之后，可以基于第一目标数据和第二目标数据的信息建立索引，可以得到检索过程中所需的索引数据。
55.通过本公开的上述实施例，可以在第一目标数据未成功写入分布式全文搜索服务器单元的情况下，结合消息队列重试模块，进行重试操作，并将重试获得的第二目标数据写入分布式全文搜索服务器单元。由于可以及时处理写入失败的第一目标数据，可以有效提
高数据实时写入的效率，保证构建得到的所有数据的完整性，从而提高检索效率。
56.下面结合具体实施例，对图2所示的方法做进一步说明。
57.根据本公开的实施例，响应于接收到根据配置文件确定的第一目标数据，将第一目标数据写入分布式全文搜索服务器单元，记录写入结果可以包括：响应于接收到配置文件，通过多线程数据处理单元，确定第一目标数据。将第一目标数据写入分布式全文搜索服务器单元。响应于检测到在预设时间段内将第一目标数据成功写入分布式全文搜索服务器单元，通过数据库单元，记录表征将第一目标数据写入分布式全文搜索服务器单元的过程成功的写入结果。响应于检测到在预设时间段内未将第一目标数据成功写入分布式全文搜索服务器单元，通过数据库单元，记录表征将第一目标数据写入分布式全文搜索服务器单元的过程失败的写入结果。
58.根据本公开的实施例，多线程数据处理单元可以提供多个信息处理线程。多个信息处理线程可以对接收到的配置文件中的信息进行并行处理，以得到第一目标数据。多线程处理的方式可以参考前述获得第一目标数据的方式，在此不再赘述。
59.根据本公开的实施例，在处理得到第一目标数据之后，可以将第一目标数据写入分布式全文搜索服务器单元，供后续检索过程实现数据检索。
60.根据本公开的实施例，数据库单元中可以根据写入结果的书写信息预先定义用于存储写入结果的数据库表。与写入结果相关的信息可以记录至数据库单元的该数据库表中。在检测写入结果成功与否时，可以直接有效的对数据库表中的记录信息进行检测。
61.通过本公开的上述实施例，结合多线程的高并发性，通过多线程处理单元确定第一目标数据，可有效提高数据处理效率，加快将第一目标数据写入分布式全文搜索服务器单元的速率。此外，通过数据库单元记录写入结果，可以方便对写入结果的管理与检测，进一步提高数据处理效率。
62.根据本公开的实施例，目标配置文件包括配置有预定文件名和预定字段信息的配置子文件以及与预定文件名相关的数据子文件。消息队列重试模块包括消息处理系统单元和消费者应用单元。响应于确定消息队列重试模块接收到目标配置文件，根据目标配置文件，确定第二目标数据可以包括：通过消息处理系统单元，将配置子文件以及与配置子文件相关的数据子文件作为一个任务，写入消费者应用单元。根据配置子文件，通过消费者应用单元，从与配置子文件相关的数据子文件中获得第二目标数据。
63.根据本公开的实施例，配置子文件中配置的预定字段信息可以是根据与预定文件名相对应文件内容所包括的字段信息确定的。如，与某一预定文件名app1_yyyymmdd.csd相对应的文件内容中记录有id(标识信息)、日期、地址等信息，则可以配置与文件app1_yyyymmdd.csd相对应的字段信息为：id|日期|地址等。此时，数据子文件中可以包括文件名为app1_yyyymmdd.csd的所有文件内容。
64.根据本公开的实施例，消息处理系统单元可以将写入分布式全文搜索服务器单元失败的第一目标数据所对应的目标配置文件的信息写入消费者应用单元。该写入过程可以包括：在目标配置文件的数目包括多个或者目标配置文件中配置的配置子文件包括多个的情况下，将每个配置子文件以及与该配置子文件相关的数据子文件作为一个任务，以队列的形式，写入消费者应用单元。
65.根据本公开的实施例，消费者应用单元可以为基于kafka(一种高吞吐量的分布式
发布订阅消息系统)机制实现的单元。消费者应用单元可以实现根据预定字段信息，从与预定字段信息相关的数据子文件中获得第二目标数据。
66.通过本公开的上述实施例，可以在将第一目标数据写入分布式全文搜索服务器单元失败的情况下，结合消息处理系统单元和消费者应用单元对与第一目标数据相关的目标配置信息进行处理，得到与原本应写入分布式全文搜索服务器单元的第一目标数据相对应的第二目标数据。并可将第二目标数据及时写入分布式全文搜索服务器单元，以保证供检索的目标数据的完整性，提高数据检索效率。
67.根据本公开的实施例，目标配置文件包括与要访问的目标数据库相关的访问端口信息、访问用户信息以及检索语句信息其中至少之一。消息队列重试模块包括消息处理系统单元和消费者应用单元。响应于确定消息队列重试模块接收到目标配置文件，根据目标配置文件，确定第二目标数据可以包括：通过消息处理系统单元，将访问端口信息、访问用户信息以及检索语句信息其中至少之一作为一个任务，写入消费者应用单元。根据访问端口信息、访问用户信息以及检索语句信息其中至少之一，通过消费者应用单元，从目标数据库中获得第二目标数据。
68.根据本公开的实施例，访问接口信息可以包括要访问的ip地址信息、端口信息以及与访问接口相关的其他信息等其中至少之一。访问用户信息可以包括经授权的用户名、密码等信息。检索语句信息可以用于检索需要的数据文件。
69.根据本公开的实施例，消息处理系统单元可以将写入分布式全文搜索服务器单元失败的第一目标数据所对应的访问端口信息、访问用户信息以及检索语句信息，写入消费者应用单元。该写入过程可以包括：在配置有访问端口信息、访问用户信息以及检索语句信息的情况下，将具有关联关系的访问端口信息、访问用户信息以及检索语句信息作为一个任务，写入消费者应用单元。该写入过程还可以包括：在仅配置有访问端口信息的情况下，可以将不同的访问端口信息，各自作为一个任务，以队列的形式，写入消费者应用单元。该写入过程还可以包括：在配置有访问端口信息以及至少一个检索语句信息的情况下，可以依次将该访问端口信息以及与该访问端口信息相关的每个检索语句信息作为一个任务，以队列的形式，写入消费者应用单元。
70.根据本公开的实施例，在未配置访问用户信息的情况下，在每次写入一个任务时，可以不考虑访问用户信息。在配置有访问用户信息的情况下，在每次写入一个任务时，可以将相应的访问用户信息作为该任务的一部分，写入消费者应用单元。
71.根据本公开的实施例，消费者应用单元可以实现根据每个任务中的配置信息，从目标数据库中获得第二目标数据。例如，在一个任务中仅包括访问端口信息的情况下，可以将目标数据库中的所有信息确定为第二目标数据。在一个任务中包括访问端口信息和检索语句信息的情况下，可以将根据检索语句信息所表征的检索语句从目标数据库中查找到的数据信息，确定为第二目标数据。
72.通过本公开的上述实施例，可以将第二目标数据及时写入分布式全文搜索服务器单元，保证供检索的目标数据的完整性，提高数据检索效率。
73.根据本公开的实施例，响应于确定消息队列重试模块接收到目标配置文件，根据目标配置文件，确定第二目标数据可以包括：在确定消息队列重试模块接收到目标配置文件的情况下，响应于接收到针对消息队列重试模块中已写入的目标配置文件的修改操作，
根据修改后的目标配置文件，确定第二目标数据。
74.根据本公开的实施例，导致将第一目标数据写入分布式全文搜索服务器单元的过程失败的原因可以包括：多线程数据处理单元并行处理配置文件时超负载，导致处理过程中断或停滞，以及配置文件中配置的信息本身有误等其中至少之一。
75.根据本公开的实施例，在确定消息队列重试模块接收到目标配置文件的情况下，可以对目标配置文件中的配置信息进行检查及修改，以保证配置信息的准确性，实现获得有效的第二目标数据。
76.根据本公开的实施例，根据修改后的目标配置文件，确定第二目标数据的方式可参见前述根据目标配置文件，确定第二目标数据的方式，在此不再赘述。
77.通过本公开的上述实施例，将目标配置信息写入消息队列重试模块进行修改及重试等操作，可以及时排除错误，获得有效的第二目标数据，提高获得供检索的目标数据的准确率，保证获得供检索的目标数据的完整性，有效提高数据检索效率。
78.根据本公开的实施例，基于已确定的配置文件，结合前述多线程数据处理单元、数据库单元、分布式全文搜索服务器单元、消息处理系统单元以及消费者应用单元，可以构建得到一种分布式全文搜索服务器集群架构的综合智能搜索引擎系统。
79.图3示意性示出了根据本公开实施例的基于综合智能搜索引擎系统生成检索数据的流程图。
80.如图3所述，该方法包括操作s301～s315。
81.在操作s301，上传配置子文件。
82.根据本公开的实施例，综合智能搜索引擎系统中还可以设置有配置文件单元和文件系统单元。配置文件单元可以将数据源提供方按照规则填写文件名、文件字段信息后得到配置子文件，写入文件系统单元。
83.在操作s302，上传数据子文件。
84.根据本公开的实施例，综合智能搜索引擎系统中还可以设置有数据文件单元。数据文件单元可以将与配置子文件中已配置的文件名相关的源文件，写入文件系统单元。
85.在操作s303，读取配置文件。
86.根据本公开的实施例，文件系统单元可以扫描文件名，并可在扫描到相应文件格式的文件名后移动与该文件名相对应的源文件。
87.在操作s304，文件列表划分。
88.根据本公开的实施例，文件系统单元可以将针对同一配置文件扫描时扫描到的源文件，按照日期和即将导入的顺序移动并导入相同的路径下。对于在不同配置文件中扫描到的源文件，可以按相同的负责移动并导入不同的路径下。
89.在操作s305，上传上游数据库访问信息。
90.根据本公开的实施例，综合智能搜索引擎系统中还可以设置有用于存储数据源提供方提供的访问信息的第一数据库单元。第一数据库单元可以构建数据库连接池，通过连接数据源提供方提供的包括mysql、oracle，sql server等在内的数据库，将相关访问信息写入多线程数据处理单元。访问信息例如可以包括生产环境的数据库ip地址信息、访问端口信息、实例名信息、用户名密码信息以及向关sql语句信息等其中至少之一。
91.需要说明的是，操作s301～s304可以实现以文件采集的形式导入供检索数据的一
种方法，操作s306可以实现以直接访问数据库的形式导入供检索数据的另一种方法。
92.在操作s306，读取数据，加工处理。
93.根据本公开的实施例，基于操作s301中划分好的文件以及基于操作s305得到的访问信息均可以写入多线程数据处理单元，由多线程数据处理单元对划分好的文件和接收到的访问信息进处理。
94.在操作s307，记录多线程处理信息。
95.根据本公开的实施例，综合智能搜索引擎系统中还可以设置有用于记录处理信息的第二数据库单元。待处理的文件划分结果，以及基于多线程数据处理单元处理划分后文件时的相关信息，均可以记录于第二数据库单元，有利于信息追踪。
96.在操作s308，写入目标集群。
97.根据本公开的实施例，多线程数据处理单元可以将划分好的文件，按照配置文件配置字段格式导入到分布式全文搜索服务器单元的目标集群。
98.根据本公开的实施例，多线程数据处理单元也可以读取访问信息，得到访问结果并写入分布式全文搜索服务器单元的目标集群。
99.在操作s309，判断数据是否成功写入？若否，则执行操作s310～s315。若是，则执行操作s311～s315。
100.在操作s310，对写入失败的数据重新消费。
101.根据本公开的实施例，可以基于kafka机制，通过消息处理系统单元以及消费者应用单元，将异常数据重新排进队列进行处理。
102.在操作s311，写入备份集群。
103.根据本公开的实施例，可以将重新消费获得的数据再一次写入分布式全文搜索服务器单元的备份集群。
104.在操作s312，记录写入结果。
105.根据本公开的实施例，第二数据库单元还可以记录数据写入分布式全文搜索服务器单元时写入成功及失败的信息，有利于追踪检测，及时诊断错误。
106.在操作s313，构建分片索引。
107.根据本公开的实施例，在分布式全文搜索服务器单元接收到供检索的数据之后，可以按算法分配源文件列表，结合分片技术构建索引数据。构建索引的过程可以采用bulk模式，bulk模式是一种高性能的加载数据的方式。分片个数可以根据建立索引的数据量来分配。
108.在操作s314，将已处理文件移至临时目录。
109.根据本公开的实施例，已处理文件可以包括已构建索引的文件，在将已处理文件移入临时目录后，可以删除原始文件，也可以将已处理文件存储至备份的分布式全文搜索服务器上。
110.在操作s315，记录写入结果。
111.根据本公开的实施例，可以将本次爬网的数据处理统计结果写入第二数据库单元，方便对每次爬网得到的数据进行对比。
112.通过本公开的上述实施例，由于能够及时处理写入失败的第一目标数据，可以有效提高数据实时写入的效率，所以至少部分地克服了检索效率低的技术问题，进而达到了
提高检索效率的技术效果。
113.图4示意性示出了根据本公开实施例的信息检索方法的流程图。
114.如图4所示，该方法包括操作s401～s402。
115.在操作s401，获取目标检索词。
116.在操作s402，基于索引数据，对目标检索词进行检索，得到检索结果。
117.根据本公开的实施例，目标检索词可依包括根据输入检索框的检索词确定的一个或多个相关词。相关词可以包括与输入检索框的检索词的文字内容的相似度大于第一阈值的相关词，与输入检索框的检索词的语义信息的相似度大于第二阈值的相关词，以及根据其他方式确定的相关词等其中至少之一。
118.根据本公开的实施例，索引数据为根据前述索引数据生成方法确定的所有数据。检索结果可以包括与所有相关词相关的结果。检索结果可以根据与输入检索框的检索词的相关度由大到小的顺序展示。
119.通过本公开的上述实施例，通过将供检索数据实时写入全文搜索服务器单元，并进行分布式部署，可有效提升检索功能的实用性，提升检索效率及检索完整性，提升用户体验。
120.根据本公开的实施例，获取目标检索词可以包括：获取初始检索词。利用预设分词器，对初始检索词进行处理，得到与初始检索词的相似度大于预设阈值的至少一个目标检索词。
121.根据本公开的实施例，初始检索词可以根据输入检索框的检索词确定。预设分词器可以包括可基于多种分词方式进行分词、具有词汇扩展功能的分词器。在进行词汇扩展时，可扩展的词汇可以与实际业务需求相关。
122.根据本公开的实施例，基于前述预设分词器，对初始检索词进行处理后，可得到一个或多个目标检索词，供检索得到与初始检索词相关的检索结果。
123.通过本公开的上述实施例，通过多功能预设分词器对初始检索词进行分词的方式完成对初始检索词的查询，可以考虑初始检索词的词语语义以及用户少输入或者多输入等情况，可有效提高检索精确度及检索效率。
124.图5示意性示出了根据本公开实施例的具有生成索引数据以及信息检索功能的综合智能搜索引擎系统的结构图。
125.如图5所示，综合智能搜索引擎系统500包括配置文件单元501、数据文件单元502、文件系统单元503、第一数据库单元504、多线程数据处理单元505、第二数据库单元506、全文搜索服务器单元507、联机服务接口单元508、消息处理系统单元509以及消费者应用单元510。
126.根据本公开的实施例，搜索引擎可以包括基于elasticsearch框架实现的搜索引擎。在一方面，通过配置文件单元501、数据文件单元502和文件系统单元503，可以将需要导入的数据或文件按照规定格式在配置子文件的辅助下导入文件系统单元。在将数据子文件和配置子文件导入文件系统单元503后，可以通过多线程处理单元505进行处理。在另一方面，存储访问信息的第一数据库单元504信息输入完成后，多线程数据处理单元505可以直接从数据库中通过sql语句将数据爬入全文搜索服务器单元507，爬网后的结果信息可以记录于第二数据库单元506中。全文搜索服务器单元507可以基于接收到的数据建立索引，实
现信息查询。
127.根据本公开的实施例，在数据写入全文搜索服务器507失败的情况下，多线程数据处理单元505可以将输入导入消息处理系统单元509，再通过kafka提供的重试机制消费者应用单元510，将数据重新写入全文搜索服务器单元507。
128.根据本公开的实施例，在进行信息查询时，可以通过api接口层调用联机服务接口单元508，联机服务接口单元508可以提供用于输入检索词的输入框。通过联机服务接口单元508，接收检索词后，可以结合消息处理系统单元109的处理，从全文搜索服务器单元507中查询得到检索结果。
129.根据本公开的实施例，在查询过程中还可以结合预定分词器，提高查询结果的准确度、完整度。
130.根据本公开的实施例，通过分布式系统完成全文搜索的综合智能搜索引擎可以不属于地理位置不同的多个区域。
131.通过本公开的上述实施例，结合elasticsearch与kafka框架，得到的全文搜索引擎，通过合理的分布式部署、实时读写入数据等方法，基于合理的中文分词器完成高相似度匹配，可以实现输入关键词后毫秒级从数百万数据中匹配出最合适的结果，提高了搜索引擎的实时性、准确性、计算效率，提高了用户体验。此外，综合智能搜索引擎通过f5负载均衡可以达到高性能、高可用、负载均衡的集群架构。
132.图6示意性示出了根据本公开的实施例的索引数据生成装置的框图。
133.如图6所示，索引数据生成装置600包括第一写入模块610、第二写入模块620、第一确定模块630、第三写入模块640和第二确定模块650。
134.第一写入模块610，用于响应于接收到根据配置文件确定的第一目标数据，将第一目标数据写入分布式全文搜索服务器单元，记录写入结果。
135.第二写入模块620，用于响应于检测到表征将第一目标数据写入分布式全文搜索服务器单元的过程失败的目标写入结果，将与目标写入结果相对应的目标配置文件写入消息队列重试模块。
136.第一确定模块630，用于响应于确定消息队列重试模块接收到目标配置文件，根据目标配置文件，确定第二目标数据。
137.第三写入模块640，用于将第二目标数据写入分布式全文搜索服务器单元。
138.第二确定模块650，用于根据写入分布式全文搜索服务器单元的第一目标数据和第二目标数据，确定索引数据。
139.根据本公开的实施例，目标配置文件包括配置有预定文件名和预定字段信息的配置子文件以及与预定文件名相关的数据子文件。消息队列重试模块包括消息处理系统单元和消费者应用单元。第一确定模块包括第一写入单元和第一获得单元。
140.第一写入单元，用于通过消息处理系统单元，将配置子文件以及与配置子文件相关的数据子文件作为一个任务，写入消费者应用单元。
141.第一获得单元，用于根据配置子文件，通过消费者应用单元，从与配置子文件相关的数据子文件中获得第二目标数据。
142.根据本公开的实施例，目标配置文件包括与要访问的目标数据库相关的访问接口信息、访问用户信息以及检索语句信息其中至少之一。消息队列重试模块包括消息处理系
统单元和消费者应用单元。第一确定模块包括第二写入单元和第二获得单元。
143.第二写入单元，用于通过消息处理系统单元，将访问接口信息、访问用户信息以及检索语句信息其中至少之一作为一个任务，写入消费者应用单元。
144.第二获得单元，用于根据访问接口信息、访问用户信息以及检索语句信息其中至少之一，通过消费者应用单元，从目标数据库中获得第二目标数据。
145.根据本公开的实施例，第一确定模块包括第一确定单元。
146.第一确定单元，用于在确定消息队列重试模块接收到目标配置文件的情况下，响应于接收到针对消息队列重试模块中已写入的目标配置文件的修改操作，根据修改后的目标配置文件，确定第二目标数据。
147.根据本公开的实施例，第一写入模块包括第二确定单元、第三写入单元、第一记录单元和第二记录单元。
148.第二确定单元，用于响应于接收到配置文件，通过多线程数据处理单元，确定第一目标数据。
149.第三写入单元，用于将第一目标数据写入分布式全文搜索服务器单元。
150.第一记录单元，用于响应于检测到在预设时间段内将第一目标数据成功写入分布式全文搜索服务器单元，通过数据库单元，记录表征将第一目标数据写入分布式全文搜索服务器单元的过程成功的写入结果。
151.第二记录单元，用于响应于检测到在预设时间段内未将第一目标数据成功写入分布式全文搜索服务器单元，通过数据库单元，记录表征将第一目标数据写入分布式全文搜索服务器单元的过程失败的写入结果。
152.图7示意性示出了根据本公开的实施例的信息检索装置的框图。
153.如图7所示，信息检索装置700包括获取模块710和检索模块720。
154.获取模块710，用于获取目标检索词。
155.检索模块720，用于基于索引数据，对目标检索词进行检索，得到检索结果。其中，索引数据是根据本公开实施的检索数据生成方法确定的。
156.根据本公开的实施例，获取模块包括获取单元和处理单元。
157.获取单元，用于获取初始检索词。
158.处理单元，用于利用预设分词器，对初始检索词进行处理，得到与初始检索词的相似度大于预设阈值的至少一个目标检索词。
159.根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
160.例如，第一写入模块610、第二写入模块620、第一确定模块630、第三写入模块640
和第二确定模块650，或者获取模块710和检索模块720中的任意多个可以合并在一个模块/单元中实现，或者其中的任意一个模块/单元可以被拆分成多个模块/单元。或者，这些模块/单元中的一个或多个模块/单元的至少部分功能可以与其他模块/单元的至少部分功能相结合，并在一个模块/单元中实现。根据本公开的实施例，第一写入模块610、第二写入模块620、第一确定模块630、第三写入模块640和第二确定模块650，或者获取模块710和检索模块720中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一写入模块610、第二写入模块620、第一确定模块630、第三写入模块640和第二确定模块650，或者获取模块710和检索模块720中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
161.需要说明的是，本公开的实施例中索引数据生成装置部分与本公开的实施例中索引数据生成方法部分是相对应的，索引数据生成装置部分的描述具体参考索引数据生成方法部分，在此不再赘述。
162.需要说明的是，本公开的实施例中信息检索装置部分与本公开的实施例中信息检索方法部分是相对应的，信息检索装置部分的描述具体参考信息检索方法部分，在此不再赘述。
163.图8示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图8示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
164.如图8所示，根据本公开实施例的计算机系统800包括处理器801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
165.在ram 803中，存储有系统800操作所需的各种程序和数据。处理器801、rom 802以及ram 803通过总线804彼此相连。处理器801通过执行rom 802和/或ram 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 802和ram 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
166.根据本公开的实施例，系统800还可以包括输入/输出(i/o)接口805，输入/输出(i/o)接口805也连接至总线804。系统800还可以包括连接至i/o接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安
装入存储部分808。
167.根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
168.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
169.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
170.例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 802和/或ram 803和/或rom 802和ram 803以外的一个或多个存储器。
171.本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的索引数据生成方法和信息检索方法。
172.在该计算机程序被处理器801执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
173.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
174.根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备
(例如利用因特网服务提供商来通过因特网连接)。
175.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
176.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。