实时数据的处理方法及系统、即时处理系统的制作方法
【专利说明】
【技术领域】
[0001]本申请涉及数据处理技术，尤其涉及一种实时数据的处理方法及系统、即时处理系统。
【【背景技术】】
[0002]即时处理系统，可以针对离线数据进行灵活计算或者查询即无法预知规则的计算。例如，计算会员中诚信通会员和非诚信通会员的男女比例，或者，再例如，计算会员中诚信通会员和非诚信通会员的交易勋章比例，或者，再例如，计算会员中诚信通会员和非诚信通会员的实地认证比例等。
[0003]然而，现有的即时处理系统无法针对实时数据进行灵活计算或者查询。
【
【发明内容】
】
[0004]本申请的多个方面提供一种实时数据的处理方法及系统、即时处理系统，用以实现即时处理系统能够针对实时数据进行灵活计算或者查询，特别可以适用于对海量实时数据的计算或者查询。
[0005]本申请的一方面，提供一种实时数据的处理方法，应用于即时处理系统中，所述即时处理系统包括合并节点和至少一个本地节点，所述方法包括:
[0006]所述合并节点获得实时处理系统发送的实时数据；
[0007]所述合并节点根据分发策略，确定一个节点作为处理节点，用以将所述实时数据写入所述即时处理系统中；其中，
[0008]所述处理节点包括所述合并节点或所述至少一个本地节点中的一个本地节点。
[0009]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述合并节点根据分发策略，确定一个节点，以作为处理节点之后，还包括:
[0010]所述处理节点将所述实时数据写入所述即时处理系统中。
[0011]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点将所述实时数据写入所述即时处理系统中，包括:
[0012]所述处理节点创建所述实时数据的全文索引文件；
[0013]所述处理节点将所述全文索引文件写入所述即时处理系统中。
[0014]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点将所述全文索引文件写入所述即时处理系统中，包括:
[0015]所述处理节点监控所述实时数据的状态条件；
[0016]若所述状态条件满足第一写入条件，所述处理节点将所述全文索引文件写入所述即时处理系统的快速存储设备中。
[0017]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述若所述状态条件满足第一写入条件，所述处理节点将所述全文索引文件写入所述即时处理系统的快速存储设备中，包括:
[0018]若所述实时数据的接收时间达到第一最大可见时间，或者，所述实时数据的数量达到第一最大文档数，所述处理节点将所述全文索引文件写入所述即时处理系统的快速存储设备中。
[0019]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点将所述全文索引文件写入所述即时处理系统中，还包括:
[0020]若所述状态条件满足第二写入条件，所述处理节点将所述全文索引文件写入所述即时处理系统的存储设备写入所述即时处理系统的慢速存储设备中。
[0021]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述若所述状态条件满足第二写入条件，所述处理节点将所述全文索引文件写入所述即时处理系统的慢速存储设备中，包括:
[0022]若所述实时数据的接收时间达到第二最大可见时间，或者，所述实时数据的数量达到第二最大文档数，所述处理节点将所述全文索引文件写入所述即时处理系统的慢速存储设备。
[0023]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点监控所述实时数据的状态条件之后，还包括:
[0024]若所述状态条件满足所述第一写入条件和所述第二写入条件中的至少一项，所述处理节点启动新的查询引擎，用以进行所述实时数据的即时查询。
[0025]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点启动新的查询引擎，用以进行所述实时数据的即时查询之后，还包括:
[0026]所述合并节点接收数据查询请求，所述数据查询请求中包含查询条件；
[0027]所述合并节点将数据查询请求分发给所述至少一个本地节点；
[0028]所述至少一个本地节点中每个本地节点，或者所述至少一个本地节点中每个本地节点和所述合并节点，分别执行查询条件所对应的计算操作，以获得查询结果，并返回给所述合并节点；
[0029]所述合并节点将所述查询结果进行合并，以获得最终的查询结果。
[0030]本申请的另一方面，提供一种即时处理系统，包括合并节点和至少一个本地节点，其中，
[0031]所述合并节点，用于获得实时处理系统发送的实时数据；以及根据分发策略，确定一个处理节点；其中，所述处理节点包括所述合并节点或所述至少一个本地节点中的一个本地节点；
[0032]所述处理节点，用于将所述实时数据写入所述即时处理系统中。
[0033]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述合并节点和所述至少一个本地节点形成分布式云架构。
[0034]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点，具体用于
[0035]创建所述实时数据的全文索引文件；
[0036]将所述全文索引文件写入所述即时处理系统中。
[0037]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点，具体用于
[0038]监控所述实时数据的状态条件；以及
[0039]若所述状态条件满足第一写入条件，将所述全文索引文件写入所述即时处理系统的快速存储设备中。
[0040]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点，具体用于
[0041]若所述实时数据的接收时间达到第一最大可见时间，或者，所述实时数据的数量达到第一最大文档数，所述处理节点将所述全文索引文件写入所述即时处理系统的快速存储设备中。
[0042]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点，具体用于
[0043]若所述状态条件满足第二写入条件，将所述全文索引文件写入所述即时处理系统的存储设备写入所述即时处理系统的慢速存储设备中。
[0044]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点，具体用于
[0045]若所述实时数据的接收时间达到第二最大可见时间，或者，所述实时数据的数量达到第二最大文档数，所述处理节点将所述全文索引文件写入所述即时处理系统的慢速存储设备。
[0046]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理节点，还用于
[0047]若所述状态条件满足所述第一写入条件和所述第二写入条件中的至少一项，启动新的查询引擎，用以进行所述实时数据的即时查询。
[0048]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述合并节点，还用于
[0049]接收数据查询请求，所述数据查询请求中包含查询条件；
[0050]将数据查询请求分发给所述至少一个本地节点，以使得所述至少一个本地节点中每个本地节点，或者所述至少一个本地节点中每个本地节点和所述合并节点，分别执行查询条件所对应的计算操作，以获得查询结果；
[0051]获得所述查询结果；
[0052]将所述查询结果进行合并，以获得最终的查询结果。
[0053]本申请的另一方面，提供一种实时数据的处理系统，包括实时处理系统和上述一方面所提供的即时处理系统；其中，
[0054]所述实时处理系统，用于向所述即时处理系统发送所述实时数据。
[0055]由上述技术方案可知，本申请实施例通过合并节点获得实时处理系统发送的实时数据，进而根据分发策略，在所述至少一个本地节点中，或者合并节点和所述至少一个本地节点中，确定一个节点，以作为处理节点，使得处理节点能够将所述实时数据写入所述即时处理系统中，从而实现了即时处理系统能够针对实时数据进行灵活计算或者查询。
[0056]另外，采用本申请提供的技术方案，由于即时处理系统能够针对实时数据进行灵活计算或者查询，因此，能够有效提高实时