一种流式作业处理方法及装置与流程

[0001]
本申请涉及大数据技术领域，特别是涉及一种流式作业处理方法及装置。


背景技术：

[0002]
流式处理系统是大数据分析与机器学习系统的重要支撑组件，在智能应用中越来越重要。流式处理框架(如flink)以低延迟、强一致性和适用于乱序的优势，被越来越多的企业使用。然而，由于flink自带的监控系统存在一些缺陷，所以使用prometheus(监控报警系统)和grafana(可视化设备)对flink作业进行监控成为更好的选择。
[0003]
虽然该方案中，通过简单的配置，就可以使用prometheus和grafana监控到流式作业(即flink作业)的运行状况，但是该方案中，所有flink作业的监控数据均在一个界面展示。随着被监控flink作业的越来越多，该方案提供的界面中展示的数据越来越多，不便于区分不同flink作业的数据，进而该方案无法提供一个清晰、友好的界面。


技术实现要素：

[0004]
本申请实施例的目的在于提供一种流式作业处理方法及装置，以便于区分不同流式作业的数据，提供一个清晰、友好的界面。具体技术方案如下：
[0005]
第一方面，本申请实施例提供了一种流式作业处理方法，应用于可视化设备，所述方法包括：
[0006]
在前端页面中显示多个流式作业的作业名，以及所述多个流式作业的url(uniform resource locator，统一资源定位系统)，以使用户基于所述前端页面中显示的多个流式作业的作业名，向所述可视化设备输入针对第一流式作业的第一url的选择操作，每一流式作业的url包括该流式作业的作业标识；
[0007]
当接收到所述选择操作时，从监控报警系统中，获取所述第一url包括的作业标识对应的第一监控数据，所述监控报警系统中存储了作业标识与监控数据的对应关系；
[0008]
在监控页面中展示所述第一监控数据。
[0009]
第二方面，本申请实施例提供了一种流式作业处理装置，应用于可视化设备，所述装置包括：
[0010]
显示单元，用于在前端页面中显示多个流式作业的作业名，以及所述多个流式作业的url，以使用户基于所述前端页面中显示的多个流式作业的作业名，向所述可视化设备输入针对第一流式作业的第一url的选择操作，每一流式作业的url包括该流式作业的作业标识；
[0011]
第一获取单元，用于当接收到所述选择操作时，从监控报警系统中，获取所述第一url包括的作业标识对应的第一监控数据，所述监控报警系统中存储了作业标识与监控数据的对应关系；
[0012]
展示单元，用于在监控页面中展示所述第一监控数据。
[0013]
第三方面，本申请实施例提供了一种可视化设备，包括处理器和机器可读存储介
质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行程序，所述处理器被所述机器可执行程序促使：实现上述任一所述的方法步骤。
[0014]
第四方面，本申请实施例提供了一种机器可读存储介质，所述机器可读存储介质存储有能够被处理器执行的机器可执行程序，所述处理器被所述机器可执行程序促使：实现上述任一所述的方法步骤。
[0015]
本申请实施例提供的技术方案中，前端页面显示所有流式作业的作业名和url，用户基于前端页面显示的作业名，可以直观选择相应的流式作业的url，进而在一个监控页面中显示选择的流式作业的监控数据。这样，一个监控页面中显示一个流式作业的监控数据，减少了一个监控页面需要显示的数据对应的流式作业的数量，而通过前端页面可以显示所有流式作业的作业名，可以保证通过多个监控页面分别显示各个流式作业的监控数据。这在保证通过监控页面显示所有流式作业的监控数据的同时，使得一个监控页面中显示一个流式作业的监控数据，便于区分不同流式作业的数据，提供了一个清晰、友好的界面。
[0016]
当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
[0017]
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]
图1为相关技术中流式作业处理系统的示意图；
[0019]
图2为本申请实施例提供的一种流式作业处理系统的示意图；
[0020]
图3为本申请实施例提供的前端页面的一种示意图；
[0021]
图4为本申请实施例提供的一种流式作业处理方法的一种示意图；
[0022]
图5为本申请实施例提供的一种流式作业处理方法的另一种示意图；
[0023]
图6为本申请实施例提供的监控页面的一种示意图；
[0024]
图7为本申请实施例提供的一种流式作业处理方法的再一种示意图；
[0025]
图8为本申请实施例提供的一种流式作业处理装置的一种示意图
[0026]
图9为本申请实施例提供的一种可视化设备的一种示意图。
具体实施方式
[0027]
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]
目前的流式作业处理系统如图1所示，包括流式作业集群11、监控报警系统12和可视化设备13。
[0029]
其中，流式作业集群11可以为flink集群。flink集群执行流式作业。流式作业是指：将数据转换成流，并按照流来执行筛选、转换等操作的作业。
[0030]
监控报警系统12可以包括prometheus数据库。prometheus是一个开源的服务监控系统和时间序列数据库。
[0031]
可视化设备13可以包括grafana。grafana是一个跨平台的开源的度量分析和可视化工具。
[0032]
监控报警系统12在配置文件(如flink-conf.yaml)中配置相应的项，监控报警系统12基于配置文件，从流式作业集群11获取各个流式作业的监控数据，并将获取的监控数据存储至监控报警系统12中。
[0033]
可视化设备13的数据源为监控报警系统12。可视化设备13从监控报警系统12中获取到各个流式作业的监控数据，在监控页面中显示获取到的所有流式作业的监控数据。监控页面可以为web(网络)页面。
[0034]
随着被监控flink作业的越来越多，上述流式作业方案提供的界面中展示的数据越来越多，不便于区分不同flink作业的数据，进而该方案无法提供一个清晰、友好的界面。
[0035]
为解决上述问题，本申请实施例提供了一种流式作业处理系统，如图2所示，包括流式作业集群21、监控报警系统22、可视化设备23和预设作业数据库24。其中，流式作业集群21可参考上述流式作业集群11中的介绍，此处不再赘述。
[0036]
监控报警系统22从流式作业集群21获取各个流式作业的监控数据，并将获取的流式作业的监控数据与流式作业的jobid对应存储至监控报警系统22中。
[0037]
本申请实施例中，预设作业数据库24可以为关系型数据库。预设作业数据库24中存储了流式作业的作业名、作业标识和url的对应关系，如下表1所示。
[0038]
表1
[0039][0040]
表示1，jobid表示流式作业的作业标识，jobid与流式作业为一一对应关系。jobname表示流式作业的作业名。url包括固定前缀、固定后缀和流式作业的作业标识，即jobid。例如，url为http://ip:port/固定前缀/jobid/固定后缀。url包括的固定前缀和固定后缀指向相应的监控页面。各个流式作业的监控页面的url前缀和后缀相同，唯一有差异的地方就是jobid。
[0041]
预设作业数据库24可以通过yarn接口，定时从流式作业集群21中获取流式作业的jobid和jobname，并基于流式作业的jobid生成流式作业的url，并存储。预设作业数据库24的该功能，可以通过简单的编写java代码实现。
[0042]
可视化设备23提供了两个页面，一个是前端页面和一个是监控页面。监控页面可以通过grafana实现，前端页面可以通过编写java代码实现。可视化设备23获取预设作业数据库24中存储的流式作业的jobname和url，在前端页面中显示多个流式作业的jobname，以及每个jobname绑定的该流式作业的url。可以理解的，在前端页面中以列表的形式显示从预设作业数据库24中获取的流式作业的jobname和url，如图3所示。
[0043]
图3中，左侧显示的是流式作业的jobname，如dataanalyze服务、datacore服务、logforward服务和业务告警服务等。右侧显示的是超链接，该超链接与左侧显示的jobname关联，该超链接即表示与左侧显示的jobname绑定的url。
[0044]
当用户基于前端页面中显示的jobname，点击右侧显示的超链接时，可视化设备23基于该超链接所表示的url，从监控报警系统22中，获取该超链接绑定的url包括的jobid对应的监控数据，并在监控页面中展示获取的监控数据。
[0045]
本申请实施例提供的技术方案中，通过前端页面显示所有流式作业的作业名和url，用户基于前端页面显示的作业名，可以直观选择相应的流式作业的url，一个监控页面中显示选择的流式作业的监控数据。这样，一个监控页面中显示一个流式作业的监控数据，减少了一个监控页面需要显示的数据对应的流式作业的数量，而通过前端页面可以显示所有流式作业的作业名，可以保证通过多个监控页面分别显示各个流式作业的监控数据。这在保证通过监控页面显示所有流式作业的监控数据的同时，使得一个监控页面中显示一个流式作业的监控数据，便于区分不同流式作业的数据，提供了一个清晰、友好的界面。
[0046]
下面通过具体实施例，对本申请实施例提供了一种流式作业处理方法进行详细说明。
[0047]
参见图4，图4为本申请实施例提供的一种流式作业处理方法的一种示意图，该方法应用于可视化设备，包括如下步骤：
[0048]
步骤s41，在前端页面中显示多个流式作业的作业名，以及多个流式作业的url，以使用户基于前端页面中显示的多个流式作业的作业名，向可视化设备输入针对第一流式作业的第一url的选择操作，每一流式作业的url包括该流式作业的作业标识。
[0049]
上述流式作业可以为flink作业。在处理流式作业时，可视化设备在前端页面中显示多个流式作业的作业名，以及多个流式作业的url，每一流式作业的作业名与该流式作业的url关联。
[0050]
这多个流式作业的作业名和url可以为可视化设备预先从预设作业数据库中获取并存储在该可视化设备中的，也可以为在接收到展示监控页面的指令后才从预设作业数据库中获取的。本申请实施例对可视化设备获取流式作业的作业名和url的方式不做具体限定。
[0051]
步骤s42，当接收到上述选择操作时，从监控报警系统中，获取第一url包括的作业标识对应的第一监控数据，监控报警系统中存储了作业标识与监控数据的对应关系。
[0052]
在前端页面中显示了多个流式作业的作业名以及url的情况下，用户可以基于前端页面展示的作业名，获知具有由哪些流式作业的监控数据，进而点击选中前端页面中需要在监控页面中显示的流式作业的url。为便于理解，这里以用户点击选中前端页面中的第一流式作业的第一url为例进行说明。
[0053]
可视化设备在接收到针对第一流式作业的第一url的选择操作时，可以获取到第一url包括的作业标识，进而从监控报警系统中，获取第一url包括的作业标识对应的监控数据，即第一监控数据。
[0054]
步骤s43，在监控页面中展示第一监控数据。
[0055]
本申请实施例中，可视化设备在获取到第一监控数据后，在监控页面中展示第一监控数据。
[0056]
本申请实施例提供的技术方案中，前端页面显示所有流式作业的作业名和url，用户基于前端页面显示的作业名，可以直观选择相应的流式作业的url，进而在一个监控页面中显示选择的流式作业的监控数据。这样，一个监控页面中显示一个流式作业的监控数据，减少了一个监控页面需要显示的数据对应的流式作业的数量，而通过前端页面可以显示所有流式作业的作业名，可以保证通过多个监控页面分别显示各个流式作业的监控数据。这在保证通过监控页面显示所有流式作业的监控数据的同时，使得一个监控页面中显示一个流式作业的监控数据，便于区分不同流式作业的数据，提供了一个清晰、友好的界面。
[0057]
此外，本申请实施例中，将所有的流式作业以作业名加url的形式展示在一个前端页面中。一方面可以做到见名知义，另一方面前端页面由用户实现，灵活性更大，即使在大量流式作业需要监控的情况下也可以以简单、清晰的方式呈现。
[0058]
在本申请的一个实施例中，每一流式作业的url还可以包括展示该流式作业的监控页面所对应的固定前缀和固定后缀。这种情况下，参见图5，上述步骤s43可以细化为如下步骤：
[0059]
步骤s431，根据第一url包括的固定前缀和固定后缀，确定展示第一流式作业的监控页面。
[0060]
本申请实施例中，可视化设备可以提供多种监控页面，每种监控页面具有与其对应的固定前缀和固定后缀。针对每个流式作业，在确定展示该流式作业的监控页面时，基于确定该流式作业的监控页面的固定前缀和固定后缀，生成该流式作业的url。这里，生成url的流程可以在可视化设备上实现，也可以在预设作业数据库上实现，对此不做限定。
[0061]
可视化设备当接收到点击所述前端页面中的第一流式作业的作业名的操作时，根据第一url包括的固定前缀和固定后缀，可唯一的确定展示第一流式作业的监控页面。
[0062]
步骤s432，在所确定的监控页面中展示第一监控数据。
[0063]
在确定展示第一流式作业的监控页面后，可视化设备在所确定的监控页面中展示第一监控数据。
[0064]
本申请实施例中，基于url包括的固定前缀和固定后缀，确定监控页面，并在该监控页面展示监控数据。这种情况下，基于不同的需求，可以设定不同的监控页面，并通过url找到该监控页面，并用于显示监控数据。这实现了监控数据显示的灵活性。
[0065]
在本申请的一个实施例中，监控页面中多个图表展示区域，可视化设备中预先记录了每个图表展示区域对应的展示类型、以及每个图表展示区域对应的监控指标。其中，展示类型可以包括但不限于折线图、柱状图和饼状图等。监控指标可以包括但不限于cpu(central processing unit，中央处理器)占用情况、内存占用情况和运行速率等。
[0066]
这种情况下，上述步骤s43可以为：针对监控页面中每个图表展示区域，按照该图表展示区域对应的展示类型，在该图表展示区域中展示第一监控数据中该图表展示区域对应的监控指标的数据。
[0067]
例如，如图6所示的监控页面a，包括2个图表展示区域，分别为图表展示区域a1和图表展示区域a2。图表展示区域a1对应的展示类型为折线图，图表展示区域a1对应的监控指标为cpu占用情况；图表展示区域a2对应的展示类型为柱状图，图表展示区域a2对应的监控指标为内存占用情况。
[0068]
可视化设备确定展示流式作业s的监控数据s的监控页面为监控页面a，则在图表
展示区域a1中，以折线图的形式展示监控数据s中cpu占用情况的数据，在图表展示区域a2中，以折线图的形式展示监控数据s中内存占用情况的数据。
[0069]
在本申请的一个实施例中，若生成url的流程在预设作业数据库上实现，也就是，预设作业数据库定时从流式作业集群中获取流式作业的作业名和作业标识，并基于流式作业的作业标识生成流式作业的url，预设作业数据库中存储了流式作业的作业名、作业标识和url的对应关系。
[0070]
这种情况下，在前端页面中显示多个流式作业的作业名，以及多个流式作业的url之前，可视化设备获取预设作业数据库中存储的多个流式作业的作业名和多个流式作业的url，进而在前端页面中显示多个流式作业的作业名，以及多个流式作业的url，每一流式作业的作业名与该流式作业的url关联。
[0071]
本申请实施例中，生成url的流程在预设作业数据库上实现，减轻了可视化设备的负担。
[0072]
上述提供的各个实施例可以相互结合，对此不做限定。下面结合图7所示的流式作业处理系统的信令图，对本申请实施例提供的流式作业处理方法进行说明。
[0073]
步骤s71，监控报警系统定时从流式作业集群获取流式作业的监控数据以及流式作业的作业标识，并在监控报警系统的数据库中存储流式作业的作业标识与监控数据的对应关系。
[0074]
步骤s72，预设作业数据库定时从流式作业集群中获取流式作业的作业名和作业标识，基于流式作业的作业标识生成流式作业的url，并将流式作业的作业名、作业标识和url对应存储在预设作业数据库中。
[0075]
步骤s73，可视化设备获取预设作业数据库中存储的流式作业的作业名和url。
[0076]
步骤s74，可视化设备在前端页面中显示获取的流式作业的作业名和url，每一流式作业的作业名与该流式作业的url关联。
[0077]
步骤s75，可视化设备接收点针对第一流式作业的第一url的选择操作。
[0078]
该选择操作可以为用户直接输入可视化设备的，也可以为用户通过其他设备(如键盘、鼠标等)输入可视化设备的，对此不做限定。
[0079]
步骤s76，可视化设备根据上述选择操作，从监控报警系统中，获取第一流式作业的第一url包括的作业标识对应的第一监控数据。
[0080]
步骤s77，可视化设备根据第一url包括的固定前缀和固定后缀，确定展示第一流式作业的监控页面。
[0081]
步骤s78，针对所确定的监控页面中每个图表展示区域，可视化设备按照该图表展示区域对应的展示类型，在该图表展示区域中展示第一监控数据中该图表展示区域对应的监控指标的数据。
[0082]
上述步骤s71-s78部分描述相对简单，具体参见上述图2-6部分的描述。
[0083]
与上述流式作业处理方法对应，本申请实施例还提供了一种流式作业处理装置。参见图8，图8为本申请实施例提供的一种流式作业处理装置的一种示意图，应用于可视化设备，该装置包括：
[0084]
显示单元81，用于在前端页面中显示多个流式作业的作业名，以及多个流式作业的url，以使用户基于前端页面中显示的多个流式作业的作业名，向可视化设备输入针对第
一流式作业的第一url的选择操作，每一流式作业的url包括该流式作业的作业标识；
[0085]
第一获取单元82，用于当接收到上述选择操作时，从监控报警系统中，获取第第一url包括的作业标识对应的第一监控数据，监控报警系统中存储了作业标识与监控数据的对应关系；
[0086]
展示单元83，用于在监控页面中展示第一监控数据。
[0087]
在本申请的一个实施例中，每一流式作业的url还包括展示该流式作业的监控页面所对应的固定前缀和固定后缀；
[0088]
展示单元83，具体可以用于根据第一url包括的固定前缀和固定后缀，确定展示第一流式作业的监控页面；在所确定的监控页面中展示第一监控数据。
[0089]
在本申请的一个实施例中，监控页面中多个图表展示区域，可视化设备中预先记录了每个图表展示区域对应的展示类型、以及每个图表展示区域对应的监控指标；
[0090]
展示单元83，具体可以用于针对监控页面中每个图表展示区域，按照该图表展示区域对应的展示类型，在该图表展示区域中展示第一监控数据中该图表展示区域对应的监控指标的数据。
[0091]
在本申请的一个实施例中，上述流式作业处理装置还可以包括：
[0092]
第二获取单元，用于在前端页面中显示多个流式作业的作业名之前，获取预设作业数据库中存储的多个流式作业的作业名和多个流式作业的url，预设作业数据库用于定时从流式作业集群中获取流式作业的作业名和作业标识，并基于流式作业的作业标识生成流式作业的url。
[0093]
本申请实施例提供的技术方案中，前端页面显示所有流式作业的作业名和url，用户基于前端页面显示的作业名，可以直观选择相应的流式作业的url，进而在一个监控页面中显示选择的流式作业的监控数据。这样，一个监控页面中显示一个流式作业的监控数据，减少了一个监控页面需要显示的数据对应的流式作业的数量，而通过前端页面可以显示所有流式作业的作业名，可以保证通过多个监控页面分别显示各个流式作业的监控数据。这在保证通过监控页面显示所有流式作业的监控数据的同时，使得一个监控页面中显示一个流式作业的监控数据，便于区分不同流式作业的数据，提供了一个清晰、友好的界面。
[0094]
与上述流式作业处理方法对应，本申请实施例还提供了一种可视化设备，如图9所示，包括处理器91和机器可读存储介质92，机器可读存储介质92存储有能够被处理器91执行的机器可执行程序。处理器91被机器可执行程序促使实现上述图2-图7所示的任一步骤。
[0095]
与上述流式作业处理方法对应，本申请实施例还提供了一种机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行程序。处理器被机器可执行程序促使实现上述图2-图7所示的任一步骤。
[0096]
上述机器可读存储介质可以包括ram(random access memory，随机存取存储器)，也可以包括nvm(non-volatile memory，非易失性存储器)，例如至少一个磁盘存储器。另外，机器可读存储介质还可以是至少一个位于远离前述处理器的存储装置。
[0097]
上述处理器可以是通用处理器，包括cpu(central processing unit，中央处理器)、np(network processor，网络处理器)等；还可以是dsp(digital signal processing，数字信号处理器)、asic(application specific integrated circuit，专用集成电路)、fpga(field-programmable gate array，现场可编程门阵列)或其他可编程逻辑器件、分立
门或者晶体管逻辑器件、分立硬件组件。
[0098]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0099]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于流式作业处理装置、可视化设备和机器可读存储介质实施例而言，由于其基本相似于流式作业处理方法实施例，所以描述的比较简单，相关之处参见流式作业处理方法实施例的部分说明即可。
[0100]
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。