一种数据服务接口可视化管理的处理方法及系统与流程

1.本发明涉及大数据领域，尤其涉及一种数据服务接口可视化管理的处理方法及系统。


背景技术：

2.随着信息化的推进，各行各业应运而生了大量的应用系统，随着业务的不断更新，旧的数据服务接口在适应新的需求变化过程中常常显得力不从心，很多情况这种力不从心的功能缺陷反过来变成了额外的工作量，甚至在问题积累到一定程度时候必须要放弃旧的应用系统而去重新研发新系统弥补旧的功能。在应用系统开发维护过程中，每新增或修改一个需求点就会涉及到工作量大、参与开发人员数量多、开发工序繁多、不同程度开发人员代码习惯不同检查困难、上线测试不容易，这些情况使得应用系统维护成本变得很高，维护的安全风险很大。而且，在系统开发过程的不断深入下，系统开发的代码耦合性也在不断增高，在后续系统功能扩充上开发的难度将越来越大。
3.目前可视化管理方式进行数据服务接口开发管理的方式没有比较成熟的平台。
4.要想实现服务可视化管理，首先要对nifi的processor列表进行分析，选择合适的processor搭建出工程服务基础组，如http组件。通过基础组接收和管理事件流的走向，确保数据服务接口的准确构建。然后再选取合适的processor封装成特定的逻辑处理单元，比如数据库操作处理单元、数据格式转换处理单元、结果统计计算处理单元等做服务逻辑的构建。最后通过nifi统一的api接口去维护管理这些基础单元并加以组合特定的逻辑处理实现可视化构建。其中processor表示的是各种预制功能的处理器。
5.目前与本案例最相近的案例是可视化配置应用接口方法的方案。该方案基于配置界面将数据库信息和字段信息或者接口地址以及参数在界面进行配置的方式实现了配置应用接口。因为在实际使用过程中，大部分数据服务接口并不会需要数据库查询语句或者将别的url数据直接返回使用，无法对结果进行逻辑处理，而且结果格式单一，在需求变复杂的时候维护也是相当困难的，所以适合特定需求的接口管理。而且配置方式是列表形式，无法清晰的看出接口的实现逻辑，在后期维护上耗费时间更多。
6.现在数据服务接口开发基本还都是开发人员通过编码、编译、打包测试等步骤完成，整个过程经过多人的配合完成，时间长、工作量大、成本高、效果取决于人等缺点。


技术实现要素：

7.本发明提供了一种数据服务接口可视化管理的处理方法，包括执行以下步骤：
8.步骤1：搭建工程基础框架；一套工程基础框架可以实现一个工程组，工程组通过路由关联一组的服务，主要组件包含：httprequest监听器、httpresponse响应器、route路由。
9.步骤2：搭建服务基础框架；服务基础框架通过route路由与工程基础框架衔接，内部关联逻辑处理processor或者processor组。
10.步骤3：工程服务的管理实现；通过nifi rest api将工程组按特定的组合顺序动态创建，并与后台保存的可视化构建数据双向解析，实现服务的管理，数据服务接口的开发过程只需要处理逻辑，所有的底层组织全部由系统处理，包括调试和上线。
11.作为本发明的进一步改进，在所述步骤1中，搭建工程基础框架的具体步骤包括：
12.步骤10：创建httprequest监听器，配置端口等关键参数。
13.步骤11：创建route路由。
14.步骤12：连接httprequest监听器与route路由。
15.步骤13：创建httpresponse响应器，配置contenttype等关键参数。
16.步骤14：连接route路由与httpresponse响应器。
17.作为本发明的进一步改进，在所述步骤2中，搭建服务基础框架的具体步骤包括：
18.步骤20：配置route路由记录，新增一条路由。
19.步骤21：创建服务group，在服务group中添加处理单元。
20.步骤22：连接路由记录与服务group。
21.步骤23：连接服务group与httpresponse响应器。
22.作为本发明的进一步改进，在所述步骤3中，所述服务管理的具体步骤包括：
23.步骤30：创建工程组。
24.步骤31：创建服务组。
25.步骤32：编排服务逻辑关系。
26.步骤33：保存运行调试。
27.步骤34：完成服务开发。
28.本发明公开了一种数据服务接口可视化管理的处理系统，包括前台系统、后台系统，所述前台系统包括登录模块、工程服务管理模块、服务运行管理模块、权限分配模块、可视化编排模块、审批管理模块；所述后台系统包括工程服务管理模块、日志管理模块、服务运行管理模块、权限管理模块、审批管理模块、用户信息管理模块，其中，
29.所述工程服务管理模块：负责管理工程服务信息，以及对对工程和服务进行新建、编辑、删除、查询、模拟测试。
30.所述服务运行管理模块：负责管理服务的运行状态，能单个或批量启动或停止工程服务信息，能对运行服务进行删除、查询、模拟测试。
31.所述审批管理模块：负责对待审批的工程服务进行审批上线。
32.所述日志管理模块：负责对系统操作的记录，为系统提供溯源追溯，确保系统遇到问题有据可查做到快速解决问题，以及同时提示运行服务监控管理，对服务的使用状况进行监控，辅助分析服务的使用情况。
33.作为本发明的进一步改进，在所述工程服务管理模块中，所述工程信息包括：工程名、工程描述、端口号、工程类型、服务数量、创建人、操作时间、操作。
34.作为本发明的进一步改进，在所述工程服务管理模块中，所述服务信息包含：运行状态、服务名、服务描述、服务标识符、分类标签、理论依据、服务类型、创建人、发布时间、操作。
35.本发明的有益效果是：本发明的数据服务接口可视化管理的处理方法可以做到逻辑实现即可运行测试，整个过程不需要编译、更新等操作，更不会因为改动而影响到应用其
它服务，极大提到系统的可靠性和稳定性。
附图说明
36.图1是本发明处理方法的原理框图；
37.图2是本发明处理系统的原理框图。
具体实施方式
38.名词解释：
39.nifi:是一个数据拉取、数据处理和分发的系统；
40.httprequest：是监听http请求的处理器；
41.route：是对请求服务进行分发处理的处理器；
42.contenttype：是定义消息主体的编码方式，作为数据最终输出的解析依据。
43.本发明公开的一种数据服务接口可视化管理的处理方法，首先要对nifi的processor列表进行分析，选择合适的processor搭建出工程服务基础组，如http组件。通过基础组接收和管理事件流的走向，确保数据服务接口的准确构建。然后再选取合适的processor封装成特定的逻辑处理单元，比如数据库操作处理单元、数据格式转换处理单元、结果统计计算处理单元等做服务逻辑的构建。最后通过nifi统一的api接口去维护管理这些基础单元并加以组合特定的逻辑处理实现可视化构建。其中processor表示的是各种预制功能的处理器。
44.本发明的处理方法将数据服务接口的开发可视化，使得逻辑处理流程化，基于nifi的数据流的工作特性，可以使得边做边测试，测试通过后即可看到结果。基于数据服务接口管理模式，做到测试通过就审核发布上线。本发明的处理方法操作便捷、可维护性高、速度快。
45.本发明的处理方法基于可视化管理方式进行数据服务接口开发，可以做到开发人员只要思考逻辑实现，基于每一个逻辑实现单元的连接就可以构建出最终的数据服务接口，所有开发人员通过同一套开发组件完成逻辑实现，每一个数据服务接口在一个独立的容器内运行，将服务与服务之间的耦合度降到了最低，保证了整体的可维护性。而且基于nifi的数据流向的方式，可以做到逻辑实现即可运行测试，整个过程不需要编译、更新等操作，更不会因为改动而影响到应用其它位置，极大提到系统的可靠性和稳定性。本发明的处理方法包括二个部分：实现思路与业务流程、系统组成及模块功能介绍两个部分。
46.一、实现思路与业务流程
47.要实现技术目标，首先要搭建工程服务基础框架，然后基于基础骨架的连接模式通过api进行有规律的组织和系统化管理。不同的业务实现在服务基础框架内部去实现逻辑，每个服务框架独立空间互不影响。
48.如图1所示，本发明公开的一种数据服务接口可视化管理的处理方法，包括执行以下步骤：
49.步骤1：搭建工程基础框架；一套工程基础框架可以实现一个工程组，工程组通过路由关联一组的服务，主要组件包含：httprequest监听器、httpresponse响应器、route路由。
50.在所述步骤1中，搭建工程基础框架的具体步骤包括：
51.步骤10：创建httprequest监听器，配置端口等关键参数。
52.步骤11：创建route路由。
53.步骤12：连接httprequest监听器与route路由。
54.步骤13：创建httpresponse响应器，配置contenttype等关键参数。
55.步骤14：连接route路由与httpresponse响应器。
56.步骤2：搭建服务基础框架；服务基础框架通过route路由与工程基础框架衔接，内部关联逻辑处理processor或者processor组。
57.在所述步骤2中，搭建服务基础框架的具体步骤包括：
58.步骤20：配置route路由记录，新增一条路由。
59.步骤21：创建服务group，在服务group中添加处理单元。
60.步骤22：连接路由记录与服务group。
61.步骤23：连接服务group与httpresponse响应器。
62.步骤3：工程服务的管理实现；通过nifi rest api将工程组按特定的组合顺序动态创建，并与后台保存的可视化构建数据双向解析，实现服务的管理，数据服务接口的开发过程只需要处理逻辑，所有的底层组织全部由系统处理，包括调试和上线。
63.在所述步骤3中，所述服务管理的具体步骤包括：
64.步骤30：创建工程组。
65.步骤31：创建服务组。
66.步骤32：编排服务逻辑关系。
67.步骤33：保存运行调试。
68.步骤34：完成服务开发。
69.二.系统组成及各模块功能说明
70.如图2所示，本发明还公开了一种数据服务接口可视化管理的处理系统，包括前台系统、后台系统，所述前台系统包括登录模块、工程服务管理模块、服务运行管理模块、权限分配模块、可视化编排模块、审批管理模块；所述后台系统包括工程服务管理模块、日志管理模块、服务运行管理模块、权限管理模块、审批管理模块、用户信息管理模块，其中，
71.所述工程服务管理模块：负责管理工程服务信息，以及对对工程和服务进行新建、编辑、删除、查询、模拟测试。
72.所述服务运行管理模块：负责管理服务的运行状态，能单个或批量启动或停止工程服务信息，能对运行服务进行删除、查询、模拟测试。
73.所述审批管理模块：负责对待审批的工程服务进行审批上线。
74.所述日志管理模块：负责对系统操作的记录，为系统提供溯源追溯，确保系统遇到问题有据可查做到快速解决问题，以及同时提示运行服务监控管理，对服务的使用状况进行监控，辅助分析服务的使用情况。
75.系统管理单元：包含用户信息管理模块、权限管理模块。系统管理单元对接统一支撑的单点登录模块，负责用户登录注册、用户权限控制，为系统提供保障能力。
76.本发明的有益效果：本发明的数据服务接口可视化管理的处理方法可以做到逻辑实现即可运行测试，整个过程不需要编译、更新等操作，更不会因为改动而影响到应用其它
服务，极大提到系统的可靠性和稳定性。
77.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。