一种基于跨环境的资源映射及任务发布方法与流程

本发明涉及资源映射，尤其涉及一种基于跨环境的资源映射及任务发布方法。

背景技术：

1、对于大数据研发平台类项目而言，分环境集群部署，提供开发、测试、生产等不同类型的终端用户使用资源已经是基本的需求；对此，常见的实施方案是先根据实际情况规划分配各环境的物理机资源，再在各环境系统中创建提供开发代码执行的资源，如hadoop集群、k8s集群、数据源等，最后完成开发的代码会依次在开发、测试、生产环境中执行，对于各环境而言，无论是物理机器、应用集群还是应用数据都做到了相互隔离，互不干扰；此方法虽能实现研发平台中的项目从开发到测试再到投产的完整闭环，但过程中的逻辑集群配置、选择，以及代码执行均需对应环境用户从上一环境进行人工复制操作，及易出现资源选择不对应、开发代码缺失等问题，最终导致任务执行失败。

2、中国专利公开号：cn108833159a，公开了一种sdn/nfv环境下跨域服务链映射方法；其技术点是根据最小映射开销服务链分割方案对服务链构建请求进行分割，将服务链映射到底层物理网络中；由此可见，在现有的跨环境资源映射技术中，缺乏数据源整体的资源映射，导致在各环境中均需进行集群搭建，而造成了分环境集群部署效率低下且资源选择不对应与开发代码缺失的问题。

技术实现思路

1、为此，本发明提供一种基于跨环境的资源映射及任务发布方法，用以克服现有技术中缺乏数据源整体的资源映射使分环境集群部署效率低下且资源选择不对应与开发代码缺失的问题。

2、为实现上述目的，本发明提供一种基于跨环境的资源映射方法，包括，

3、步骤s1，根据开发环境、测试环境以及生产环境对现有资源进行规划分配，进行物理集群搭建：

4、步骤s2，在数据任务执行前，在各环境的系统中创建虚拟资源，并对各环境中的虚拟资源进行资源唯一标识的标记；

5、步骤s3，确定开发环境、测试环境以及生产环境中的上游环境，并在上游环境系统中维护各环境资源的映射关系，对各环境的虚拟资源通过环境类型与资源唯一标识进行关联，并保存到系统中，完成资源映射。

6、进一步地，在所述步骤s1中，所述开发环境与所述测试环境的物理集群搭建需满足任务可执行。

7、进一步地，在所述步骤s1中，所述生产环境需满足系统的可用性，并根据任务执行高峰对资源进行冗余分配。

8、进一步地，在所述步骤s2中，所述虚拟资源包括各环境中系统任务所需的集群与数据源。

9、本发明还提供一种基于跨环境的任务发布方法，基于上述任意一项所述的基于跨环境的资源映射方法的映射导出的任务发布包，包括，

10、在所述开发环境、所述测试环境以及所述生产环境中确定源环境与目标环境，并在所述源环境中将任务发布包导出并导入至所述目标环境执行；

11、在所述目标环境存在所述任务发布包的导入时，对任务发布包进行校验，并确定是否导入执行完成。

12、进一步地，所述任务发布包包括各环节的代码信息与映射的虚拟资源信息。

13、进一步地，所述代码信息为所述源环境中所用的开发环境集群与数据源。

14、进一步地，对所述任务发布包的校验包括，

15、判定所述任务发布包中的映射资源信息在所述目标环境中是否存在对应的资源：

16、若所述源环境的所述任务发布包中的映射资源信息在所述目标环境中不存在对应的资源，则判定校验失败，报错返回并重新进行任务发布包的导出；

17、若所述源环境的所述任务发布包中的映射资源信息在所述目标环境中存在对应的资源，则判定校验通过，任务发布包导入执行完成。

18、与现有技术相比，本发明的有益效果在于，通过资源映射，对各环境合理规划后的集群资源进行逻辑关联，使新建好的大数据开发任务能够精确找到所属执行集群、引擎、数据源；可有效解决资源选择不对应、开发代码缺失的问题，保证任务顺利执行。

19、进一步地，通过对各环境创建的虚拟资源用系统唯一标识进行区别，便于后续进行资源映射。

技术特征：

1.一种基于跨环境的资源映射方法，其特征在于，包括，

2.根据权利要求1所述的基于跨环境的资源映射方法，其特征在于，在所述步骤s1中，所述开发环境与所述测试环境的物理集群搭建需满足任务可执行。

3.根据权利要求1所述的基于跨环境的资源映射方法，其特征在于，在所述步骤s1中，所述生产环境需满足系统的可用性，并根据任务执行高峰对资源进行冗余分配。

4.根据权利要求1所述的基于跨环境的资源映射方法，其特征在于，在所述步骤s2中，所述虚拟资源包括各环境中系统任务所需的集群与数据源。

5.基于权利要求1至4任意一项所述的基于跨环境的资源映射方法的基于跨环境的任务发布方法，其特征在于，包括，

6.根据权利要求5所述的基于跨环境的任务发布方法，其特征在于，所述任务发布包包括各环节的代码信息与映射的虚拟资源信息。

7.根据权利要求6所述的基于跨环境的任务发布方法，其特征在于，所述代码信息为所述源环境中所用的开发环境集群与数据源。

8.根据权利要求6所述的基于跨环境的任务发布方法，其特征在于，对所述任务发布包的校验包括，

技术总结
本发明涉及资源映射技术领域，尤其涉及一种基于跨环境的资源映射及任务发布方法，包括，步骤S1，根据开发环境、测试环境以及生产环境对现有资源进行规划分配，进行物理集群搭建：步骤S2，在数据任务执行前，在各环境的系统中创建虚拟资源，并对各环境中的虚拟资源进行资源唯一标识的标记；步骤S3，对各环境的虚拟资源通过环境类型与资源唯一标识进行关联，并保存到系统中，完成资源映射。本发明通过资源映射对各环境合理规划后的集群资源进行逻辑关联，使新建好的大数据开发任务能够精确找到所属执行集群、引擎、数据源，通过对各环境资源进行唯一标识，可有效解决资源选择不对应、开发代码缺失的问题，保证任务顺利执行。

技术研发人员：高海玲,高经郡,韩冰城
受保护的技术使用者：北京科杰科技有限公司
技术研发日：
技术公布日：2024/5/6