一种企业级公有云资源管理方法及系统与流程

1.本发明涉及数据监管领域，尤其涉及一种企业级公有云资源管理方法及系统。


背景技术：

2.企业中使用公有云时，往往会使用组织管理服务管理多个账号，如aws organizations、阿里云资源管理(resource management)服务、腾讯企业组织(tencent cloud organization)服务、华为云企业管理服务等。对于大型企业可能会拥有上百甚至几百个账号，每个账号分配给某个用户使用，用户会频繁对常用资源进行操作，主要包括基本的计算资源(云服务器、镜像、资源编排等)、存储资源(数据卷、文件存储、对象存储等)、网络资源(vpc、安全组、公网ip、路由器、负载均衡等)，以及数据库、容器与中间件、安全、监控告警等服务资源，通常企业资源数量如下：云主机1000台以上、云数据卷1000个以上、网络500个以上、存储/数据库等服务按需不定量使用。对于终端使用用户，操作这些资源需要单独登录到公有云平台，如果企业有使用多个云平台，如aws、阿里云、腾讯云等，需要分别登录对应云平台执行操作；对于部门或企业运维管理员，统计部门或企业下整体资源、费用使用情况时，需要先将每个账号资源与费用进行手动统计，然后再统一汇总。这种资源管理方式需要运维人员记录大量账号信息，手动维护每个账号资源，重复性工作量大，操作繁琐，且存在账号密码批量泄露的风险。


技术实现要素：

3.鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种企业级公有云资源管理方法及系统。
4.根据本发明的一个方面，提供了一种企业级公有云资源管理方法，所述管理方法包括：
5.管理平台结合云平台提供的sts服务，采用统一登陆账号+第三方存储的方式处理资源数据；
6.采用资源定时同步方式；
7.采用线程池技术，同时同步多个账号资源；
8.引入nosql数据库，保存大数据量资源数据；
9.引入企业租户隔离的组织关系；
10.管理平台根据资源使用统计情况，分析资源使用率，生成资源优化方案；
11.整合不同云平台各种资源费用数据。
12.可选的，所述引入企业租户隔离的组织关系具体包括：建立自上而下的管理方式，自动与云平台组织关系对应，根据云平台用户组织自动创建部门、用户信息，自动绑定资源所属组织与用户。
13.可选的，所述整合不同云平台各种资源费用数据具体包括：根据不同需求，从不同维度统计各组织、各资源类型的费用使用情况，为资源优化、资源分配、费用预测提供数据
依据。
14.可选的，所述管理方法还包括：云平台上创建统一登录账号并授权策略，具体包括：
15.选择云平台组织下的主账号登录，在所述主账号下创建子用户，并生成accesskeyid和accesskeysecret，所述主账号作为组织统一登录账号使用；
16.在所述组织统一登录账号下新建自定义策略，授权访问sts的assumerole；
17.将所述自定义策略授权给所述组织统一登录账号的子账号。
18.可选的，所述管理方法还包括：验证配置；
19.登录所述组织统一登录账号的子账号后，使用其余成员账号和角色执行切换角色操作，验证是否可正常切换。
20.可选的，所述资源统一管理具体包括：
21.使用accesskeyid和accesskeysecret及sts服务，调用云平台提供的api获取资源信息，保存到本地数据库，对资源进行二次处理，通过管理系统功能实现资源统一管理。
22.本发明还提供了一种企业级公有云资源管理系统，所述管理系统包括：
23.资源管理模块，用于管理平台结合云平台提供的sts服务，采用统一登陆账号+第三方存储的方式处理资源数据；
24.数据同步模块，用于采用资源定时同步方式进行数据同步；
25.账号资源同步模块，用于采用线程池技术，同时同步多个账号资源；
26.资源数据保存模块，用于引入nosql数据库，保存大数据量资源数据；
27.组织关系引入模块，用于引入企业租户隔离的组织关系；
28.优化方案生成模块，用于管理平台根据资源使用统计情况，分析资源使用率，生成资源优化方案；
29.数据整合模块，用于整合不同云平台各种资源费用数据。
30.本发明提供的一种企业级公有云资源管理方法及系统，所述管理方法包括：管理平台结合云平台提供的sts服务，采用统一登陆账号+第三方存储的方式处理资源数据；采用资源定时同步方式；采用线程池技术，同时同步多个账号资源；引入nosql数据库，保存大数据量资源数据；引入企业租户隔离的组织关系；管理平台根据资源使用统计情况，分析资源使用率，生成资源优化方案；整合不同云平台各种资源费用数据。提升企业公有云资源管理运维效率，节省人力支出，降低运维成本，提升资源利用率，提高安全性，同时提供统一资源数据，方便功能需求拓展，优化资源与费用投入。
31.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
32.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
33.图1为本发明实施例提供的公有云sts基本配置说明示意图；
34.图2为本发明实施例提供的公有云组织资源统一管理系统。
具体实施方式
35.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
36.本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
37.下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。
38.如图1所示，管理平台结合云平台提供的sts服务，采用统一登陆账号+第三方存储的方式处理资源数据，以提升平台运维效率与安全性；使用资源定时同步方式，保障管理平台资源状态与云资源实际状态的同步性，减少云平台api接口的调用频率，节省带宽使用量；采用线程池技术，同时同步多个账号资源，提升数据拉取效率与存库效率；引入nosql数据库，保存大数据量资源数据，提升数据存储与读取性能；引入企业租户隔离的组织关系，建立自上而下的管理方式，自动与云平台组织关系对应，根据云平台用户组织自动创建部门、用户信息，自动绑定资源所属组织与用户，减少大量人工运维工作量，提升运维效率；管理平台可根据资源使用统计情况，分析资源使用率，生成资源优化方案，提升企业资源利用率，减少成本；可整合不同云平台各种资源费用数据，根据不同需求，从不同维度统计各组织、各资源类型的费用使用情况，为资源优化、资源分配、费用预测提供数据依据。采用以上方式建立资源管理平台系统，提升云平台企业级运维效率，通过整合不同云平台数据，进行企业资源统一、高效、快捷管理，并根据统一数据进行功能扩展，提升资源利用率。
39.本发明是在公有云现有技术的基础上，设计的一种快捷、高效、方便、统一、安全的，改进企业级公有云资源管理的解决方法，用以提升企业公有云资源管理运维效率，节省人力支出，降低运维成本，提升资源利用率，提高安全性，同时提供统一资源数据，方便功能需求拓展，优化资源与费用投入等。该方案适用于所有支持sts服务的云平台。
40.本发明提供的工作原理
41.云平台上创建统一登陆账号并授权策略
42.选择某一云平台组织下的主账号登录，在此账号下创建子用户，并生成accesskeyid和accesskeysecret，此账号作为组织统一登陆账号(以下简称oua(organization unified login account))使用；
43.在oua子账号下新建自定义策略，授权访问sts的assumerole；
44.将步骤2的策略授权给oua子账号。
45.配置组织下除oua账号外的其他账号具体包括：
46.在除oua账号外的所有成员账号下创建策略，为此策略授权供oua账号委托管理的策略权限(即通过oua账号可以管理指定账号下的哪些资源)；或者使用现有符合需求的策略；
47.在步骤1对应的账号下创建角色(这里对所有账号下创建的角色做统一命名，如
assumeroleforcmp)，将步骤1创建的策略授权给该角色；
48.为步骤2创建的角色添加信任策略，使其信任oua账号的委托管理。
49.验证配置，登录oua子账号后，使用其他成员账号和角色(assumeroleforcmp)执行切换角色操作，验证是否可正常切换。
50.资源统一管理具体包括：使用accesskeyid和accesskeysecret及sts服务，调用云平台提供的api获取资源信息，保存到本地数据库，对资源进行二次处理，通过管理系统功能实现资源统一管理。系统提供两种资源同步方式：手动同步与自动同步，自动同步为每天闲时定时同步，可配置同步时间。
51.使用accesskeyid+accesskeysecret+组织管理账号id+委托管理角色(assumeroleforcmp)进行临时令牌安全认证，调用组织与账号api接口，查询组织信息与账号列表，将其数据与关系保存到本地数据库，后续维护查询账号直接从本地数据库选择获取，不需要人工维护；
52.使用accesskeyid+accesskeysecret+组织成员账号id+委托管理角色(assumeroleforcmp)进行特定账号的临时令牌安全认证，调用资源查询接口，将所需要的资源查询出来保存到本地数据库,并保存资源与账号的对应关系。将资源保存到本地数据库是为了减少对云平台接口的调用频率，若不考虑此问题，可以实时查询资源信息；同步资源主要包括组织信息、账号、vpc、子网、网卡、公网ip、路由器、负载均衡、安全组、实例类型、镜像、密钥对、云主机、数据卷、数据卷快照、rds数据库、文件存储、对象存储、容器服务、监控告警、费用信息等常用资源。
53.使用accesskeyid+accesskeysecret+资源所属账号id+委托管理角色(assumeroleforcmp)进行临时令牌安全认证，使用临时安全令牌进行资源管理，如云主机开关机等。管理本地数据库现有资源时，资源所属账号已与资源绑定，不需要手动指定账号信息；创建资源时，从数据库拉取账号信息供操作人员选择，不需要手动填写。
54.基于保存到本地的数据，根据具体需要，进行灵活的可视化开发，将组织下的所有资源展示在管理平台，方便资源统一管理，节省运维成本。
55.数据同步采用线程池技术，以账号为维度，多线程并发同步。因主要涉及资源的网络请求与数据保存，所以这里核心线程数以io密集型计算方式而定，即线程数＝cpu核数/(1-0.8)，如4核服务器运行系统，就设置线程数为20。假设有200个账号，采用逐个同步方式，同步花费时间在40分钟左右(同步时间与资源量有关，资源多花费时间就越多)；采用多线程并发方式进行同步，只需要花费5分钟左右即可完成，很大程度提高了资源读取效率。
56.以aws公有云为例，配置sts服务，并通过sts认证信息获取公有云资源。
57.本发明基于公有云目前的技术进行资源管理方式改进，通过api接口获取组织所有账号下的资源，将其存储到本地数据库进行统一管理，并可根据需求对资源数据进行整合，提取资源优化需要的数据，从而提升运维效率，减少手动维护资源成本，提升资源利用率。
58.云平台sts配置，如图1所示，需要对组织账号进行预配置，具体如下：
59.登录组织管理账号，进入组织管理服务，选择某一账号为统一登录账号；
60.登录oua主账号，创建sts的assulerole权限策略；
61.a.定位策略菜单，点击“创建策略”按钮；
62.b.选择配置：sts服务、写入assumerole、所有资源；
63.c.设置标签(可选)；
64.d.设置名称，确认创建策略；
65.e.查看创建好的策略，确认是否正确。
66.创建子用户(统一登陆子用户)，生成accesskeyid与accesskeysecret，并授权sts的assumerole；
67.进入iam用户列表，点击“添加用户”按钮；设置用户名，勾选(必选)访问密钥-编程访问，控制台选项按需勾选；设置权限，直接附加现有策略，即使用步骤2)创建的assumerole策略；添加标签；确认创建子用户。
68.在所有非统一登陆成员账号下统一创建一个角色，命名assumeroleforcmp，为角色授权相应的权限(测试可只授权所有资源的读取权限)，并为角色配置统一登录账号的信任关系；
69.进入角色服务，点击“创建角色”按钮；
70.选择可信任实体，这里使用账户选项，信任另一个账户即“统一登陆账号”；添加权限，按需设置资源管理权限策略；设置名称assumeroleforcmp，确认信息；确认创建角色。
71.验证配置，即在云平台验证“切换角色”功能是否正确；
72.云平台右上角账号信息处点出下拉框，点击“切换角色”；
73.输入需要切换的账号和角色(assumeroleforcmp)；
74.切换成功后右上角显示跳转填写的名称。
75.资源统一管理，图2所示已经配置的云组织账号进行资源统一管理。
76.将oua账号的accesskeyid、accesskeysecret，以及组织管理账号id、委托信授权角色信息保存到管理系统；由于账号信息为敏感信息，需要进行数据加密存储。系统采用rsa+aes+base64多重加密方式，保障账号安全性。
77.根据oua账号的accesskeyid、accesskeysecret与组织管理账号id、授权角色，通过sts服务获取组织管理账号的临时安全访问令牌。
78.使用临时安全令牌获取所有组织成员账号，将其保存到本地数据库。
79.对每个成员账号，使用对应临时安全令牌调用相关资源服务的api来获取资源。采用线程池技术，以io密集型任务为参考，线程数＝cpu核心数/(1-0.8)，对每个账号单独开启一条线程，多线程并发拉取数据，大幅度提高资源同步效率。
80.对同步到管理系统的数据进行处理。
81.以企业、多级部门、用户的组织关系模型建立组织管理模块，将资源划分所属组织，实现资源租户隔离管理；
82.采用资源权限配置+角色授权，实现资源的访问权限管理，对不同角色用户设置不同权限，实现资源分级分层管理；
83.将资源按照类型划分模块，主要分为计算、存储、网路、容器、数据库服务等资源，以及资源总览、申请管理等拓展功能；
84.系统提供计量审计信息，主要包括任务执行记录、审计列表(资源访问记录)、登录日志、资源计量统计等；
85.计费管理模块根据同步到的费用账单数据，结合组织关系，进行多维度统计展现，
统计企业费用账单、部门费用账单，以及单账号费用账单，查看费用收支明细，根据历史费用信息预测费用使用趋势。
86.定时任务模块主要对云主机设置定时开机、关机、重启，对数据卷、云主机进行数据备份等操作，可大幅度减少人工运维成本。
87.监控告警模块采用elasticsearch作为时序数据库，存储从云平台获取的监控数据，加快检索效率，方便数据聚合统计。
88.日志服务主要记录系统运行日志，主要包括系统自动打印的日志、系统错误日志等信息，用以系统问题跟踪维护。
89.功能拓展说明
90.由于公有云资源与服务类别繁多，且每个类别或服务数据结构不同，数量级也不同，这里针对这种情况提出一些实践性建议。
91.针对一般常用资源，如云主机、云硬盘、网络等信息，从数量级考虑，使用关系型数据库(如mysql)进行数据存储，方便业务拓展；
92.针对对象存储之类的服务类资源，由于对象数量级可能会很大，若使用关系型数据库，需考虑分库分表存储；考虑使用非关系型数据库(如hbase、mongodb等)存储，提升数据存储与读取性能；
93.针对监控数据，建议考虑使用时序数据库存储，如influxdb、prometheus、elasticsearch等，便于数据高性能查询展示。
94.有益效果：使用组织资源统一化管理方式，可自动化管理组织多账号信息，减少人工维护组织多账号的重复工作，降低账号密钥信息泄露的风险，提升资源管理效率与安全性；
95.将组织下的资源同步整合到本地数据库，可对资源数据进行灵活的定制化功能拓展，通过组织下资源使用情况进行资源使用优化，有效提升资源利用率；
96.组织资源统一化处理后，不需要一一登录云控制台进行资源管理，可简化运维人员对资源操作的步骤，操作上更加方便快捷，提高运维效率。假如有100个企业账号，需要为每个账号下的云主机执行关机，使用传统管理方式，登陆每个账号执行关机操作，需要花费50分钟左右的时间；使用管理平台可对不同账号下的云主机批量执行开关机操作，只需大概1分钟甚至更短的时间完成所有操作。
97.公有云平台存在强制安全策略，如每90天必须更换一次密码或密钥，若每个账号均更换一次，则每个账号需要花费1分钟左右的时间完成操作；管理平台通过sts方式管理资源，只需要关心统一登陆账号，更改一个账号信息即可，很大程度上降低了维护成本。
98.以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。