[0001]
本发明属于大数据中台技术领域，具体涉及一种基于数据中台的敏感数据梳理方法。
背景技术：
[0002]
近年来，数字经济蓬勃发展，数据不仅成为了国家基础性战略资源，也是企业推动经济社会创新发展的关键生产要素。在大数据时代，数据中台海量原始数据类型包括如财务、营销等企业关键核心系统存在的客户个人隐私信息(包括客户姓名、身份证号码，联系电话，银行卡号，电费记录，单位名称，职务等信息类型)，需要在海量的数据中快速、挖掘、引领用户需求，提供数据资产、数据监测及数据分析等服务。
[0003]
然而，由于海量数据的汇聚、数据资产转化以及数据分析挖掘的高效利用，公司数据的价值已催生出全新的产业形态和商业模式，数据在为公司创造巨大价值的同时，也面临着严峻的数据安全风险。随着数据资源商业价值的凸显，针对数据资源的攻击如勒索、窃取、滥用、篡改等行为持续泛滥，并呈现出产业化、高科技化和跨国化等特性，对国家关键信息基础设施的运行安全和企业数据安全管理能力提出全新挑战。各行各业数据安全重大事件频发，破坏力极强，已经成为全社会关注的重大安全议题。
[0004]
随着国家和各行业在数据安全方面相关政策、法律等层面的不断颁布，数据安全的重视程度不断升级，数据安全事关国家安全及企业安全。数据的安全防护作为网络空间安全防护任务的“最后一公里”其重要性已经被国家及企业所认可。随着公司数据中台数据的不断扩大及面临数据安全威胁的不断增多，公司有必要结合数据中台的总体架构及安全防护现状，在基于数据中台敏感数据分析及安全管理的基础上，以敏感数据保护核心，围绕敏感数据安全关键技术，形成科学使用的“体系化数据安全防护及安全管理能力”，确保敏感数据安全持续达到可知、可控、可管、可查的建设目标。
技术实现要素：
[0005]
本发明的目的在于提供一种基于数据中台的敏感数据梳理方法，以解决上述背景技术中提出现有技术中的问题。
[0006]
为实现上述目的，本发明采用了如下技术方案：
[0007]
一种基于数据中台的敏感数据梳理方法，包括以下步骤：
[0008]
s1、梳理准备阶段，为了保证数据中台现状梳理工作的顺利、高效实施，全面了解和掌握梳理实施过程中相关的现状和需求，更好的落实项目梳理工作，在梳理工作全面实施之前需要进行梳理工作的启动及准备等工作，包括如下：
[0009]
s1.1、首先，明确梳理小组，确认梳理范围及时间；
[0010]
s1.2、其次，落实梳理方式，梳理组经深入讨论，确定以数据中台基础情况梳理为客观基础，结合行业内外数据安全形势及专家讨论意见形成研究结果的方法；
[0011]
s1.3、第三，经梳理组讨论和完善，形成数据中台现状情况梳理表，梳理组在用户
现场开展专题综合讨论梳理工作；
[0012]
s1.4、第四，回收、整理、分析梳理表，梳理组通过统计、分析，从梳理结果中抽取结论性信息；
[0013]
s2、分析研讨阶段，对梳理结果进行汇总，形成结论性意见，关注数据中台的数据安全重点，综合业内的数据安全形势，梳理组专家结合用户及行业内外在数据安全管理、数据安全防护技术措施方面的经验、信息等，进行共同讨论、分析、总结；
[0014]
s3、梳理总结与分析阶段，根据阶s1和s2梳理的梳理信息，对数据中台现状进行总结及分析，收集梳理反馈，发现威胁、识别风险，评估数据安全威胁及风险，结合数据中台的安全需求，得出敏感数据管理关键技术研究指标，汇总及分析梳理成果，形成梳理分析报告，并就数据中台中的数据安全关键问题提出建议。
[0015]
优选的，数据中台包括数据接入：通过数据复制(dts)、etl(dataworks)、数据总线(datahub)等技术工具，将数据中台外的各类业务数据汇聚到数据中台贴源层，这类数据主要包括结构化数据、非结构化数据、采集量测类数据以及格式文件和特定规约的消息数据，源端可以是各类业务系统、物联平台、泛在终端设备和外部第三方服务提供商
[0016]
优选的，数据中台包括数据存储计算：存储计算能力是数据中台数据核心处理引擎，将各类源端系统产生的数据存储在数据中台，形成全域数据，通过大数据计算技术，结合数据模型，将全域数据加工整理萃取成各个主题数据，数据计算场景分离线计算、实时计算、非结构化处理等场景。
[0017]
优选的，数据中台包括数据分析：提供各类分析模型和分析算法，为数据报表、标签画像、可视化展示提供工具集。
[0018]
优选的，数据中台包括数据资产管理：指对数据资产体系的模型、目录、数据标签、数据质量等进行全面管控。
[0019]
优选的，数据中台包括数据运营管理：指为数据中台使用过程提供各种管理支撑组件，对数据服务和脱敏规则等进行参数配置，对链路进行安全监控和调度计量，对数据开发提供在线交互功能，是实现数据全生命周期监控的基本组件集。
[0020]
优选的，数据中台包括数据服务：通过数据服务目录实现安全、友好、可控的对内对外数据服务统一访问，提供restful等各类形式的api服务接口的统一注册、管理和调度。
[0021]
优选的，数据中台对外提供数据共享的接口由云盾-数据安全组件实现，确保对外以服务restful api的方式供第三方调用，通过api认证和鉴权方式，保证接口调用的安全，并提供安全的传输通道，保证数据传输后的完整性要求。
[0022]
本发明的技术效果和优点：本发明提出的一种基于数据中台的敏感数据梳理方法，与现有技术相比，具有以下优点：
[0023]
在现有的访问控制及权限管理策略中，理清敏感数据安全保护技术发展路线，研究maxcompute及dataworks是否具备基于数据敏感标签方式进行授权控制以及基于敏感数据级别方式进行授权控制，或是通过第三方工具支持，通过理清数据中台中的敏感数据分布情况以及分类分级情况，实现基于敏感标签或敏感级别的授权访问控制，对敏感数据进行梳理、整合。
具体实施方式
[0024]
对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0025]
本发明提供了一种基于数据中台的敏感数据梳理方法，包括以下步骤：
[0026]
s1、梳理准备阶段，为了保证数据中台现状梳理工作的顺利、高效实施，全面了解和掌握梳理实施过程中相关的现状和需求，更好的落实项目梳理工作，在梳理工作全面实施之前需要进行梳理工作的启动及准备等工作，包括如下：
[0027]
s1.1、首先，明确梳理小组，确认梳理范围及时间；
[0028]
s1.2、其次，落实梳理方式，梳理组经深入讨论，确定以数据中台基础情况梳理为客观基础，结合行业内外数据安全形势及专家讨论意见形成研究结果的方法；
[0029]
s1.3、第三，经梳理组讨论和完善，形成数据中台现状情况梳理表，梳理组在用户现场开展专题综合讨论梳理工作；
[0030]
s1.4、第四，回收、整理、分析梳理表，梳理组通过统计、分析，从梳理结果中抽取结论性信息；
[0031]
s2、分析研讨阶段，对梳理结果进行汇总，形成结论性意见，关注数据中台的数据安全重点，综合业内的数据安全形势，梳理组专家结合用户及行业内外在数据安全管理、数据安全防护技术措施方面的经验、信息等，进行共同讨论、分析、总结；
[0032]
s3、梳理总结与分析阶段，根据阶s1和s2梳理的梳理信息，对数据中台现状进行总结及分析，收集梳理反馈，发现威胁、识别风险，评估数据安全威胁及风险，结合数据中台的安全需求，得出敏感数据管理关键技术研究指标，汇总及分析梳理成果，形成梳理分析报告，并就数据中台中的数据安全关键问题提出建议。
[0033]
明确敏感数据资产的范围，对数据库审计等设备定义敏感级别审计及告警策略，可考虑部署数据安全态势感知平台，收集以数据资产访问、操作为主的数据安全设备日志及告警信息，基于数据资产的维度，分析数据安全方面的攻击趋势及态势分析。
[0034]
数据中台上的对外api接口是实现数据层面的调用共享，如果数据未经脱敏处理会导致数据泄露，对于这类接口api，建议规范对其访问的敏感数据按照脱敏规则进行实时脱敏处理，同时要对api访问数据的行为进行审计监控，及时发现异常。
[0035]
数据中台包括数据接入：通过数据复制(dts)、etl(dataworks)、数据总线(datahub)等技术工具，将数据中台外的各类业务数据汇聚到数据中台贴源层，这类数据主要包括结构化数据、非结构化数据、采集量测类数据以及格式文件和特定规约的消息数据，源端可以是各类业务系统、物联平台、泛在终端设备和外部第三方服务提供商
[0036]
数据中台包括数据存储计算：存储计算能力是数据中台数据核心处理引擎，将各类源端系统产生的数据存储在数据中台，形成全域数据，通过大数据计算技术，结合数据模型，将全域数据加工整理萃取成各个主题数据，数据计算场景分离线计算、实时计算、非结构化处理等场景。
[0037]
数据中台包括数据分析：提供各类分析模型和分析算法，为数据报表、标签画像、可视化展示提供工具集。
[0038]
数据中台包括数据资产管理：指对数据资产体系的模型、目录、数据标签、数据质量等进行全面管控。
[0039]
数据中台包括数据运营管理：指为数据中台使用过程提供各种管理支撑组件，对数据服务和脱敏规则等进行参数配置，对链路进行安全监控和调度计量，对数据开发提供在线交互功能，是实现数据全生命周期监控的基本组件集。
[0040]
数据中台包括数据服务：通过数据服务目录实现安全、友好、可控的对内对外数据服务统一访问，提供restful等各类形式的api服务接口的统一注册、管理和调度。
[0041]
数据中台对外提供数据共享的接口由云盾-数据安全组件实现，确保对外以服务restful api的方式供第三方调用，通过api认证和鉴权方式，保证接口调用的安全，并提供安全的传输通道，保证数据传输后的完整性要求。
[0042]
本实施例中总体层面上具备了对数据流动上的规范及控制，但基于敏感数据流动上的监测暂未使用，数据流动上主要涉及几个层面的数据流动，主要有以下方面实现：
[0043]
一是数据接口：数据中台向应用层提供的数据接口由dataworks组件数据服务模块实现。接口调用对不安全的数据输入进行转义、过滤等操作；记录所有对数据接口的访问行为，提供的接口使用加密通道；
[0044]
二是批量数据共享：对外批量共享的接口由云盾-数据安全组件实现；
[0045]
三是数据管理及操作使用：由maxcompute等组件实现数据操作的权限控制以及监控，实时展示基于规则配置的敏感数据的访问量，访问趋势，导出量，导出明细等。
[0046]
四是数据脱敏使用了数据保护伞脱敏组件主要提供敏感信息识别和敏感信息脱敏功能。
[0047]
明确敏感数据脱敏规范，提升或部署第三方脱敏组件实现对敏感数据的脱敏处理，可通过脱敏api接口共享的方式实现流动中的数据脱敏。
[0048]
可考虑部署数据安全态势感知平台，收集以数据资产访问、操作为主的数据安全设备日志及告警信息，基于数据资产的维度，分析数据安全方面的攻击趋势及态势分析，实现敏感数据流动的过程检测。
[0049]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。