技术特征：
1.一种基于数据资产分析的数据处理方法，其特征在于，包括：获取目标数据表，对所述目标数据表进行特征识别，获取所述目标数据表中的数据质量特征；获取所述目标数据表的在第一预设时间段内最新更新任务的统计信息，根据所述统计信息获取所述目标数据表的活跃度特征；获取所述目标数据表的元数据信息，根据所述元数据信息获取所述目标数据表的关联特征；根据所述数据质量特征、所述活跃度特征和所述关联特征计算所述目标数据表的评价值，当所述评价值大于第一预设阈值时，将所述目标数据表判定为核心数据资产表；按照预设的监控规则对所述核心数据资产表进行监控，当监控到所述核心数据资产表的数据不符合所述监控规则时，生成包括所述核心数据资产表当前信息的提示消息。2.根据权利要求1所述的基于数据资产分析的数据处理方法，其特征在于，所述数据质量特征包括数据量、数据稀疏度以及数据一致性比例；所述获取目标数据表，对所述目标数据表进行特征识别，获取所述目标数据表中的数据质量特征，包括：获取所述目标数据表的行数和字段数，根据所述行数和所述字段数的乘积获取所述目标数据表的数据量；获取所述目标数据表中每个字段不为空值的数据项数与所述目标数据表行数的第一比值，将目标数据表中各字段的第一比值的平均值作为所述目标数据表的数据稀疏度；获取所述目标数据表中配置有数据检视逻辑的字段，对所述字段对应的数据按照所述数据检视逻辑进行数据检视，获取符合所述数据检视逻辑的数据项数，根据所述符合所述数据检视逻辑的数据项数与所述目标数据表行数的第二比值，将所述第二比值的平均值作为所述目标数据表的数据一致性比例；根据所述数据量、所述数据稀疏度以及所述数据一致性比例生成所述目标数据表的数据质量特征。3.根据权利要求2所述的基于数据资产分析的数据处理方法，其特征在于，当所述配置有数据检视逻辑的字段获取失败时，所述目标数据表的数据一致性比例为0。4.根据权利要求1所述的基于数据资产分析的数据处理方法，其特征在于，所述活跃度特征包括更新频率、更新数据量、更新比例、新增数据量以及新增比例；所述获取所述目标数据表的在第一预设时间段内最新更新任务的统计信息，根据所述统计信息获取所述目标数据表的活跃度特征，包括：获取所述目标数据表在所述第一预设时间段内的更新任务的数量，根据所述更新任务的数量和所述第一预设时间段的时间长度计算所述目标数据表的更新频率；获取每个所述更新任务中对已存在数据的变更操作的变更记录数，将所述第一预设时间段内所有更新任务的变更记录数的总和作为所述目标数据表的更新数据量；获取第一预设时间段内所有更新任务中对已存在数据的变更操作对应的字段以及每个所述字段的变更操作的数据项数量，根据每个所述字段的变更操作的数据项数量和所述目标数据表在更新前的行数计算每个所述字段的字段更新比例，将所述字段更新比例的平均值作为所述目标数据表的更新比例；
获取第一预设时间段内所有更新任务中对新增数据的写入操作的新增记录数，将所述第一预设时间段内所有更新任务的新增记录数的总和作为所述目标数据表的新增数据量；获取第一预设时间段内所有更新任务中对新增数据的写入操作的对应的字段以及每个所述字段的新增操作的数据项数量，根据每个所述字段的新增操作的数据项数量和所述目标数据表在更新前的行数计算每个所述字段的字段新增比例，将所述字段新增比例的平均值作为所述目标数据表的新增比例；根据所述更新频率、所述更新数据量、所述更新比例、所述新增数据量以及新增比例生成所述目标数据表的活跃度特征。5.根据权利要求1所述的基于数据资产分析的数据处理方法，其特征在于，所述关联特征包括直接关联数量、间接关联数量以及业务关联数量；所述获取所述目标数据表的元数据信息，根据所述元数据信息获取所述目标数据表的关联特征，包括：获取所述目标数据表的元数据信息，根据所述元数据信息获取与所述目标数据表具有关联关系的第一关联数据表的个数，将所述第一关联数据表的个数作为所述目标数据表的直接关联数量；获取每个所述第一关联数据表的元数据信息，根据所述第一关联数据表的元数据信息获取与每个所述第一关联数据表具有关联关系的第二关联数据表的个数；获取所述第二关联表的数量和，将所述数量和作为所述目标数据表的间接关联数量；根据所述目标数据表的元数据信息，获取所述目标数据表中与业务计算任务相关的字段，将所述与业务计算任务相关的字段的数量作为所述目标数据表的业务关联数量；根据所述直接关联数量、所述间接关联数量以及所述业务关联数量生成所述目标数据表的关联特征。6.根据权利要求1所述的基于数据资产分析的数据处理方法，其特征在于，所述按照预设的监控规则对所述核心数据资产表进行监控，当监控到所述核心数据资产表的数据不符合所述监控规则时，生成包括所述核心数据资产表当前信息的提示消息，包括：建立对所述核心资产数据表进行监控的监控表，其中，所述监控表用于记录所述核心资产数据表第一监控字段在各预定时间的标准平均值；当监控到所述核心资产数据表中所述第一监控字段的数据更新时，将第一监控字段的更新值与距离当前时间最近的预定时间对应的所述标准平均值进行比对，判定所述更新值是否符合预设监控规则；当判定结果为否时，根据所述核心数据资产表当前信息生成提示消息。7.根据权利要求1所述的基于数据资产分析的数据处理方法，其特征在于，所述按照预设的监控规则对所述核心数据资产表进行监控，当监控到所述核心数据资产表的数据不符合所述监控规则时，生成包括所述核心数据资产表当前信息的提示消息，包括：当监控到对所述核心资产数据表中第二监控字段的数据更新时，将所述第二监控字段的更新值与预设字段格式进行比对，判断所述更新值是否与所述预设字段格式匹配；当判定结果为否时，根据所述核心数据资产表当前信息生成提示消息。8.一种基于数据资产分析的数据处理装置，其特征在于，包括：质量特征提取模块，用于获取目标数据表，对所述目标数据表进行特征识别，获取所述
目标数据表中的数据质量特征；活跃特征提取模块，用于获取所述目标数据表的在第一预设时间段内最新更新任务的统计信息，根据所述统计信息获取所述目标数据表的活跃度特征；关联特征提取模块，用于获取所述目标数据表的元数据信息，根据所述元数据信息获取所述目标数据表的关联特征；数据资产模块，用于根据所述数据质量特征、所述活跃度特征和所述关联特征计算所述目标数据表的评价值，当所述评价值大于第一预设阈值时，将所述目标数据表判定为核心数据资产表；监控模块，用于按照预设的监控规则对所述核心数据资产表进行监控，当监控到所述核心数据资产表的数据不符合所述监控规则时，生成包括所述核心数据资产表当前信息的提示消息。9.一种电子设备，其特征在于，包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有可被所述处理器执行的程序指令；所述处理器执行所述存储器存储的所述程序指令时实现如权利要求1～7中任一项所述的基于数据资产分析的数据处理方法。10.一种存储介质，其特征在于，所述存储介质内存储有程序指令，所述程序指令被处理器执行时实现能够实现如权利要求1～7中任一项所述的基于数据资产分析的数据处理方法。
技术总结
本发明提供的基于数据资产分析的数据处理方法、装置、设备及介质，获取每个目标数据表的数据质量特征、活跃度特征和关联特征，根据数据质量特征、活跃度特征和关联特征生成所述目标数据表的评价值，将评价值大于第一预设阈值的目标数据表作为核心资产数据表，通过上述方式，全面挖掘了各目标数据表的资产特征数据，提高了对目标数据表进行资产特征识别的准确性，并进一步根据资产特征识别结果对目标数据表进行数据资产量化，实现了核心资产数据表的自动识别，自动为核心资产数据表分配监控资源，实现了资源的自动合理分配。实现了资源的自动合理分配。实现了资源的自动合理分配。
技术研发人员：杜駉骏
受保护的技术使用者：平安普惠企业管理有限公司
技术研发日：2021.06.29
技术公布日：2021/9/6