数据资产切分校验方法以及装置与流程

文档序号:19066275发布日期:2019-11-06 02:25阅读:211来源:国知局
数据资产切分校验方法以及装置与流程

本申请涉及数据处理技术领域,特别涉及一种数据资产切分校验方法。本申请同时涉及一种数据资产切分校验装置,一种计算设备,以及一种计算机可读存储介质。



背景技术:

随着金融业务的创新及发展,越来越多的金融业务通过网络进行开展,并且这些金融业务的集成度也越来越高。通常在一个金融项目平台中可以处理很多种不同类型的金融业务,并且在执行业务处理的过程种还需要对接第三方平台,因此数据资产比较分散,难以在短时间满足监管机构取数的需求。

目前,面对监管机构取数的需求,需要通过散落的脚本拉取数据,并且在拉取数据之后需要理解所拉取的数据中隐藏的数据规则,再花很长时间去验证所拉取时间范围内的数据是否满足此数据规则,导致整个过程非常长,难以维护管理,并且容易出错。



技术实现要素:

有鉴于此,本申请提供了一种数据资产切分校验方法。本申请同时涉及一种数据资产切分校验装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。

根据本申请实施例的第一方面,提供了一种数据资产切分校验方法,包括:

检测数据资产切分校验指令,所述数据资产切分校验指令包含数据资产主题以及切分时间;

按照所述切分时间,对所述数据资产主题对应的数据资产进行切分;

根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验。

可选的,所述按照所述切分时间,对所述数据资产主题对应的数据资产进行切分,包括:

根据所述数据资产主题,在数据资产图谱中获取与所述数据资产主题对应的数据资产类型;

按照所述切分时间,对所述数据资产类型对应的数据资产进行切分。

可选的,所述数据资产图谱,通过如下方式进行构建:

获取数据资产主题集合;

在数据资产类型集合中获取与所述数据资产主题集合中每个数据资产主题对应的数据资产类型;

根据每个数据资产主题与其对应的数据资产类型之间的对应关系以及各数据资产类型对应的数据资产之间的关联关系,构建每个数据资产主题的数据资产图谱。

可选的,所述根据所述数据资产主题与其对应的数据资产类型之间的对应关系以及各数据资产类型对应的数据资产之间的关联关系,构建每个数据资产主题的数据资产图谱步骤执行之后,还包括:

将每个数据资产主题的数据资产图谱进行合并,构建所述数据资产主题集合的数据资产图谱。

可选的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验步骤执行之后,还包括:

获取数据资产拉取指令,所述数据资产拉取指令中携带数据资产拉取主题以及数据资产拉取时间区间;

根据所述数据资产拉取指令中携带的数据资产拉取主题,获取所述数据资产拉取主题对应的数据资产拉取类型;

根据所述数据资产拉取指令中携带的数据资产拉取时间区间,在所述数据资产拉取类型对应的数据库中拉取对应的数据资产,作为向监管方提交的待监管数据资产。

可选的,所述数据资产校验规则,包括下述至少一项:

数据资产关联性校验规则、数据资产追溯性校验规则、数据资产完整性校验规则。

可选的,若所述数据资产校验规则为所述数据资产关联性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验。

可选的,若所述数据资产校验规则为所述数据资产完整性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验。

可选的,若所述数据资产校验规则为所述资产追溯性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验。

可选的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验;

若根据所述数据资产关联性校验规则进行校验的校验结果为通过,根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验;

若根据所述数据资产完整性校验规则进行校验的校验结果为通过,根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验。

根据本申请实施例的第二方面,提供了一种数据资产切分校验装置,包括:

检测模块,被配置为检测数据资产切分校验指令,所述数据资产切分校验指令包含数据资产主题以及切分时间;

切分模块,被配置为按照所述切分时间,对所述数据资产主题对应的数据资产进行切分;

校验模块,被配置为根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验。

根据本申请实施例的第三方面,提供了一种计算设备,包括:

存储器和处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:

检测数据资产切分校验指令,所述数据资产切分校验指令包含数据资产主题以及切分时间;

按照所述切分时间,对所述数据资产主题对应的数据资产进行切分;

根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验。

根据本申请实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现任意一项所述数据资产切分校验方法的步骤。

与现有技术相比,本申请具有如下优点:

本申请提供一种数据资产切分校验方法,包括:检测数据资产切分校验指令,所述数据资产切分校验指令包含数据资产主题以及切分时间;按照所述切分时间,对所述数据资产主题对应的数据资产进行切分;根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验。

本申请提供的数据资产切分校验方法,通过数据资产切分校验指令中携带的数据资产主题及切分时间对数据资产主题对应的数据资产进行先切分,来获取特定数据资产主题和一定时间范围的数据资产,提升了数据资产管理的有效性及效率,再按照数据资产主题对应的数据资产校验规则对已完成切分的数据资产进行校验,提高了数据资产的准确性。

附图说明

图1是本申请实施例提供的一种数据资产切分校验方法的流程图;

图2是本申请实施例提供的一种数据资产主题的数据资产图谱;

图3是本申请实施例提供的一种应用于金融项目的数据资产切分校验方法的处理流程图;

图4是本申请实施例提供的一种数据资产切分校验装置的结构示意图;

图5是本申请实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。

在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本申请中,提供了一种数据资产切分校验方法,本申请同时涉及一种数据资产切分校验装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。

本申请提供的一种数据资产切分校验方法实施例如下:

图1示出了根据本申请实施例的一种数据资产切分校验方法的流程图,图2示出了根据本申请实施例提供的一种数据资产主题的数据资产图谱;其中图1包括步骤s102至步骤s106。

步骤s102,检测数据资产切分校验指令,所述数据资产切分校验指令包含数据资产主题以及切分时间。

所述数据资产主题,是指金融项目中可能涉及到的业务场景,这些业务场景是多种多样的,具体的,包括线上支付,海外业务、储蓄业务、借贷业务等,实际应用中,一个数据资产主题通常对应至少一个数据资产类型,每个数据资产类型有对应的数据资产,且同一个数据资产主题下的数据资产之间不是彼此独立的,而是通过数据资产中一个或多个数据字段进行相互关联的。

上述数据资产类型是指数据资产主题下的数据类型,每个数据资产主题都有对应的业务数据,而根据业务数据的种类不同可以分为不同业务数据类型即数据资产类型,比如数据资产主题为线上支付,则线上支付数据资产主题下的数据资产类型有支付账户信息、订单信息、支付明细。

数据资产是指数据资产类型对应的具体的数据记录,比如数据资产包括数据资产类型为支付账户信息对应的支付账户记录、数据资产类型为订单信息对应的订单记录、数据资产类型为支付明细对应的支付记录,这些数据记录可以存储于同一个数据库,也可以存储于不同的数据库中。

此外,与数据资产主题和数据资产类型相对应的,在对数据资产进行拉取时,还涉及数据资产拉取主题和数据资产拉取类型,其中,数据资产拉取主题是指对数据资产进行拉取时需要拉取的数据资产对应的数据资产主题,数据资产拉取类型是指对数据资产进行拉取时需要拉取的数据资产对应的数据资产类型。

所述数据资产切分校验指令,是指对数据资产主题对应的数据资产进行切分校验的指令,具体的,该指令携带数据资产主题以及切分时间,以此来识别具体需要对哪个数据资产主题对应的数据资产以什么切分时间为时间上限进行切分校验,通常该指令是周期性触发或调用的,具体的,此周期可以是一天,一周等,且此周期可以根据数据量和业务需要进行配置。

所述切分时间,是指对数据资产主题对应的数据资产进行切分校验的时间上限,即:进行切分校验的数据资产需早于或等于切分时间,比如,切分时间为2019/6/53:00,则以2019/6/53:00为时间上限,对数据资产主题对应的数据资产中生成时间早于或等于2019/6/53:00的未切分数据资产进行切分。

具体的,切分是指对数据资产主题对应的上述时间区间的数据资产打标,打标的方式可以是多种多样的,比如为每个数据资产设置一个字段对是否完成切分进行打标,未被切分时,该字段值为空,切分后,将该字段值标记为已切分,此外,还有其他各样的打标方式,在此不再赘述。

步骤s104,按照所述切分时间,对所述数据资产主题对应的数据资产进行切分。

根据上述数据资产切分校验指令中携带的切分时间,对所述数据资产主题对应的数据资产进行切分,是指对数据资产主题对应的数据资产中生成时间早于或等于切分时间且生成时间晚于上一次切分时间的数据资产进行切分,即:对数据资产主题对应的数据资产中生成时间早于或等于切分时间的未切分数据进行切分。

以检测到的数据资产切分校验指令中携带的数据资产主题为线上支付,切分时间为2019/6/53:00为例,上一次对线上支付数据资产主题对应的数据资产进行切分的切分时间为2019/6/43:00,则按照切分时间2019/6/53:00,对线上支付数据资产主题对应的数据资产中早于或等于2019/6/53:00,晚于2019/6/43:00的未切分数据资产进行切分,切分完成后,将

线上支付数据资产主题对应的数据资产中早于或等于2019/6/53:00,晚于2019/6/43:00的数据资产中标记是否完成切分的字段值更新为已切分。

进一步,本申请实施例提供的一种可选实施方式中,所述按照所述切分时间,对所述数据资产主题对应的数据资产进行切分,具体采用如下方法实现:

根据所述数据资产主题,在数据资产图谱中获取与所述数据资产主题对应的数据资产类型对应的数据资产;

按照所述切分时间,对所述数据资产类型对应的数据资产进行切分。

所述数据资产图谱,是用来描述数据资产主题与数据资产类型之间的对应关系以及数据资产类型对应的数据资产之间的关联关系的图谱,根据数据资产主题可获取与其对应的数据资产类型和这些数据资产类型对应的数据资产之间的关联关系,实际应用中,可将数据资产图谱以图形的方式进行可视化展现,也可以数据表的形式存储于数据库中,在此不做赘述。

本申请实施例,根据数据资产切分校验指令中携带的数据资产主题,在数据资产图谱中快速地获取到数据资产主题对应的数据资产,提高了数据资产管理的效率以及对数据资产进行切分校验的效率。

在上述数据资产图谱获取与所述数据资产主题对应的数据资产类型对应的数据资产的基础上,进一步,本申请实施例提供的一种可选实施方式中,所述数据资产图谱,通过如下方式进行构建:

1)获取数据资产主题集合。

所述数据资产主题集合,是指金融项目中现存的所有业务场景,即金融项目中现存的所有数据资产主题,比如某金融项目中现存的数据资产主题有两种:线上支付和储蓄业务,则数据资产主题集合为上述两种数据资产主题的集合。

2)在数据资产类型集合中获取与所述数据资产主题集合中每个数据资产主题对应的数据资产类型。

所述数据资产类型集合,是指金融项目中现存数据资产类型的集合,比如某金融项目中现存的数资产类型有五种:支付账户信息、订单信息、支付明细、储蓄账户信息和存取款明细,则数据资产类型集合为上述五种数据资产类型的集合。

以上述数据资产主题集合及数据资产类型集合为例,获取到的数据资产主题集合为线上支付、储蓄业务,数据资产类型集合为支付账户信息、订单信息、支付明细、储蓄账户信息、存取款明细,则在数据资产类型集合中获取到与线上支付数据资产主题对应的数据资产类型为支付账户信息、订单信息、支付明细,在数据资产类型集合中获取到与储蓄业务数据资产主题对应的数据资产类型为储蓄账户信息、存取款明细。

3)根据每个数据资产主题与其对应的数据资产类型之间的对应关系以及各数据资产类型对应的数据资产之间的关联关系,构建每个数据资产主题的数据资产图谱。

所述各数据资产类型对应的数据资产之间的关联关系,是指每个数据资产主题对应的数据资产类型对应的数据资产之间的关联关系,具体的,上述数据资产之间是存在数据字段的关联关系,进一步,数据资产之间可能存在数据字段的一对一的关联关系或一对多的关联关系,其中,一对一的关联关系是指某一个数据资产类型对应的一条数据资产可以通过某数据字段和另一个数据资产类型对应的一条数据资产的某数据字段进行关联,一对多的关联关系是指一个数据资产类型对应的一条数据资产可以通过某数据字段和另一个数据资产类型对应的至少一条数据资产的某数据字段进行关联,进行关联的数据字段的名称在不同的数据资产中可能相同也可能不同,比如,在支付账户信息对应的支付账户记录中用户甲的支付账户标识为a001,在支付明细对应的支付记录中用户甲支付50元货款对应的支付标识为a001,除以上支付50元货款的支付记录,用户甲还存在其他的支付记录,这些支付记录对应的支付标识都为a001,则支付账户信息对应的支付账户记录中的支付账户标识字段与支付明细对应的支付记录中的支付标识字段存在一对多关联关系。

以对上述数据资产主题集合中每个数据资产主题构建数据资产图谱为例,首先,将数据资产主题集合中线上支付数据资产主题与线上支付数据资产主题在数据资产类型集合中对应的支付账户信息、订单信息、支付明细这三种数据资产类型的对应关系、支付账户信息对应的支付账户记录中的支付账户标识字段与支付明细对应的支付记录中的支付标识字段之间一对多的关联关系以及订单信息对应的订单记录中的订单标识字段与支付明细对应的支付记录中的订单标识字段之间一对一的关联关系,构建线上支付数据资产主题的数据资产图谱,具体的,线上支付数据资产主题的数据资产图谱如图2所示,其中1:n表示一对多的关联关系,1:1表示一对一的关联关系。

然后,将数据资产主题集合中储蓄业务数据资产主题与储蓄业务数据资产主题在数据资产类型集合中对应的储蓄账户信息、存取款明细这两种数据资产类型的对应关系,以及储蓄账户信息对应的储蓄账户记录中的储蓄账户标识字段与存取款明细对应的存取款记录中的储蓄账户标识字段之间1:n的关联关系,构建储蓄业务数据资产主题的数据资产图谱。

实际应用中,存在新增数据资产主题时,需根据新增数据资产主题在数据资产类型集合中获取新增数据资产主题对应的数据资产类型,并根据新增数据资产主题与这些数据资产类型之间的对应关系以及这些数据资产类型对应的数据资产之间的关联关系构建新增数据资产主题的数据资产图谱。

本申请实施例,通过数据资产类型集合获取数据资产主题需要的数据资产类型,增加了数据资产主题的构建效率,根据数据资产主题与数据资产类型之间的对应关系以及与数据资产类型对应的数据资产之间的关联关系,构建数据资产图谱,使数据资产之间的关系更加直观,且便于对数据资产进行管理。

在上述构建每个数据资产主题的数据资产图谱的基础上,进一步,本申请实施例提供的一种可选实施方式中,所述根据每个数据资产主题与其对应的数据资产类型之间的对应关系以及各数据资产类型对应的数据资产之间的关联关系,构建每个数据资产主题的数据资产图谱步骤执行之后,还包括:

将每个数据资产主题的数据资产图谱进行合并,构建所述数据资产主题集合的数据资产图谱。

以上述根据数据资产主题集合中线上支付和储蓄业务数据资产主题,构建的线上支付数据资产主题的数据资产图谱和储蓄业务数据资产主题的数据资产图谱为例,将线上支付数据资产主题的数据资产图谱与储蓄业务数据资产主题的数据资产图谱进行合并,构建出数据资产主题集合的数据资产图谱。

此外,数据资产主题与数据资产主题之间也可能存在关联关系,若数据资产主题与数据资产主题之间存在关联关系,则可将此关联关系添加在上述构建出的数据资产主题集合的数据资产图谱中,在此不再赘述。

本申请实施例,通过将各数据资产主题的数据资产图谱进行合并,构建出数据资产主题集合的数据资产图谱,使各数据资产主题及数据资产之间的关系更加直观,且便于对数据资产进行管理。

步骤s106,根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验。

所述数据资产校验规则,是指根据所述数据资产主题对应的数据资产之间关联字段的一对一或一对多的关联关系、和/或所述数据资产主题对应的存在业务执行关联的数据资产之间的完整性、和/或所述数据资产主题对应的存在业务执行顺序关联的数据资产之间的关联关系等信息对数据资产预先设定的校验规则,预先设定数据资产校验规则后,该数据资产主题对应的数据资产中新生成的数据记录都可以按照此预先设置的校验规则进行校验;

若数据资产符合预先设定的数据资产校验规则,即根据数据资产校验规则进行校验的校验结果为通过,则表示不存在异常数据,若数据资产不符合预先设定的数据资产校验规则,即根据数据资产校验规则进行校验的校验结果为不通过,则表明存在异常数据,输出报错提醒。

上述存在业务执行关联的数据资产之间的完整性,是指业务执行过程中产生的数据资产是否完整,比如,用户乙在线上购买手机,在用户乙完成购买的情况下,此购买业务有提交订单、支付货款两个步骤,以上两个步骤执行完成后都会生成一条对应的数据资产,这两条数据资产是存在业务执行关联的,则针对用户乙线上购买手机的业务,且完成购买的情况下,存在业务执行关联的数据资产之间的完整性是指根据用户乙在线上的购买手机的行为生成的订单记录和支付记录这两条数据资产缺一不可。

上述存在业务执行顺序关联的数据资产之间的关联关系,是指在一个业务执行过程中生成的数据资产之间的关联关系,以上述用户乙在线上购买手机的业务执行过程为例,在用户乙完成购买的情况下,此购买业务有提交订单、支付货款两个步骤,以上两个步骤执行完成后都会生成一条对应的数据资产,且按照步骤执行的顺序会先生成订单记录,再生成支付记录,这两条数据资产之间以订单标识字段进行关联,则针对用户乙线上购买手机的业务,且完成购买的情况下,存在业务执行顺序关联的数据资产之间的关联关系是指根据用户乙在线上的购买手机的行为存在先生成的订单记录与后生成的支付记录之间以订单标识字段进行关联的关系。

可选的,所述数据资产校验规则,包括下述至少一项:

数据资产关联性校验规则、数据资产完整性校验规则、数据资产追溯性校验规则。

具体的,根据数据资产主题对应的数据资产之间关联字段的一对一或一对多的关联关系预先设定的校验规则为数据资产关联性校验规则、根据数据资产主题对应的存在业务执行关联的数据资产之间的完整性预先设定的校验规则为数据资产完整性校验规则、根据数据资产主题对应的存在业务执行顺序关联的数据资产之间的关联关系预先设定的校验规则为数据资产追溯性校验规则。

实际应用中,数据资产校验规则是多种多样的,本申请实施例提供的第一种可选实施方式中,若所述数据资产校验规则为所述数据资产关联性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,具体采用如下方法实现:

根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验。

以上述对数据资产主题为线上支付对应的数据资产为例,按照切分时间2019/6/53:00对数据资产主题为线上支付对应的数据资产中早于或等于2019/6/53:00,晚于2019/6/43:00的数据资产进行切分后,线上支付数据资产主题对应的数据资产关联性校验规则为账户支付账户记录中支付账户标识字段与支付记录中支付标识字段存在一对多的关联关系,订单记录中订单标识字段和支付记录中订单标识字段存在一对一的关联关系,则按照线上支付数据资产主题对应的数据资产关联性校验规则对已完成切分的数据资产主题为线上支付对应的数据资产进行校验,若账户支付账户记录中支付账户标识字段与支付记录中支付标识字段存在一对多的关联关系,订单记录和支付记录之间以订单标识字段存在一对一的关联关系,则校验通过,若账户支付账户记录中支付账户标识字段与支付记录中支付标识字段缺少关联关系,或订单记录中订单标识字段和支付记录中订单标识字段缺少关联关系,则校验不通过,表明存在异常数据,并输出报错信息。

本申请实施例,对数据资产的关联性进行校验,便于发现异常数据资产,保证了数据资产的关联性,提高了数据资产的准确性。

本申请实施例提供的第二种可选实施方式中,若所述数据资产校验规则为所述数据资产完整性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,具体采用如下方法实现:

根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验。

以上述对数据资产主题为线上支付对应的数据资产为例,用户乙在线上购买手机的时间为2019/6/52:30,在用户乙完成购买的情况下,按照切分时间2019/6/53:00对数据资产主题为线上支付对应的数据资产中早于或等于2019/6/53:00,晚于2019/6/43:00的数据资产进行切分后,用户乙在线上购买手机对应的数据资产中标记是否完成切分的字段值更新为已切分;

线上支付数据资产主题对应的数据资产完整性校验规则为存在业务执行关联的订单记录和支付记录的完整性,用户乙在线上购买手机产生的订单记录和支付记录之间存在业务执行关联,则按照线上支付数据资产主题对应的数据资产完整性校验规则,对用户乙在线上购买手机产生的订单记录和支付记录的完整性进行校验,若数据资产中存在这两条数据记录,则校验通过,若该订单记录或支付记录有至少一条记录是不存在的,则校验不通过,表明存在异常数据,并输出报错信息。

本申请实施例,对数据资产的完整性进行校验,便于发现异常数据资产,保证了数据资产的完整性,提高了数据资产的准确性。

本申请实施例提供的第三种可选实施方式中,若所述数据资产校验规则为所述资产追溯性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,具体采用如下方法实现:

根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验。

以对上述用户乙在线上购买手机产生的订单记录和支付记录进行校验为例,在用户乙完成购买的情况下,线上支付数据资产主题对应的数据资产追溯性校验规则为存在业务执行顺序关联的订单记录与支付记录都存在且两条记录之间以订单标识字段相关联,用户乙在线上购买手机产生的订单记录和支付记录之间存在业务执行顺序关联,则按照线上支付数据资产主题对应的数据资产追溯性校验规则,对用户乙在线上购买手机产生的订单记录和支付记录的关联关系进行校验,若该订单记录和支付记录存在,且两条记录之间以订单标识字段相关联,则校验通过,若该订单记录和支付记录至少一条记录不存在,或两条记录之间不能以订单标识字段相关联,则校验不通过,表明存在异常数据,并输出报错信息。

本申请实施例,通过对数据资产进行数据资产追溯性校验规则校验,便于发现异常数据资产,保证了数据资产的连贯性,提高了数据资产的准确性。

实际应用中,数据资产校验规则可能是多种校验规则的集合,在这种情况下,需按照预先设定的校验规则的校验顺序,依次从不同侧面对数据资产进行校验,本申请实施例提供的第四种可选实施方式中,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,具体采用如下方法实现:

根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验;

若根据所述数据资产关联性校验规则进行校验的校验结果为通过,表明不存在关联性异常数据,根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验;

若根据所述数据资产关联性校验规则进行校验的校验结果为不通过,则表明存在关联性异常数据,输出报错提醒;

若根据所述数据资产完整性校验规则进行校验的校验结果为通过,表明不存在完整性异常数据,根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验;

若根据所述数据资产完整性校验规则进行校验的校验结果为不通过,表明存在完整性异常数据,输出报错提醒;

若根据所述数据资产追溯性校验规则进行校验的校验结果为通过,则表明不存在追溯性异常数据,则校验完成;

若根据所述数据资产追溯性校验规则进行校验的校验结果为不通过,则表明存在追溯性异常数据,输出报错提醒。

本申请实施例校验过程与上述对数据资产进行数据资产关联性校验规则校验、数据资产完整性校验规则校验和数据资产追溯性校验规则校验的过程相似,具体实现时参考上述校验过程即可,在此不再赘述。

本申请实施例,通过对数据资产进行数据资产关联性校验规则校验、数据资产完整性校验规则校验和数据资产追溯性校验规则校验,便于发现异常数据资产,保证了数据资产的关联性,完整性和连贯性,提高了数据资产的准确性。

此外,还会面临对某些数据资产主题下的数据资产进行拉取的需要,本申请实施例提供的一种可选实施方式中,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验步骤执行之后,还包括:

1)获取数据资产拉取指令,所述数据资产拉取指令中携带数据资产拉取主题以及数据资产拉取时间区间。

所述拉取,是指对数据资产拉取主题对应的数据资产进行拉取,实际应用中,需按照监管方的要求拉取出的相应的数据资产提供至监管方进行监管。

所述数据资产拉取时间区间,是指对数据资产拉取主题对应的数据资产的拉取时间范围,比如数据资产拉取时间区间为2019/5/53:00至2019/6/53:00,则对数据资产拉取主题对应的数据资产中在晚于等于2019/5/53:00且早于等于2019/6/53:00之间的数据资产进行拉取。

所述数据资产拉取指令,是指根据监管方的要求对数据资产拉取主题对应的数据资产进行拉取的指令,具体的,该指令携带数据资产拉取主题以及数据资产拉取时间区间,以此来识别具体需要对在什么时间区间的哪个数据资产主题对应的数据资产进行拉取。

2)根据所述数据资产拉取指令中携带的数据资产拉取主题,获取所述数据资产拉取主题对应的数据资产拉取类型。

3)根据所述数据资产拉取指令中携带的数据资产拉取时间区间,在所述数据资产拉取类型对应的数据库中拉取对应的数据资产,作为向监管方提交的待监管数据资产。

实际应用中,不同的数据资产拉取类型对应的数据资产可能存储于不同的数据库之中,这些数据库的类型也可能是多种多样的,比如oracle数据库,db2数据库等,因此需要根据数据资产拉取类型先获取其对应的数据库的访问接口,再根据获取到的数据库的访问接口拉取数据库中与数据拉取类型对应的数据资产。

以上述线上支付作为数据资产拉取主题为例,获取到的数据资产拉取指令中携带的数据资产拉取主题为线上支付,数据资产拉取时间区间为2019/5/53:00至2019/6/53:00,则首先,根据数据资产拉取指令中携带的线上支付数据资产拉取主题,获取到的线上支付数据资产拉取主题下的数据资产拉取类型为支付账户信息、订单信息、支付明细,其次,根据数据资产拉取时间区间为2019/5/53:00至2019/6/53:00,分别在数据资产拉取类型为支付账户信息、订单信息、支付明细对应的数据库中拉取在晚于等于2019/5/53:00且早于等于2019/6/53:00的时间段内对应的支付账户记录、订单记录、支付记录作为向监管方提供的待监管数据。

此外,还可根据不同的数据资产拉取主题设置访问接口或访问界面,用户通过所提供的访问接口或访问界面选择想要拉取的数据资产拉取主题对应的数据资产,对数据资产进行浏览或获取,在此不再赘述。

本申请实施例,在对数据资产主题进行切分校验后,拉取监管方需要的数据资产,提升了拉取数据资产的效率,并提升了拉取的数据资产的准确性。

下述结合图3,以本申请提供的数据资产切分校验方法在金融项目的应用为例,对所述数据资产切分校验方法进行进一步说明,所述数据资产切分校验方法具体包括步骤s302至步骤s316。

步骤s302,在金融项目中,检测数据资产切分校验指令,所述数据资产切分校验指令包含数据资产主题以及切分时间。

步骤s304,按照所述切分时间,对所述数据资产主题对应的数据资产进行切分。

步骤s306,根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验。

步骤s308,若根据所述数据资产关联性校验规则进行校验的校验结果为通过,根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验。

步骤s310,若根据所述数据资产完整性校验规则进行校验的校验结果为通过,根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验。

步骤s312,获取数据资产拉取指令,所述数据资产拉取指令中携带数据资产拉取主题以及数据资产拉取时间区间。

步骤s314,根据所述数据资产拉取指令中携带的数据资产拉取主题,获取所述数据资产拉取主题对应的数据资产拉取类型。

步骤s316,根据所述数据资产拉取指令中携带的数据资产拉取时间区间,在所述数据资产拉取类型对应的数据库中拉取对应的数据资产,作为向监管方提交的待监管数据资产。

综上所述,本申请提供的数据资产切分校验方法,通过数据资产切分校验指令中携带的数据资产主题及切分时间对数据资产主题对应的数据资产进行先切分,来获取特定数据资产主题和一定时间范围的数据资产,提升了数据资产管理的有效性及效率,再按照数据资产主题对应的数据资产校验规则对已完成切分的数据资产进行校验,提高了数据资产的准确性。

本申请提供的一种数据资产切分校验装置实施例如下:

与上述方法实施例相对应,本申请还提供了数据资产切分校验装置实施例,图4示出了本申请实施例的数据资产切分校验装置的结构示意图。如图4所示,该装置包括:

检测模块402,被配置为检测数据资产切分校验指令,所述数据资产切分校验指令包含数据资产主题以及切分时间;

切分模块404,被配置为按照所述切分时间,对所述数据资产主题对应的数据资产进行切分;

校验模块406,被配置为根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验。

可选的,所述切分模块404,包括:

获取数据资产类型子模块,被配置为根据所述数据资产主题,在数据资产图谱中获取与所述数据资产主题对应的数据资产类型;

切分子模块,被配置为按照所述切分时间,对所述数据资产类型对应的数据资产进行切分。

可选的,所述数据资产图谱,通过运行如下模块进行构建:

获取数据资产主题集合模块,被配置为获取数据资产主题集合;

获取数据资产类型模块,被配置为在数据资产类型集合中获取与所述数据资产主题集合中每个数据资产主题对应的数据资产类型;

构建数据资产主题的数据资产图谱模块,被配置为根据每个数据资产主题与其对应的数据资产类型之间的对应关系以及各数据资产类型对应的数据资产之间的关联关系,构建每个数据资产主题的数据资产图谱。

可选的,所述数据资产切分校验装置,还包括:

合并图谱模块,被配置为将每个数据资产主题的数据资产图谱进行合并,构建所述数据资产主题集合的数据资产图谱。

可选的,所述数据资产切分校验装置,还包括:

获取指令模块,被配置为获取数据资产拉取指令,所述数据资产拉取指令中携带数据资产拉取主题以及数据资产拉取时间区间;

获取数据资产拉取类型模块,被配置为根据所述数据资产拉取指令中携带的数据资产拉取主题,获取所述数据资产拉取主题对应的数据资产拉取类型;

拉取模块,被配置为根据所述数据资产拉取指令中携带的数据资产拉取时间区间,在所述数据资产拉取类型对应的数据库中拉取对应的数据资产,作为向监管方提交的待监管数据资产。

可选的,所述数据资产校验规则,包括下述至少一项:

数据资产关联性校验规则、数据资产追溯性校验规则、数据资产完整性校验规则。

可选的,所述校验模块406,具体被配置为:根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验。

可选的,所述校验模块406,具体被配置为:根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验。

可选的,所述校验模块406,具体被配置为:根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验。

可选的,所述校验模块406,包括:

关联性校验子模块,被配置为根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验;

完整性校验子模块,被配置为若根据所述数据资产关联性校验规则进行校验的校验结果为通过,根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验;

追溯性校验子模块,被配置为若根据所述数据资产完整性校验规则进行校验的校验结果为通过,根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验。

上述为本实施例的一种数据资产切分校验装置的示意性方案。需要说明的是,该数据资产切分校验装置的技术方案与上述的数据资产切分校验方法的技术方案属于同一构思,数据资产切分校验装置的技术方案未详细描述的细节内容,均可以参见上述数据资产切分校验方法的技术方案的描述。

本申请提供的一种计算设备实施例如下:

图5示出了根据本申请一实施例的计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接,数据库550用于保存数据。

计算设备500还包括接入设备540,接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。

在本申请的一个实施例中,计算设备500的上述以及图5中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图5所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。

计算设备500可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备500还可以是移动式或静止式的服务器。

本申请提供一种计算设备,包括存储器510、处理器520及存储在存储器上并可在处理器上运行的计算机指令,所述处理器520用于执行如下计算机可执行指令:

检测数据资产切分校验指令,所述数据资产切分校验指令包含数据资产主题以及切分时间;

按照所述切分时间,对所述数据资产主题对应的数据资产进行切分;

根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验。

可选的,所述按照所述切分时间,对所述数据资产主题对应的数据资产进行切分,包括:

根据所述数据资产主题,在数据资产图谱中获取与所述数据资产主题对应的数据资产类型;

按照所述切分时间,对所述数据资产类型对应的数据资产进行切分。

可选的,所述数据资产图谱,通过如下方式进行构建:

获取数据资产主题集合;

在数据资产类型集合中获取与所述数据资产主题集合中每个数据资产主题对应的数据资产类型;

根据每个数据资产主题与其对应的数据资产类型之间的对应关系以及各数据资产类型对应的数据资产之间的关联关系,构建每个数据资产主题的数据资产图谱。

可选的,所述根据所述数据资产主题与其对应的数据资产类型之间的对应关系以及各数据资产类型对应的数据资产之间的关联关系,构建每个数据资产主题的数据资产图谱指令执行之后,还包括:

将每个数据资产主题的数据资产图谱进行合并,构建所述数据资产主题集合的数据资产图谱。

可选的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验步骤执行之后,还包括:

获取数据资产拉取指令,所述数据资产拉取指令中携带数据资产拉取主题以及数据资产拉取时间区间;

根据所述数据资产拉取指令中携带的数据资产拉取主题,获取所述数据资产拉取主题对应的数据资产拉取类型;

根据所述数据资产拉取指令中携带的数据资产拉取时间区间,在所述数据资产拉取类型对应的数据库中拉取对应的数据资产,作为向监管方提交的待监管数据资产。

可选的,所述数据资产校验规则,包括下述至少一项:

数据资产关联性校验规则、数据资产追溯性校验规则、数据资产完整性校验规则。

可选的,若所述数据资产校验规则为所述数据资产关联性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验。

可选的,若所述数据资产校验规则为所述数据资产完整性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验。

可选的,若所述数据资产校验规则为所述资产追溯性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验。

可选的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验;

若根据所述数据资产关联性校验规则进行校验的校验结果为通过,根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验;

若根据所述数据资产完整性校验规则进行校验的校验结果为通过,根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验。

上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据资产切分校验方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据资产切分校验方法的技术方案的描述。

本申请提供的一种计算机可读存储介质实施例如下:

本申请提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:

检测数据资产切分校验指令,所述数据资产切分校验指令包含数据资产主题以及切分时间;

按照所述切分时间,对所述数据资产主题对应的数据资产进行切分;

根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验。

可选的,所述按照所述切分时间,对所述数据资产主题对应的数据资产进行切分,包括:

根据所述数据资产主题,在数据资产图谱中获取与所述数据资产主题对应的数据资产类型;

按照所述切分时间,对所述数据资产类型对应的数据资产进行切分。

可选的,所述数据资产图谱,通过如下方式进行构建:

获取数据资产主题集合;

在数据资产类型集合中获取与所述数据资产主题集合中每个数据资产主题对应的数据资产类型;

根据每个数据资产主题与其对应的数据资产类型之间的对应关系以及各数据资产类型对应的数据资产之间的关联关系,构建每个数据资产主题的数据资产图谱。

可选的,所述根据所述数据资产主题与其对应的数据资产类型之间的对应关系以及各数据资产类型对应的数据资产之间的关联关系,构建每个数据资产主题的数据资产图谱步骤执行之后,还包括:

将每个数据资产主题的数据资产图谱进行合并,构建所述数据资产主题集合的数据资产图谱。

可选的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验步骤执行之后,还包括:

获取数据资产拉取指令,所述数据资产拉取指令中携带数据资产拉取主题以及数据资产拉取时间区间;

根据所述数据资产拉取指令中携带的数据资产拉取主题,获取所述数据资产拉取主题对应的数据资产拉取类型;

根据所述数据资产拉取指令中携带的数据资产拉取时间区间,在所述数据资产拉取类型对应的数据库中拉取对应的数据资产,作为向监管方提交的待监管数据资产。

可选的,所述数据资产校验规则,包括下述至少一项:

数据资产关联性校验规则、数据资产追溯性校验规则、数据资产完整性校验规则。

可选的,若所述数据资产校验规则为所述数据资产关联性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验。

可选的,若所述数据资产校验规则为所述数据资产完整性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验。

可选的,若所述数据资产校验规则为所述资产追溯性校验规则,相应的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验。

可选的,所述根据所述数据资产主题对应的数据资产校验规则,对已完成切分的数据资产进行校验,包括:

根据所述数据资产主题对应的所述数据资产关联性校验规则,对所述已完成切分的数据资产之间关联字段的一对一或一对多的关联关系进行校验;

若根据所述数据资产关联性校验规则进行校验的校验结果为通过,根据所述数据资产主题对应的数据资产完整性校验规则,对所述已完成切分的数据资产中存在业务执行关联的数据资产之间的完整性进行校验;

若根据所述数据资产完整性校验规则进行校验的校验结果为通过,根据所述数据资产主题对应的数据资产追溯性校验规则,对所述已完成切分的数据资产中存在业务执行顺序关联的数据资产之间的关联关系进行校验。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据资产切分校验方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据资产切分校验方法的技术方案的描述。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本申请的内容,可作很多的修改和变化。本申请选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1