异常数据检测方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种异常数据检测方法、装置、电子设备及存储介质。


背景技术：

2.随着计算机技术的发展，越来越多的技术，例如，区块链(blockchain)、大数据、分布式等技术被应用在金融领域，传统金融业正在逐步向金融科技转变，然而，由于金融行业的安全性、实时性要求，金融科技也对技术提出了更高的要求。在金融科技领域下，利用数据仓库工具hive从金融产品的业务数据源中抽取数据至hive，通过执行大数据检测任务分析抽取至hive的数据中是否存在异常数据，从而对生产环境中的业务数据进行异常数据监控。为了提前规避数据风险，相关技术中，将生产环境的异常数据监控方案应用于每个测试环境，以对测试环境中的业务数据进行异常数据监控。但是，需要消耗大量hive资源，且测试环境中的数据稳定性较差，分析结果的准确度较低。


技术实现要素：

3.有鉴于此，本技术实施例提供一种异常数据检测方法、装置、电子设备及存储介质，以解决相关技术中，hive资源消耗大且分析结果的准确度较低的技术问题。
4.为达到上述目的，本技术的技术方案是这样实现的：
5.本技术实施例提供了一种异常数据检测方法，包括：
6.基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单；所述第一白名单中存储有至少一个字段；
7.基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表进行抽数，得到每个第一数据库表对应的第一监控表；
8.基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据；其中，
9.第一数据库表通过删除源数据库表中的索引字段，并至少新增第一设定字段得到；所述第一设定字段用于写入分区日期；所述异常监控规则由生产环境对应的设定监控规则转换得到。
10.上述方案，所述基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单，包括：
11.基于第一测试环境对应的设定过滤规则，确定出第一字段；
12.在第一测试环境对应的包含第一字段的源数据库表中，确定出第一字段相关的第二字段；
13.基于确定出的第一字段和确定出的第二字段，构建第一测试环境对应的第一白名单。
14.上述方案，所述基于第一测试环境对应的设定过滤规则，确定出第一字段，包括以
下至少之一：
15.基于设定的结构化查询语言(sql，structured query language)语句，在第一测试环境对应的第一请求相关的测试数据中，查找出第一字段；第一请求表征由前端页面发起的请求；
16.在第二请求的业务流水号对应的子系统链路完整的情况下，将业务流水号对应的第一设定字段确定为第一字段；子系统链路由执行第二请求的子系统构成；
17.在第三请求中打标的第一标记未命中第一过滤条件，且第三请求的业务流水号对应的子系统链路完整的情况下，将第三请求调用的应用程序接口api的接口参数中的第二设定字段确定为第一字段。
18.上述方案，第一数据库表中还新增有第二设定字段，所述第二设定字段用于写入系统日期；
19.所述基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表进行抽数，包括：
20.在第一测试环境完成批量日切的情况下，从第一测试环境对应的第一数据库表中，提取出第一白名单中的第三字段对应的第一记录；
21.基于第三字段的设定生命周期以及基于第一数据库表中的第一设定字段或第二设定字段，确定第三字段在第一数据库表中是否有效；
22.在第三字段在第一数据库表中有效的情况下，将提取出的第一记录写入第一数据库表对应的第一监控表。
23.上述方案，在所述基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据之前，所述方法还包括：
24.通过解析第一脚本，确定出第一映射关系和第二映射关系；其中，所述第一脚本表征用于大数据抽数的脚本；第一映射关系表征每个测试环境中的数据库和数据仓库工具hive库之间的映射关系；第二映射关系表征每个测试环境中的源数据库表与hive库中的hive表之间的映射关系；
25.基于第一映射关系、第二映射关系、存储的第三映射关系和设定转换策略，将生产环境对应的设定监控规则转换为异常监控规则；第三映射关系表征生产环境中的hive库与测试环境中的hive库之间的映射关系。
26.上述方案，所述基于确定出的第一映射关系、第二映射关系、第三映射关系和设定转换策略，将生产环境对应的设定监控规则转换为异常监控规则，包括以下之一：
27.基于第一映射关系和第三映射关系，将生产环境对应的设定监控规则中的hive库替换为测试环境中对应的数据库，得到异常监控规则；
28.基于第二映射关系，将生产环境对应的设定监控规则中的hive表替换为对应的源数据库表，得到异常监控规则；
29.基于第一设定转换策略，对生产环境对应的设定监控规则中的ds分区信息进行转换，得到异常监控规则；
30.基于第二设定转换策略，对生产环境对应的设定监控规则中的查询语言hql函数方法进行转换，得到异常监控规则；
31.按照每个测试环境的数据源支持的设定格式，将生产环境对应的设定监控规则进
行转换，得到异常监控规则。
32.上述方案，所述基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据之后，所述方法还包括：
33.在测试环境对应的总存储占比大于或等于设定阈值的情况下，清理测试环境中已失效的第一数据；其中，所述第一数据包括以下至少之一：
34.已失效的第一监控表；
35.所述第一白名单中已失效的字段和相关的第一记录。
36.上述方案，在所述清理测试环境中已失效的第一数据之前，所述方法还包括以下至少之一：
37.将前m个月对第二数据库表进行抽数得到的第一监控表，确定为失效的第一监控表；第二数据库表表征测试环境中存储占比最大的前n个数据库对应的第一数据库表；
38.将所有第一白名单中出现次数最高的前k个字段，确定为已失效的字段；
39.其中，m、n和k均为正整数。
40.上述方案，所述基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据，包括：
41.基于每个测试环境的每种测试场景对应的异常监控规则，确定每个测试环境的每种测试场景相关第一监控表中是否存在异常数据。
42.本技术还提供了一种异常数据检测装置，包括：
43.构建单元，用于基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单；所述第一白名单中存储有至少一个字段；
44.抽数单元，用于基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表进行抽数，得到每个第一数据库表对应的第一监控表；
45.异常监控单元，用于基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据；
46.其中，第一数据库表通过删除源数据库表中的索引字段，并至少新增第一设定字段得到；所述第一设定字段用于写入分区日期；所述异常监控规则由生产环境对应的设定监控规则转换得到。
47.本技术还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
48.其中，所述处理器用于运行所述计算机程序时，执行上述任一种异常数据检测方法的步骤。
49.本技术还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一种异常数据检测方法的步骤。
50.本技术实施例中，基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单；所述第一白名单中存储有至少一个字段；基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表进行抽数，得到每个第一数据库表对应的第一监控表；基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据。所述异常监控规则由生产环境对应的设定监控规则转换得到。由此，可以通过第一白名单过滤调数据噪声，提高检测结果的准确度；基于第一白名单中的字段进行抽数，并在本地
对抽取的数据进行异常数据检测，不需要抽取全量数据，可以节省测试资源，提供测试效率；也不需要利用hive将测试环境中的数据抽取至hive分区进行异常检测，不需要消耗hive资源。
附图说明
51.图1为相关技术中异常数据监控方案的示意图；
52.图2为本技术实施例提供的异常数据检测方法的实现流程示意图；
53.图3为本技术实施例提供的第一监控表的示意图；
54.图4为本技术实施例提供的构建第一白名单的实现流程示意图；
55.图5为本技术实施例提供的子系统链路的示意图；
56.图6为本技术实施例提供的基于第一白名单进行抽数的示意图；
57.图7为本技术实施例提供的基于第一白名单进行抽数的实现流程示意图；
58.图8为本技术实施例提供的确定异常监控规则的实现流程示意图；
59.图9为本技术实施例提供的异常数据检测装置的结构示意图；
60.图10为本技术实施例提供的电子设备的硬件组成结构示意图。
具体实施方式
61.相关技术中，将生产环境的异常数据监控方案应用于每个测试环境，以对测试环境中的业务数据进行异常数据监控，存在以下问题：
62.1、需要从测试环境的数据源中抽取全量库表的数据，并将抽取的数据存储至对应的hive表分区，消耗大量hive资源；例如，如图1所示，每个数据库源表对应一个hive大数据抽数任务，在需要监控100个源数据库表的情况下，每个批次需要跑100个hive抽数任务，得到100个hive表；
63.2、由于多人复用一套测试环境，因历史脏数据、每天新功能测试验证的已知缺陷(bug)、人为修改数据等问题导致测试环境中存在噪声数据，测试环境中的数据稳定性较差，进而使得分析结果的准确度较低。
64.其中，生产环境是指测试完成后上线使用的软件系统；测试环境是指
65.生产环境：是指正式提供对外服务、正式提供给客户使用的环境。测试环境一般是克隆一份生产环境的配置，一个程序在测试环境工作不正常，那么肯定不能把它发布到生产机上。
66.基于此，本技术提供了一种异常数据检测方法，基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单；所述第一白名单中存储有至少一个字段；基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表进行抽数，得到每个第一数据库表对应的第一监控表；基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据。所述异常监控规则由生产环境对应的设定监控规则转换得到。由此，可以通过第一白名单过滤调数据噪声，提高检测结果的准确度；基于第一白名单中的字段进行抽数，并在本地对抽取的数据进行异常数据检测，不需要抽取全量数据，可以节省测试资源，提供测试效率；也不需要利用hive将测试环境中的数据抽取至hive分区进行异常检测，不需要消耗hive资源。
67.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
68.图2为本技术实施例提供的异常数据检测方法的实现流程示意图，其中，流程的执行主体为终端、服务器等电子设备。如图2示出的，异常数据检测方法包括：
69.步骤201：基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单；所述第一白名单中存储有至少一个字段。
70.这里，电子设备基于每个设定过滤规则，在每个测试环境对应的数据库中，确定出至少一个字段，并根据确定出的字段，构建对应的测试环境对应的第一白名单。每个测试环境对应的第一白名单包括在该测试环境对应的数据库中确定出的所有字段。测试环境对应的数据库可以为分布式数据库。
71.设定过滤规则用于过滤分布式数据库中的噪声数据。噪声数据包括脏数据，脏数据包括至少以下之一：
72.因测试验证已知缺陷(bug)而人为修改的数据、未修改的错误数据或未清理的错误数据；
73.日期平移时导致大小月利息有偏差；
74.测试修改字段；
75.mock挡板模拟字段不全或不合理；
76.新增的克隆数据。
77.需要说明的是，电子设备在执行步骤201之前，还执行以下预处理：
78.针对每个测试环境，配置用于访问待监控的数据库的ip地址和端口，并创建该测试环境下的每个网络分区对应的所有的数据库；不同的网络分区是相互隔离的。为了区分同一个测试环境下的不同网络分区中存在的同名数据库，例如，数据通信网(dcn，data communication network)分区和另一网络分区存在同名数据库，数据库的库名可以按照测试环境-网络区域-库名的格式进行命名，以支持跨测试环境跨网络区域的数据源抽数，支持跨数据库跨数据表的异常检测规则运行，由此最大限度节省资源。
79.对源数据库表进行初始化：自动获取每个测试环境下的数据库列表，初始化数据库列表包括的每个源数据库表的表结构，得到每个源数据库表对应的初始化后的第一数据库表。如图3所示，初始化每个源数据库表的表结构包括：去掉源数据库表的表结构中的索引字段，并追加批量日期ds分区字段，还可以追加系统日期字段。需要说明的是，为了降低测试成本，本技术实施例复用针对生产环境利用hive进行抽数后使用的异常监控规则，而在生产环境中进行hive抽数(data extract)时，需要将业务数据从源数据库表中抽取出来，并写入hive表分区，因此，在第一数据库表的表结构中新增了ds分区字段，ds分区字段对应为下文中的第一设定字段，ds分区字段用于与hive表分区保持异常监控规则的一致性。其中，hive表分区(partition)：在hive select查询中一般会扫描整个hive表的内容，会消耗很多时间做没必要的工作。有时候只需要扫描hive表中关心的一部分数据，因此建立hive表时引入了partition的概念，一般以日期作为分区，当日的partition叫t日分区，上一日的partition则叫t-1日分区。两个相邻的分区在时间上相隔一个月。
80.同步更新初始化后的第一数据库表：测试环境中的源数据库表中的字段和/或字
段值可能会变更，实时监测源数据库表中的变更的字段和/或字段值，并将变更的字段和/或字段值同步更新至初始化后的第一数据库表。
81.为了准确地过滤掉噪声数据，如图3所示在一些实施例中，所述基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单，包括：
82.步骤301：基于第一测试环境对应的设定过滤规则，确定出第一字段。
83.其中，第一测试环境泛指任一测试环境。电子设备基于第一测试环境对应的设定过滤规则，在第一测试环境相关的测试数据中确定出第一字段。其中，测试数据包括源数据库表、测试用例和第一测试环境的源码中的至少之一。
84.考虑到在实际应用时，测试环境中不同来源的交易请求中的一些设定字段具有各自的特点，例如，不同来源的交易请求中的业务流水号的生成规则不同，不同请求的报文头可以进行埋点打标区分，因此，为了准确地确定出第一字段，在一些实施例中，所述基于第一测试环境对应的设定过滤规则，确定出第一字段，包括以下至少之一：
85.基于设定的sql语句，在第一测试环境对应的第一请求相关的测试数据中，查找出第一字段；第一请求表征由前端页面发起的请求；
86.在第二请求的业务流水号对应的子系统链路完整的情况下，将业务流水号对应的第一设定字段确定为第一字段；子系统链路由执行第一请求的子系统构成；
87.在第三请求中打标的第一标记未命中第一过滤条件，且第三请求的业务流水号对应的子系统链路完整的情况下，将第三测试请求调用的应用程序接口api的接口参数中的第二设定字段确定为第一字段。
88.其中，本实施例提供的设定过滤规则主要包含三大类过滤规则：业务规则过滤、系统规则过滤和交易规则过滤。
89.业务规则过滤：业务规则过滤适用于由前端页面发起的第一请求相关的测试数据。第一请求用于验证全流程上下游系统的功能连通性。为了验证全流程上下游系统的功能连通性，测试数据不会修改或mock，可针对不同的查询类型设置固定的过滤规则，通过固定的过滤规则确定出第一字段。其中，固定的过滤规则可以为设定的sql语句。
90.这里，电子设备可以基于设定的sql语句，在第一测试环境对应的第一请求相关的测试数据中，查找出第一字段。查询类型包括：单字段的in类型、单字段模糊正则匹配类型、多字段的and类型、多字段or类型中的至少一种。
91.为了防止第一字段的数量不停累加，导致后续查找和抽数的数据量过大，因此，为第一字段配置生命周期，生命周期可以默认为4t，也可以为一个软件版本的测试周期。
92.系统规则过滤：电子设备在测试环境中，可通过第二请求中的业务流水号确定出业务流水号对应的子系统链路。在第二请求采用mock挡板测试某个子系统的功能的情况下，第二请求对应的子系统链路中包含的子系统不完整，为了防止mock挡板造数干扰异常数据检测结果，本技术中支持基于子系统链路过滤噪声数据。
93.这里，电子设备在第一测试环境中检测到第二请求的情况下，基于第二请求中的业务流水号，确定出执行第二请求的所有子系统，并基于执行第二请求的所有子系统的先后顺序，确定出第二请求的业务流水号对应的子系统链路，在确定出的子系统链路包括所有子系统的情况下，表征子系统链路完整，将该业务流水号对应的第一设定字段确定为第一字段。第一设定字段表征业务流水号对应的任一设定字段。在子系统链路中缺失至少一
个子系统的情况下，子系统链路不完整。第一设定字段包括身份证号码和/或贷款卡号等。
94.实际应用时，可以利用业务流水号对应的子系统链路，对业务流水号对应的第一设定字段进行打标，在第一设定字段打标的子系统链路完整的情况下，将第一设定字段确定为第一字段。示例性地，如图5所示，设定字段key1经过子系统链路a、b、c和d；设定字段key2经过子系统链路a、b和c，子系统d走的mock挡板返回。将设定字段key1打标为abcd，将设定字段key2打标为abc，由于设定字段key1对应的子系统链路中包含了所有子系统abcd，而设定字段key2对应的子系统链路中缺失了d，因此，将设定字段key1确定为第一字段，将设定字段key2确定为噪声数据，并丢弃设定字段key2。
95.交易规则过滤：自动化案例执行平台，支持对不同请求的报文头进行埋点打标，从而区分不同的请求。
96.这里，电子设备检测在执行测试用例的过程中发起的第三请求，识别出第三请求中打标的第一标记，并确定第三请求中打标的第一标记是否命中第一过滤条件，在第三请求中打标的第一标记未命中第一过滤条件的情况下，确定第三请求的业务流水号对应的子系统链路是否完整；在第三请求的业务流水号对应的子系统链路完整的情况下，将第三请求调用的应用程序接口(api，application programming interface)的接口参数中的第二设定字段确定为第一字段。在第三请求的流水号对应的子系统链路不完整的情况下，将第三请求调用的api的接口参数中的第二设定字段确定为噪声数据，并丢弃该噪声数据。第二设定字段表征api的接口参数对应的任一设定字段。
97.其中，第一过滤条件基于在第三请求中的报文头进行埋点打标的标记设置。
98.示例性地，通过执行基础案例集和冒烟全流程案例集中的测试用例，发起第三请求时，在第三请求的报文头扩展字段中进行埋点打标的第一标记为y，调用api上传接口参数时，在接口参数中也打标y。
99.通过执行回归案例集中的超时及异常检查测试用例，发起第三请求时，在第三请求的报文头扩展字段中进行埋点打标的第一标记为n，调用api上传接口参数时，在接口参数中也打标n。
100.实际应用时，第一过滤条件表征第一标记为n。电子设备可以通过公共runcase接口上传接口参数。
101.步骤302：在第一测试环境对应的包含第一字段的源数据库表中，确定出第一字段相关的第二字段。
102.这里，电子设备在确定出第一字段的情况下，在第一测试环境对应的所有源数据库表中，确定出包含第一字段的源数据库表；在包含第一字段的源数据库表中查找与第一字段相关的第二字段。在实际应用时，第一字段包括贷款卡号card_no或者身份证号id_no。
103.下面以查找一个第一字段相关的第二字段为例进行说明：
104.首先，将第一字段作为种子字段，在第一测试环境对应的所有源数据库表查找包含种子字段的源数据库表；在包含种子字段的源数据库表中，确定出该源数据库表对应的主键字段或索引字段；将确定出的主键字段或索引字段作为新的种子字段，并基于确定出的主键字段或索引字段作为新的种子字段，遍历第一测试环境对应的所有源数据库表，从而在包含新的种子字段源数据库表中，再次确定出该源数据库表对应的主键字段或索引字段。如此，可以确定出与第一字段相关的所有第二字段。第二字段包括新的种子字段和由新
的种子字段确定出的主键字段或索引字段。
105.其中，在确定出的索引字段对应的枚举值小于源数据库表的总记录数的情况下，不作为新的种子字段。
106.步骤303：基于确定出的第一字段和确定出的第二字段，构建第一测试环境对应的第一白名单。
107.这里，电子设备将在步骤302中确定出的所有第一字段和第二字段，写入第一测试环境对应的第一白名单。
108.步骤202：基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表进行抽数，得到每个第一数据库表对应的第一监控表；第一数据库表通过删除源数据库表中的索引字段，并至少新增第一设定字段得到；所述第一设定字段用于写入分区日期。
109.这里，第一数据库表是指对测试环境中的数据库的源数据库表的表结构进行初始化后的第一数据库表。第一监控表的表结构与第一数据库表的表结构相同。第一数据库表的表结构不包括索引字段，且至少包括第一设定字段。第一设定字段用于写入分区日期，也称批量日期。第一数据库表与数据库相对应。实际应用时，电子设备按照图6进行抽数。
110.在一些实施例中，每个第一数据库表的表结构中还包括第二设定字段，所述第二设定字段用于写入系统日期。
111.电子设备基于第一测试环境对应的第一白名单，在第一测试环境对应的第一数据库表中查找第一白名单包含的每个字段，并从第一测试环境对应的每个第一数据库表中抽取查找到的字段对应的表记录，基于从每个第一数据库表中抽取出的表记录，构建对应的第一数据库表对应的第一监控表。其中，第一测试环境表征任一测试环境。电子设备按照上述方法可以得到每个测试环境对应的每个第一数据库表对应的第一监控表。
112.在本技术实施例中，电子设备基于第一白名单中的字段进行抽数，不需要针对测试环境中的第一数据库表进行全量抽数，可以节省测试资源，提高抽数效率。
113.在一些实施例中，每个第一数据库表的表结构中还包括第二设定字段，所述第二设定字段用于写入系统日期；
114.为了避免将失效的数据写入第一监控表，提高第一监控表中数据的准确度，如图7所示，在一些实施例中，所述基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表中每个第一数据库表进行抽数，包括：
115.步骤701：在第一测试环境完成批量日切的情况下，从第一测试环境对应的第一数据库表中，提取出第一白名单中的第三字段对应的第一记录；
116.其中，第一测试环境完成批量日切是指第一测试环境下的所有系统完成日切。日切是指更换系统记账的时间，也就是系统从当前工作日切换到下一工作日。第三字段表征第一白名单中的任一字段，第三字段可以是上文所述的第一白名单中的第一字段或第二字段。第一记录是指第三字段在第一数据库表中对应的一条表记录。
117.在实际应用中，第一数据库表按照测试环境-网络区域-库名的格式进行命名，因此，电子设备可以在第一测试环境下的每个网络区域对应的第一数据库表中，提取出第一白名单中的第三字段对应的第一记录。
118.步骤702：基于第三字段的设定生命周期以及基于第一数据库表中的第一设定字
段或第二设定字段，确定第三字段在第一数据库表中是否有效。
119.这里，在电子设备基于第三字段的设定生命周期，以及基于第一数据库表中第一设置字段的字段值或第二设定字段的字段值，确定出第三字段对应的生效时间范围，并根据当前时间判断第三字段是否处于生效时间范围内。在第三字段处于生效时间范围内的情况下，第三字段在第一数据库表中有效；在第三字段未处于生效时间范围内的情况下，第三字段在第一数据库表中失效。
120.其中，可通过以下两种方式确定出第三字段对应的生效时间范围：
121.方式一，在设定生命周期为4t的情况下，基于第一数据库表中第一设置字段的字段值(即，分区日期)，确定出第三字段对应的生效时间范围。此时，该生效时间范围的起始时间为分区日期，该生效时间范围的截止时间与对应的起始时间之间相隔4个月。例如，在分区日期为2021年08月26日的情况下，生效时间范围为2021.08.26至2021.12.25。
122.方式二：在设定生命周期为一个软件版本的测试周期的情况下，基于软件版本的测试周期对应的测试天数和第三设定字段的字段值(即，系统日期)，确定出第三字段对应的生效时间范围。此时，该生效时间范围的起始时间为第三字段对应的系统日期。该生效时间范围的截止时间由系统日期和软件版本的测试周期对应的天数为20确定出。
123.步骤703：在第三字段在第一数据库表中有效的情况下，将提取出的第一记录写入第一数据库表对应的第一监控表。
124.其中，第一监控表包括第一设定字段和第二设定字段。
125.电子设备在第三字段在第一数据库表中有效的情况下，将提取出的第一记录写入第一数据库表对应的第一监控表，基于第一数据库表中第一设定字段对应的分区日期更新第一监控表中第一设定字段的字段值，将第一数据表中第二设定字段对应的系统日期写入第一监控表中第二设定字段。
126.其中，第二设定字段在第一数据库表和第一监控表中对应的字段值相同。第一设定字段在第一数据库表中对应的分区日期早于在第一监控表中对应的分区日期。不同的第一监控表中的分区日期不同。
127.需要说明的是，电子设备执行步骤501至步骤503，完成一次抽数。在实际应用时，电子设备在同一天可以进行多次抽数，电子设备可以生成抽数日志，抽数日志中包括每个第一监控表中的分区日期。
128.步骤203：基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据；其中，所述异常监控规则表征应用于分布式数据库的异常监控规则，由生产环境对应的设定监控规则转换得到。
129.这里，电子设备基于设定转换策略，将生产环境对应的设定监控规则，转换为适用于测试环境的异常监控规则，并基于转换得到的异常监控规则对每个测试环境对应的每个第一监控表中的数据进行检测，从而确定每个测试环境对应的第一监控表中是否存在异常数据。通过检测第一监控表中是否存在异常数据，来检测监控金融产品业务数据是否存在非预期的结果，从而保证数据准确度和完备度质量。
130.其中，生产环境对应的设定监控规则是指生产环境中利用hive进行抽数后使用的异常监控规则。设定转换策略用于对生产环境对应的设定监控规则进行转换。设定转换策略可以根据实际情况进行设置。需要说明的是，异常监控规则可以为多条。异常监控规则用
于检查第一监控表的字段值、字段之间关系、第一监控表之间的字段关系是否正常，异常监控规则可以是sql语句或者复杂的逻辑。
131.需要说明的是，电子设备在首次检测第一监控表中是否存在异常数据的情况下，利用异常监控规则对第一监控表中的全量数据进行检测；在非首次检测第一监控表中是否存在异常数据的情况下，可以利用异常监控规则仅对第一监控表中的增量数据进行检测。
132.本技术实施例中，基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单；所述第一白名单中存储有至少一个字段；基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表进行抽数，得到每个第一数据库表对应的第一监控表；基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据。所述异常监控规则由生产环境对应的设定监控规则转换得到。由此，可以通过第一白名单过滤调数据噪声，提高检测结果的准确度；基于第一白名单中的字段进行抽数，并在本地对抽取的数据进行异常数据检测，不需要抽取全量数据，可以节省测试资源，提供测试效率；也不需要利用hive将测试环境中的数据抽取至hive分区进行异常检测，不需要消耗hive资源。
133.为了复用生产环境中已有的异常数据的检测规则，在一些实施例中，在步骤203之前，还通过以下步骤确定出异常监控规则：
134.步骤801：通过解析第一脚本，确定出第一映射关系和第二映射关系；其中，所述第一脚本表征用于大数据抽数的脚本；第一映射关系表征每个测试环境中的数据库和数据仓库工具hive库之间的映射关系；第二映射关系表征每个测试环境中的源数据库表与hive库中的hive表之间的映射关系。
135.这里，第一脚本表征用于大数据抽数的脚本。电子设备从git代码仓库中确定出第一脚本，并解析第一脚本，得到解析结果；基于解析结果中的设定关键字和设定的正则规则，确定出每个测试环境中的数据库和hive库之间的映射关系，得到第一映射关系；以及确定出每个测试环境中的源数据库表与hive库中的hive表之间的映射关系，得到第二映射关系。其中，解析结果中包括数据仓库工具hive库的标识和hive表的标识。设定关键字由hive库的标识和hive表的标识确定出。
136.步骤802：基于第一映射关系、第二映射关系、存储的第三映射关系和设定转换策略，将生产环境对应的设定监控规则转换为异常监控规则；第三映射关系表征生产环境中的hive库与测试环境中的hive库之间的映射关系。
137.这里，考虑到在搭建测试环境时，可能对测试环境下的hive库进行修改，从而导致测试环境下的hive库的名称和生产环境下的hive库的名称不同，因此，电子设备中预先存储了第三映射关系，第三映射关系表征生产环境中的hive库与测试环境中的hive库之间的映射关系。
138.电子设备基于第一映射关系和第三映射关系，确定出生产环境中的hive库与测试环境中的数据库之间的映射关系，基于生产环境中的hive库与测试环境中的数据库之间的映射关系，以及基于第二映射关系，将生产环境对应的设定监控规则转换为适用于测试环境的异常监控规则。
139.为了获得准确的异常监控规则，从而提高异常检测结果的准确度，在一些实施例中，在步骤602中，所述基于确定出的第一映射关系、第二映射关系、第三映射关系和设定转
换策略，将生产环境对应的设定监控规则转换为异常监控规则，包括以下之一：
140.基于第一映射关系和第三映射关系，将生产环境对应的设定监控规则中的hive库替换为测试环境中对应的数据库，得到异常监控规则；
141.基于第二映射关系，将生产环境对应的设定监控规则中的hive表替换为对应的源数据库表，得到异常监控规则；
142.基于第一设定转换策略，对生产环境对应的设定监控规则中的ds分区信息进行转换，得到异常监控规则；
143.基于第二设定转换策略，对生产环境对应的设定监控规则中的查询语言(hql，hibernate query language)函数方法进行转换，得到异常监控规则；
144.按照每个测试环境的数据源支持的设定格式，将生产环境对应的设定监控规则进行转换，得到异常监控规则。
145.这里，电子设备基于第一映射关系和第三映射关系，确定出生产环境中的hive库与测试环境中的数据库之间的映射关系，基于生产环境中的hive库与测试环境中的数据库之间的映射关系，将生产环境对应的设定监控规则中的hive库替换为测试环境中对应的数据库，从而实现库名转换，得到异常监控规则。
146.电子设备可以基于第二映射关系表征每个测试环境中的源数据库表与hive库中的hive表之间的映射关系，将生产环境对应的设定监控规则中的hive表替换为对应的源数据库表，得到异常监控规则，可以实现表名转换。
147.由于设定监控规则的sql语句中ds分区信息，与测试环境中的第一数据库表中ds分区信息不一致，例如，ds分区的写法不一致，因此，电子设备基于第一设定转换策略，对生产环境对应的设定监控规则中的ds分区信息进行转换，得到异常监控规则，从而使得转换后的ds分区信息与测试环境中的第一数据库表中的ds分区信息保持一致。第一设定转换策略基于设定监控规则的sql语句中ds分区信息和测试环境中的第一数据库表中ds分区信息进行设置。
148.电子设备还可以基于测试环境中第一数据库表的字段，对生产环境中的设定监控规则中的字段进行大小写转换，得到异常监控规则。
149.考虑到生产环境对应的设定监控规则中还可能涉及hive支持的hql函数方法，因此，电子设备中还存储有第二设定转换策略，在检测到生产环境对应的设定监控规则中存在hql函数方法，基于第二设定转换策略，对该设定监控规则中的hql函数方法进行转换，得到适用于测试环境的对应函数方法，从而得到对应的异常监控规则。第二设定转换策略用于在测试环境中实现hive支持的hql函数方法。实际应用时，hive支持的hql函数方法包括get_json_object()方法，用于解析表字段中的json字段获取每个键值对。
150.考虑到不同的测试环境的数据库的类型可能不同，不同的数据库中的数据源支持的格式可能不同，电子设备按照每个测试环境的数据源支持的设定格式，将生产环境对应的设定监控规则进行转换，得到每种数据源对应的异常监控规则。由此，可以方便后续在不同的测试场景下，将同一批异常检测规则应用于不同的数据源。其中，数据源支持的设定格式至少包括本地数据库tdsq支持的数据格式，还可以包括大数据hql支持的数据格式，和/或，mysql支持的数据格式。
151.需要说明的是，电子设备也可以新增应用于测试环境的异常监控规则，将新增的
异常监控规则，逆转换为适用于生产环境的异常监控规则，并同步将新增的异常监控规则同步至生产环境对应的监控规则库。逆转换的原理与上述方法类似，此处不赘述。
152.考虑到同一个测试环境可能存在不同的测试场景，不同的测试场景对应的数据源可能不同，对应的异常监控规则也不同，为了提高异常检测效率，在一些实施例中，在步骤203中，所述基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据，包括：
153.基于每个测试环境的每种测试场景对应的异常监控规则，确定每个测试环境的每种测试场景相关第一监控表中是否存在异常数据。
154.这里，电子设备基于第一测试环境对应的每个测试场景，从异常监控规则集合中，确定出每个测试场景对应的异常监控规则，基于每个测试场景对应的异常监控规则，对对应的测试场景相关的第一监控表中的数据进行检测，从而确定出对应的测试场景相关的第一监控表中是否存在异常数据。其中，异常监控规则集合表征适用于测试环境的异常监控规则的集合，异常监控规则集合中包括多个异常监控规则。
155.实际应用时，电子设备针对不同的测试场景相关的第一监控表中数据源的类型，对异常监控规则集合中的第一集合进行分组，每个测试场景对应的一组异常监控规则，该组异常监控规则可以是关于hql的异常监控规则、关于tdsql的异常监控规则或关于mysql的异常监控规则。其中，测试场景包括检测跑批通用数据、测试发布的软件版本、测试hql规则的有效性。
156.示例性地，在检测跑批通用数据的测试场景下，利用关于tdsql的一组异常监控规则，检测批前和批后的跑批通用数据中是否存在异常数据，由此可避免由于脏数据导致跑批时断批，有效降低测试人员事后介入处理的时间成本。其中，跑批也称批处理，也就是对某对象进行批量的处理。
157.在软件版本的测试周期内，读取每个测试环境对应的每个第一监控表中的第一设定字段对应的ds分区日期，针对相同的ds分区日期，批量运行该测试场景的数据源对应的关于mysql的一组异常监控规则，从而检测每个测试环境的每个网络分区中的测试数据，确定出每个测试环境的每个网络分区中是否存在异常数据。其中，通过相同的异常监控规则在不同的网络分区中检测出异常数据时，对不同分区的异常数据进行去冗余处理，从而删除相同的异常数据，并将处理后的异常数据反馈给相关的测试人员，以便相关的测试人员基于反馈的异常数据分析出导致异常的根因，并将分析出的根因和对应的异常数据反馈给相关的开发人员。例如，在导致异常的根因包括源码缺陷。
158.在测试hql规则的有效性的测试场景下，电子设备通过关于hql的异常监控规则，对相关的第一监控表中的数据进行异常检测，基于检测结果和设定的预期检测结果，验证关于hql的异常监控规则是否有效。由此，可以提前测试并验证规则的有效性，提升异常检测规则的质量，降低误报率。
159.为了节省存储空间，在一些实施例中，在所述基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据之后，所述方法还包括：
160.在测试环境对应的总存储占比大于或等于设定阈值的情况下，清理测试环境中已失效的第一数据；其中，所述第一数据包括以下至少之一：
161.已失效的第一监控表；
162.所述第一白名单中已失效的字段和相关的第一记录。
163.这里，测试环境对应的总存储占比是指所有测试环境对应的存储占比之和。
164.电子设备基于每个测试环境对应的每个数据库中的数据所占的存储空间以及基于存储区域的总存储空间，确定出每个测试环境对应的每个数据库的存储占比，并将每个测试环境对应的每个数据库的存储占比之和，确定为测试环境对应的总存储占比。或者，电子设备也可以基于每个测试环境对应的每个数据库中的数据所占的存储空间，确定出所有数据库中的数据所占的第一总存储空间；基于确定出的第一总存储空间和存储区域对应的第二总存储空间，确定出测试环境对应的总存储占比。
165.在测试环境对应的总存储占比大于或等于设定阈值的情况下，启动数据清理流程，确定出测试环境中已失效的第一数据，并清理已失效的第一数据。其中，
166.在第一数据包括已失效的第一监控表的情况下，电子设备在对应的测试环境中删除已失效的第一监控表。
167.在第一数据包括第一白名单中已失效的字段的情况下，在对应的第一白名单中删除已失效的字段，并基于第一白名单中已失效的字段，从对应的测试环境对应的数据库中，确定出第一白名单中已失效的字段相关的第一记录，并删除确定出的第一记录。需要说明的是，确定第一白名单中已失效的字段相关的第一记录的方法，与上文确定第一白名单中的第三字段对应的第一记录的方法类似，此处不赘述。
168.为了准确地确定出测试环境中已失效的第一数据，在一些实施例中，在所述清理测试环境中已失效的第一数据之前，所述方法还包括以下至少之一：
169.将前m个月对第二数据库表进行抽数得到的第一监控表，确定为失效的第一监控表；第二数据库表表征存储占比最大的前n个数据库对应的第一数据库表；
170.将所有第一白名单中出现次数最高的前k个字段，确定为已失效的字段；其中，m、n和k均为正整数。
171.这里，测试环境对应的总存储占比大于或等于设定阈值的情况下，电子设备将每个测试环境对应的每个数据库的存储占比进行排序，得到排序后的存储占比；从排序后的存储占比中选出存储占比最大的前n个数据库；基于确定出的n个数据库中每个数据库对应的第二数据库表中第二设定字段对应的系统日期，确定出在当前日期之前的m个月的第二数据库表，将确定出的前m个月的第二数据库表对应的第一监控表，确定为已失效的第一监控表。
172.基于确定出的n个数据库中每个数据库对应的第二数据库表中第二设定字段对应的系统日期，对第二数据库表进行排序，确定出排序后的第二数据库表对应的系统日期与当前日期之间相隔的时长，并
173.在实际应用时，存储占比对应的设定阈值为90％，m为3。电子设备可以基于n个数据库中每个数据库对应的第二数据库表中第二设定字段对应的系统日期，对第二数据库表进行排序，得到排序后的第二数据库表；确定出排序后的第二数据库表对应的系统日期与当前日期之间相隔的时长，在确定出的时长大于或等于m个月的情况下，将对应的第二数据库表对应的第一监控表，确定为已失效的第一监控表。在最早的系统日期与当前日期之间相隔的时长小于m个月的情况下，说明所有第二数据库表对应的第一监控表均有效。
174.在清理失效的第一监控表之后，电子设备再次判断测试环境对应的总存储占比是
否大于或等于设定阈值，在测试环境对应的总存储占比是否大于或等于设定阈值的情况下，表征需要清理第一白名单中已失效的字段。电子设备基于每个测试环境对应的第一白名单中包括的字段，确定出每个字段的出现次数，将出现次数最高的前k个字段，确定为已失效字段。电子设备可以将出现次数最高的前k个字段设置为失效，例如，将出现次数最高的前k个字段对应的生效时间设置为失效。
175.为实现本技术实施例的方法，本技术实施例还提供了一种异常数据检测装置，如图9所示，该异常数据检测装置包括：
176.构建单元91，用于基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单；所述第一白名单中存储有至少一个字段；
177.抽数单元92，用于基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表进行抽数，得到每个第一数据库表对应的第一监控表；
178.异常监控单元93，用于基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据；
179.其中，第一数据库表通过删除源数据库表中的索引字段，并至少新增第一设定字段得到；所述第一设定字段用于写入分区日期；所述异常监控规则由生产环境对应的设定监控规则转换得到。
180.在一些实施例中，构建单元91具体用于：
181.基于第一测试环境对应的设定过滤规则，确定出第一字段；
182.在第一测试环境对应的包含第一字段的源数据库表中，确定出第一字段相关的第二字段；
183.基于确定出的第一字段和确定出的第二字段，构建第一测试环境对应的第一白名单。
184.在一些实施例中，构建单元91具体用于：
185.基于设定的结构化查询语言sql语句，在第一测试环境对应的第一请求相关的测试数据中，查找出第一字段；第一请求表征由前端页面发起的请求；
186.在第二请求的业务流水号对应的子系统链路完整的情况下，将业务流水号对应的第一设定字段确定为第一字段；子系统链路由执行第二请求的子系统构成；
187.在第三请求中打标的第一标记未命中第一过滤条件，且第三请求的业务流水号对应的子系统链路完整的情况下，将第三请求调用的应用程序接口api的接口参数中的第二设定字段确定为第一字段。
188.在一些实施例中，第一数据库表中还新增有第二设定字段，所述第二设定字段用于写入系统日期；抽数单元92具体用于：
189.在第一测试环境完成批量日切的情况下，从第一测试环境对应的第一数据库表中，提取出第一白名单中的第三字段对应的第一记录；
190.基于第三字段的设定生命周期以及基于第一数据库表中的第一设定字段或第二设定字段，确定第三字段在第一数据库表中是否有效；
191.在第三字段在第一数据库表中有效的情况下，将提取出的第一记录写入第一数据库表对应的第一监控表。
192.在一些实施例中，该异常数据检测装置还包括：
193.第一确定单元，用于通过解析第一脚本，确定出第一映射关系和第二映射关系；其中，所述第一脚本表征用于大数据抽数的脚本；第一映射关系表征每个测试环境中的数据库和数据仓库工具hive库之间的映射关系；第二映射关系表征每个测试环境中的源数据库表与hive库中的hive表之间的映射关系；
194.转换单元，用于基于第一映射关系、第二映射关系、存储的第三映射关系和设定转换策略，将生产环境对应的设定监控规则转换为异常监控规则；第三映射关系表征生产环境中的hive库与测试环境中的hive库之间的映射关系。
195.在一些实施例中，所述转换单元具体用于执行以下至少之一：
196.基于第一映射关系和第三映射关系，将生产环境对应的设定监控规则中的hive库替换为测试环境中对应的数据库，得到异常监控规则；
197.基于第二映射关系，将生产环境对应的设定监控规则中的hive表替换为对应的源数据库表，得到异常监控规则；
198.基于第一设定转换策略，对生产环境对应的设定监控规则中的ds分区信息进行转换，得到异常监控规则；
199.基于第二设定转换策略，对生产环境对应的设定监控规则中的查询语言hql函数方法进行转换，得到异常监控规则；
200.按照每个测试环境的数据源支持的设定格式，将生产环境对应的设定监控规则进行转换，得到异常监控规则。
201.在一些实施例中，该异常数据检测装置还包括：
202.清理单元，用于在测试环境对应的总存储占比大于或等于设定阈值的情况下，清理测试环境中已失效的第一数据；其中，所述第一数据包括以下至少之一：
203.已失效的第一监控表；
204.所述第一白名单中已失效的字段和相关的第一记录。
205.在一些实施例中，该异常数据检测装置还包括第二确定单元，用于执行以下至少之一：
206.将前m个月对第二数据库表进行抽数得到的第一监控表，确定为失效的第一监控表；第二数据库表表征测试环境中存储占比最大的前n个数据库对应的第一数据库表；
207.将所有第一白名单中出现次数最高的前k个字段，确定为已失效的字段；
208.其中，m、n和k均为正整数。
209.在一些实施例中，异常监控单元93具体用于：
210.基于每个测试环境的每种测试场景对应的异常监控规则，确定每个测试环境的每种测试场景相关第一监控表中是否存在异常数据。
211.实际应用时，异常数据检测装置包括的各单元可通过异常数据检测装置中的处理器，比如中央处理器(cpu，central processing unit)、数字信号处理器(dsp，digital signal processor)、微控制单元(mcu，microcontroller unit)或可编程门阵列(fpga，field－programmable gate array)等实现。
212.需要说明的是：上述实施例提供的异常数据检测装置在进行异常数据检测时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全
部或者部分处理。另外，上述实施例提供的异常数据检测装置与异常数据检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
213.基于上述程序模块的硬件实现，且为了实现本技术实施例的方法，本技术实施例还提供了一种电子设备。图10为本技术实施例提供的电子设备的硬件组成结构示意图，如图10所示，电子设备10包括：
214.通信接口110，能够与其它设备比如网络设备等进行信息交互；
215.处理器120，与所述通信接口110连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的异常数据检测方法。而所述计算机程序存储在存储器130上。
216.当然，实际应用时，电子设备10中的各个组件通过总线系统140耦合在一起。可理解，总线系统140用于实现这些组件之间的连接通信。总线系统140除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统140。
217.本技术实施例中的存储器130用于存储各种类型的数据以支持电子设备10的操作。这些数据的示例包括：用于在电子设备10上操作的任何计算机程序。
218.可以理解，存储器130可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本技术实施例描述的存储器130旨在包括但不限于这些和任意其它适合类型的存储器。
219.上述本技术实施例揭示的方法可以应用于处理器120中，或者由处理器120实现。处理器120可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器120中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器120可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器120可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的
方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器130，处理器120读取存储器130中的程序，结合其硬件完成前述方法的步骤。
220.可选地，所述处理器120执行所述程序时实现本技术实施例的各个方法中由终端实现的相应流程，为了简洁，在此不再赘述。
221.在示例性实施例中，本技术实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的第一存储器130，上述计算机程序可由终端的处理器120执行，以完成前述方法所述步骤。计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flash memory、磁表面存储器、光盘、或cd-rom等存储器。
222.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
223.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
224.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
225.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
226.需要说明的是，本技术实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
227.需要说明的是，本技术实施例中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多个中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
228.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。