实时数仓的风控联动预警方法、系统、设备及存储介质与流程

本申请涉及电子商务平台准实时数仓建设技术领域，尤其是涉及一种实时数仓的风控联动预警方法、系统、设备及存储介质。

背景技术：

数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合，通过对数据仓库中数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。数据仓库为数据最终的目的地做好准备，这些准备包括对数据的清洗、转义、分类、重组、合并、拆分、统计等等。

实时数仓是对实时数据进行采集、同步、计算，并得到结果数据，以供业务方使用。实时数仓能够对外提供分钟级别、甚至秒级别的查询方案。

相关技术中，实时数仓的大数据指标监控机制不健全，缺乏完善的预警监控机制。

技术实现要素：

为了改善上述大数据指标监控机制不健全，缺乏完善的预警监控机制的问题，本申请提供了一种实时数仓的风控联动预警方法、系统、设备及存储介质。

第一方面，本申请提供了实时数仓的风控联动预警方法。

实时数仓的风控联动预警方法，包括：

预警模型配置，基于业务预先配置不同业务的风控预警模型；

数据预警指标定义，基于标准mysql数据库定义数据不同风险区间的风险指标，包括授信指标、黑名单指标、白名单指标；

预警指标取数，为不同业务的风控预警模型配置对应的数据预警指标；

数据抽取，基于业务将mysql数据库中的数据抽取至消息队列kafka中；

数据转换，基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列kafka中的数据进加，包括：设置默认值、数据汇总、以其他数据库的数据作为取值条件，以及上传脚本描述；

数据加载，基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库；

风险指标计算，计算数据的风险指标；

预警监控，基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控。

通过采用上述技术方案，实现了大数据指标风控联动机制，针对平台异常交易订单、资金风险安全控制。

优选的，所述风控预警模型为基于业务配置其各标准mysql数据库的预警条件。

优选的，所述预警指标取数具体为：为不同业务的风控预警模型中对应的预警条件配置不同风险区间的数据预警指标。

优选的，所述风险指标计算具体为计算各标准mysql数据库内各数据风险指标值。

优选的，所述基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控包括：

基于风控预警模型提取对应标准mysql数据库内各数据风险指标值；

将提取的标准mysql数据库内各数据风险指标值与其对应的数据预警指标进行比对，区分数据风险区间。

优选的，数据抽取步骤具体为：通过伪装成mysql的slave获取数据的binlog日志，并进行解析，并将解析到的数据发往kafka队列中。

优选的，将解析的binlog日志进度的标识保存至redis中，通过改变redis中相应的数值，以切换binlog的解析进度；同时，通过zookeeper实现分布多节点。

优选的，所述数据转换和数据加载在同一个consumer服务器控件中完成，consumer消费kafka中的加工前的原始数据；

consumer服务器控件从在mysql数据库中获取转换策略，然后通过动态代理成对象，将相应的转换策略保存至该代理对象中；

consumer服务器控件从kafka中消费加工前的原始数据，根据原始数据找到对应的动态代理对象，该动态代理对象根据配置中的转换策略对原始数据进加；

再根据配置的数据来源地和目标地的对应关系将加工好的数据存储至标准mysql数据库。

第二方面，本申请提供了实时数仓的风控联动预警系统。

实时数仓的风控联动预警系统，包括：

数据抽取单元，用于将mysql数据库中的数据抽取至消息队列kafka中；

转换策略配置单元，用于配置数据的转换策略；

溯源关系配置单元，用于配置数据来源地和目标地的对应关系，并存储至mysql数据库；

预警模型配置单元，用于基于业务配置不同业务的风控预警模型；

数据预警指标配置单元，用于基于标准mysql数据库定义数据不同风险区间的风险指标；

预警指标取数，用于为不同业务的风控预警模型配置对应的数据预警指标；

数据转换单元，用于基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列kafka中的数据进加；

数据加载单元，用于基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库；

风险指标计算单元，用于计算数据的分享指标；

预警监控单元，用于基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控。

第三方面，本申请提供了一种计算机设备。

一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述实时数仓的风控联动预警方法的计算机程序。

第四方面，本申请提供了一种计算机可读存储介质。

一种计算机可读存储介质，存储有能够被处理器加载并执行上述实时数仓的风控联动预警方法的计算机程序。

综上所述，本申请提供的一种实时数仓自动etl方法、系统、设备及计算机存储介质包括以下至少一种有益技术效果：

2、实现了大数据指标风控联动机制，针对平台异常交易订单、资金风险安全控制；

1、通过全程配置化所有的数据etl需求可通过程序配置进完成，无需编写代码，代码、程序安全健壮：所有的数据都会被精确地处理批次，不丢失不重复，及时来源端记录数据到被处理后进标准数据库中间耗时极短在数秒之间；

2、通过将解析的binlog日志进度的标识保存至redis中，通过改变redis中相应的数值，以切换binlog的解析进度，便于维护用户可以根据需求随意控制数据etl的进度条。

附图说明

图1为本申请提供的实时数仓自动etl及风控联动预警系统的模块示意图。

1、数据抽取单元；2、配置单元；21、转换策略配置单元；22、溯源关系配置单元；23、预警模型配置单元；24、数据预警指标配置单元；25、预警指标取数；3、数据转换单元；4、数据加载单元；5、风险指标计算单元；6、预警监控单元。

具体实施方式

以下结合附图对本申请作进一步详细说明。

本申请首先提供了实时数仓自动etl方法，包括：

数据抽取，将mysql数据库中的数据抽取至消息队列kafka中，具体包括：

通过伪装成mysql的slave获取数据的binlog日志，并进行解析，并将解析到的数据发往kafka队列中；

为了确保数据安全不丢失，将解析的binlog日志进度的标识保存至redis中，维护人员可以通过改变redis中相应的数值，随意切换binlog的解析进度，以切换binlog的解析进度，从而提高灵活性；同时，通过zookeeper实现分布多节点；如果正在解析binlog的dam因为网络等原因导致不可，那么备的dam就会无缝接替，继续抽取数据；

综上，用户只需在上配置界面添加数据库名和slave表名就能将相应的数据抽取到kafka队列中。

数据转换，进入kafka的数据只是原始的数据，在多数情况下，需要对数据进加，如默认值、数据汇总、甚至是以其他数据库的数据作为取值条件等等，因此，基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列kafka中的数据进加，包括：设置默认值、数据汇总、以其他数据库的数据作为取值条件，以及上传脚本描述中的一种或多种。

数据加载，将加好的数据加载标准mysql数据库，基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库。

在本申请此实施方式中，数据转换和数据加载在同一个consumer服务器控件中完成，consumer消费kafka中的加工前的原始数据，即利用监听mysql数据库binlog日志的方式实现实时数据仓库，利用kafka消息队列进行数据传输，利用java程序实现etl程序自动生成。具体为：

consumer服务器控件从在mysql数据库中获取转换策略，然后通过动态代理成对象，将相应的转换策略保存至该代理对象中；

consumer服务器控件从kafka中消费加工前的原始数据，根据原始数据找到对应的动态代理对象，该动态代理对象根据配置中的转换策略对原始数据进加；

再根据配置的数据来源地和目标地的对应关系将加工好的数据存储至标准mysql数据库。

若原始数据成功转换并加载至标准mysql数据库，consumer服务器控件将消费进度提交给kafka，且consumer服务器控件继续正常消费；

若消费过程中出现错误，consumer服务器控件则将当前的消费进度保存至redis中待修复，在错误修复后，consumer服务器控件从redis中读档，然后继续消费。

为了完善实时数仓的大数据指标监控机制，可以预先对实时数仓进行风控联动预警配置，具体包括：

预警模型配置，基于业务预先配置不同业务的风控预警模型，即基于业务配置其各标准mysql数据库的预警条件；

数据预警指标定义，基于标准mysql数据库定义数据不同风险区间的风险指标，包括授信指标、黑名单指标、白名单指标；

预警指标取数，为不同业务的风控预警模型配置对应的数据预警指标，即为不同业务的风控预警模型中对应的预警条件配置不同风险区间的数据预警指标。

在将数据加载至标准mysql数据库后，即进行各标准mysql数据库内各数据风险指标值的计算，然后进行预警监控，即基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控，具体包括：

基于风控预警模型提取对应标准mysql数据库内各数据风险指标值；

将提取的标准mysql数据库内各数据风险指标值与其对应的数据预警指标进行比对，区分数据风险区间。

本申请还公开了实时数仓自动etl及风控联动预警系统，包括：

数据抽取单元1，用于将mysql数据库中的数据抽取至消息队列kafka中；

配置单元2，用于配置数据的转换策略以及数据来源地和目标地的对应关系，并存储至mysql数据库，以及配置预警方案，具体包括：

转换策略配置单元21，用于配置数据的转换策略；

溯源关系配置单元22，用于配置数据来源地和目标地的对应关系，并存储至mysql数据库；

预警模型配置单元23，用于基于业务配置不同业务的风控预警模型；

数据预警指标配置单元24，用于基于标准mysql数据库定义数据不同风险区间的风险指标；

预警指标取数25，用于为不同业务的风控预警模型配置对应的数据预警指标；

数据转换单元3，用于基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列kafka中的数据进加；

数据加载单元4，用于基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库。

风险指标计算单元5，用于计算数据的分享指标；

预警监控单元6，用于基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控。

本申请还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述实时数仓自动etl方法的计算机程序。本申请还公开了存储有能够被处理器加载并执行上述实时数仓自动etl方法的计算机程序，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述埋点采集、统计分析方法的计算机程序。本申请还公开了存储有能够被处理器加载并执行上述埋点采集、统计分析方法的计算机程序，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，不应理解为对本申请的限制。本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。