一种数据处理方法、装置、设备及存储介质与流程

文档序号:25172240发布日期:2021-05-25 14:42阅读:47来源:国知局
本申请涉及计算机
技术领域
:,尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
::随着社会发展,通过金融机构的业务进行非法的行为越来越多,从而使得金融机构需要开展有针对性的行为监测业务。现有技术中,金融机构主要通过流程、数据处理规则等方式监测系统内的风险行为。而数据处理规则一般在线下开发和评估,再通过人工初步抽检,根据个人偏好决定是否同意上线。线下通过代码开发规则耗时耗力,且开发的规则很容易因为开发人员的粗心大意造成数据逻辑错误。同时,线下试运行结果和人工抽检的验证结果存在留存、规则效果评价标准不统一、审批流程不规范等问题,导致数据处理规则的上线效率和分析效果都非常不理想,不利于监测业务的开展。技术实现要素:本申请提供一种数据处理方法、装置、设备及存储介质,能够避免数据处理规则上线的繁琐操作,提高数据处理规则的上线效率和分析效果。一方面,本申请提供了一种数据处理方法,所述方法包括:接收参数配置请求,所述参数配置请求携带特征数据;基于所述特征数据形成数据处理规则;接收针对所述数据处理规则的试运行指令,利用所述数据处理规则中每个特征的特征条件以及各个所述特征条件之间的运算关系,得到试运行结果;获取历史黑白样本数据;根据所述历史黑白样本数据对所述试运行结果进行分析,得到第一评价指标;在所述第一评价指标满足预设上线条件时,对所述数据处理规则进行上线处理。另一方面提供了一种数据处理装置,所述装置包括:参数配置请求接收模块,用于接收参数配置请求,所述参数配置请求携带特征数据;规则生成模块,用于基于所述特征数据形成数据处理规则;规则试运行模块,用于接收针对所述数据处理规则的试运行指令,利用所述数据处理规则中每个特征的特征条件以及各个所述特征条件之间的运算关系,得到试运行结果;样本数据获取模块,用于获取历史黑白样本数据;试运行结果分析模块,用于根据所述历史黑白样本数据对所述试运行结果进行分析,得到第一评价指标;上线处理模块,用于在所述第一评价指标满足预设上线条件时,对所述数据处理规则进行上线处理。另一方面提供了一种电子设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由所述处理器加载并执行如上所述的数据处理方法。另一方面提供了一种计算机存储介质,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上所述的数据处理方法。本申请通过为用户提供参数配置界面进行规则配置,自动生成数据处理规则,在提高规则的透明性和可解释性的同时,提高了数据处理规则开发的效率和上线效率;在数据处理规则上线前提供规则试运行,提高了规则测试的效率;在规则试运行后,利用历史黑白样本数据对试运行结果进行初评,为后续规则的有效性评估提供参考依据;在进行初评时由系统自动进行不需要人工操作,使得线下试运行结果和人工抽检的验证结果两者所使用的规则效果评价标准统一,且降低了人力损耗;当初评结果即第一评价指标达到上线标准后进行规则上线的处理,增加了数据处理规则的命中率,进而提升了数据处理规则的分析效果。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。图1是本申请实施例提供的一种数据处理系统的结构示意图。图2是本申请实施例提供的一种数据处理系统的架构示意图。图3是本申请实施例提供的分布式系统应用于区块链系统的结构示意图。图4是本申请实施例提供的区块结构的示意图。图5是本申请实施例提供的一种数据处理方法的流程示意图。图6是本申请实施例提供的参数配置界面的示例图。图7是本申请实施例提供的基础信息配置界面的示例图。图8是本申请实施例提供的另一种数据处理方法的流程示意图。图9是本申请实施例提供的另一种数据处理方法的流程示意图。图10是本申请实施例提供的模板配置界面的示例图。图11是本申请实施例提供的形成数据处理规则的流程示意图。图12是本申请实施例提供的确定第一评价指标的流程示意图。图13a是本申请实施例提供的另一种数据处理系统的架构示意图。图13b是本申请实施例提供的累计命中数的示例图。图14是本申请实施例提供的确定预设上线条件的流程示意图。图15是本申请实施例提供的另一种数据处理方法的流程示意图。图16是本申请实施例提供的抽检界面的示例图。图17是本申请实施例提供的校验上线界面的示例图。图18是本申请实施例提供的执行结果查看界面的示意图。图19是本申请实施例提供的评估结果的示例图。图20是本申请实施例提供的一种数据处理装置的结构示意图。图21是本申请实施例提供的一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图。具体实施方式云技术(cloudtechnology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。云技术已广泛应用在政府、交通、运输、金融以及企业等各个领域,本申请实施例提供的方案涉及金融应用领域。在金融领域,为了开展有针对性的行为监测任务,金融机构主要通过流程、数据处理规则等方式监测系统内的风险行为。而数据处理规则一般在线下开发和评估,再通过人工初步抽检,根据个人偏好决定是否同意上线。线下通过代码开发规则耗时耗力,且开发的规则很容易因为开发人员的粗心大意造成数据逻辑错误。同时,线下试运行结果和人工抽检的验证结果存在留存、规则效果评价标准不统一、审批流程不规范等问题,导致数据处理规则的上线效率和分析效果都非常不理想,不利于监测业务的开展。基于以上描述,本申请实施例提供了一种数据处理方法,以提升数据处理规则的上线效率和分析效果。下面将结合附图对本申请实施例作进一步详细描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务端不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。首先对本说明书实施例中涉及的相关名词做以下解释:稽核:指通过模型或者规则,对可疑的风险用户进行初步圈定。校验:在风险防控中,经过规则稽核的可疑用户需要进行人工的调查确认是否真实可疑,后续再进行上报或者不上报处理。特征:某一个主体的某一方面属性,比如“身高”、“年龄”、“近7天交易金额”等,当用户的某些特征或特征组合跟正常人有区别时,称之为可疑特征。测试:指规则在上线前需要模拟运营,看规则的稽核效果然后做评估是否达到上线标准。数据处理规则:指对风险行为进行稽核的规则或模型,通常由多种特征组成。上线:指规则正式开始稽核风险用户并推送到审理平台进行人工审理。上线评估:指上线时对规则是否符合上线条件进行评估,包括规则的命中率、覆盖量、目标人群的防控重要性等维度。请参阅图1,其示出了本申请实施例提供的一种数据处理系统的结构示意图,如图1所示,该系统可以至少包括客户端01和服务器02。客户端01可以是智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、监控设备及语音交互设备等类型的设备,也可以是运行于设备中的软体,例如一些服务商提供给用户的网页页面,或者是该些服务商提供给用户的应用。具体的,客户端01可以用于显示对数据处理规则的配置界面以及运行结果数据。服务器02可以是一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。具体的,服务器02可以接收客户端01相应的请求,以完成对数据处理规则的配置、试运行、校验以及上线处理等过程。具体的如图2所示,其为一种数据处理系统的架构示意图。通过客户端配置的规则模板和模板参数相关的信息,转化成具体可执行代码,如sql、python或者java等等,然后根据数据处理规则调用低层特征池中的特征指标定期的进行数据计算,以确定风险用户。在一些可行的实施方式中,本申请实施例涉及的系统还可以是由客户端、多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。以分布式系统为区块链系统为例,参见图3,图3是本申请实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图,由多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)和客户端形成,节点之间形成组成的点对点(p2p,peertopeer)网络,p2p协议是一个运行在传输控制协议(tcp,transmissioncontrolprotocol)协议之上的应用层协议。在分布式系统中,任何机器如服务器、终端都可以加入而成为节点,节点包括硬件层、中间层、操作系统层和应用层。参见图3示出的区块链系统中各节点的功能,涉及的功能包括:路由,节点具有的基本功能,用于支持节点之间的通信;应用,用于部署在区块链中,根据实际业务需求而实现特定业务,记录实现功能相关的数据形成记录数据,在记录数据中携带数字签名以表示任务数据的来源,将记录数据发送到区块链系统中的其他节点,供其他节点在验证记录数据来源以及完整性成功时,将记录数据添加到临时区块中;区块链,包括一系列按照产生的先后时间顺序相互接续的区块(block),新区块一旦加入到区块链中就不会再被移除,区块中记录了区块链系统中节点提交的记录数据。例如,应用实现的业务包括:1)钱包,用于提供进行电子货币的交易的功能,包括发起交易(即,将当前交易的交易记录发送给区块链系统中的其他节点,其他节点验证成功后,作为承认交易有效的响应,将交易的记录数据存入区块链的临时区块中;当然,钱包还支持查询电子货币地址中剩余的电子货币。2)共享账本,用于提供账目数据的存储、查询和修改等操作的功能,将对账目数据的操作的记录数据发送到区块链系统中的其他节点,其他节点验证有效后,作为承认账目数据有效的响应,将记录数据存入临时区块中,还可以向发起操作的节点发送确认。3)智能合约,计算机化的协议,可以执行某个合约的条款,通过部署在共享账本上的用于在满足一定条件时而执行的代码实现,根据实际的业务需求代码用于完成自动化的交易,例如查询买家所购买商品的物流状态,在买家签收货物后将买家的电子货币转移到商户的地址;当然,智能合约不仅限于执行用于交易的合约,还可以执行对接收的信息进行处理的合约。参见图4,图4是本申请实施例提供的区块结构(blockstructure)一个可选的示意图,每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值,各区块通过哈希值连接形成区块链。另外,区块中还可以包括有区块生成时的时间戳等信息。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了相关的信息,用于验证其信息的有效性(防伪)和生成下一个区块。以下介绍本申请实施例提供的一种数据处理方法,该方法可应用于图1所示服务器或者应用于图3所示的节点。需要说明的是,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图5所示,该方法可以包括:s510,接收参数配置请求,参数配置请求携带特征数据。用户可以在参数配置界面中配置构成数据处理规则的各个特征的特征数据,使数据处理规则落地进行风险防控。如图6所示,其为参数配置界面的示例图。在参数配置界面中可以配置一条或多条特征条件,因而特征数据至少包括每个特征的每个特征的特征标识、阈值参数和比较符参数,如果有多条特征特征条件时,特征数据还包括特征关联参数。其中,特征标识用于对特征进行唯一性识别,例如特征id或特征名称等等;阈值参数表征与该特征对应特征值进行对比的阈值,阈值参数可以是一个具体数值、字符串或者日期等等;比较符参数用于确定特征值与阈值参数之间的关系,例如“>”、“<”、“≥”、“≤”或“=”等用于比较两个对象大小之间的关系的符号,或者确定两个对象是否存在包含关系的符号,例如in或notint等等;特征关联参数表征特征之间的关联关系,例如“与”关系或者“或”关系。在具体实施时,特征数据中还可以包括每个特征的数据类型、运行参数以及版本信息。其中,数据类型表征特征对应特征值的类型,例如整型、字符串类型或者日期类型,这样可以通过数据类型来限定阈值参数的取值,为用户在进行阈值参数的配置时提供参考;运行参数可以包括运行周期和首次运行时间,运行周期表征数据处理规则上线后自动运行的周期,首次运行时间表征数据处理规则上线后第一次运行的时间。为了统一特征数据的配置方式,避免不同用户所配置的特征数据出现不一致、逻辑错误等混乱现象,在实际应用中,还可以给用户提供一些规则模板,基于规则模版生成参数配置界面。如图7所示,其为基础信息配置界面的示例图。在基础信息配置界面中,用户可以通过风险模式选择字段,选择所要定义的数据处理规则的规则模块,服务器基于所选择的规则模版自动读取模板参数生成参数配置界面。在基础信息配置界面中还可以配置数据处理规则的版本信息,如版本描述、版本名称等等,版本描述例如第几次对某类别的风险防控的验证等等。可以理解的,参数配置界面与基础信息配置界面可以是同一个界面,本说明书对基础信息配置界面的存在形式不做具体限定。鉴于此,在一些可行的实施方式中,如图8所示,在步骤s510实施之前,该方法还可以包括:s507,接收模板读取请求,模板读取请求携带模板标识;s508,获取与模版标识匹配的规则模板;s509,读取规则模板中的模板参数,将模板参数发送至客户端,以使客户端基于模板参数生成参数配置界面。模板标识用于对规则模板进行唯一性识别,规则模板可以是目标语言编写的语言模板,例如sql语言模板、python语言模板或java语言模板,也可以是由文本编辑工具所编写的文本模板,例如json模板、xml模板或者excel模板等等。模板参数与特征数据相对应,模板参数可以包括特征关联参数、每个特征的特征名称、特征标识、比较符参数、默认值以及数据类型等等。而对于规则模板的生成,除了使用目标语言或者文本编辑工具编写外,为了使得规则模板具有可扩展性,以及在编写规则模板时防止所编写的模板参数出现规范性错误,还可以为用户提供线上编写。且在线上编写时,用户可以直接利用已经导入的特征,避免特征相关属性配置错误,例如特征类型或特征值。基于上述描述,在一些可行的实施方式中,如图9所示,在步骤s507实施之前,该方法还可以包括:s502,接收搜索特征请求,搜索特征请求携带特征关键词。如图10所示,其为模板配置界面的示例图。在图10中,用户可以在搜索框中输入特征关键词搜索筛选所需要添加的特征。在模板配置界面中,用户可以通过两种方式新增特征:一是通过每条特征记录后面的新增入口,二是通过提供的新增条件入口,但不同方式有对应不同的关联关系。如图10中,若通过第一条特征记录(即序号为1的记录)后面的新增入口进行新增,新增的是并列“或”特征,也即只需满足一个即可,如第1行和第2行只需满足其中之一,从图中直观理解不会新增一个序号;若通过新增条件入口,新增的是并列“与”特征,也即每一个条件都需要符合,如第1行、第2行跟第3行、第4行和第5行,从图中直观理解会新增一个序号。如图6所要表示的稽核逻辑是需同时满足以下三个条件:1、是否认证字段为:y;2、用户注册时间为:小于指定值;3、最近7天转账对手数大于指定值,或者,最近7天转账金额大于指定值。与新增相对应,用户在不需要某个特征条件后,也可以根据该特征记录后面的删除入口进行删除操作。s503,根据特征关键词在预设特征池中筛选出目标特征信息。预设特征池中存储有预先导入并经过清洗等预处理的特征,目标特征信息可以包括特征名称、特征标识以及数据类型。可以理解的,预设特征池可以是一张特征池表,也可以是多张特征池表。s504,将目标特征信息发送至客户端,以使客户端将所述目标特征信息展示在模板配置界面中。客户端在展示目标特征信息时,会根据目标特征信息中数据类型生成对应的默认值输入控件,例如若数据类型为整型(int)则生成输入框控件,若数据类型为日期类型(datatime)则生成日期插件控件等等。用户可以在默认值输入控件中输入特征的默认值,也可以使用客户端所提供的默认值。可以理解的,可以通过数据类型限定默认值的范围,例如当数据类型表征默认值为数值时,例如整型(int),可以填写任意推荐的数值;当数据类型表征默认值为枚举值时,可以通过下拉控件选择枚举值。而对于不同数据类型,也可以选择不同的比较符,例如数值可以选择>、=、<、≥和≤,枚举值可以选择=、in、notin等等。s505,接收来自模板配置界面的模板配置请求,模板配置请求携带模板参数。在完成每个特征以及特征对应的条件后,用户可以通过触发完成或者保存等控件触发完成操作。客户端在接收到完成操作后,读取模板配置界面中各个特征的特征信息生成模板参数,将模板参数封装在模板配置请求中发送至服务器。s506,基于模板参数生成规则模板。如前述步骤s509所述,规则模板可以有语言模板以及文本模板等多种表达方式,相应的,也可以有文件存储以及数据库存储等多种存储方式。例如对于sql语言模板而言,所形成的规则模板为sql代码组成,与图10相对应的sql代码如下所示:selectuseridfromuser_basewhere(amt_7day>‘parametera’oruser_7day>‘parameterb’)andifcent=‘parameterc’andcreatedate<‘parameterd’其中,user_base为所要查询的数据表名;userid为主键,指特征的主体用户id;amt_7day指特征最近7天转账金额;user_7day指最近7天转账对手数;ifcent指是否认证;createdate指用户注册时间;parametera、parameterb、parameterc以及parameterd为待定的阈值参数,待具体规则配置后填入。可以理解的,上述sql代码中所使用的数据表是一张数据表,在具体实施时,也可以使用多张数据表进行join操作生成,本申请对此不作具体限定。s520,基于特征数据形成数据处理规则。由于特征数据至少包括每个特征的特征标识、阈值参数和比较符参数,在有多条特征时,特征数据还包括特征关联参数。因而,在一个可行的实施方式中,如图11所示,步骤s520在实施时可以包括:s521,针对特征数据中每个特征,根据特征的特征标识、阈值参数和比较符参数,生成特征的特征条件。本申请实施例中,特征条件表征该特征的风险规律,如果该特征的特征值符合该特征的特征条件,则认为存在风险的可疑。具体的,通过特征标识获取该特征在数据表中的键表示,然后对键表示、阈值参数和比较符参数按照目标语言进行表达,得到特征条件。例如若目标语言是sql语言,键表示是amt_7day,阈值参数所表示的阈值是10000,比较符参数所表示的比较符是“>”,则所生成的特征条件是“amt_7day>10000”;同理,若键表示是user_7day,阈值参数所表示的阈值是1000,比较符参数所表示的比较符是“>”,则所生成的特征条件是“user_7day>1000”。s522,确定特征数据中特征数量。特征数量指示特征数据中特征的个数,若特征数量为预设特征阈值,预设特征阈值表征只有1个特征,也即图6所示的界面中仅有一条记录,则执行步骤s523;若特征数量为大于预设特征阈值,也即图6所示的界面中有多条记录,则执行步骤s524。s523,由特征的特征条件,形成数据处理规则。例如,若用sql代码表示数据处理规则,假设仅有特征1,且特征1的特征条件是“amt_7day>10000”,则数据处理规则即为“amt_7day>10000”。s524,根据特征数据中的特征关联参数,确定各个特征的特征条件之间的运算关系,由每个特征的特征条件以及各个特征条件之间的运算关系,形成数据处理规则。特征关联参数表征特征之间的关联关系,在确定各个特征条件之间的运算关系时,使用运算符参数进行表示。举例说明,若特征关联参数中,特征1与特征2之间是“或”关系,那么特征1的特征条件和特征2的特征条件之间的运算符参数为“or”。若用sql代码表示数据处理规则,假设有特征1和特征2两个特征,且特征1的特征条件是“amt_7day>10000”,特征2的特征条件是“user_7day>1000”,特征1和特征2之间的运算符参数是“or”,则数据处理规则是“amt_7day>10000oruser_7day>1000”。s530,接收针对数据处理规则的试运行指令,利用数据处理规则中每个特征的特征条件以及各个特征条件之间的运算关系,得到试运行结果。本申请实施例中,试运行也即测试,试运行结果主要包括满足数据处理规则的各个可疑用户。数据处理规则的表现形式可以是多种多样,例如文本或代码,如果是代码则可以直接进行运行操作,如果是文本,则需要将文本转换为可执行代码。因而,步骤s530在具体实施时可以包括:利用所述数据处理规则中每个特征的特征条件以及各个特征条件之间的运算关系,生成可执行代码;调用可执行代码,得到试运行结果。如图6所示的配置,利用sql语言所生成的可执行代码如下:createtableonline_rule_18237389asselectuseridfromuser_basewhere(amt_7day>10000oruser_7day>1000)andifcent=’y’andcreatedate<’2019-01-01’通过上述可执行语句可以将可疑用户的用户id(userid)存储到计算结果中,供审理平台调用并进行人工审理,如表1所示:表1用户idxxxx1xxxx2xxxx9s540,获取历史黑白样本数据。历史黑白样本数据表征历史人工标记过的黑样本和白样本,黑样本是指风险用户样本,白样本是指非风险用户样本。历史黑白样本数据可以包括用户标识、是否上报以及风险类别,是否上报表征是否是黑样本,风险类别表征风险的类型。如表2所示,其为所获取到的历史黑白样本数据的一个示例:表2s550,根据历史黑白样本数据对试运行结果进行分析,得到第一评价指标。其中,第一评价指标包括风险用户命中率以及各个风险类别的命中率,风险用户命中率表征指命中用户中风险用户的概率,风险用户是指黑样本用户;风险类别的命中率表征在命中用户中风险类别的概率。在一个可行的实施方式中,如图12所示,步骤s550在具体实施时可以包括:s551,将历史黑白样本数据与试运行结果进行匹配,确定命中用户。试运行需要实现的效果是利用线上的真实数据进行稽核,且不真实产生稽核任务推送给审理平台,如图13a所示,其为另一种数据处理系统的架构示意图。上线规则稽核结果都推送至线上数据库表,未上线的测试运行规则,稽核结果推送至相同结构的线下规则稽核表,线下规则稽核表的格式如表3所示:表3用户id稽核规则标识稽核时间xxxx1xxx12020年11月12日15:58:12xxxx2xxx22020年11月12日14:56:09xxxx3xxx32020年11月12日09:30:05xxxx4xxx42020年11月13日12:46:36xxxx5xxx42020年11月15日13:07:56将试运行结果与历史黑白样本数据进行匹配的过程也是确定稽核结果的过程。可以理解的,对于同一数据处理规则,可以进行多次运行即稽核,经过统计每次稽核的第一评价指标,可以确定出该数据处理规则是否具有稳定性,例如累计命中数。如表4所示,其为某个测试规则对应稽核结果的一个示例,也即命中用户列表:表4s552,从命中用户中筛选出风险用户。根据稽核时间可以确定出本次试运行的风险用户,也即命中用户列表中已上报用户。s553,将风险用户的数量与历史黑白样本数据中用户总数量之比,确定为风险用户命中率。s554,将风险用户按风险类别进行分类,得到每个风险类别对应风险用户。s555,针对每个风险类别,将风险类别对应风险用户的数量与历史黑白样本中风险类别对应总用户的数量之比,确定为风险类别的命中率。举例说明,假设历史黑白样本数据中包括100个用户,这100个用户中有20个白样本,黑样本中类别1用户数为10,类别2用户数为50,类别3用户数为20。根据历史黑白样本数据与试运行结果进行匹配所确定的命中用户数为80,命中用户数中风险用户的数量为40,分别为类别1用户数5、类别2用户数20以及类别3用户数15。那么,风险用户命中率为40/100=0.4,类别1的命中率为5/10=0.5,类别2的命中率为20/50=0.4,类别3的命中率为15/20=0.75。在确定出试运行的第一评价指标后,服务器可以将第一评价指标进行统计分析,供业务人员进行整体有效性评估。如图13b所示,其为累计命中数的示例图,从图中可以看出该数据处理规则在哪个时间段具有较强的有效性。可以理解的,需要确定第一评价指标是否满足预设上线条件,只有在满足预设上线条件时,才允许对数据处理规则进行上线处理。在一些可行的实施方式中,如图14所示,确定第一评价指标是否满足预设上线条件在具体实施时可以包括:s548,确定风险用户命中率是否满足第一预设上线条件,以及,确定每个风险类别的命中率是否满足该风险类别对应的第二预设上线条件。第一预设上线条件表征风险用户命中率需要达到的标准,例如可以将风险用户命中率与第一命中率阈值进行对比,在风险用户命中率大于该第一命中率阈值时,认为达到了标准。同理,第二预设上线条件表征风险类别的命中率需要达到的标准,例如可以将风险类别的命中率与该风险类别对应的第二命中率阈值进行对比,在风险类别的命中率大于该风险类别对应的第二命中率阈值时,认为达到了标准。需要说明的是,每个风险类别的命中率可以有不同的第二预设上线条件,即不同的第二命中率阈值。例如,类别1的命中率只要大于50%,则类别2的命中率满足类别2对应的第二预设上线条件;而类别3的命中率需要大于80%,才认为类别3的命中率满足类别3对应的第二预设上线条件。可以理解的,第一预设上线条件以及每个风险类别对应的第二预设上线条件可以实时调整,也即第一命中率阈值和第二命中率阈值的设定可以相同也可以不同,本说明书不做具体限定。s549,若所述第一预设上线条件被满足,并且,每个所述风险类别对应的第二预设上线条件被满足,则判定所述第一命中指标满足所述预设上线条件。需要说明的是,风险用户命中率以及各个风险类别的命中率是第一评价指标的核心指标,在一些实施方式中,第一评价指标还可以包括稽核数量波动范围、历史审核占比以及历史上报占比等指标。相应的,在确定第一命中指标是否满足预设上线条件时,需要确定稽核数量波动范围、历史审核占比以及历史上报占比等指标是否满足其对应的预设上线条件,在所有指标均满足其对应的预设上线条件的情况下,也可以判定第一命中指标满足预设上线条件。在具体实施时,第一评价指标也可以根据不同的业务现状进行调整。s560,在第一评价指标满足预设上线条件时,对数据处理规则进行上线处理。在第一评价指标中各项指标基本符合要求时,可以进入人工抽检或系统抽检等进一步评估环节。若评估结果所得到的指标效果不理想,也可以对数据处理规则中的特征、特征条件或者阈值参数等等进行重新优化,优化之后再次执行步骤s530进行试运行的过程。鉴于此,在一个可行的实施方式中,如图15所示,对数据处理规则进行上线处理的步骤在实施之前,该方法还可以包括:s561,接收针对数据处理规则的校验处理请求,校验处理请求携带第二评价指标。若是人工抽检,在抽检人员完成对数据处理规则历史运行记录进行抽查,再次对命中率、命中类型等指标的有效性进行评估。第二评价指标除了包含第一评价指标外,还可以包括稽核用户数、抽检人数等信息,如图16所示,其为校验界面的示例图。用户可以将第二评价指标中的相关信息输入至抽检评价文本框中,例如稽核用户数100人;抽检人数90人;抽检命中人数80人;抽检命中率80%;抽检命中类型:类别1为50人,类别2为30人。s562,根据第二评价指标对数据处理规则进行审核,在审核通过后,对数据处理规则进行上线处理。根据第二评价指标进行审核的过程可参见步骤s550,也即审核各项指标是否满足对应预设上线条件,若各项指标均满足对应预设上线条件则审核通过。若不符合,则可以对数据处理规则进行重新优化后再执行步骤s530。在一些可行的实施方式中,执行对数据处理规则进行上线处理的步骤在实施时可以包括:接收上线处理请求,该上线处理请求携带申请人信息;根据该申请人信息创建申请流程,启动该申请流程中各个申请节点的处理。如图17所示,其为校验上线界面的示例图。由于数据处理规则中包括运行参数,在对数据处理规则进行上线处理完成后,服务器还可以根据数据处理规则中的运行参数,启动对数据处理规则的运行。每次运行时的操作流程与试运行的操作流程相似,在此不再重复赘述。在一些可行的实施方式中,为了使用户可以更直观的了解本次试运行的试运行结果,服务端可以将试运行结果发送至客户端,以使用户可以通过客户端查看运行结果详情。因而,在步骤s530实施之后,该方法还可以包括:(1)向客户端发送执行情况,以使客户端将执行情况展示在执行结果查看界面中。如图18所示,其为执行结果查看界面的示意图。在每次数据处理规则运行或试运行时,在执行结果查看界面中新增该次数据处理规则对应任务的任务记录,如图18中的任务编号142,其状态为运行中;在每次对数据处理规则运行或试运行完成后,服务器均将执行情况发送至客户端。执行情况表征执行结果状态,例如成功或失败。(2)接收来自执行结果查看界面的结果查看请求,该结果查看请求至少携带任务编号。(3)获取与任务编号对应的试运行结果。用户可以通过运行结果中详情入口查看试运行结果,服务器根据试运行结果与历史黑白样本数据进行分析,得到第一评价指标。而为了使得用户可以更直观的查看评价指标,相应的,在步骤s550实施之后,该方法还可以包括:基于第一评价指标对该数据处理规则进行评估,生成评估数据,并将评估数据发送至客户端,以使客户端对评估数据进行可视化展示。评估数据包括命中用户总数、命中用户数趋势(如果是模拟周期性运行了多次)、命中用户历史被审理过的数据、历史被判定为风险客户的数量以及历史被判定为风险客户的风险类别。如图19所示,其为评估结果的示例图。经过试验验证,在效率提升方面,使用上述方法实施例提供的数据处理方法,数据处理规则开发效率从技术纯代码开发的2~4周缩减至1天以内;试运行的产品化完成从依赖技术的1-2天缩减至1小时以内;在合规性方面,所有数据处理规则的上线都经过了具体数据指标的衡量,更加合理、规范,且标准更加统一、客观;而且抽检、评估等都在线上完成,后续有据可查;审理流程也在线上完成,方便快速审查。由上述实施例提供的方案可见,本申请通过为用户提供参数配置界面进行规则配置,自动生成数据处理规则,在提高规则的透明性和可解释性的同时,提高了数据处理规则开发的效率和上线效率;在数据处理规则上线前提供规则试运行,提高了规则测试的效率;在规则试运行后,利用历史黑白样本数据对试运行结果进行初评,为后续规则的有效性评估提供参考依据;在进行初评时由系统自动进行不需要人工操作,使得线下试运行结果和人工抽检的验证结果两者所使用的规则效果评价标准统一,且降低了人力损耗;当初评结果即第一评价指标达到上线标准后进行规则上线的处理,增加了数据处理规则的命中率,进而提升了数据处理规则的分析效果。通过提供统规则模板,使得用户能够快速的进行数据处理规则的配置,提升用户体验;利用已经清洗和导入的特征,自定义的组合特征条件,对特定风险进行防控,进一步提高了数据处理规则的开发效率;通过模板配置、规则配置、测试、评估以及审批等功能设计,将数据处理规则的各个流程从线下转移至线上,解决代码开发规则耗时耗力,以及线下各阶段不规范等因素导致数据处理规则上线效率慢的问题,实现数据处理规则能快速上线。基于与方法实施例同样地发明构思,本申请实施例还提供了一种数据处理装置,如图20所示,该装置200可以包括:参数配置请求接收模块210,用于接收参数配置请求,参数配置请求携带特征数据;规则生成模块220,用于基于特征数据形成数据处理规则;规则试运行模块230,用于接收针对数据处理规则的试运行指令,利用数据处理规则中每个特征的特征条件以及各个特征条件之间的运算关系,得到试运行结果;样本数据获取模块240,用于获取历史黑白样本数据;试运行结果分析模块250,用于根据历史黑白样本数据对试运行结果进行分析,得到第一评价指标;上线处理模块260,用于在第一评价指标满足预设上线条件时,对数据处理规则进行上线处理。在一些可行的实施方式中,该装置200还可以包括:读取请求接收模块,用于接收模板读取请求,模板读取请求携带模板标识;模版获取模块,用于获取与模版标识匹配的规则模板;模板参数读取模块,用于读取规则模板中的模板参数,将模板参数发送至客户端,以使客户端基于模板参数生成参数配置界面。在一些可行的实施方式中,该装置200还可以包括:特征搜索模块,用于接收搜索特征请求,搜索特征请求携带特征关键词;特征筛选模块,用于根据特征关键词在预设特征池中筛选出目标特征信息;特征返回模块,用于将目标特征信息发送至客户端,以使客户端将目标特征信息展示在模板配置界面中;模版配置请求接收模块,用于接收来自模板配置界面的模板配置请求,模板配置请求携带模板参数;规则模版生成模块,用于基于模板参数生成规则模板。在一些可行的实施方式中,规则生成模块220可以包括:逻辑生成单元,用于针对特征数据中每个特征,根据特征的特征标识、阈值参数和比较符参数,生成特征的特征条件;特征数量确定单元,用于确定特征数据中特征数量;第一规则生成单元,用于在特征数量为预设特征阈值的情况下,由特征的特征条件,形成数据处理规则;第二规则生成单元,用于在特征数量大于预设特征阈值的情况下,根据特征数据中的特征关联参数,确定各个特征的特征条件之间的运算关系,由每个特征的特征条件以及各个特征条件之间的运算关系,形成数据处理规则。在一些可行的实施方式中,第一评价指标可以包括风险用户命中率以及各个风险类别的命中率;试运行结果分析模块250可以包括:命中用户确定单元,用于将历史黑白样本数据与试运行结果进行匹配,确定命中用户;风险用户筛选单元,用于从所述命中用户中筛选出风险用户;第一计算单元,用于将风险用户的数量与历史黑白样本数据中用户总数量之比,确定为风险用户命中率;风险用户分类单元,用于将风险用户按风险类别进行分类,得到每个风险类别对应风险用户;第二计算单元,用于针对每个风险类别,将风险类别对应风险用户的数量与历史黑白样本中所述风险类别对应总用户的数量之比,确定为风险类别的命中率。在一些可行的实施方式中,该装置200还可以包括:上线条件判断模块,用于确定第一评价指标是否满足预设上线条件。具体的,上线条件判断模块可以包括:第一条件判断单元,用于确定风险用户命中率是否满足第一预设上线条件;第二条件判断单元,用于确定每个风险类别的命中率是否满足风险类别对应的第二预设上线条件;结果确定单元,用于第一预设上线条件被满足,并且,每个风险类别对应的第二预设上线条件被满足的情况下,判定第一命中指标满足预设上线条件。在一些可行的实施方式中,该装置200还可以包括:校验处理请求接收模块,用于接收针对数据处理规则的校验处理请求,校验处理请求携带第二评价指标;校验模块,用于根据第二评价指标对数据处理规则进行校验,在校验通过后,执行对数据处理规则进行上线处理的步骤。需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。本申请实施例还提供了一种电子设备,该设备包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,该至少一条指令或至少一段程序由该处理器加载并执行上述方法实施例提供的数据处理方法。进一步地,图21示出了一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图,所述设备可以参与构成或包含本申请实施例所提供的装置或系统。如图21所示,设备21可以包括一个或多个(图中采用2102a、2102b,……,2102n来示出)处理器2102(处理器2102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器2104、以及用于通信功能的传输装置2106。除此以外,还可以包括:显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图21所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,设备21还可包括比图21中所示更多或者更少的组件,或者具有与图21所示不同的配置。应当注意到的是上述一个或多个处理器2102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到设备21(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。存储器2104可用于存储应用软件的软件程序以及模块,如本申请实施例中所述方法对应的程序指令/数据存储装置,处理器2102通过运行存储在存储器2104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的一种数据处理方法。存储器2104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器2104可进一步包括相对于处理器2102远程设置的存储器,这些远程存储器可以通过网络连接至设备21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输装置2106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备21的通信供应商提供的无线网络。在一个实例中,传输装置2106包括一个网络适配器(networkinterfacecontroller,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置2106可以为射频(radiofrequency,rf)模块,其用于通过无线方式与互联网进行通讯。显示器可以例如触摸屏式的液晶显示器(lcd),该液晶显示器可使得用户能够与设备21(或移动设备)的用户界面进行交互。本申请实施例还提供了一种计算机存储介质,该计算机存储介质中存储有至少一条指令或至少一段程序,该至少一条指令或至少一段程序由处理器加载并执行以实现上述方法实施例提供的数据处理方法。可选地,在本实施例中,上述计算机存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机存储介质中。电子设备的处理器从计算机存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述的方法实施例提供的数据处理方法。需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。上述说明已经充分揭露了本申请的具体实施方式。需要指出的是,熟悉该领域的技术人员对本申请的具体实施方式所做的任何改动均不脱离本申请的权利要求书的范围。相应地,本申请的权利要求的范围也并不仅仅局限于前述具体实施方式。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1