数据审核方法和装置、电子设备及存储介质与流程

文档序号:32785895发布日期:2023-01-03 18:48阅读:38来源:国知局
数据审核方法和装置、电子设备及存储介质与流程

1.本技术涉及人工智能技术领域,尤其涉及一种数据审核方法和装置、电子设备及存储介质。


背景技术:

2.目前,通过人工审核的方式对应用程序进行内容审核。但是,人工审核的方式容易出现审核效率低的问题。


技术实现要素:

3.本技术实施例的主要目的在于提出一种数据审核方法和装置、电子设备及存储介质,旨在提高内容审核效率。
4.为实现上述目的,本技术实施例的第一方面提出了一种数据审核方法,所述方法包括:
5.获取请求终端发送的第一审核请求;
6.根据所述第一审核请求获取所述请求终端的终端标识、待验证数据;
7.根据预设的响应条件对所述待验证数据进行验证,得到验证结果;
8.若所述验证结果为所述待验证数据符合所述响应条件,则根据所述终端标识从预设的审核库中提取目标审核模板;其中,所述目标审核模板包括数据存储信息和审核内容数据;
9.根据所述数据存储信息从所述请求终端获取原始数据;其中,所述原始数据包括以下数据至少之一:原始文本数据、原始图像数据、原始视频数据;
10.根据所述审核内容数据对所述原始数据进行审核,得到第一审核结果。
11.在一些实施例,所述待验证数据包括身份加密数据,所述响应条件包括验证标识;
12.所述根据预设的响应条件对所述待验证数据进行验证,得到验证结果,包括:
13.根据所述身份加密数据和预设的密钥得到请求标识;
14.根据所述验证标识对所述请求标识进行验证,得到所述验证结果。
15.在一些实施例,所述待验证数据包括所述原始数据的请求并发数,所述响应条件包括并发范围;
16.所述根据预设的响应条件对所述待验证数据进行验证,得到验证结果,包括:
17.获取总并发数;
18.根据所述请求并发数、所述总并发数得到占比数据;
19.根据所述并发范围对所述占比数据进行验证,得到所述验证结果。
20.在一些实施例,所述审核内容数据包括审核算法,在所述若所述验证结果为所述待验证数据符合所述响应条件,则根据所述终端标识从预设的审核库中提取目标审核模板之前,所述数据审核方法还包括构建所述目标审核模板,具体包括:
21.获取所述原始数据的类型;
22.根据所述原始数据的类型从预设的算法库中提取所述审核算法;
23.获取所述原始数据的地址参数,根据所述地址参数得到所述数据存储信息;
24.根据所述数据存储信息、所述审核算法、预设的模板标识构建所述目标审核模板;其中,所述模板标识与所述终端标识匹配。
25.在一些实施例,所述数据审核方法还包括:
26.若所述第一审核结果为审核超时、审核失败或审核异常,则生成用于提示人工审核的提示信息;
27.将所述提示信息发送给所述请求终端。
28.在一些实施例,所述数据审核方法还包括:
29.获取所述请求终端根据所述提示信息返回的第二审核请求;
30.将所述第二审核请求发送给审核端,并获取所述审核端根据所述第二审核请求返回的第二审核结果;
31.根据所述第二审核结果、所述第一审核结果对预设的审核模板进行填充操作,得到目标审核数据。
32.在一些实施例,所述数据审核方法还包括:
33.获取所述原始数据的实际并发数,以及所述原始数据的处理耗时;
34.若所述实际并发数大于预设的并发阈值,且所述处理耗时小于预设的耗时阈值,则将所述审核结果同步发送给所述请求终端;
35.若所述实际并发数小于所述并发阈值,或所述处理耗时大于所述耗时阈值,则将所述审核结果异步发送给所述请求终端。
36.为实现上述目的,本技术实施例的第二方面提出了一种数据审核装置,所述装置包括:
37.请求获取模块,用于获取请求终端发送的第一审核请求;
38.第一数据获取模块,用于根据所述第一审核请求获取所述请求终端的终端标识、待验证数据;
39.响应判断模块,用于根据预设的响应条件对所述待验证数据进行验证,得到验证结果;
40.提取模块,用于若所述验证结果为所述待验证数据符合所述响应条件,则从预设的审核库中提取目标审核模板;其中,所述目标审核模板包括审核内容数据和数据存储信息;
41.第二数据获取模块,用于根据所述数据存储信息从所述请求终端获取原始数据;其中,所述原始数据包括以下数据至少之一:原始文本数据、原始图像数据、原始视频数据;
42.审核模块,用于根据审核内容数据对所述原始数据进行审核,得到第一审核结果。
43.为实现上述目的,本技术实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
44.为实现上述目的,本技术实施例的第四方面提出了一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。
45.本技术提出的数据审核方法和装置、电子设备及存储介质,其通过对待验证数据进行验证,并在验证结果为待验证数据符合响应条件时,通过终端标识从预设的审核库中提取得到目标审核模板,根据该目标审核模块的审核内容数据对原始数据进行处理,从而实现了对原始数据的机器审核,进而避免了相关技术中人工审核的方式造成的审核效率低、审核准确度低等问题。
附图说明
46.图1是本技术实施例提供的数据审核方法的一流程图;
47.图2是本技术实施例提供的数据审核方法的另一流程图;
48.图3是本技术实施例提供的数据审核方法的另一流程图;
49.图4是本技术实施例提供的数据审核方法的另一流程图;
50.图5是本技术实施例提供的数据审核方法的另一流程图;
51.图6是本技术实施例提供的数据审核方法的另一流程图;
52.图7是本技术实施例提供的数据审核方法的另一流程图;
53.图8是本技术实施例提供的数据审核装置的结构示意图;
54.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
55.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本技术,并不用于限定本技术。
56.需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
57.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的,不是旨在限制本技术。
58.首先,对本技术中涉及的若干名词进行解析:
59.人工智能(artificial intelligence,ai):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;人工智能是计算机科学的一个分支,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
60.自然语言处理(natural language processing,nlp):nlp用计算机来处理、理解以及运用人类语言(如中文、英文等),nlp属于人工智能的一个分支,是计算机科学与语言学的交叉学科,又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解
等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域,它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
61.内容审核(content moderation):是基于图像、文本、音视频的检测技术,用于检测图像、文本、音视频中是否存在违规内容等。通过对用户上传的图像、文本、音视频进行内容审核,以确定用户上传内容的违规性,从而帮助内容审核请求终端降低业务违规风险。针对图像审核,其可应用于视频直播、在线商城、网站论坛等场景。其中,对于视频直播场景,内容审核可以对所有房间的直播内容实时监控,识别可疑房间并进行预警;对于在线商城场景,内容审核可以审核商家和/或用户上传的图像、视频等,识别并预警不合规的图像、视频等,以防止违规图像、视频等发布,从而降低业务违规风险。针对文本审核,其可应用于电商评论筛选、注册昵称审核、媒资内容审核、弹幕审核、聊天内容实时审核等。此外,内容审核还可以应用于清晰度检测等场景。针对清晰度检测,内容审核可以对企业表单的清晰度进行判断并量化,避免二次上次,从而降低了人工成本;内容审核还可以对电商评论论坛上传的图像进行清晰度检测,避免上传模糊图像,从而保证上传图像的真实性。
62.并发数:又称为并发度,指系统同时能处理的请求数量,用于反映系统的负载能力。并发数可通过分析请求端1s内的访问日志数量或其他方式得到。例如,当一个网页被浏览时,服务器就会与对应的浏览器建立链接,每个链接表示一个并发。当页面包含多张图像时,由于图像并不是一张一张显示的,因此服务器会产生多个链接同时发送文字和图像,以提高浏览速度。由此可知,当页面中的图像越多时,服务器的并发链接数量就越多。
63.微服务:是分布式架构的一种,其提倡将单一应用程序划分为一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。在单体结构中,将所有的服务都集成在一起,随着业务的复杂,代码的耦合度会越来越高,从而影响代码的升级和维护。微服务是根据业务功能模块,把一个单体的应用拆分成许多个独立的项目,每个项目完成一部分的业务功能。例如,对于一个商场系统,包括订单服务、用户功能、商品服务、支付服务等,这些功能模块如果都使用单体架构来实现,将会增大耦合度和开发难度。当使用微服务进行开发时,把每一个服务都当成一个单体应用,即订单服务、用户服务、支付服务等模块等均为一个微服务。由上述微服务构成整个商城系统,每个微服务可以根据业务需求进行集群部署,从而降低了服务间的耦合,并有利于服务的维护升级。
64.http请求:http即超文本传输协议,是一种实现客户端和服务端之间通信的响应协议,可以用作客户端和服务端之间的请求。http请求的常用方法包括get方法、post方法、head方法、put方法、delete方法、connect方法、options方法、trace方法等。
65.目前,通过人工审核的方式对应用程序进行内容审核。但是,人工审核的方式容易出现审核效率低、审核准确度低等问题。
66.基于此,本技术实施例提供了一种数据审核方法和装置、电子设备及存储介质,旨在提高内容审核的审核效率和审核准确度。
67.本技术实施例提供的数据审核方法和装置、电子设备及存储介质,具体通过如下实施例进行说明,首先描述本技术实施例中的数据审核方法。
68.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工
智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
69.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
70.本技术实施例提供的数据审核方法,涉及人工智能技术领域。本技术实施例提供的数据审核方法可应用于终端中,也可应用于服务器端中,还可以是运行于终端或服务器端中的软件。在一些实施例中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等;服务器端可以配置成独立的物理服务器,也可以配置成多个物理服务器构成的服务器集群或者分布式系统,还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器;软件可以是实现数据审核方法的应用等,但并不局限于以上形式。
71.本技术可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
72.需要说明的是,在本技术的各个具体实施方式中,当涉及到需要根据用户信息、用户行为数据,用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时,都会先获得用户的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守相关国家和地区的相关法律法规和标准。此外,当本技术实施例需要获取用户的敏感个人信息时,会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意,在明确获得用户的单独许可或者单独同意之后,再获取用于使本技术实施例能够正常运行的必要的用户相关数据。
73.图1是本技术实施例提供的数据审核方法的一个可选的流程图,图1中的方法可以包括但不限于包括步骤s101至步骤s106。
74.步骤s101、获取请求终端发送的第一审核请求;
75.步骤s102、根据第一审核请求获取请求终端的终端标识、待验证数据;
76.步骤s103、根据预设的响应条件对待验证数据进行验证,得到验证结果;
77.步骤s104、若验证结果为待验证数据符合响应条件,则根据终端标识从预设的审核库中提取目标审核模板;其中,目标审核模板包括数据存储信息和审核内容数据;
78.步骤s105、根据数据存储信息从请求终端获取原始数据;其中,原始数据包括以下数据至少之一:原始文本数据、原始图像数据、原始视频数据;
79.步骤s106、根据审核内容数据对原始数据进行审核,得到第一审核结果。
80.本技术实施例所示意的步骤s101至步骤s106,通过对待验证数据进行验证,并在验证结果为待验证数据符合响应条件时,通过终端标识从预设的审核库中提取得到目标审核模板,根据该目标审核模块的审核内容数据对原始数据进行审核,从而实现了对原始数据的机器审核,进而避免了相关技术中人工审核的方式造成的审核效率低、审核准确度低等问题。
81.需要说明的是,在本技术实施例及下述各实施例中,以数据审核方法应用于数据审核平台为例进行说明,该数据审核平台可设置于终端中,也可设置于服务端中,对此本技术实施例不作具体限定。数据审核平台通过api(application program interface,应用程序编码接口)接口等方式与请求终端进行数据交互,从而实现对请求终端的原始数据进行内容审核。
82.在一些实施例的步骤s101中,请求终端为需进行内容审核的应用程序,该应用程序可以为单体架构形式,或使用分布式架构开发的微服务形式,对此本技术实施例不作具体限定。数据审核平台通过api接口等方式获取请求终端发送的第一审核请求。
83.在一些实施例的步骤s102中,第一审核请求携带有终端标识和待验证数据,终端标识用于对请求终端进行身份识别,其可以为国际移动设备身份码(international mobile equipment identity,imei)、移动设备识别码(mobile equipment identifier,meid),或数据审核平台统一分配的编码id等,对此本技术实施例不作具体限定。待验证数据为用于判断第一审核请求是否符合对应条件的数据,其可根据内容审核要求进行适应性设置,对此本技术实施例不作具体限定。
84.在一些实施例的步骤s103中,根据内容审核要求预先设置对应的响应条件,例如,当内容审核要求为请求终端具有审核请求权限时,响应条件为用于判断请求权限的条件。根据该响应条件对待验证数据进行验证,并得到对应的验证结果。其中,该验证结果用于表征是否对请求终端的原始数据进行内容审核,原始数据为请求终端中需进行内容审核的对象,原始数据包括原始文本数据、原始图像数据、原始视频数据等。
85.请参阅图2,在一些实施例中,待验证数据包括身份加密数据,响应条件包括验证标识,步骤s102可以包括但不限于包括步骤s201至步骤s202:
86.步骤s201、根据身份加密数据和预设的密钥得到请求标识;
87.步骤s202、根据验证标识对请求标识进行验证,得到验证结果。
88.在一些实施例的步骤s201中,响应条件包括验证标识,该验证标识用于判断请求终端是否具有调用数据审核平台进行内容审核的权限,进而确定第一审核请求是否为伪造请求。可以理解的是,当判断请求终端不具有调用数据审核平台进行内容审核的权限时,认为该请求终端发送的第一审核请求为伪造请求;当判断请求终端具有调用数据审核平台进行内容审核的权限时,认为该请求终端发送的第一审核请求为真实请求。因此,待验证数据包括身份加密数据,该身份加密数据为请求终端根据数据审核平台预先分配的验证标识和验证密钥进行加密计算得到的数据。数据审核平台预设有与验证密钥对应的解密密钥,数据审核平台根据该解密密钥对身份加密数据进行解密,以解密得到请求标识。可以理解的是,该请求标识与验证标识的形式相同,即当验证标识为编码形式时,请求标识也对应的为编码形式。
89.在一些实施例的步骤s202中,数据审核平台设有标识库,该标识库存储有多个验
证标识。数据审核平台根据请求标识对标识库进行查找匹配,当在标识库中查找得到与请求标识对应的验证标识时,表明该请求终端中的验证标识为数据审核平台分配的标识,从而确定待验证数据符合响应条件,即请求终端具有调用数据审核平台进行内容审核的权限。此时,数据审核平台响应于该审核请求,以进行内容审核。当在标识库中无法查找得到与请求标识对应的验证标识时,表明该请求终端中的验证标识为伪造标识,从而确定待验证数据不符合响应条件,即请求终端不具有调用数据审核平台进行内容审核的权限。此时,数据审核平台可根据预设策略返回判断结果,和/或生成警告提示等,对此本技术实施例不作具体限定。
90.本技术实施例通过身份加密数据对第一审核请求的真伪性进行判断,从而避免了数据审核平台根据伪造请求进行内容审核,进而避免了数据审核平台的审核资源被随意调用。
91.请参阅图3,在另一些实施例中,待验证数据包括原始数据的请求并发数,响应条件包括并发范围,步骤s102可以包括但不限于包括步骤s301至步骤s303:
92.步骤s301、获取总并发数;
93.步骤s302、根据请求并发数、总并发数得到占比数据;
94.步骤s303、根据并发范围对占比数据进行验证,得到验证结果。
95.在一些实施例的步骤s301中,数据审核平台获取自身的总并发数。可以理解的是,该总并发数用于表征数据审核平台可负载的最大并发数。总并发数受数据审核平台cpu核数、内存容量、网络带宽、硬件读写速度等的影响,因此,总并发数可以是预先对数据审核平台的上述影响因素进行评测得到,也可以是在获取审核请求后再对上述影响因素进行评测得到,对此本技术实施例不作具体限定。
96.在一些实施例的步骤s302中,待验证数据包括请求并发数,该请求并发数为请求终端预先对自身的内容审核需求进行评估得到。例如,当请求终端为在线商城对应的应用程序、原始数据包括原始图像数据时,可以通过对一段时间内用户上传的图像数量进行分析得到该请求并发数。可以理解的是,该请求并发数可以为请求终端的平均并发数,或为请求终端的最大并发数。但为了保证数据审核平台能够有效分配内容审核资源,在本技术实施例中,将请求终端的最大并发数作为请求并发数。根据请求并发数计算得到请求并发数占总并发数的占比数据。
97.在一些实施例的步骤s303中,数据审核平台可以同时对多个不同的请求终端进行内容审核,因此为了能够响应更多请求终端的第一审核请求,需对每个请求终端的内容审核资源进行合理分配,即需限制审核终端发送原始数据的并发数。具体地,预先设置并发范围,将并发范围与占比数据进行比较,当占比数据不在并发范围内时,表明该请求终端将占用较多的内容审核资源,即待验证数据不符合响应条件,此时数据审核平台将拒绝该请求终端的第一审核请求,并返回拒绝理由等。当占比数据在并发范围内时,表明该请求终端的请求并发数在数据审核平台的可负载范围内,即待验证数据符合响应条件。可以理解的是,为了保证对每一个请求终端均能进行内容审核,当占比数据不在并发范围内时,数据审核平台可以根据预设策略对该请求终端进行延时审核,即等待其他请求终端完成内容审核后,再响应该请求终端的第一审核请求。可以理解的是,并发范围可以根据数据审核平台的性能、数据审核平台已分配权限的请求终端数量等进行适应性设置,本技术实施例不作具
体限定。
98.本技术实施例通过请求并发数和总并发数得到占比数据,并根据预设的并发范围和该占比数据得到验证结果,从而实现了对请求并发数大的请求终端的限制,进而保证数据审核平台能够响应更多请求终端的第一审核请求,提高数据审核平台的应用范围。
99.在一些实施例的步骤s104中,数据审核平台预设有审核库,该审核库包括多个目标审核模板,每一个目标审核模板均包括多个数据存储信息、多个审核内容数据,以及该目标审核模板的模板标识。其中,一个审核内容数据与一个数据存储信息匹配。当验证结果表示待验证数据符合响应条件时,数据审核平台根据终端标识对审核库中的多个模板标识进行查找匹配,以筛选得到对应的目标审核模板。
100.在一些实施例的步骤s105中,数据存储信息用于存储预先获取的原始数据的地址参数,以当接收到请求终端发送的第一审核请求,并且待验证数据符合预设的响应条件时,数据审核平台能够根据数据存储信息所存储的地址参数从请求终端中读取对应的原始数据。可以理解的是,原始数据为请求终端中需进行内容审核的对象,原始数据包括原始文本数据、原始图像数据、原始视频数据、原始音频数据等,对此本技术实施例不作具体限定。
101.在一些实施例的步骤s106中,目标审核模板包括审核内容数据,审核内容数据包括对原始数据进行内容审核时所需的算法等。根据审核内容数据中的算法对原始数据进行审核,并根据对应算法的输出结果,和/或处理过程结果生成第一审核结果,从而实现了对原始数据的机器审核。可以理解的是,审核内容数据为根据原始数据的类型进行预先设置的,即当原始数据为原始文本数据时,审核内容数据包括对原始文本数据进行预处理的处理算法,以及对原始文本数据进行识别的识别算法等。可以理解的是,根据请求终端需进行内容审核的原始数据的数量,预先对目标审核模板中的审核内容数据的数量进行设置。例如,当请求终端需进行内容审核的原始数据包括原始文本数据和原始图像数据时,与该请求终端对应的目标审核模板包括两个审核内容数据,其中第一个审核内容数据用于对原始文本数据进行内容审核,第二个审核内容数据用于对原始图像数据进行内容审核。根据实际审核需求,可根据第一个审核内容数据和第二个审核内容数据的设置顺序依次对原始数据进行审核;或,对原始文本数据和原始图像数据进行同时审核,对此本技术实施例不作具体限定。
102.请参阅图4,在一些实施例的步骤s104之前,审核内容数据包括审核算法,本技术实施例提供的数据审核方法还可以包括但不限于包括步骤:构建目标审核模板,具体包括但不限于包括步骤s401至步骤s404:
103.步骤s401、获取原始数据的类型;
104.步骤s402、根据原始数据的类型从预设的算法库中提取得到审核算法;
105.步骤s403、获取原始数据的地址参数,根据地址参数得到数据存储信息;
106.步骤s404、根据数据存储信息、审核算法、预设的模板标识构建目标审核模板;其中,模板标识与终端标识匹配。
107.在一些实施例的步骤s401中,目标审核模板为根据请求终端的内容审核需求进行预先设置的,因此根据该内容审核需求获取原始数据的类型。例如,当请求终端为在线商城对应的应用程序时,其内容审核需求包括文本审核需求、图像审核需求和视频审核需求,即原始数据包括原始文本数据、原始图像数据和原始视频数据。此时,获取得到的原始数据的
类型包括文本类型、图像类型、视频类型。
108.在一些实施例的步骤s402中,根据原始数据的类型从预设的算法库中提取对应的审核算法,该审核算法包括对原始数据进行内容审核的算法,还可以包括对原始数据进行预处理的算法。例如,当原始数据的类型为图像类型时,提取的审核算法包括能够进行图像识别的深度学习模型,以及用于对图像进行预处理的均值滤波算法、高斯滤波算法等。可以理解的是,预设的算法库可以为预先加载在数据审核平台中的数据库,也可以是数据审核平台通过api接口等方式从外部调取的数据库,对此本技术实施例不作具体限定。
109.在一些实施例的步骤s403中,根据请求终端的内容审核需求获取原始数据在请求终端中的存储地址(即地址参数),根据该地址参数更新数据存储信息。以当验证结果为待验证数据符合响应条件时,数据审核平台能够根据更新后的数据存储信息获取原始数据,并根据该原始数据对审核算法的入参进行更新,进而实现根据审核算法对原始数据进行机器审核。
110.在一些实施例的步骤s404中,根据多个数据存储信息、多个审核算法、预设的模板标识构建得到目标审核模板。其中,一个数据存储信息与一个审核算法对应,模板标识为根据预先已知需进行内容审核的请求终端的终端标识设置的标识,即模板标识与终端标识匹配。例如,当原始数据包括原始文本数据、原始图像数据和原始视频数据时,目标审核模板包括三个审核算法和三个数据存储信息,第一个审核算法用于对文本类型进行内容审核的算法;第二个审核内容数据包括用于对原始图像数据进行内容审核的算法;第三个审核内容数包括用于对原始视频数据进行内容审核的算法。其中,包括原始文本数据地址参数的数据存储信息与第一个审核算法匹配;包括原始图像数据地址参数的数据存储信息与第二个审核算法匹配;包括原始视频数据地址参数的数据存储信息与第三个审核算法匹配。
111.可以理解的是,根据原始数据更新审核算法的入参,即将原始数据作为审核算法的输入数据,从而实现根据该审核算法对原始数据进行机器审核。可以理解的是,第一审核结果可以为根据审核算法输出数据生成的结果,也可以为审核算法处理过程中生成的结果。例如,当第一审核结果为根据审核算法输出数据生成的结果时,审核算法可以为用于识别原始数据是否包含违规数据的算法,此时第一审核结果为包含违规数据或不包含违规数据。当第一审核结果为处理过程中生成的结果时,第一审核结果可以为无法获取原始数据、审核算法异常等。
112.可以理解的是,在另一些实施例中,根据实际应用需求,还可以设置不同的类型标识,例如数据审核平台与请求终端预先约定标识1表示原始数据类型为文本、标识2表示原始数据类型为图像、标识3表示原始数据类型为视频。此时,目标审核平台包括多个审核内容数据,一个审核内容数据用于对一个原始数据进行内容审核,每一个审核内容数据中均包括不同类型对应的审核算法,即一个审核内容数据同时包括文本类型对应的审核算法、图像类型对应的审核算法、视频类型对应的审核算法。当请求终端包括多个原始数据时,数据审核平台根据审核请求为每一个原始数据分配一个审核内容数据,并通过原始数据对应的类型标识从审核内容数据中提取得到对应的审核算法,从而实现对原始数据的机器审核。
113.本技术实施例通过数据存储信息、审核算法、模板标识构建目标审核算法,从而实现了根据数据存储信息从请求终端中读取原始数据,并根据审核算法对该原始数据进行机
器审核。并且,通过数据存储信息获取原始数据的方式,避免了对一个原始数据设置不同类型的审核算法,进而实现了对目标审核模板的轻量化设计。
114.请参阅图5,在一些实施例中,本技术实施例提供的数据审核方法还包括但不限于包括步骤s501至步骤s502:
115.步骤s501、若第一审核结果表示如下任一种:审核超时、审核失败、审核异常,则生成用于提示人工审核的提示信息;
116.步骤s502、将提示信息发送给请求终端。
117.在一些实施例的步骤s501中,为了对原始数据进行有效审核,当第一审核结果为审核超时、审核失败、审核异常等任一种时,生成提示信息,该提示信息用于提示需对原始数据进行人工审核。其中,审核超时表示通过审核内容数据中的审核算法对原始数据进行机器审核时,在预定时长内审核算法无输出数据;审核失败表示无法获取原始数据、审核算法输出数据为空等情况;审核异常表示数据审核平台运行异常、原始数据存在部分缺失、原始数据格式错误等情况。可以理解的是,上述对审核超时、审核失败、审核异常的解释,以及根据何种第一审核结果生成提示信息的情况仅为示例性的,根据实际内容审核策略还可以对上述内容进行适应性调整,对此本技术实施例不作具体限定。
118.可以理解的是,在一些实施例中,可以根据不同类型的原始数据设置不同生成提示信息的方式,例如:针对文本类型的原始数据,根据文本特性,可设置在原始文本数据为空、原始文本数据的长度大于预设长度、原始文本数据无法识别等情况生成提示信息。针对图像类型的原始数据,根据图像特性,可设置在原始图像数据清晰度小于预设阈值、原始图像数据识别失败等情况生成提示信息。
119.在一些实施例的步骤s502中,将提示信息通过api接口等方式发送给请求终端,以提示请求终端用户对原始数据进行人工审核。
120.本技术实施例通过表示审核超时、审核失败、审核异常等的第一审核结果生成提示信息,从而实现了机器审核和人工审核的结合,保证了原始数据内容审核的有效性。
121.请参阅图6,在一些实施例中,本技术实施例提供的数据审核方法还包括但不限于包括步骤s601至步骤s603:
122.步骤s601、获取请求终端根据提示信息返回的第二审核请求;
123.步骤s602、将第二审核请求发送给审核端,并获取审核端根据第二审核请求返回的第二审核结果;
124.步骤s603、根据第二审核结果、第一审核结果对预设的审核模板进行填充操作,得到目标审核数据。
125.在一些实施例的步骤s601中,当将提示信息发送给请求终端后,获取请求终端返回的表示需进行人工审核的第二审核请求。
126.在一些实施例的步骤s602中,数据审核平台将第二审核请求转发给审核端,以提示审核端的审核人员对原始数据进行人工审核。审核端生成审核人员审核完成或审核过程中上传的第二审核结果,数据审核平台通过api接口等方式获取该第二审核结果。
127.在一些实施例的步骤s603中,数据审核平台还预设有审核模板,根据审核算法生成的第一审核结果,以及人工审核生成的第二审核结果对审核模板进行内容填充,从而得到审核报告(即目标审核数据)。
128.本技术实施例提供的数据审核方法,根据请求终端返回的第二审核请求进行人工审核,从而实现了机器审核和人工审核的结合,提高了对原始数据内容审核的准确性。并且,通过第一审核结果、第二审核结果对预设的审核模板进行填充操作,实现了自动生成审核报告,以便于用户后续对内容审核操作进行核查。
129.请参阅图7,在一些实施例中,本技术实施例提供的数据审核方法还包括但不限于包括步骤s701至步骤s703:
130.步骤s701、获取原始数据的实际并发数,以及原始数据的处理耗时;
131.步骤s702、若实际并发数大于预设的并发阈值,且处理耗时小于预设的耗时阈值,则将审核结果同步发送给请求终端;
132.步骤s703、若实际并发数小于并发阈值,或处理耗时大于耗时阈值,则将审核结果异步发送给请求终端。
133.在一些实施例的步骤s701中,获取请求终端发送的原始数据的实际并发数,以及对该原始数据进行内容审核时的处理耗时。可以理解的是,不同审核内容数据计算实际并发数的方式可以相同或不同,例如,多个审核内容数据都通过计算与原始数据的连接数得到实际并发数。或者,对于对图像类型的原始数据进行内容审核的审核内容数据,该审核内容数据采用同步调用的方式获取原始数据,因此该审核内容数据根据http请求计算实际并发数,单个http调用结束即表示请求完成;对于对视频类型的原始数据进行内容审核的审核内容数据,该审核内容数据采用异步调用的方式获取原始数据,由于在异步请求中http调用返回的是数据审核平台的接收结果,而不是审核结果,因此该审核内容数据根据审核算法审核完成计算实际并发数。可以理解的是,审核内容数据采用同步调用或异步调用获取原始数据的方式,可以为根据请求终端的审核需求预先设置的,或根据其他方式设置,对此本技术实施例不作具体限定。
134.在一些实施例的步骤s702中,若实际并发数大于预设的并发阈值,并且处理耗时小于预设的耗时阈值,则表明审核内容数据对对应原始数据的审核具有耗时低、并发性强的特点,此时通过同步调用的方式将审核结果回调给请求终端。可以理解的是,并发阈值和耗时阈值的具体取值可以根据实际需要进行适应性设置,本技术实施例不作具体限定。
135.在一些实施例的步骤s703中,若实际并发数小于并发阈值,或处理耗时大于耗时阈值,则表明审核内容数据对对应原始数据的审核具有耗时高或并发能力弱的特点,此时通过异步调用的方式将审核结果回调给请求终端。
136.本技术实施例通过原始数据的实际并发数,以及审核内容数据对原始数据的处理耗时确定回调审核结果的方式,从而保证了审核结果回调的时效性和准确性。
137.请参阅图8,本技术实施例还提供一种数据审核装置,可以实现上述数据审核方法,该装置包括:
138.请求获取模块810,用于获取请求终端发送的第一审核请求;
139.第一数据获取模块820,用于根据第一审核请求获取请求终端的终端标识、待验证数据;
140.响应判断模块830,用于根据预设的响应条件对待验证数据进行验证,得到验证结果;
141.提取模块840,用于若验证结果为待验证数据符合响应条件,则从预设的审核库中
提取目标审核模板;其中,目标审核模板包括审核内容数据和数据存储信息;
142.第二数据获取模块850,用于根据数据存储信息从请求终端获取原始数据;其中,原始数据包括以下数据至少之一:原始文本数据、原始图像数据、原始视频数据;
143.审核模块860,用于根据审核内容数据对原始数据进行审核,得到第一审核结果。
144.可见,上述数据审核方法实施例中的内容均适用于本数据审核装置的实施例中,本数据审核装置实施例所具体实现的功能与上述数据审核方法实施例相同,并且达到的有益效果与上述数据审核方法实施例所达到的有益效果也相同。
145.本技术实施例还提供了一种电子设备,电子设备包括括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述数据审核方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
146.请参阅图9,图9示意了另一实施例的电子设备的硬件结构,电子设备包括:
147.处理器901,可以采用通用的cpu(centralprocessingunit,中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit,asic)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本技术实施例所提供的技术方案;
148.存储器902,可以采用只读存储器(readonlymemory,rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory,ram)等形式实现。存储器902可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器902中,并由处理器901来调用执行本技术实施例的数据审核方法;
149.输入/输出接口903,用于实现信息输入及输出;
150.通信接口904,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如usb、网线等)实现通信,也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信;
151.总线905,在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息;
152.其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
153.本技术实施例还提供了一种存储介质,存储介质为计算机可读存储介质,该存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述数据审核方法。
154.存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
155.本技术实施例提供的数据审核方法和装置、电子设备及存储介质,其通过审核内容数据中的审核算法实现了对原始数据的机器审核,从而避免了相关技术中人工审核造成的审核效率低、审核准确度低等问题。根据预设的响应条件对待验证数据进行响应判断,实现对请求终端调用数据审核平台进行内容审核的权限验证,以及实现了数据审核平台审核资源的合理分配。通过表示审核超时、审核失败、审核异常等的审核结果生成用于提示人工
审核的提示信息,从而实现了机器审核和人工审核的结合,进而保证了对原始数据内容审核的有效性。
156.本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
157.本领域技术人员可以理解的是,图中示出的技术方案并不构成对本技术实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
158.以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
159.本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
160.本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
161.应当理解,在本技术中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:只存在a,只存在b以及同时存在a和b三种情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
162.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
163.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
164.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
165.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,简称rom)、随机存取存储器(random access memory,简称ram)、磁碟或者光盘等各种可以存储程序的介质。
166.以上参照附图说明了本技术实施例的优选实施例,并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本技术实施例的权利范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1