检测模型训练、数据检测方法、装置、设备及存储介质与流程

1.本发明实施例涉及数据处理技术领域，尤其涉及一种检测模型训练、数据检测方法、装置、设备及存储介质。


背景技术：

2.随着大数据的快速发展，为了提高数据处理效率，保证数据处理的质量，通常需要对数据进行检测。例如，可以检测数据中的异常数据，如从互联网数据中检测黑名单数据，或检测数据中所需的特定数据类型等，如从图像数据中检测人脸数据或等。
3.目前，检测数据包括两种主要检测方案，第一种通过人为检测，如人为肉眼核验由平台推送过来的交易数据是否合理。第二种为通过网络模型自动检测。近年来，机器学习发展迅速，广泛应用于多个领域。机器学习的核心思想是使得网络模型能够提取出训练集数据样本的统计特性，从而将输入给网络的对象按照差异性进行分类，在数据检测领域应用也较为广泛。
4.发明人在实现本发明的过程中，发现现有技术存在如下缺陷：人为检测的方式难以满足大数据的检测需求，当检测数据量较大时，仅凭肉眼核验是不现实的，数据检测效率极低。通过网络模型自动检测时，往往直接将样本数据作为训练数据训练网络模型，或仅对样本数据进行简单的预处理操作，这种模型训练方式会耗费大量时间和计算资源，导致模型训练效率低且模型准确率较低，进而导致数据检测效果不理想。


技术实现要素：

5.本发明实施例提供一种检测模型训练、数据检测方法、装置、设备及存储介质，能够提高检测模型的训练效率，降低模型训练所使用的计算资源，并提高检测模型的准确率，进而提高数据检测的效率和准确率。
6.根据本发明的一方面，提供了一种检测模型训练方法，包括：
7.根据历史目标样本数据构建多维度综合画像样本数据；
8.根据gan(generative adversarial network，生成式对抗网络)生成器生成伪目标样本数据；
9.将所述多维度综合画像样本数据和所述多维度综合画像样本数据作为训练数据输入至gan判别器，以对基于gan网络的检测模型进行训练。
10.根据本发明的另一方面，提供了一种数据检测方法，包括：
11.获取待检测数据；
12.将所述待检测数据输入至基于gan网络的检测模型中进行目标数据的检测；
13.其中，所述基于gan网络的检测模型通过上述任一所述的检测模型训练方法训练得到。
14.根据本发明的另一方面，提供了一种检测模型训练装置，包括：
15.综合画像样本数据构建模块，用于根据历史目标样本数据构建多维度综合画像样
本数据；
16.伪目标样本数据生成模块，用于根据gan生成器生成伪目标样本数据；
17.检测模型训练模块，用于将所述多维度综合画像样本数据和所述多维度综合画像样本数据作为训练数据输入至gan判别器，以对基于gan网络的检测模型进行训练。
18.根据本发明的另一方面，提供了一种数据检测装置，包括：
19.待检测数据获取模块，用于获取待检测数据；
20.目标数据检测模块，用于将所述待检测数据输入至基于gan网络的检测模型中进行目标数据的检测；
21.其中，所述基于gan网络的检测模型通过上述所述的检测模型训练装置训练得到。
22.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
23.至少一个处理器；以及
24.与所述至少一个处理器通信连接的存储器；其中，
25.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的检测模型训练方法或数据检测方法。
26.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的检测模型训练方法或数据检测方法。
27.本发明实施例通过根据历史目标样本数据构建多维度综合画像样本数据，并根据gan生成器生成伪目标样本数据，以将多维度综合画像样本数据和多维度综合画像样本数据作为训练数据输入至gan判别器，实现对基于gan网络的检测模型进行训练。由于多维度综合画像样本数据包括样本数据的高维特征，因此训练基于gan网络的检测模型时可以有效降低训练时间和节省计算资源，训练得到的基于gan网络的检测模型可以对获取的待检测数据自动检测目标数据，解决现有数据检测方法存在的数据检测效率低、检测模型训练效率和准确率低等问题，能够提高检测模型的训练效率，降低模型训练所使用的计算资源，并提高检测模型的准确率，进而提高数据检测的效率和准确率。
28.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
29.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是本发明实施例一提供的一种检测模型训练方法的流程图；
31.图2是本发明实施例一提供的一种vae模型结构图；
32.图3是本发明实施例一提供的一种训练数据的结构示意图；
33.图4是本发明实施例提供的一种基于gan网络的检测模型的训练流程示意图；
34.图5是本发明实施例提供的另一种基于gan网络的检测模型的训练流程示意图；
35.图6是本发明实施例二提供的一种数据检测方法的流程图；
36.图7是本发明实施例三提供的一种检测模型训练装置的示意图；
37.图8是本发明实施例四提供的一种数据检测装置的示意图；
38.图9为本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
39.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
40.需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
41.实施例一
42.图1是本发明实施例一提供的一种检测模型训练方法的流程图，本实施例可适用于根据包括高维特征的多维度综合画像样本数据对基于gan网络的检测模型进行训练的情况，该方法可以由检测模型训练装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中，该电子设备可以是终端设备，也可以是服务器设备，本发明实施例并不对电子设备的具体设备类型进行限定。相应的，如图1所示，该方法包括如下操作：
43.s110、根据历史目标样本数据构建多维度综合画像样本数据。
44.其中，历史目标样本数据可以是需要进行数据检测的某一类型的历史样本数据。示例性的，历史目标样本数据可以是历史交易样本数据或历史图像样本数据等，只要具备数据检测需求即可，本发明实施例并不对历史目标样本数据的具体数据类型进行限定。多维度综合画像样本数据可以是包括高维特征的样本数据。
45.在本发明实施例中，可选的，基于gan网络的检测模型可以用于检测异常数据。基于gan网络的检测模型属于一种深度学习模型。目前，大多机器学习的算法存在局限，即模型在训练时对数据样本要求较高，相关人员采用包含多个隐藏层的深度结构取代了感知机仅有一层甚至没有隐藏层的结构，以此发展出深度学习理论，而深度学习尤其需要大量的良好的数据样本。
46.同时，数据准确性用于描述一个值与它所描述的客观事物的真实值之间的接近程度，一般是指数据记录的信息是否存在异常或错误。例如，业务员在上报系统上填写客户信息时，手误输错了某一信息，造成了数据库里存在的信息与客观事实不一样。或者，在历史交易数据中，交易数据中的商品详情出现错误等。数据的异常检测具有一定的难度和时效性要求，在基于实时大数据场景中，如果返回一个精确数据给用户，必将耗费大量时间和计算资源，这就无法满足实时性的需求，因此对需要反馈的数据进行异常检测，快速筛选出异常数据，保证数据反馈的准确性和时效性。在数据时效要求比较高的异常数据检测过程中，通过检测模型进行异常检测普遍存在数据计算资源消耗大、检测周期长和数据量过大的缺
陷。
47.为了有效降低训练时间，节省设备的计算资源，并提高基于gan网络的检测模型的模型准确率，在获取到历史目标样本数据之后，可以首先对历史目标样本数据进行预处理，提取历史目标样本数据的多维特征，得到对应的多维度综合画像样本数据。
48.在本发明的一个可选实施例中，所述根据历史目标样本数据构建多维度综合画像样本数据，可以包括：根据所述历史目标样本数据获取多个单维度历史目标样本数据；根据各所述单维度历史目标样本数据的维度数量构建目标变分自动编码器；将各所述单维度历史目标样本数据进行归一化处理，得到归一化样本数据；将所述归一化样本数据输入至所述目标变分自动编码器，得到所述多维度综合画像样本数据。
49.其中，单维度历史目标样本数据可以是对历史目标样本数据拆分的每个维度的样本数据。在一个具体的例子中，假设历史目标样本数据为历史交易样本数据，则单维度历史目标样本数据可以包括但不限于历史订单数据、历史交易信息以及行业信息数据等不同维度的样本数据。目标变分自动编码器可以是根据数据检测需求构建的变分自动编码器。
50.自动编码器是一种数据的压缩算法，其中数据的压缩和解压缩函数是数据相关的、有损的及从样本中自动学习的。可选的，本发明实施例所应用的目标变分自动编码器可以是vae(variational auto-encoder)编码器。相比于自动编码器，vae更倾向于数据生成。只要训练好了编码器，就可以从标准正态分布生成数据作为解码器的输入，来生成类似但不同于训练数据的新样本。
51.在本发明实施例中，可选的，可以通过目标变分自动编码器对历史目标样本数据进行预处理，得到多维度综合画像样本数据。可以理解的是，目标变分自动编码器在具体应用前，需要预先训练。
52.图2是本发明实施例一提供的一种vae模型结构图。如图2所示，vae算法与gan算法同属于生成模型，其核心思想是：将一个已知的，可控的随机分布q(z)映射到目标随机分布p(x)上。
53.vae的主要实现流程是：
54.(1)对训练集抽样，将得到的样本xi(x为图中的输入input)，xi经过神经网络编码器，获得两组向量mi,σi,ei为符合正态分布的高斯向量。
55.(2)将高斯变量引入解码器输出，即ci＝exp(σi)
×ei
+mi。
56.(3)利用解码器(nn_decoder)将ci进行映射，得到映射后的数据(图中输出output)。
57.(4)设定损失函数为训练的目标就是使得损失函数最小。
58.(5)vae模型收敛之后，可以利用解码器(decoder)生成样本，即可将已知符合分布q(z)的输入样本通过解码器映射成符合目标分布p(x)的样本。
59.在本发明的一个可选实施例中，所述历史目标样本数据包括历史交易样本数据；所述单维度历史目标样本数据包括历史订单数据、历史交易信息以及行业信息数据；其中，各所述单维度历史目标样本数据包括多维度的子样本数据。
60.其中，历史交易样本数据可以指客户与核心企业之间在过去发生的销售订单记录，一般可以包含订单编号、物品名称以及物品数量等信息。以历史订单数据作为单维度历
史目标样本数据为例说明，历史订单数据可以包括订单时长、订单数量、订单金额以及订单状态等各维度的子样本数据。
61.在现有技术中，多将历史交易的流转情况与资金流转情况绑定，并未关注交易数据中商品详情信息是否真实可靠，无法检测出虚假的交易数据信息。而交易数据的真实性对各行各业都具有重要的影响，如在金融领域，会影响客户授信测算额度。其中，授信是指商业银行向非金融机构客户直接提供的资金，或者对客户在有关经济活动中可能产生的赔偿、支付责任做出的保证。
62.考虑到vae算法可以学习到交易数据样本的数学分布，并可将其重建，通过比较重建后的样本与异常样本的数学分布，即可将异常样本检测出来。因此，可以针对历史交易样本数据的真实性受到多维度信息干涉，综合多角度信息，建立三维度的交易信息画像，将历史订单数据、历史交易信息以及行业信息数据三个维度的单维度历史目标样本数据，通过vae提取高纬特征，获取重构后的多维度综合画像样本数据。由于单维度历史目标样本数据的数量级可能存在较大差异，因此，可以对各单维度历史目标样本数据进行归一化处理，得到归一化样本数据后，将归一化样本数据输入至目标变分自动编码器，得到多维度综合画像样本数据，以提高vae模型的计算效率和数据重构效果。
63.在本发明的一个可选实施例中，所述根据各所述单维度历史目标样本数据的维度数量构建目标变分自动编码器，可以包括：根据所述单维度历史目标样本数据的第一维度数量以及第二维度数量确定所述目标变分自动编码器的编码器的输入输出网络以及解码器的输入输出网络；确定所述目标变分自动编码器的编码器的激活函数以及所述目标变分自动编码器的解码器的激活函数。
64.其中，第一维度数量可以是各单维度历史目标样本数据的数据类型的数量，第二维度数量可以是单维度历史目标样本数据中子样本数据的数据类型的数量。
65.在一个具体的例子中，以钢铁材料行业为例，选取历史订单数据、历史交易信息、行业信息数据等三个维度的单维度历史目标样本数据。其中，历史订单数据可以包括订单时长(天)、订单数量(吨)、订单金额(万元)以及订单状态(0为不正常，1为正常，由业务人员根据交易实际情况的人工判断录入)等子样本数据。历史交易信息可以包括订单买卖双方近一年交易总额(万元)、订单买卖双方近两年交易总额(万元)、订单买卖双方近一年增长率(％)以及订单买卖双方近一年平均周转天数(天)等子样本数据。行业信息数据可以包括行业pmi(purchasing managers'index，采购经理指数)指数、采购量指数、原材料库存指数以及社会库存等子样本数据。同理，汽车、制造、医疗以及食品等各个行业数据集以此类推准备。
66.由此可见，在上述示例中，单维度历史目标样本数据的第一维度数量为3，单维度历史目标样本数据的第二维度数量为4，因此，可以将所有训练数据按照如图3所示的结构组合为3*4的数据样本。进一步的，为抽取上述单维度历史目标样本数据的复合高维特征样本以体现内在数学特征，可以使用vae算法作为数据预处理一部分，根据单维度历史目标样本数据的第一维度数量以及第二维度数量确定目标vae的编码器和解码器为4层网络，其中，编码器的输入为3*4，输出为5*5(与gan网络的层次相对应)，激活函数可以为relu(rectified linear unit,线性整流函数,)函数；解码器的输入为5*5，输出为3*4，relu函数可以为中间激活函数，最后一层可以为tanh(hyperbolic tangent function，双曲正切
函数)激活函数。
67.当目标vae构建完成后，可以利用历史目标样本数据对其进行训练。当目标vae训练完成后，将历史目标样本数据输入至目标vae的模型中，将目标vae的编码器输出的数据作为多维度综合画像样本数据。例如，在上述示例中，可以将目标vae的编码器输出的5*5维度的数据作为多维度综合画像样本数据。
68.s120、根据gan生成器生成伪目标样本数据。
69.其中，伪目标样本数据可以是gan生成器所生成的某一类型的样本数据，如可以是伪交易样本数据或伪图像样本数据等，只要与历史目标样本数据的数据类型相同即可，本发明实施例并不对伪目标样本数据的数据类型进行限定。
70.s130、将所述多维度综合画像样本数据和所述多维度综合画像样本数据作为训练数据输入至gan判别器，以对基于gan网络的检测模型进行训练。
71.图4是本发明实施例提供的一种基于gan网络的检测模型的训练流程示意图，图5是本发明实施例提供的另一种基于gan网络的检测模型的训练流程示意图，在一个具体的例子中，如图4和图5所示，对基于gan网络的检测模型进行训练的流程具体可以包括下述操作：
72.步骤一、获取历史交易样本数据，可选的，历史交易样本数据可以包括但不限于汽车、钢铁、制造、医疗以及食品等行业。
73.步骤二、综合多角度信息，根据历史交易样本数据建立多维度综合画像样本数据(具体可以是三维度)。具体的，将历史交易样本数据中包括的历史订单数据、历史交易信息以及行业信息数据三个维度的单维度历史目标样本数据，通过变分自动编码器进行高纬特征提取，获取重构后的多维度综合画像样本数据。
74.步骤三、根据gan生成器生成伪交易样本数据。可以理解的是，伪交易样本数据同样可以包括历史订单数据、历史交易信息以及行业信息数据三个维度的单维度历史目标样本数据。
75.步骤四、将多维度综合画像样本数据和多维度综合画像样本数据同时作为训练数据输入至gan判别器，以对基于gan网络的检测模型进行训练。可选的，可以选择训练数据中数据总量的70％的数据作为训练集，20％的数据作为测试集，10％的数据作为验证集。
76.gan网络可以通过生成模型学习数据的内在的本质特征，实现对数据分布特征的准确表征，进而生成与训练集样本相似的新数据。且生成式对抗网络的模型参数远小于训练数据的量，因此模型能够挖掘出、内化数据的本质。
77.gan网络可以分为两个互相博弈的部分，即生成器g和判别器d。其中，判别器d同时接受生成器产生的伪交易样本数据g(z)(假样本，判别为0)，以及多维度综合画像样本数据x(真样本，判别为1)作为输入，其目标在于要尽可能地判别出样本的真伪。高斯分布噪声也即随机变量z(noise)也是生成器g的输入，z是从随机变量到近似样本空间pg的一种映射，它的分布尽可能地产生符合真实数据分布的伪交易样本数据g(z)。
78.在gan网络的训练过程中，可以对判别器和生成器进行迭代和更新。生成器g和判别器d交替对抗训练。当判别器和生成器的随着训练达到一定收敛，可以认为生成器已经学习到了样本的真实分布。
79.由于判别器d是一个二分类器，所以其训练目标是将源于真实数据的真样本准确
判为1，将由生成器产生的伪样本准确判为0。因此，判别器d目标函数如下：
[0080][0081]
其中，θd表示判别器的模型参数，θg表示生成器的模型参数，max(j
(d)
(θd,θg))表示判别模型的目标函数，d表示判别模型，g表示生成模型，x为源于真实数据分布pdata的多维度综合画像样本数据，e表示期望，z表示基于高斯分布pz的随机噪声，g(z)为生成器产生的伪交易样本数据，判别器d要尽可能地令d(x)＝1，d(g(x))＝0。
[0082]
原始gan模型往往采用js散度(jensen
–
shannon divergence)，判别器训练到最优之后，gan的训练目标就转变为了最小化真实数据分布与合成数据分布之间的js散度问题。然而js散度在收敛性方面存在缺陷，会带来梯度消失的问题，存在生成器和判别器的损失无法指示训练进程、生成样本缺乏多样性等问题。为此，可以采用wgan(wasserstein gan)模型wasserstein距离(推土机距离)取代了js散度作为新的度量距离的方式。wasserstein距离相比js散度，其进步性在于两个分布之前不存在重叠，js散度总是突变的，但wasserstein距离具有平滑的特性，使得训练的稳定性大大提高，提升了网络的性能，尽量避免了模式崩溃的现象，具有极强的鲁棒性。
[0083]
训练时将基于高斯分布的随机噪声输入生成器，将生成器生成的数据样本与vae预处理后获取的样本同时输入判别器，对生成器和判别器进行训练。训练过程中，通过测试集验证模型的收敛程度，在模型训练达一定收敛之后，将验证集的数据样本输入判别器，对验证集数据进行识别，检测其中的异常样本，以实现对历史交易样本数据的检异常数据检测，实现线上动态预警。
[0084]
上述技术方案，通过针对历史交易数据的特点，构建多维度综合画像样本数据，可以更好的提取其特征，以针对性的监测历史交易数据的波动情况，更好地用于历史交易数据的异常检测。依托gan网络搭建的检测模型，也相对常规深度学习模型有更好的稳定性、准确定，所以可以对异常历史交易数据具有更好的监测效果。
[0085]
本发明实施例通过根据历史目标样本数据构建多维度综合画像样本数据，并根据gan生成器生成伪目标样本数据，以将多维度综合画像样本数据和多维度综合画像样本数据作为训练数据输入至gan判别器，实现对基于gan网络的检测模型进行训练。由于多维度综合画像样本数据包括样本数据的高维特征，因此训练基于gan网络的检测模型时可以有效降低训练时间和节省计算资源，训练得到的基于gan网络的检测模型可以对获取的待检测数据自动检测目标数据，解决现有数据检测方法存在的数据检测效率低、检测模型训练效率和准确率低等问题，能够提高检测模型的训练效率，降低模型训练所使用的计算资源，并提高检测模型的准确率，进而提高数据检测的效率和准确率。
[0086]
具体应用场景
[0087]
银行在为客户提供资金前，对客户在有关经济活动中的信用向第三方作出保证的行为时，会结合客户的资信状况、信用需求以及风险与收益等因素，对客户核定未来一段期限内银行愿意和能够承受的各类信贷业务和非信贷业务的最高信用风险限额，称为授信额度。授信满足企业基本融资需求，授信额度按贷款、信用证和保函等多种授信业务品种设定了单项的额度，基本覆盖了客户主要的融资需求。由于授信额度可以循环使用，企业财务计划的制定因此变得更加明确和有条理，不必为经常性业务特别安排资金。
[0088]
授信模型是指为客户指定授信的方式，目前常用的授信模型有信用计量模型、kmv
模型(用于估计借款企业违约概率的方法)以及额度授信模型等，其中较为常用的有基于客户历史交易数据的授信模型，根据客户近一年或近两年的历史交易总额、年历史交易增长率以及周转天数等因子测算客户授信额度。而测算过程中，如何分辨异常的历史交易数据是授信计算过程中的一个痛点。
[0089]
供应链融资是将供应链中的核心企业及其相关的上下游配套企业作为一个整体，根据供应链中企业的交易关系和行业特点，制定基于货物权的整体财务解决方案和现金流量控制融资模型。供应链融资解决了上下游企业的融资难问题和担保问题，通过打破上下游融资的瓶颈，还可以降低供应链的融资成本，提高核心企业和配套企业的竞争力。
[0090]
在供应链金融服务中，测算客户授信是融资前的重要一步，而基于历史交易数据的授信计算模型是测算客户授信的一种常见且重要的方式，因此交易数据的真实性是保证客户授信准确的重要基础。
[0091]
现有的供应链异常历史交易数据检测方案为：一种是人为肉眼核验由平台推送过来的历史交易数据是否合理。但随着供应链快速发展，所产生的交易数据量骤增，仅凭肉眼核验是不现实的。另一种是基于商品链和资金链组成的双链模型，通过将完整交易数据分为产品流转记录和资金流转记录，分开保存、判断、安全关联等步骤，将与资金流转记录对应的产品流转记录状态置为有效，否则，将与资金流转记录对应的产品流转记录置为无效，以此检测异常交易数据，但该方法并未关注交易数据里商品详情是否真实，对于这类异常交易数据无法检测。
[0092]
本发明实施例针对供应链融资中基于历史交易数据测算授信的场景，提出一种基于gan网络的供应链异常交易数据检测模型训练方法。针对历史交易数据信息涉及多维度相关信息，处理单一数据难以获取综合特征，现有其他算法难以直接对其进行有效信息提取的问题，采用vae算法，结合历史订单数据、历史交易信息以及行业信息数据三个维度的全面信息，构造多维度画像，提升样本特征的关联性、有效性、全面性，使其能够更好的适用于深度学习模型。以融资客户与核心企业发生的历史交易数据构造的多维度画像训练生成式对抗网络，获取可重建出数据样本的检测模型，通过比较与真实交易相仿的数据和当前交易的数学分布差异，检测当前交易信息是否异常。该方法可有效检测异常历史交易数据，从而为客户提供更加准确的授信额度，线上动态预警，强化供应链融资中的风险防控能力。
[0093]
也即，先通过变分自编码器将供应链融资中的供应链异常历史交易数据重构成高维数据样本，然后依据此样本对gan网络进行训练，获取可监测历史交易数据异常情况的检测模型，检测交易数据信息是否异常。将深度学习与供应链异常历史交易数据检测相结合，可以实现对供应链异常历史交易数据的波动监测，提供针对性的异常交易数据预警，提升预警前瞻性，增强供应链融资的安全性、稳定性，可有效解决供应链融资中，对于历史交易数据监测的精确性、实时性、动态性以及全面性的严苛要求。
[0094]
需要说明的是，本发明实施例采用的gan模型的训练中没有把数据拟合到特定分布强预设，而是通过判别器网络来进行训练的，让生成器产生数据的分布直接拟合训练数据的分布，因此训练效果较好，相比其他现有算法更加适用于供应链历史交易数据的监测场景，对于异常历史交易信息识别准确度更高。
[0095]
实施例二
[0096]
图6是本发明实施例二提供的一种数据检测方法的流程图，本实施例可适用于根
据包括高维特征的多维度综合画像样本数据对基于gan网络的检测模型进行训练的情况，该方法可以由检测模型训练装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中，该电子设备可以是终端设备，也可以是服务器设备，本发明实施例并不对电子设备的具体设备类型进行限定。相应的，如图6所示，该方法包括如下操作：
[0097]
s210、获取待检测数据。
[0098]
其中，待检测数据例如可以是需要检测异常信息的数据，也可以是需要检测人像的图像数据等，本发明实施例并不对待检测数据的具体数据类型进行限定。
[0099]
s220、将所述待检测数据输入至基于gan网络的检测模型中进行目标数据的检测。
[0100]
其中，所述基于gan网络的检测模型通过本发明任一实施例所述的检测模型训练方法训练得到。目标数据可以是异常数据或人像数据等需要检测的数据类型。
[0101]
在本发明实施例中，当基于gan网络的检测模型训练完成后，即可将获取的待检测数据输入至基于gan网络的检测模型中进行目标数据的检测。
[0102]
在本发明的一个可选实施例中，所述待检测数据可以包括待检测交易数据，所述目标数据可以包括异常交易数据。也即，基于gan网络的检测模型可以对待检测交易数据进行异常检测，以获取其中包括的异常交易数据。
[0103]
本发明实施例通过根据历史目标样本数据构建多维度综合画像样本数据，并根据gan生成器生成伪目标样本数据，以将多维度综合画像样本数据和多维度综合画像样本数据作为训练数据输入至gan判别器，实现对基于gan网络的检测模型进行训练。由于多维度综合画像样本数据包括样本数据的高维特征，因此训练基于gan网络的检测模型时可以有效降低训练时间和节省计算资源，训练得到的基于gan网络的检测模型可以对获取的待检测数据自动检测目标数据，解决现有数据检测方法存在的数据检测效率低、检测模型训练效率和准确率低等问题，能够提高检测模型的训练效率，降低模型训练所使用的计算资源，并提高检测模型的准确率，进而提高数据检测的效率和准确率。
[0104]
需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。
[0105]
实施例三
[0106]
图7是本发明实施例三提供的一种检测模型训练装置的示意图，如图7所示，所述装置包括：综合画像样本数据构建模块310、伪目标样本数据生成模块320以及检测模型训练模块330，其中：
[0107]
综合画像样本数据构建模块310，用于根据历史目标样本数据构建多维度综合画像样本数据；
[0108]
伪目标样本数据生成模块320，用于根据gan生成器生成伪目标样本数据；
[0109]
检测模型训练模块330，用于将所述多维度综合画像样本数据和所述多维度综合画像样本数据作为训练数据输入至gan判别器，以对基于gan网络的检测模型进行训练。
[0110]
本发明实施例通过根据历史目标样本数据构建多维度综合画像样本数据，并根据gan生成器生成伪目标样本数据，以将多维度综合画像样本数据和多维度综合画像样本数据作为训练数据输入至gan判别器，实现对基于gan网络的检测模型进行训练。由于多维度综合画像样本数据包括样本数据的高维特征，因此训练基于gan网络的检测模型时可以有效降低训练时间和节省计算资源，训练得到的基于gan网络的检测模型可以对获取的待检
测数据自动检测目标数据，解决现有数据检测方法存在的数据检测效率低、检测模型训练效率和准确率低等问题，能够提高检测模型的训练效率，降低模型训练所使用的计算资源，并提高检测模型的准确率，进而提高数据检测的效率和准确率。
[0111]
可选的，综合画像样本数据构建模块310，具体用于：根据所述历史目标样本数据获取多个单维度历史目标样本数据；根据各所述单维度历史目标样本数据的维度数量构建目标变分自动编码器；将各所述单维度历史目标样本数据进行归一化处理，得到归一化样本数据；将所述归一化样本数据输入至所述目标变分自动编码器，得到所述多维度综合画像样本数据。
[0112]
可选的，综合画像样本数据构建模块310，具体用于：根据所述单维度历史目标样本数据的第一维度数量以及第二维度数量确定所述目标变分自动编码器的编码器的输入输出网络以及解码器的输入输出网络；确定所述目标变分自动编码器的编码器的激活函数以及所述目标变分自动编码器的解码器的激活函数。
[0113]
可选的，所述历史目标样本数据包括历史交易样本数据；所述单维度历史目标样本数据包括历史订单数据、历史交易信息以及行业信息数据；其中，各所述单维度历史目标样本数据包括多维度的子样本数据。
[0114]
上述检测模型训练装置可执行本发明任意实施例所提供的检测模型训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的检测模型训练方法。
[0115]
由于上述所介绍的检测模型训练装置为可以执行本发明实施例中的检测模型训练方法的装置，故而基于本发明实施例中所介绍的检测模型训练方法，本领域所属技术人员能够了解本实施例的检测模型训练装置的具体实施方式以及其各种变化形式，所以在此对于该检测模型训练装置如何实现本发明实施例中的检测模型训练方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中检测模型训练方法所采用的装置，都属于本技术所欲保护的范围。
[0116]
实施例四
[0117]
图8是本发明实施例四提供的一种数据检测装置的示意图，如图8所示，所述装置包括：待检测数据获取模块410以及目标数据检测模块420，其中：
[0118]
待检测数据获取模块410，用于获取待检测数据；
[0119]
目标数据检测模块420，用于将所述待检测数据输入至基于gan网络的检测模型中进行目标数据的检测；
[0120]
其中，所述基于gan网络的检测模型通过本发明任一实施例所述的检测模型训练装置训练得到。
[0121]
可选的，所述待检测数据包括待检测交易数据，所述目标数据包括异常交易数据。
[0122]
本发明实施例通过根据历史目标样本数据构建多维度综合画像样本数据，并根据gan生成器生成伪目标样本数据，以将多维度综合画像样本数据和多维度综合画像样本数据作为训练数据输入至gan判别器，实现对基于gan网络的检测模型进行训练。由于多维度综合画像样本数据包括样本数据的高维特征，因此训练基于gan网络的检测模型时可以有效降低训练时间和节省计算资源，训练得到的基于gan网络的检测模型可以对获取的待检测数据自动检测目标数据，解决现有数据检测方法存在的数据检测效率低、检测模型训练
效率和准确率低等问题，能够提高检测模型的训练效率，降低模型训练所使用的计算资源，并提高检测模型的准确率，进而提高数据检测的效率和准确率。
[0123]
上述数据检测装置可执行本发明任意实施例所提供的数据检测方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的数据检测方法。
[0124]
由于上述所介绍的数据检测装置为可以执行本发明实施例中的数据检测方法的装置，故而基于本发明实施例中所介绍的数据检测方法，本领域所属技术人员能够了解本实施例的数据检测装置的具体实施方式以及其各种变化形式，所以在此对于该数据检测装置如何实现本发明实施例中的数据检测方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中数据检测方法所采用的装置，都属于本技术所欲保护的范围。
[0125]
实施例五
[0126]
图9示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0127]
如图9所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0128]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0129]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如检测模型训练方法或数据检测方法。
[0130]
在一些实施例中，检测模型训练方法或数据检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的检测模型训练方法或数据检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行检测模型训练方法或数据检测方法。
[0131]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电
路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0132]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0133]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0134]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者触觉输入)来接收来自用户的输入。
[0135]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0136]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0137]
实施例六
[0138]
本发明实施例六还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的检测模型训练方法：根据历史目标样本数据构建多维度综合画像样本数据；根据生成式对抗网络gan生成器生成伪目标样本数据；将所述多维度综合画像样本数据和所述多维度综合画像样本数据作为训练数据输入至gan判别器，以对基于gan网络的检测模型进行训练。
[0139]
或者，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的数据检测方法：获取待检测数据；将所述待检测数据输入至基于gan网络的检测模型中进行目标数据的检测；其中，所述基于gan网络的检测模型通过上述任一所述的检测模型训练方法训练得到。
[0140]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(read only memory，rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom，或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0141]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0142]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、射频(radio frequency，rf)等等，或者上述的任意合适的组合。
[0143]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0144]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0145]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。