一种数据集公平性检测方法、装置、电子设备及存储介质

1.本发明属于人工智能技术领域，特别涉及一种数据集公平性检测方法、装置、电子设备及存储介质。


背景技术：

2.人工智能与人类生活的关系越来越密切，由此引发了新的法律、伦理以及技术问题。准确度不再是衡量机器学习算法成功的唯一标准，安全性和公平性约束已成为研究人员和工程师面临的一个巨大问题。算法的公平性强弱会对许多决策问题产生不同程度的正面或负面影响。
3.大量研究表明，某些特定属性会显著影响机器学习模型的拟合效果，例如将两个仅性别属性不同的样本放入同一个模型中可能会导致模型分类结果的不同，这就是机器学习领域中的歧视性问题，而像性别这样会影响模型分类结果的属性则称之为被保护属性。出现歧视性问题的原因有很多，但是原则上来说，如果一个数据集对被保护属性存在歧视，那么在该数据集上训练的预测模型就会产生歧视。所以算法不是完全客观中立的，算法容易受到数据集中歧视性样本的影响，从而使算法做出的决定“不公平”。
4.机器学习的公平性研究根据研究阶段的不同可以划分为公平表征任务、公平建模任务以及公平决策任务三大研究方向，对于数据集公平性测试领域的研究目前主要是采用对抗攻击的方法。对抗攻击又分为黑盒攻击和白盒攻击两大类，黑盒攻击是指攻击者并不清楚所要攻击模型的具体细节，而白盒攻击则恰恰相反，是在完全了解目标模型内部细节的前提下进行的攻击。
5.目前aequitas算法是数据集公平性测试领域较为出色的测试方法之一，其运用梯度攻击方法，采用两阶段生成框架进行公平性测试。但是该算法在测试过程中仍然存在以下问题：1)测试对象较为单一，该方法只能对表格型数据进行检测，并不能对其他数据集(比如文本类型数据)进行检测，应用场景较少；2)该模型虽然采用两阶段生成框架进行检测，但是并没有根据样本的具体梯度进行差异化处理，仅采用随机扰动的方法对样本空间进行搜索，导致检测耗时较长且准确度不高，模型的拟合能力和泛化能力也相对较差。


技术实现要素：

6.本说明书实施例的目的是提供一种数据集公平性检测方法、装置、电子设备及存储介质。
7.为解决上述技术问题，本技术实施例通过以下方式实现的：
8.第一方面，本技术提供一种数据集公平性检测方法，该方法包括：
9.获取需要检测的原始数据集；
10.基于原始数据集，确定原始数据集中数据的数据类型，选取数据类型对应的目标模型，采用目标模型对原始数据集进行拟合，得到模型参数矩阵；
11.根据模型参数矩阵，对原始数据集中每个样本进行歧视性检测，得到歧视性检测
结果，根据歧视性检测结果，确定第一歧视样本集；
12.根据模型参数矩阵和第一歧视样本集，确定第二歧视样本集；
13.将第一歧视样本集和第二歧视样本集合并，得到原始数据集对应的歧视样本集，以采用歧视样本集度量原始数据集的歧视性水平。
14.在其中一个实施例中，原始数据集中数据的数据类型包括表格型数据和文本型数据；
15.若数据类型为表格型数据，对应的目标模型为前馈神经网络模型；
16.若数据类型为文本型数据，对应的目标模型为双向长短期记忆模型。
17.在其中一个实施例中，基于原始数据集，确定原始数据集中数据的数据类型，选取数据类型对应的目标模型，采用目标模型对原始数据集进行拟合，得到模型参数矩阵，包括：
18.从原始数据集中随机抽取一条数据；
19.判断数据的数据类型；
20.若数据的数据类型为表格型数据，则采用前馈神经网络模型对原始数据集进行拟合；若数据的数据类型为文本型数据，则采用双向长短期记忆模型对原始数据集进行拟合；得到模型各层参数，将所有模型各层参数组合形成模型参数矩阵。
21.在其中一个实施例中，样本包括被保护属性变量；
22.对样本进行歧视性检测，包括：
23.逐个改变样本中被保护属性变量，得到新样本集，新样本集包括若干新样本，其中，每改变一个被保护属性变量形成一个新样本；
24.将样本及新样本分别输入目标模型，分别得到第一模型输出结果和第二模型输出结果，所有第二模型输出结果构成第二模型输出结果集；
25.若第二模型输出结果集中存在至少一个第二模型输出结果与第一模型输出结果不同，则样本通过歧视性检测，否则，样本未通过歧视性检测。
26.在其中一个实施例中，根据歧视性检测结果，确定第一歧视样本集，包括：
27.如果歧视性检测结果为通过歧视性检测，则将通过歧视性检测对应的样本添加至第一歧视样本集；
28.如果歧视性检测结果为未通过歧视性检测，则对未通过歧视性检测对应的样本进行全局扰动，得到扰动后样本，对扰动后样本重新进行歧视性检测，直到未通过歧视性检测对应的样本通过歧视性检测为止。
29.在其中一个实施例中，样本还包括非保护属性变量；
30.对未通过歧视性检测对应的样本进行全局扰动，得到扰动后样本，包括：
31.根据第一模型输出结果和第二模型输出结果集，从新样本集选取与样本相似度最低的对应样本；
32.根据模型参数矩阵分别计算样本与对应样本的第一梯度集和第二梯度集，第一梯度集中包括非保护属性变量的第一梯度值，第二梯度集中包括非保护属性变量的第二梯度值；
33.对应比较第一梯度值和第二梯度值，将梯度值较大的非保护属性变量的梯度方向确定为非保护属性变量的扰动方向；
34.根据所有非保护属性变量的扰动方向，确定样本的全局扰动的方向矩阵；
35.根据全局扰动的方向矩阵，确定扰动后样本。
36.在其中一个实施例中，根据模型参数矩阵和第一歧视样本集，确定第二歧视样本集，包括：
37.获取第一歧视样本集中任意一个歧视样本；
38.改变歧视样本中其中一个被保护属性变量，得到新歧视样本；
39.将歧视样本和新歧视样本，分别输入目标模型，得到第三模型输出结果和第四模型输出结果；
40.判断第三模型输出结果和第四模型输出结果是否相同；
41.若第三模型输出结果和第四模型输出结果相同，则返回执行改变歧视样本中其中一个被保护属性变量；
42.若第三模型输出结果和第四模型输出结果不相同，则根据模型参数矩阵分别确定歧视样本的第三梯度值和新歧视样本的第四梯度值；
43.根据第三梯度值和第四梯度值，确定歧视样本每个属性变量对模型输出结果的贡献度；
44.根据贡献度，确定对歧视样本的模型输出结果影响最大的k个属性变量；
45.对k个属性变量进行局部扰动，得到歧视样本的派生样本；
46.对所有派生样本均进行歧视性检测，将通过歧视性检测的派生样本添加至第二歧视样本集，得到第二歧视样本集。
47.第二方面，本技术提供一种数据集公平性检测装置，该装置包括：
48.获取模块，用于获取需要检测的原始数据集；
49.模型拟合模块，用于基于原始数据集，确定原始数据集中数据的数据类型，选取数据类型对应的目标模型，采用目标模型对原始数据集进行拟合，得到模型参数矩阵；
50.第一确定模块，用于根据模型参数矩阵，对原始数据集中每个样本进行歧视性检测，得到歧视性检测结果，根据歧视性检测结果，确定第一歧视样本集；
51.第二确定模块，用于根据模型参数矩阵和第一歧视样本集，确定第二歧视样本集；
52.合并模块，用于将第一歧视样本集和第二歧视样本集合并，得到原始数据集对应的歧视样本集，以采用歧视样本集度量原始数据集的歧视性水平。
53.第三方面，本技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的数据集公平性检测方法。
54.第四方面，本技术提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的数据集公平性检测方法。
55.由以上本说明书实施例提供的技术方案可见，该方案：对不同类型数据集采用与其相适应的深度学习模型进行检测，扩展了公平性检测的应用场景。
56.该方案采用改进梯度攻击算法，根据样本的梯度特征对样本进行针对性扰动，有效提高梯度攻击效果。
57.该方案在梯度攻击算法中融入top-k原理，在扩展了算法搜索范围的同时也有效节省了算法的运行时间。
long short-term memory，bi-lstm)模型。
78.在一个实施例中，s120可以包括以下步骤：
79.从原始数据集中随机抽取一条数据；
80.判断数据的数据类型；
81.若数据的数据类型为表格型数据，则采用前馈神经网络模型对原始数据集进行拟合；若数据的数据类型为文本型数据，则采用双向长短期记忆模型对原始数据集进行拟合；得到模型各层参数，将所有模型各层参数组合形成模型参数矩阵。
82.具体的，随机抽取的数据也称为样本，为向量形式表示。
83.示例性的，如图2所示，其示出了采用目标模型进行原始数据集拟合的流程示意图，包括：
84.输入原始数据集dataset。
85.从dataset中随机抽取出一条数据，记为r。
86.判断r的数据类型是表格型数据还是文本型数据。
87.如果r是表格型数据，则使用fnn模型对原始数据集进行拟合。
88.如果r是文本型数据，则使用bi-lstm模型对原始数据集进行拟合。
89.在目标模型拟合完毕后，获取模型的各层参数值和模型输出结果或简称为模型结果或模型输出。将模型各层的参数值用向量si＝[v1,v2,
…
,v
ik
]表示，i为模型层数，ik为模型第i层的节点数，由所有向量si组合形成模型参数矩阵，记为s＝[s1,s2,
…
,si]，模型参数矩阵也可以简称为模型参数。
[0090]
可以理解的，在目标模型拟合完毕后，还可以得到模型输出结果，模型输出结果用向量r＝[r1,r2,
…
,rj]表示，j为模型的输出节点个数。
[0091]
即采用目标模型拟合后，可以输出模型参数矩阵s和模型输出结果r。
[0092]
s130、根据模型参数矩阵，对原始数据集中每个样本进行歧视性检测，得到歧视性检测结果，根据歧视性检测结果，确定第一歧视样本集。
[0093]
其中，样本中包括若干变量，其中包括被保护属性变量和非保护属性变量或分别称为被保护属性值和非保护属性值或分别称为被保护变量和非保护变量。
[0094]
在一个实施例中，对样本进行歧视性检测，包括：
[0095]
逐个改变样本中被保护属性变量，得到新样本集，新样本集包括若干新样本，其中，每改变一个被保护属性变量形成一个新样本；
[0096]
将样本及新样本分别输入目标模型，分别得到第一模型输出结果和第二模型输出结果，所有第二模型输出结果构成第二模型输出结果集；
[0097]
若第二模型输出结果集中存在至少一个第二模型输出结果与第一模型输出结果不同，则样本通过歧视性检测，否则，样本未通过歧视性检测。
[0098]
根据歧视性检测结果，确定第一歧视样本集，包括：
[0099]
如果歧视性检测结果为通过歧视性检测，则将通过歧视性检测对应的样本添加至第一歧视样本集；
[0100]
如果歧视性检测结果为未通过歧视性检测，则对未通过歧视性检测对应的样本进行全局扰动，得到扰动后样本，对扰动后样本重新进行歧视性检测，直到未通过歧视性检测对应的样本通过歧视性检测为止。
[0101]
对未通过歧视性检测对应的样本进行全局扰动，得到扰动后样本，包括：
[0102]
根据第一模型输出结果和第二模型输出结果集，从新样本集选取与样本相似度最低的对应样本；
[0103]
根据模型参数矩阵分别计算样本与对应样本的第一梯度集和第二梯度集，第一梯度集中包括非保护属性变量的第一梯度值，第二梯度集中包括非保护属性变量的第二梯度值；
[0104]
对应比较第一梯度值和第二梯度值，将梯度值较大的非保护属性变量的梯度方向确定为非保护属性变量的扰动方向；
[0105]
根据所有非保护属性变量的扰动方向，确定样本的全局扰动的方向矩阵；
[0106]
根据全局扰动的方向矩阵，确定扰动后样本。
[0107]
示例性的，如图3所示，其示出了生成第一歧视样本集的流程示意图，包括：
[0108]
输入原始数据集dataset和通过目标模型拟合得到的模型参数矩阵s。
[0109]
遍历dataset，对dataset中每个样本xi进行歧视性检测，判断样本xi是否通过歧视性检测。具体为：逐个改变样本xi中的被保护属性变量，形成新样本x
′
ij
(表示改变了样本xi中第j个被保护属性变量)，改变样本xi中的被保护属性变量形成新样本集xi＝{x
′
i1
,x
′
i2
,
…
,x
′
ij
,
…
,x
′
in
}，其中，n为被保护属性变量的个数。将样本对(xi，x
′
ij
)分别输入目标模型中，分别得到第一模型输出结果和第二模型输出结果集(其中第二模型输出结果集中包括每个新样本x
′
ij
输入至目标模型得到的对应的第二模型输出结果)，只要第二模型输出结果集中存在一个第二模型输出结果与第一模型输出结果不同，则判定为样本xi通过歧视性检测，反之未通过歧视性检测。
[0110]
如果样本xi通过歧视性检测，则将样本xi添加至第一歧视样本集disset中。
[0111]
如果样本xi未通过歧视性检测，则对样本xi进行全局扰动，包括：
[0112]
根据第一模型输出结果和第二模型输出结果集，从新样本集xi中挑选与样本xi相似度最低的对应样本x
′
ij
。挑选方法为：argmax{abs(oy(x
′
ij
)-oy(xi))}，其中，oy(x
′
ij
)为样本x
′
ij
的第二模型输出结果，oy(xi)为样本xi的第一模型输出结果，abs()为求绝对值函数，argmax()为求函数输出尽最大值时的输入或参数值。
[0113]
在找到与样本xi相似度最低的对应样本x
′
ij
后，根据模型参数矩阵计算样本xi的第一梯度集记为gi＝{g1,g2,
…
,ga}，ga为样本xi中第a个变量的梯度值，根据模型参数矩阵计算样本x
′
ij
的第二梯度集记为g
′i＝{g
′1,g
′2,
…
,g
′a}，g
′a为样本x
′
ij
中第a个变量的梯度值，其中，a为样本xi的变量个数。
[0114]
对应比较样本对(xi，x
′
ij
)中每个非保护属性变量的梯度值，例如，样本xi中第a个变量为非保护属性变量，比较样本对(xi，x
′
ij
)中第a个变量的梯度值ga与g
′a。
[0115]
将梯度值较大的非保护属性变量的梯度方向定为该非保护变量的扰动方向，例如，ga＞g
′a，则第a个变量的扰动方向为样本xi中第a个变量的梯度方向。以此类推，样本xi中非保护属性变量的扰动方向，而样本xi中被保护属性变量的扰动方向不变，从而得到全局扰动的方向矩阵，记为dir＝[dir1,dir2,
…
,dira]，其中，dira为样本xi中第a个变量的扰动方向。
[0116]
根据全局扰动的方向矩阵对样本xi进行扰动，设扰动步长为s_g，扰动量为dir*s_g，得到扰动后样本为x
′i，然后对扰动后样本x
′i重新进行歧视性检测，直到通过歧视性检测
为止。
[0117]
直到原始数据集中所有样本均通过歧视性检测(包括直接通过歧视性检测或通过全局扰动后通过歧视性检测)，将通过歧视性检测的样本均添加至第一歧视样本集disset中。
[0118]
本实施例中，采用基于损失函数梯度值大小的方法，根据样本的具体情况对样本进行针对性扰动，从而代替原本完全随机的扰动方法，有效提高梯度攻击效果。
[0119]
s140、根据模型参数矩阵和第一歧视样本集，确定第二歧视样本集，可以包括：
[0120]
获取第一歧视样本集中任意一个歧视样本；
[0121]
改变歧视样本中其中一个被保护属性变量，得到新歧视样本；
[0122]
将歧视样本和新歧视样本，分别输入目标模型，得到第三模型输出结果和第四模型输出结果；
[0123]
判断第三模型输出结果和第四模型输出结果是否相同；
[0124]
若第三模型输出结果和第四模型输出结果相同，则返回执行改变歧视样本中其中一个被保护属性变量；
[0125]
若第三模型输出结果和第四模型输出结果不相同，则根据模型参数矩阵分别确定歧视样本的第三梯度值和新歧视样本的第四梯度值；
[0126]
根据第三梯度值和第四梯度值，确定歧视样本每个属性变量对模型输出结果的贡献度；
[0127]
根据贡献度，确定对歧视样本的模型输出结果影响最大的k个属性变量；
[0128]
对k个属性变量进行局部扰动，得到歧视样本的派生样本；
[0129]
对所有派生样本均进行歧视性检测，将通过歧视性检测的派生样本添加至第二歧视样本集，得到第二歧视样本集。
[0130]
本实施例，在梯度攻击算法中融入top-k原理，在扩展了算法搜索范围的同时也有效节省了算法的运行时间。
[0131]
示例性的，如图4所示，其示出了生成第二歧视样本集的流程示意图，包括：
[0132]
输入第一歧视性样本集disset和通过目标模型拟合得到的模型参数矩阵s。
[0133]
对第一歧视性样本集disset中一个歧视样本t，改变歧视样本t其中一个被保护属性变量，生成新歧视样本t
′
。
[0134]
将歧视样本t和新歧视样本t
′
分别输入目标模型中，分别得到第三模型输出结果和第四模型输出结果，判断第三模型输出结果和第四模型输出结果是否相同。
[0135]
如果第三模型输出结果和第四模型输出结果相同，则再继续改变歧视样本t另外一个被保护属性值。
[0136]
如果第三模型输出结果和第四模型输出结果不相同，则根据模型参数矩阵s计算歧视样本t的第三梯度值记为tg，根据模型参数矩阵s计算新歧视样本t
′
的第四梯度值记为tg
′
。
[0137]
对第三梯度值tg和第四梯度值tg
′
做归一化处理，然后使用加权平均方法确定歧视样本t每个属性变量对模型输出结果的贡献度prob＝[prob1,prob2,
…
,proba]，a为样本的变量个数。
[0138]
在得到样本所有变量的贡献度prob后，依据top-k理论确定对样本的模型输出结
果影响最大的k个属性变量(即贡献度中前k个最大值)，示例性的，可以设置k＝3。
[0139]
设局部扰动步长为s_l，对k个属性变量分别进行局部扰动，扰动量为1*s_l和(-1)*s-l，扰动生成歧视样本t的派生样本，所有派生样本组成派生样本集记为tset＝{t
′1,t
′2,
…
,t
′k,t
′
k+1
,
…
,t
′
2k
}。
[0140]
对派生样本集tset中所有派生样本均进行歧视性检测。
[0141]
将通过歧视性检测的派生样本添加至第二歧视样本集disset
′
中，得到第二歧视样本集。
[0142]
s150、将第一歧视样本集和第二歧视样本集合并，得到原始数据集对应的歧视样本集，以采用歧视样本集度量原始数据集的歧视性水平。
[0143]
本技术实施例采用深度学习模型fnn和bi-lstm作为目标模型，利用模型优秀的拟合能力和泛化能力实现对数据集的公平性检测，克服了现有技术方案采用传统机器学习模型作为公平性检测的目标模型，模型结构较为落后且拟合能力相对较差的方案。
[0144]
本技术实施例扩大了检测范围，分别采用不同的模型对表格型数据和文本类型数据进行检测，从而扩展了公平性检测的应用场景，克服了现有技术方案主要针对表格型数据进行检测，无法对文本类型的数据集进行有效检测，应用领域有限的缺陷。
[0145]
本技术实施例在全局阶段(即生成第一歧视样本集阶段)提出了一种新的基于损失函数梯度值大小的方法对样本进行扰动，根据样本在模型中的拟合情况进行针对性扰动，能够更加高效准确地实现对样本空间的搜索，找到更多的歧视性样本。
[0146]
本技术实施例在局部阶段(即生成第二歧视样本集阶段)利用了top-k原理，提出了一种新的筛选扰动对象的方法，可以对样本进行精确细小的扰动，从而生成更多与原样本相似的歧视性样本，并且能够同时兼顾算法的准确性和效率。
[0147]
参照图5，其示出了根据本技术一个实施例描述的数据集公平性检测装置的结构示意图。
[0148]
如图5所示，数据集公平性检测装置，可以包括：
[0149]
获取模块510，用于获取需要检测的原始数据集；
[0150]
模型拟合模块520，用于基于原始数据集，确定原始数据集中数据的数据类型，选取数据类型对应的目标模型，采用目标模型对原始数据集进行拟合，得到模型参数矩阵；
[0151]
第一确定模块530，用于根据模型参数矩阵，对原始数据集中每个样本进行歧视性检测，得到歧视性检测结果，根据歧视性检测结果，确定第一歧视样本集；
[0152]
第二确定模块540，用于根据模型参数矩阵和第一歧视样本集，确定第二歧视样本集；
[0153]
合并模块550，用于将第一歧视样本集和第二歧视样本集合并，得到原始数据集对应的歧视样本集，以采用歧视样本集度量原始数据集的歧视性水平。
[0154]
可选的，原始数据集中数据的数据类型包括表格型数据和文本型数据；
[0155]
若数据类型为表格型数据，对应的目标模型为前馈神经网络模型；
[0156]
若数据类型为文本型数据，对应的目标模型为双向长短期记忆模型。
[0157]
可选的，模型拟合模块520还用于：
[0158]
从原始数据集中随机抽取一条数据；
[0159]
判断数据的数据类型；
[0160]
若数据的数据类型为表格型数据，则采用前馈神经网络模型对原始数据集进行拟合；若数据的数据类型为文本型数据，则采用双向长短期记忆模型对原始数据集进行拟合；得到模型各层参数，将所有模型各层参数组合形成模型参数矩阵。
[0161]
可选的，样本包括被保护属性变量；
[0162]
第一确定模块530还用于：
[0163]
逐个改变样本中被保护属性变量，得到新样本集，新样本集包括若干新样本，其中，每改变一个被保护属性变量形成一个新样本；
[0164]
将样本及新样本分别输入目标模型，分别得到第一模型输出结果和第二模型输出结果，所有第二模型输出结果构成第二模型输出结果集；
[0165]
若第二模型输出结果集中存在至少一个第二模型输出结果与第一模型输出结果不同，则样本通过歧视性检测，否则，样本未通过歧视性检测。
[0166]
可选的，第一确定模块530还用于：
[0167]
如果歧视性检测结果为通过歧视性检测，则将通过歧视性检测对应的样本添加至第一歧视样本集；
[0168]
如果歧视性检测结果为未通过歧视性检测，则对未通过歧视性检测对应的样本进行全局扰动，得到扰动后样本，对扰动后样本重新进行歧视性检测，直到未通过歧视性检测对应的样本通过歧视性检测为止。
[0169]
可选的，样本还包括非保护属性变量；
[0170]
第一确定模块530还用于：
[0171]
根据第一模型输出结果和第二模型输出结果集，从新样本集选取与样本相似度最低的对应样本；
[0172]
根据模型参数矩阵分别计算样本与对应样本的第一梯度集和第二梯度集，第一梯度集中包括非保护属性变量的第一梯度值，第二梯度集中包括非保护属性变量的第二梯度值；
[0173]
对应比较第一梯度值和第二梯度值，将梯度值较大的非保护属性变量的梯度方向确定为非保护属性变量的扰动方向；
[0174]
根据所有非保护属性变量的扰动方向，确定样本的全局扰动的方向矩阵；
[0175]
根据全局扰动的方向矩阵，确定扰动后样本。
[0176]
可选的，第二确定模块540还用于：
[0177]
获取第一歧视样本集中任意一个歧视样本；
[0178]
改变歧视样本中其中一个被保护属性变量，得到新歧视样本；
[0179]
将歧视样本和新歧视样本，分别输入目标模型，得到第三模型输出结果和第四模型输出结果；
[0180]
判断第三模型输出结果和第四模型输出结果是否相同；
[0181]
若第三模型输出结果和第四模型输出结果相同，则返回执行改变歧视样本中其中一个被保护属性变量；
[0182]
若第三模型输出结果和第四模型输出结果不相同，则根据模型参数矩阵分别确定歧视样本的第三梯度值和新歧视样本的第四梯度值；
[0183]
根据第三梯度值和第四梯度值，确定歧视样本每个属性变量对模型输出结果的贡
献度；
[0184]
根据贡献度，确定对歧视样本的模型输出结果影响最大的k个属性变量；
[0185]
对k个属性变量进行局部扰动，得到歧视样本的派生样本；
[0186]
对所有派生样本均进行歧视性检测，将通过歧视性检测的派生样本添加至第二歧视样本集，得到第二歧视样本集。
[0187]
本实施例提供的一种数据集公平性检测装置，可以执行上述方法的实施例，其实现原理和技术效果类似，在此不再赘述。
[0188]
图6为本发明实施例提供的一种电子设备的结构示意图。如图6所示，示出了适于用来实现本技术实施例的电子设备300的结构示意图。
[0189]
如图6所示，电子设备300包括中央处理单元(cpu)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储部分308加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram 303中，还存储有设备300操作所需的各种程序和数据。cpu 301、rom 302以及ram 303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
[0190]
以下部件连接至i/o接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至i/o接口306。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
[0191]
特别地，根据本公开的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行上述数据集公平性检测方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。
[0192]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0193]
描述于本技术实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
[0194]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可
以为个人计算机、笔记本电脑、行动电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0195]
作为另一方面，本技术还提供了一种存储介质，该存储介质可以是上述实施例中前述装置中所包含的存储介质；也可以是单独存在，未装配入设备中的存储介质。存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本技术的数据集公平性检测方法。
[0196]
存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0197]
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0198]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。