一种大数据交易隐私保护方法及系统与流程

本发明涉及大数据交易，特别指一种大数据交易隐私保护方法及系统。

背景技术：

1、随着大数据、云计算和人工智能等新一代信息技术的快速发展，数据已成为数字时代的基础性战略资源和革命性关键要素，因此产生了大数据交易的需求。

2、由于数据作为表征现实世界人和客观事物的性质、状态等特征的抽象符号，承载着隐私信息，而企业数据负载着商业信息，属于商业秘密。数据的流通和交易会涉及个人隐私或商业秘密的安全问题。数据在计算机和互联网环境中以二进制的形式存在，这种数字化形态对数据流通过程的数据隐私保护形成了主要阻碍。数据提供方一旦将原始数据交予数据需求方，将无法有效管控后者对数据的使用、传播或买卖等行为，相当于丧失数据所有权和控制权，使得数据的价格、可出售次数大打折扣；另一方面，数据需求方很难找到匹配自身需求的数据，且对数据的质量和使用方式难以了解，大数据交易双方的需求匹配和信任建立没有政府官方数据交易平台背书，不仅周期长、成本高，在大数据交易和价值发挥过程中存在利益分配上的冲突和矛盾，使得协作关系变得脆弱。

3、因此，如何提供一种大数据交易隐私保护方法及系统，实现提升大数据交易的隐私保护能力以及信任构建效率，成为一个亟待解决的技术问题。

技术实现思路

1、本发明要解决的技术问题，在于提供一种大数据交易隐私保护方法及系统，实现提升大数据交易的隐私保护能力以及信任构建效率。

2、第一方面，本发明提供了一种大数据交易隐私保护方法，包括如下步骤：

3、步骤s10、买方客户端基于卖方客户端在服务器上架的交易信息，向对应的卖方客户端发送试验订单购买请求；

4、步骤s20、卖方客户端基于接收的所述试验订单购买请求选取数据样本，将所述数据样本通过防火墙发送给服务器，服务器对所述数据样本执行数据脱敏操作；

5、步骤s30、买方客户端通过服务器对所述数据样本进行在线的融合试验，服务器在融合试验结束后自动销毁所述数据样本；

6、步骤s40、买方客户端基于所述交易信息向对应的卖方客户端发送大数据购买请求；

7、步骤s50、卖方客户端基于接收的所述大数据购买请求选取对应的大数据，通过区块链对选择的所述大数据进行公证，在所述大数据中加入校验字段并加密后，通过防火墙发送给服务器；

8、步骤s60、服务器通过联邦机器学习技术以及负载均衡技术，将选择的所述大数据交付给买方客户端。

9、进一步的，所述步骤s10具体为：

10、卖方客户端通过数据确权和授权管理系统对待交易的大数据进行确权和授权操作后，通过数据登记管理系统对所述大数据进行数据登记，再通过数据合规认证系统对所述大数据进行数据合规认证后，设定所述大数据的至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息的交易信息，将所述交易信息上架至服务器；

11、买方客户端通过防火墙访问服务器选择意向的交易信息，基于所述交易信息向对应的卖方客户端发送经过同态加密算法加密的试验订单购买请求。

12、进一步的，所述步骤s20具体为：

13、卖方客户端通过同态加密算法解密接收的所述试验订单购买请求，解析所述试验订单购买请求以从对应的大数据中选取预设条数或者预设比例的数据作为数据样本，通过同态加密算法对所述数据样本进行加密后，通过防火墙发送给服务器，服务器对所述数据样本执行数据脱敏操作；

14、所述数据脱敏操作具体为：预设一替代字符以及一替代位置选择函数，在需要明文显示所述数据样本时，基于所述替代位置选择函数从数据样本中选取对应的明文字符，利用所述替代字符代替明文字符进行显示。

15、进一步的，所述步骤s30具体为：

16、买方客户端通过服务器的数据沙箱访问所述数据样本，基于本地数据对所述数据样本进行在线的融合试验，以进行需求匹配验证，并在融合试验结束后立即自动销毁所述数据样本；

17、所述步骤s40具体为：

18、买方客户端基于所述交易信息，通过服务器向对应的卖方客户端发送经过同态加密算法加密的大数据购买请求。

19、进一步的，所述步骤s50具体包括：

20、步骤s51、卖方客户端通过同态加密算法解密接收的所述大数据购买请求，解析所述大数据购买请求以选取对应数量的大数据；

21、步骤s52、卖方客户端对选取的所述大数据进行哈希计算得到哈希值，将所述哈希值上传至区块链；

22、步骤s53、卖方客户端在取的所述大数据中加入预设的校验字段后，随机生成一对公钥和私钥，利用所述私钥对大数据进行加密，利用同态加密算法对所述公钥进行加密，将加密后的所述大数据以及公钥通过防火墙发送给服务器；

23、所述步骤s60具体包括：

24、步骤s61、服务器通过防火墙接收加密后的所述大数据以及公钥，利用同态加密算法对所述公钥进行解密后，利用所述公钥对大数据进行解密；

25、步骤s62、服务器从区块链获取所述哈希值对大数据进行第一校验，解析所述大数据获取校验字段对大数据进行第二校验，并对所述大数据执行数据脱敏操作；

26、步骤s63、买方客户端创建一至少携带任务名称、任务描述以及任务类型的联邦学习任务，设定所述联邦学习任务的执行流程的dag结构，将所述联邦学习任务发送给服务器；

27、步骤s64、服务器基于所述联邦学习任务，通过差分隐私技术读取对应的大数据，对来自不同卖方客户端的各所述大数据，通过隐私求交算子进行样本对齐；

28、步骤s65、通过数据预处理算子对样本对齐后的各所述大数据，依次进行极值处理、缺失值填充以及数据转换的数据预处理；

29、步骤s66、通过数据拆分算子将数据预处理后的各所述大数据拆分为训练集和测试集；

30、步骤s67、服务器通过负载均衡技术，利用所述训练集对买方客户端本地创建的模型进行训练，利用所述测试集对训练后的模型进行测试，以完成所述大数据的交付。

31、第二方面，本发明提供了一种大数据交易隐私保护系统，包括如下模块：

32、数据样本购买模块，用于买方客户端基于卖方客户端在服务器上架的交易信息，向对应的卖方客户端发送试验订单购买请求；

33、数据样本获取模块，用于卖方客户端基于接收的所述试验订单购买请求选取数据样本，将所述数据样本通过防火墙发送给服务器，服务器对所述数据样本执行数据脱敏操作；

34、融合试验模块，用于买方客户端通过服务器对所述数据样本进行在线的融合试验，服务器在融合试验结束后自动销毁所述数据样本；

35、大数据购买模块，用于买方客户端基于所述交易信息向对应的卖方客户端发送大数据购买请求；

36、大数据发送模块，用于卖方客户端基于接收的所述大数据购买请求选取对应的大数据，通过区块链对选择的所述大数据进行公证，在所述大数据中加入校验字段并加密后，通过防火墙发送给服务器；

37、大数据交付模块，用于服务器通过联邦机器学习技术以及负载均衡技术，将选择的所述大数据交付给买方客户端。

38、进一步的，所述数据样本购买模块具体用于：

39、卖方客户端通过数据确权和授权管理系统对待交易的大数据进行确权和授权操作后，通过数据登记管理系统对所述大数据进行数据登记，再通过数据合规认证系统对所述大数据进行数据合规认证后，设定所述大数据的至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息的交易信息，将所述交易信息上架至服务器；

40、买方客户端通过防火墙访问服务器选择意向的交易信息，基于所述交易信息向对应的卖方客户端发送经过同态加密算法加密的试验订单购买请求。

41、进一步的，所述数据样本获取模块具体用于：

42、卖方客户端通过同态加密算法解密接收的所述试验订单购买请求，解析所述试验订单购买请求以从对应的大数据中选取预设条数或者预设比例的数据作为数据样本，通过同态加密算法对所述数据样本进行加密后，通过防火墙发送给服务器，服务器对所述数据样本执行数据脱敏操作；

43、所述数据脱敏操作具体为：预设一替代字符以及一替代位置选择函数，在需要明文显示所述数据样本时，基于所述替代位置选择函数从数据样本中选取对应的明文字符，利用所述替代字符代替明文字符进行显示。

44、进一步的，所述融合试验模块具体用于：

45、买方客户端通过服务器的数据沙箱访问所述数据样本，基于本地数据对所述数据样本进行在线的融合试验，以进行需求匹配验证，并在融合试验结束后立即自动销毁所述数据样本；

46、所述大数据购买模块具体用于：

47、买方客户端基于所述交易信息，通过服务器向对应的卖方客户端发送经过同态加密算法加密的大数据购买请求。

48、进一步的，所述大数据发送模块具体包括：

49、大数据选取单元，用于卖方客户端通过同态加密算法解密接收的所述大数据购买请求，解析所述大数据购买请求以选取对应数量的大数据；

50、哈希计算单元，用于卖方客户端对选取的所述大数据进行哈希计算得到哈希值，将所述哈希值上传至区块链；

51、加密发送单元，用于卖方客户端在取的所述大数据中加入预设的校验字段后，随机生成一对公钥和私钥，利用所述私钥对大数据进行加密，利用同态加密算法对所述公钥进行加密，将加密后的所述大数据以及公钥通过防火墙发送给服务器；

52、所述大数据交付模块具体包括：

53、大数据解密单元，用于服务器通过防火墙接收加密后的所述大数据以及公钥，利用同态加密算法对所述公钥进行解密后，利用所述公钥对大数据进行解密；

54、大数据校验脱敏单元，用于服务器从区块链获取所述哈希值对大数据进行第一校验，解析所述大数据获取校验字段对大数据进行第二校验，并对所述大数据执行数据脱敏操作；

55、联邦学习任务发送单元，用于买方客户端创建一至少携带任务名称、任务描述以及任务类型的联邦学习任务，设定所述联邦学习任务的执行流程的dag结构，将所述联邦学习任务发送给服务器；

56、样本对齐单元，用于服务器基于所述联邦学习任务，通过差分隐私技术读取对应的大数据，对来自不同卖方客户端的各所述大数据，通过隐私求交算子进行样本对齐；

57、数据预处理单元，用于通过数据预处理算子对样本对齐后的各所述大数据，依次进行极值处理、缺失值填充以及数据转换的数据预处理；

58、数据拆分单元，用于通过数据拆分算子将数据预处理后的各所述大数据拆分为训练集和测试集；

59、模型训练单元，用于服务器通过负载均衡技术，利用所述训练集对买方客户端本地创建的模型进行训练，利用所述测试集对训练后的模型进行测试，以完成所述大数据的交付。

60、本发明的优点在于：

61、通过买方客户端基于卖方客户端在服务器上架的交易信息，向卖方客户端发送试验订单购买请求，卖方客户端基于试验订单购买请求选取数据样本并通过防火墙发送给服务器，服务器对数据样本执行数据脱敏操作；接着买方客户端通过服务器对数据样本进行在线的融合试验，并在融合试验结束后自动销毁数据样本；接着买方客户端基于交易信息向卖方客户端发送大数据购买请求，卖方客户端基于大数据购买请求选取对应的大数据，通过区块链对选择的大数据进行公证，在大数据中加入校验字段并加密后，通过防火墙发送给服务器，最后服务器通过联邦机器学习技术以及负载均衡技术，将大数据交付给买方客户端；即通过防火墙隔离服务器与买方客户端和卖方客户端，利用防火墙对一些恶意攻击进行隔离以保护数据安全，通过同态加密算法对交易主体发送给服务器的请求进行加密以免明文泄露，通过对数据样本以及大数据执行数据脱敏操作避免关键信息泄露，通过在融合试验结束后自动销毁数据样本避免数据样本泄露，通过创建的私钥对传输的大数据进行加密避免传输过程中被明文窃取，通过同态加密算法对公钥进行加密避免公钥泄露，通过联邦机器学习技术对大数据进行交付，即大数据本身未交付到买家客户端，交付的仅是基于大数据的计算结果以克服交易信任问题；结合数据样本的融合试验来进行需求匹配验证，使得买家客户端(数据需求方)能快速找到匹配自身需求的大数据，且对大数据的质量和使用方式具有一定的了解，降低在大数据交易和价值发挥过程中产生冲突和矛盾的概率，最终极大的提升了大数据交易的隐私保护能力以及信任构建效率。