一种具有隐私保护的分布式查询系统及方法

文档序号:37688114发布日期:2024-04-18 21:03阅读:12来源:国知局
一种具有隐私保护的分布式查询系统及方法

本发明属于隐私计算、分布式数据库领域,具体涉及一种具有隐私保护的分布式查询系统及方法。


背景技术:

1、随着数据库的数据量日益庞大,数据孤岛现象和隐私数据泄漏等问题限制了数据的流通和协作。所以在应用数据的同时也要维护数据安全,怎样在发展与安全之间权衡效率与风险,并在确保安全的同时开发数据价值是目前一个重要的课题。而学术界和工业界现有的数据查询系统的网络架构模型多为集中式,包含一个中心服务器和多个数据参与方,不可避免地存在恶意第三方的情况,其对隐私数据具有窃取、篡改、泄露等威胁;若中心服务器是可以依靠的第三方,在数据传输过程中仍考验服务器是否具有对抗安全威胁能力。根据目前的数据流通实践,仍然存在三大因素制约着数据的流通与协作:

2、1、“数据孤岛”现象普遍存在。随着企业信息化和智能化的推进,“数据孤岛”成为了一个全球性问题,阻碍了数据价值的深度挖掘。这种现象与企业集团化发展模式和以需求为先的信息化建设有关,导致不同机构之间的数据无法互通。

3、2、全球数据合规监管日益严格。日益严格的隐私保护监管一方面促进了数据权利主体和数据处理行为组织者的隐私保护意识觉醒,但同时也增加了企业对数据流通与协作合法合规性的担忧。

4、3、隐私泄露事件频发导致的信任鸿沟。由于频繁发生的隐私泄露事件,信任鸿沟进一步扩大。在隐私意识不断增强和监管日益严格的背景下,频繁发生的隐私泄露事件进一步削弱了社会各界对隐私保护的信心。因此,如何打破“数据孤岛”的壁垒并建立起大众对隐私保护的信心已成为保证数据安全的关键问题。

5、目前国内外普遍采用密文查询技术来实现具有隐私保护的查询系统。密文查询是一种隐私保护技术,允许在加密数据上进行查询操作而无需解密数据。在国内外,密文查询的研究得到了广泛关注,并取得了重要进展。在国际上,密文查询的研究涉及多个方向。早期的研究主要集中在同态加密和可搜索加密方案上,例如song等人在2000年提出的实用技术用于在加密数据上进行搜索。随后,kamara和lauter在2010年的研究中探讨了在云存储环境中实现加密数据的查询功能。近年来,针对可搜索加密的泄露滥用攻击成为研究热点,cash等人在2014年的研究中重点研究了此类攻击。此外,curtmola等人在2006年提出了可搜索对称加密的改进定义和高效构造方法,随后,采用洋葱级加密方案的cryptdb也被提出。但以上的查询都是基于密文数据库,需要在加密数据上执行解密、计算和比较等复杂的加密算法和协议,可能引入额外的计算开销,导致查询性能下降。

6、分布式查询是一种在分布式系统中进行查询操作的技术,可以有效地处理大规模数据和分布式环境下的查询需求。在国际上,分布式查询一直是分布式系统和数据库领域的研究重点。一些研究方向包括分布式查询优化、查询处理算法、数据分片和复制策略等。例如,google的mapreduce和spark等大数据处理框架提供了分布式查询的能力,用于处理海量数据和并行计算。但其缺点也很明显,在数据一致性方面,分布式查询在分布式环境下,可能面临数据一致性的问题。由于数据的分布和并行处理,可能存在数据更新不一致或冲突的情况,需要采取一致性机制来解决。


技术实现思路

1、为解决现有技术的不足,实现具有隐私保护的联合查询的目的,本发明采用如下的技术方案:

2、一种具有隐私保护的分布式查询系统,包括查询语句执行引擎模块,所述查询语句执行引擎模块包括查询解析单元、查询优化器、查询执行引擎单元,查询解析单元对原始查询语句进行分析,对需要进行安全多方计算的查询语句进行拆分,得到特征语句,查询优化器提取特征语句用于各方独立的查询,查询执行引擎单元基于对所述原始查询语句的分析,调用安全多方计算算子模块,对各方独立的查询结果进行联合计算,得到所述原始查询语句的查询结果。

3、进一步地,所述查询解析单元获取原始查询语句中需要进行安全多方计算的联合函数,并基于参与的各方,从联合函数中拆分出相应的查询字段作为各方单独查询的特征语句,所述查询执行引擎单元基于联合函数中各方联合计算的类型,调用相应的算子,将各方独立的查询结果作为秘密输入,进行安全多方的联合计算,从而保证各方数据不出域前提下,用户能够获得所需的查询结果。

4、进一步地,所述查询语句执行引擎模块还包括缓存管理器,所述查询解析单元对无需进行安全多方计算的查询语句进行独立拆分,生成对应于各方的查询语句,并将其下发,以获取各方反馈的查询结果保存于缓存管理器,用于管理sql查询的缓存,以提高查询性能,高效地管理和处理大规模数据集,确保数据的完整性和一致性,再将安全多方联合计算的结果与缓存管理器中的结果进行数据融合,得到所述原始查询语句的查询结果,这一临时存储和数据融合的过程,为查询执行引擎提供了更高效、可靠的数据处理和集成能力,确保了联合查询的准确性和数据隐私的保护。

5、进一步地,对于无需进行安全多方计算的数据,所述查询解析单元(sql解析算法)利用正则匹配识别其查询的数据库表名,将不重复的表名作为一个分类,对于其中的每个表名,为其创建字典,将该表下需要查询的列名一一存放于字典中,将所有的列名经如此操作后,最后通过逐一遍历每一个分类(表名)对应的字典,生成满足mysql规范的查询语句,所述查询优化器将这些拆分后的查询语句按照不同表名(机构)一一分发至对应的各方,查询结果以元组的形式保存在所述缓存管理器中。

6、进一步地,将所述各方独立的查询结果,根据原始查询语句的查询顺序和形式进行反馈。

7、进一步地,所述安全多方计算算子模块,采用隐私保护机器学习框架crypten的mpc算子,基于加密算法对敏感数据进行加密,基于可编程mpc框架,定制安全计算函数和算法,增加了安全性的同时提升了灵活性,进行并行计算。

8、进一步地,各数据拥有方的数据库是分布式的,彼此相互独立,进行并行查询。

9、一种具有隐私保护的分布式查询方法,包括如下步骤:

10、步骤s1:分析原始查询语句,对需要进行安全多方计算的查询语句进行拆分,得到特征语句;获取原始查询语句中需要进行安全多方计算的联合函数,并基于参与的各方,从联合函数中拆分出相应的查询字段作为各方单独查询的特征语句;

11、步骤s2:提取特征语句用于各方独立的查询;

12、步骤s3:基于对所述原始查询语句的分析,调用安全多方计算算子,对各方独立的查询结果进行联合计算,得到所述原始查询语句的查询结果;基于联合函数中各方联合计算的类型,调用相应的算子,将各方独立的查询结果作为秘密输入,进行安全多方的联合计算,从而保证各方数据不出域前提下,用户能够获得所需的查询结果。

13、本发明的优势和有益效果在于:

14、本发明的一种具有隐私保护的分布式查询系统及方法,利用密码学和安全多方计算等技术,其网络架构遵循分布式架构,从而提升了数据的隐私性、正确性和结果传递的保证,同时也实现了突破跨机构的“数据孤岛”,确保在保持各数据持有方持有的秘密数据对其他参与方不可见的前提下,用户能够查询到跨机构的数据信息,从而实现具有隐私保护的联合查询。因此,本发明在实现具有隐私保护的查询功能的同时,安全地释放数据价值,促进跨机构数据的可信融合协同。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1