一种分离存储查询逻辑与分段数据的隐私数据保护方法与流程

本发明涉及的是一种保护用户隐私数据的存储方法，特别是为基于互联网（包括移动互联网）的应用与系统平台保护用户隐私数据。

背景技术：

随着互联网与移动互联网以及大容量存储技术的迅速发展，互联网用户数据的收集发布与存储越来越便利。人们已经习惯通过手机和电脑等互联网终端搜索，访问与分享数据；互联网用户每天都在生产数据，大量的用户数据通过网络进行交互，在这个过程中隐私泄露的问题变得日益严重，如何有效保护用户隐私数据因此成为了越来越重要的问题。目前常用的保护隐私的技术包括：匿名化技术如k-匿名（k-anonymity）,l-多样性（l-diversity）,t-接近（t-closeness）等，通过一般化类似信息的方式使得无法确定特定的用户身份与数据来源；访问控制技术，通过控制数据的操作与访问（如访问的数据域、数据类型或者访问时间的控制）来实现隐私的保护；阅后即焚技术，即在完成系统所需功能逻辑后马上删除敏感数据；增加噪音技术，通过在原始数据上增加噪音，使个体用户数据不能被清晰获取；系统架构上隐私保护设计技术，通常需要密码与认证等系统的支持。匿名化方法的局限性在于一般化了用户的信息导致用户数据的信息量减少，增加噪声与删除敏感数据的方法因为不能让用户再次获得数据限制了系统功能与应用的场景。访问控制不能从根本上解决用户隐私信息的保护，通过密码与认证的方式在密码与认证信息泄露后将失去对用户隐私数据的保护。系统体系架构上的隐私数据保护技术大多依赖于系统内部规则、数据模板以及数据交互约定的设计，在实际系统的开发中因为必须遵循这些约定而导致难以与外部系统交互集成，限制了系统的扩展性，另外也很难形成统一的系统架构定义与数据保护规则的工业界标准。

在本发明中，通过分段存储用户隐私数据，分离存储数据索引/逻辑与实际分段数据于不同物理位置（即客户端与服务器端），使得分段数据只有在一组查询索引条件的指导下才能组合重建为意义完整的用户数据。数据的重建请求由用户从客户端发起，重建的索引查询条件也只有客户端才能获得，使用户具有对自己数据的获取有完全控制。服务器端存储的分段数据对来自任何用户的数据具有一致的存储表现形式，因此无法区分每个分段数据的用户身份也无法确定分段数据应该如何组合重建为意义完整的信息。本发明因为只对用户数据做分段处理而不做“删除”、不做“修改（如增加数据噪声）”也不做“一般化处理”的操作，保留了数据的原有的信息量，可以在不影响系统功能逻辑的前提下实现对用户隐私数据的保护。本发明不依赖于具体的数据存储形式以及特定的数据类型与类别，具有对各种应用的一般普适性。

经对现有技术文献的检索，目前还没有使用分离存储数据索引与实际数据于不同物理位置来保护用户隐私数据的方法。

技术实现要素：

本发明分离并存储数据查询索引与查询逻辑于客户端。

查询索引index的具体定义为：与用户身份与隐私数据无关的无实际意义的用于查询与重建完整数据信息的一组全局唯一标识符（uuid）。查询索引中的全局唯一标识符有以下特征：1.与用户身份与隐私数据无关，并且不能表达分段数据的顺序关系；2.一个特定的查询索引[uuidi|i=1,2,3…]可以用来获取由相应分段实际数据组合成的一条完整数据信息；3.一个客户端的操作o对应（可以获取）特定的查询索引进而由本条特征2可以对应与获取相应的一条完整数据信息。

查询逻辑具体包括：用户的操作o与相应的一组唯一标识符的映射关系，表示为p(o,index);服务器端的数据重建请求sr与相应的一组唯一标识符的映射关系，表示为p(sr,index).通过这些映射关系可以查询到对应的数据分段并组合成完整的数据信息。

客户端需要存储的信息包括：1.数据查询逻辑也即用户操作o与查询索引的对应关系p(o,index)={oi:[uuidj|j=1,2,3…]|i=1,2,3…},其中每一个用户操作oi对应一组uuid的查询索引[uuidj|j=1,2,3…]，索引组通过与服务器的通信获取分段实际数据并在客户端重组成完整信息作为用户操作的结果返回与展示给用户；2.服务器端的数据重建请求sr与查询索引的对应关系p(sr,index)={sri:[uuidj|j=1,2,3…]|i=1,2,3…}，用以在服务器端需要进行数据重建时向客户端发送请求获取查询索引；3.uuid对应的次序标识映射p(uuid,seq)，次序信息在数据重建时需要用到；4.客户端功能逻辑需要的其他数据与数据关系。

服务器端需要存储的信息包括：1.全局唯一标识符与分段数据的对应关系p(uuid,ds)={uuidi:dsi|i=1,2,3,…},这种对应关系是“一对一”的关系，一个uuid对应于一个分段数据，并且这种对应关系在客户端分段时就产生但通过上传存储于服务器端。2.服务器端系统功能逻辑需要的其他数据与数据关系。

客户端需要的数据操作为：1.分段数据，对于用户隐私数据需要分段处理数据分段的结果是产生数据片段的数组[dsi|i=1,2,3…];2.给每个数据片段分配uuid，uuid的生成受限于“权利要求1”,可以为分布式生成或者通过在服务器端集中生成；3.上传带uuid的数据片段{uuidi:dsi|i=1,2,3…}，数据为无序上传，也可以定制计划在不同的时刻每次上传部分数据片段（能防止在通信传输中泄露数据）。4.存储映射关系p(o,index)，p(sr,index)和p(uuid,seq)。

服务器端需要的数据操作为：1.接收来自于客户端的数据分段{uuidi:dsi|i=1,2,3,…}并存储于服务器端的存储结构中，一条数据片段的存储是随机且无规律的并不保存任何可能暴露分段数据次序与组合的信息，用以保证来自所有用户的数据片段是混杂交错存储的因而无法区分数据的用户来源。2.在客户端带有一组查询索引[uuidi|i=1,2,3…]请求到来时，在uuid与分段数据的对应关系p(uuid,ds)={uuidi:dsi|i=1,2,3,…}的存储结构中获取分段数据返回客户端。3.在需要时向客户端发出数据重建请求[sri|i=1,2,3…]。

如果服务器端需要主动重建用户完整数据需要向客户端发起通知/请求，经由用户的操作后返回uuid以及对应的次序标示{uuidi:seqi|i=1,2,3…}并给予此做完整数据的组合与重建。在这个过程中，用户完全知情并且可以控制选择是否接受与完成相应的请求。

与现有的隐私保护方案相比，本发明不需要删除与修改用户的隐私数据，只做分段数据的处理，因而可以保证系统功能的完整性。

本发明客户端与服务器的存储不依赖于具体的存储结构与形式,只需要在客户端保存映射关系p(o,index)={oi:[uuidj|j=1,2,3…]|i=1,2,3…}和p(sr,index)={sri:[uuidj|j=1,2,3…]|i=1,2,3…}以及次序标识p(uuid,seq)，在服务器端保存全局唯一标识符与分段数据的对应关系p(uuid,ds)={uuidi:dsi|i=1,2,3,…}。

本发明用户数据的获取与重建完全由用户控制，无论是用户端或者服务器端发起数据重建请求，只有在客户端获取特定的查询索引[uuidi|i=1,2,3…]时才能确定分段数据的组合与重新恢复用户隐私数据，而客户端获取查询索引完全由用户控制，或者由用户的操作发起或者由用户授权而得以处理。

本发明不需要加密模块的引入就可以实现用户隐私的保护，但是加密模块的引入可以增强保护强度，与加密方案的集成不需要特别的处理。

本发明中的客户端可以为任何带本地存储的终端如手机，平板电脑，电脑甚至服务器等。

尽管本发明描述为客户端/服务器的场景模式，也可以适用于p2p以及服务器之间数据协调的应用场景模式。

本发明的核心思想与创新点在于分离存储数据重建需要的数据查询索引逻辑与实际分段数据于不同的物理位置（或者虚拟环境），基于此可以衍生出灵活的适应于具体应用的访问控制实现方案。

附图说明

图1是本发明的系统存储与功能示意图。

图2是本发明客户端上传分段实际数据的操作示意图。

图3是本发明客户端请求数据重建时的操作示意图。

图4是本发明服务器端请求数据重建时的操作示意图。

具体实施方式

以下结合附图对本发明的实施例做详细说明：本实施例基于本发明方案，给出了详细具体的操作过程，但本发明的保护范围不限于下述实施例。

如图1所示，客户端需要uuid生成分配器1和数据切割模2，uuid生成分配器可以按需通过分布式或集中产生，数据切割器用以对用户的隐私数据做分段处理。

客户端需要依据系统的功能逻辑设计并存储至少三种关系映3：1.用户操作o与查询索引的映射关系p(o,index)={oi:[uuidj|j=1,2,3…]|i=1,2,3…}，具体的用户操作例子比如“按时间（日期）查询数据”则需要存储日期与分段数据uuid的对应关系，再比如“按用户订单号查询”则需要存储一个订单号与一组分段数据uuid的对应关系。这些对应关系在用户操作时用来获取一组uuid组成的查询索引信息。2.服务器端的数据重建请求sr与查询索引的对应关系p(sr,index)={sri:[uuidj|j=1,2,3…]|i=1,2,3…}，大多数情况下，服务器端的数据重建请求与基于用户的操作逻辑的数据请求是一致的，但如果服务器端有其他特别的数据重建需求并且这些需求没有在p(o,index)中描述，那么就需要把这些特别的需求存储在p(sr,index)中以支持系统的逻辑功能；p(sr,index)的设计基于对系统功能的整体规划与考虑；3.uuid对应的分段数据在完整数据中的次序标识映射关系p(uuid,seq)，次序信息在数据重建时需要用到。

.对于用户的非隐私信息或者无需保护的信息，可以采用一般的方法存储这些数据与数据关系以实现系统功能逻辑需要。

服务器端的存储设计主要包括：“uuid与实际分段数据的对应关系”p(uuid,ds)4,在需要进行数据重建时需要根据一组uuid来查询p(uuid,ds)的存储结构以获取实际的分段数据。

用户与服务器间的交互主要包括分段数据上传5，客户端数据获取6和服务器端数据重建7。

如图2所示,客户端上传数据的操作流程包括获取数据输入8，数据输入的来源可以是用户的操作也可以由客户端硬件产生如gps，加速计等传感器产生；数据分段处理9；数据的乱序处理10，数据需要乱序上传；uuid生成与分配11，分布式或者集中方式生成；分段数据上传12；并持久化用户操作与uuid的映射关系p(o,index)13；对于客户端与服务器端需要严格数据一致性保证的需求的应用需要进行数据一致性状态检查与处理14；最后持久化其他必要的数据与数据关系15；服务器端相应的处理为，如果采用uuid集中生成方式，服务器端需要管理uuid的全局生成16；接收分段数据17；持久化数据查询索引与分段数据的映射关系p(index,ds)18；如需数据一致性检查则进行数据一致性保证的相关处理19；并持久化其他必要数据与数据关系20。

如图3所示，客户端获取数据时的操作流程包括：获取用户的操作21；基于已经存储的用户操作o与查询索引的对应关系p(o,index)获取一组uuid22；上传数据查询索引即一组uuid23；服务器端接收uuid索引组24，基于p(index,ds)获取实际分段数据25并发送实际分段数据给客户端26；客户端接收分段数据27并根据p(uuid,seq)重组数据并返回显示给用户28。

如图4所示，服务器端请求重建数据时的操作流程包括：服务器端根据系统需求发送数据重建请求sr给客户端29；客户端接收服务器端数据重建请求30并向用户询问是否相应数据重建31，如果用户否定重建请求则返回拒绝消息给服务器端，如果用户允许数据重建则基于服务器端的请求sr与查询索引的映射关系p(sr,index)获取查询索引32并返回带次序标示的uuid索引组给服务器端33；服务器端接收客户端的响应，如果用户允许数据重建则根据接收到的带次序标示的uuid索引组重建完整信息34；服务器端在数据重建后删除一切可能暴露用户隐私的索引信息，过程中生成的数据与重建后的完整信息35。

通过分离数据查询索引与实际分段数据于不同的物理位置（或者虚拟环境），因为实际分段数据不具有具体的数据与用户身份或敏感信息的映射，是不会暴露隐私数据因而是隐私安全的，可以分享给第三方做数据分析处理。

尽管本发明的内容通过上述优选实施例作了详细说明，但应当意识到上述实施例描述不应该认为是对本发明的限制。本发明对保护隐私数据的应用具有一般普适性，本发明中某些操作可以有灵活的修改与替代，本发明的保护范围应有所附的权利要求来限定。