多副本关联关系追踪同步方法与装置

1.本发明属于数据安全领域，更具体地，涉及一种多副本关联关系追踪同步方法与装置。


背景技术：

2.近年来，国家高度重视数据开放共享的红利，积极推进海量数据跨区、跨层、跨部门的汇聚融合和深度利用，以促进经济发展、改善民生。然而，用户私人数据、企业核心商业数据等高价值数据蕴涵大量隐私信息，这些隐私/秘密数据被汇聚共享的同时，其所有权与管理权分离，共享数据被肆意留存副本、后台越权流转，这带来巨大的隐私泄露风险和利益损害威胁，成为数据共享大规模推进的主要障碍。因此，亟需研究如何在实现数据共享的同时，有效管控共享数据多副本的流转。
3.现有方案主要通过副本目录(copy cataloging)追踪数据的多副本关联关系，为数据流转管控奠定基础。副本目录的本质是一种将副本文件和源文件关联的数据结构，实现副本可溯源。其中，副本目录包含关系构建和机制实现两部分。(1)副本关联关系构建：用户在分享数据、创建副本的同时，存储副本信息和副本持有者的信息，并将这些信息添加到副本目录。(2)机制实现：以副本目录为基础，设计以副本关联关系为核心的机制，扩展文件的可控范围，实现对副本文件的流转管控。有研究使用副本关联关系表追踪副本在分布式系统中的流转状态，在此基础上实现删除机制。同时，有学者提出了一种数据多副本关联模型和删除反馈机制，可满足授权用户或存储服务商共享、转移或下载等操作引起的数据多副本关联和删除的需要。
4.现有解决方案的局限性主要表现在：
5.(1)现有工作几乎只针对域内副本关联关系的维护，副本的流转范围局限在局域网内，未考虑副本跨系统存储、跨域传播的场景。然而，在实际场景中，数据被服务提供方共享到另一方时，两方大多数情况下不在同一局域网内，域内关联关系的维护方案显然不适用于副本被跨域流转的情形。现有工作难以解决多副本在跨域、跨系统流转过程中关联关系的维护与追踪。
6.(2)现有方案大多忽略了域内、跨域副本传递，及其关联关系的同步更新，难以支撑副本跨域流转管控，其具体表现为：如何保证特定版本的特定副本在传递和同步过程中只被特定的授权用户访问，而其他用户无法访问。


技术实现要素：

7.针对现有技术的以上缺陷或改进需求，本发明提供了一种多副本关联关系追踪同步方法，其目的在于针对跨域、跨系统场景下的数据共享过程中，对特定版本的副本文件实现精准定位及关联关系的同步更新，由此解决数据跨域、跨系统流转过程中的管控问题。本发明中节点分为文件持有节点和副本持有节点。文件持有节点从副本关联关系表中导出副本流向图，采用分布式广度优先搜索算法确定副本持有节点的位置；向副本持有节点发送
查询通知，根据通知反馈获得特定版本文件在网络中的位置并追踪副本关联关系。在此基础上，同步机制使用访问控制策略生成权限验证挑战，根据挑战结果确定同步范围，并在范围内更新副本的同时，进行关联关系一致性校验。在文件共享时，借助粘性策略(sticky policy，sp)技术将访问控制策略绑定在副本文件上，保证副本安全性。
8.为实现上述目的，按照本发明的一个方面，提供了一种多副本关联关系追踪同步方法，包括如下步骤：
9.(1)关联关系建立：所有参与方在共享文件时记录：文件标识，文件持有者ip，副本来源者ip，存储副本数量，副本分享者ip，文件版本信息，其中文件标识具有唯一性；将这些信息添加到副本关联关系表；
10.(2)副本追踪：文件持有节点根据副本关联关系表导出的副本流向图，向图中其它所有节点发送定位通知t，节点接收到通知之后对通知进行反馈，并根据本地的副本流向图传递定位通知；除文件持有节点和未分享文件的节点外，每个节点都执行反馈和传递操作，文件持有节点根据通知反馈构建网络拓扑图；
11.(3)关联关系追踪：文件持有节点在获得网络拓扑图后，向拓扑图中的其它所有节点发送版本查询通知v，节点接收后返回反馈vr，文件持有节点根据vr扩展网络拓扑图为版本拓扑图；
12.(4)同步通知与权限验证：文件持有节点对文件进行更新操作后，对分发的副本进行跨域范围性同步，文件持有节点根据同步节点特征生成权限验证挑战，构建同步通知，各节点进行权限验证并将验证结果放入反馈信息，文件持有节点根据反馈确定同步范围；
13.(5)范围同步与一致性校验：文件持有节点在同步范围确定之后，生成访问控制策略，保证副本只能被同步范围内节点访问，使用sp技术将访问控制策略绑定在副本文件一同发送给同步范围内节点。
14.本发明的一个实施例中，所述步骤(1)包括如下子步骤：
15.(1.1)副本关联关系表添加：将共享文件时记录的信息：文件标识fid，文件持有者ipsourceaddress，副本来源者ipdirectaddress，存储副本数量n，副本分享者ipshareaddress：文件版本version作为副本关联关系表的表项，在副本关联关系表中新建一条关系记录；
16.(1.2)副本流向图导出：各节点在对文件标识为fid的文件进行分享、更新操作时，根据副本关联关系表导出副本流向图：g＝(v，e)，v＝{自身ip}∪{副本分享者ip}；e＝{(自身ip，副本分享者ip)}。
17.本发明的一个实施例中，在所述步骤(1.2)中，对拥有多个副本分享者的节点来说，副本流向图为一棵以自身ip为根，高度为2的树。
18.本发明的一个实施例中，所述步骤(2)包括如下子步骤：
19.(2.1)定位通知：文件持有节点根据副本流向图，构建定位通知t，t＝{ip＝文件持有节点ip，id＝fid，jumps＝0，seq＝seq’+1，type＝location}，其中ip为文件持有者ip，id为文件唯一标识fid，jumps表示消息经历跳数，seq表示该定位通知的序号，而seq’表示上一个定位通知的序号，type表示通知类型；
20.(2.2)通知反馈：节点接收到定位通知t后，根据副本关联关系表检查是否存储或分享所定位文件副本，返回定位通知反馈tr，tr＝{id，jumps，seq，type，directaddress，
selfaddress，shareaddress}，其中id，jumps，seq，type均为定位通知t中信息，directaddress为副本来源ip，selfaddress为自身ip，shareaddress为副本分享者ip，若只存储所定位副本，shareaddress＝-1；
21.(2.3)通知传递：节点根据自身的副本流向图，向图内其他节点传递副本定位通知t’，t’＝{ip＝文件持有者ip，id＝fid，jumps＝jumps’+1，seq＝seq，type＝location}，其中jumps’为该节点接收到的定位通知t中的jumps值；
22.(2.4)反馈校验与网络拓扑图构建：文件持有节点根据接收到的定位通知反馈，从jumps＝0开始，对反馈中的directaddress，selfaddress，shareaddress三者的一致性进行校验，逐层向下直到所有反馈都校验完成。
23.本发明的一个实施例中，所述步骤(2.4)中反馈校验与网络拓扑图构建的具体实现为：
24.对于jumps＝0的反馈tr0和jumps＝1的反馈tr1来说，tr0中的directaddress为文件持有节点ip，tr0中的shareaddress为tr1中的selfaddress，只有满足这种一致性关系，才能通过校验，对于每一个反馈通知，若校验通过，在网络拓扑图中添加ip为selfaddress的节点和(selfaddrss，shareaddress)的边，否则不添加。
25.本发明的一个实施例中，所述步骤(3)包括如下子步骤：
26.(3.1)版本查询通知：文件持有节点向网络拓扑图中的所有节点发送版本查询通知v，其构造与步骤(2.1)中的定位通知类似，区别在于表示通知类型的参数type的值，定位通知type＝location，版本查询通知type＝query；
27.(3.2)通知反馈：各节点对收到的版本查询通知进行反馈vr，vr＝{id，jumps，seq，type，version}，其中version代表当前副本版本；
28.(3.3)版本拓扑图构建：文件持有节点在接收到所有的节点返回的文件版本后，对(2)中获得网络拓扑图中节点添加版本这一属性，获得版本拓扑图，文件持有节点通过版本拓扑图实现对副本及其关联关系的追踪。
29.本发明的一个实施例中，所述步骤(4)包括如下子步骤：
30.(4.1)权限验证挑战生成：将访问控制策略视为函数f，输入用户画像与数据画像，输出权限验证挑战，权限验证挑战结果与用户相关联，具有唯一性；
31.(4.2)同步通知：文件持有节点发送同步通知u给版本拓扑图中的所有节点；u＝{ip＝文件持有方ip，id＝fid，seq＝seq’+1，type＝synchronous，verification}，其中ip，id，seq与定位通知t含义相同，verification代表(4.1)中生成的权限验证挑战；
32.(4.3)权限验证与反馈：各节点接收到同步通知u后，对其中的权限验证挑战进行响应，将结果放入ur中返回给文件持有节点，ur＝{id，seq，type，verifyresult}，其中verifyresult为权限验证挑战响应结果；
33.(4.4)确定同步范围：文件持有节点对接收到ur中的verifyresult与本地权限计算结果进行对比，判断节点是否具有同步资格，进而确定同步范围。
34.本发明的一个实施例中，所述步骤(5)包括如下子步骤：
35.(5.1)访问控制策略生成：访问控制策略在此处视为函数f，对于同步范围内节点，f(用户画像，数据画像)＝ture，函数通过对节点输入的用户画像和数据画像进行验证，判断节点是否具有访问权限；
36.(5.2)文件范围同步：文件持有节点将绑定有访问控制策略的副本发送给同步范围内节点；
37.(5.3)一致性校验：文件更新完成后，文件同步节点向其父节点发送uv1；副本发送完成后，文件持有节点向文件同步节点的父节点发送uv2。
38.(5.4)关联关系范围同步：所有文件同步节点的父节点校验uv1和uv2，校验通过更新表项并向文件持有节点返回成功suc，否则返回错误err。
39.本发明的一个实施例中，所述步骤(5.3)中：uv1＝{ip＝文件持有者ip，id＝fid，updateaddress，version}；uv2＝{ip＝文件持有者ip，id＝fid，updateaddress，version}；其中updateaddress表示更新文件的节点ip，version表示文件版本。
40.按照本发明的另一方面，还提供了一种多副本关联关系追踪同步装置，包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储能被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成权利要求1-9中任一项所述的多副本关联关系追踪同步方法。
41.总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
42.(1)查询高效且扩展性强：本发明使用基于图的关联关系模型代替基于树的关联关系模型，考虑副本传播过程中同一文件的不同版本，在不影响查询效率的前提下改进副本目录。在帮助用户建立域间副本关联关系的同时，保留了同域内副本关联关系方案互联的可能，以实现域内域间副本关联关系追踪。
43.(2)通信开销低：基于分布式广度优先搜索和副本目录的副本追踪，将整个网络的拓扑图分布式的存放在各个节点中，避免了单点故障问题。分布式广度优先搜索算法将计算负载均衡到每个出度非零的节点，降低每个节点对计算和负载能力的要求，提高副本定位效率的同时减少单点通信开销。
44.(3)提供主观调控功能：在提供副本关联关系追踪的同时，可根据用户的主观需求，调整通知中的参数，追踪特定版本的特定文件的位置和状态。
45.(4)安全且准确：在不影响多副本关联关系追踪方法性能的前提下，融合sp技术保证数据的安全性，使用访问控制策略增强域内跨域流转管控的可靠性，实现同步机制保证关联关系的准确性。
附图说明
46.图1是本发明实施例中多副本关联关系追踪同步方法的流程图；
47.图2是本发明实施例中副本追踪示意图；
48.图3是本发明实施例中关联关系追踪示意图；
49.图4是本发明实施例中同步通知与权限验证示意图；
50.图5是本发明实施例中范围同步与一致性校验示意图。
具体实施方式
51.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并
不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
52.以下首先就本发明的技术术语进行解释和说明：
53.副本关联关系表：副本目录在本发明中的具体表现形式。用户在分享数据、创建副本的同时，存储副本信息和副本持有者等信息在该表。
54.网络拓扑图：以ip为节点，分享关系为边构建的有向图。其中文件持有方入度为0，未分享副本的副本持有节点出度为0。
55.版本拓扑图：以网络拓扑图为基础为每个节点新增文件版本属性构建的知识图谱。
56.范围同步：包括副本的文件同步和整个副本分享网络中所有关联关系的同步更新。
57.权限验证挑战：接收用户画像和数据画像的输入所生成的挑战。该挑战对用户的权限进行验证，挑战生成者通过响应结果验证挑战响应者的权限。
58.sp技术：使用密码学技术将访问控制策略绑定到数据中，随数据一同流转。
59.如图1所示，本发明多副本关联关系追踪同步方法包括以下步骤：
60.(1)关联关系建立。所有参与方在共享文件时记录：文件标识，文件持有者ip，副本来源者ip，存储副本数量，副本分享者ip，文件版本信息，其中文件标识具有唯一性。将这些信息添加到副本关联关系表，包含以下步骤：
61.(1.1)副本关联关系表添加。将共享文件时记录的信息：文件标识fid，文件持有者ipsourceaddress，副本来源者ipdirectaddress，存储副本数量n，副本分享者ipshareaddress：文件版本version作为副本关联关系表的表项，在副本关联关系表中新建一条关系记录。
62.(1.2)副本流向图导出。各节点在对文件标识为fid的文件进行分享、更新等操作时，可根据副本关联关系表导出副本流向图：
63.g＝(v，e)，v＝{自身ip}∪{副本分享者ip}；
64.e＝{(自身ip，副本分享者ip)}；
65.对拥有多个副本分享者的节点来说，副本流向图实际上为一棵以自身ip为根，高度为2的树。
66.(2)副本追踪。文件持有节点根据副本关联关系表导出的副本流向图，向图中其它所有节点发送定位通知t，节点接收到通知之后对通知进行反馈，并根据本地的副本流向图传递定位通知。除文件持有节点和未分享文件的节点外，每个节点都执行反馈和传递操作。文件持有节点等待timeout时间或收到jumps＝16的通知反馈后，根据通知反馈构建网络拓扑图，如图2所示，包含以下步骤：
67.(2.1)定位通知。文件持有节点根据副本流向图，构建定位通知t。
68.t＝{ip＝文件持有节点ip，id＝fid，jumps＝0，seq＝seq’+1，type＝location}
69.其中ip为文件持有者ip，id为文件唯一标识fid，jumps表示消息经历跳数，seq表示该定位通知的序号(seq’表示上一个定位通知的序号)，type表示通知类型。
70.(2.2)通知反馈。节点接收到定位通知t后，根据副本关联关系表检查是否存储或分享所定位文件副本，返回定位通知反馈tr。
71.tr＝{id，jumps，seq，type，directaddress，selfaddress，shareaddress}
72.其中id，jumps，seq，type均为定位通知t中信息，directaddress为副本来源ip，selfaddress为自身ip，shareaddress为副本分享者ip，若只存储所定位副本，shareaddress＝-1。
73.(2.3)通知传递。节点根据自身的副本流向图，向图内其他节点传递副本定位通知t’。
74.t’＝{ip＝文件持有者ip，id＝fid，jumps＝jumps’+1，seq＝seq，type＝location}
75.其中jumps’为该节点接收到的定位通知t中的jumps值，其它值与t中相同。
76.(2.4)反馈校验与网络拓扑图构建。文件持有节点根据接收到的定位通知反馈，从jumps＝0开始，对反馈中的directaddress，selfaddress，shareaddress三者的一致性进行校验，逐层向下直到所有反馈都校验完成。对于jumps＝0的反馈tr0和jumps＝1的反馈tr1来说，tr0中的directaddress为文件持有节点ip，tr0中的shareaddress为tr1中的selfaddress，只有满足这种一致性关系，才能通过校验。对于每一个反馈通知，若校验通过，在网络拓扑图中添加ip为selfaddress的节点和(directaddress，selfaddress)的边，否则不添加。
77.(3)关联关系追踪。文件持有节点在获得网络拓扑图后，向拓扑图中的其它所有节点发送版本查询通知v，节点接收后返回反馈vr，文件持有节点根据vr扩展网络拓扑图为版本拓扑图，如图3所示，包含以下步骤：
78.(3.1)版本查询通知。文件持有节点向网络拓扑图中的所有节点发送版本查询通知v，其构造与步骤(2.1)中的定位通知类似，区别在于表示通知类型的参数type的值，定位通知type＝location，版本查询通知type＝query。
79.(3.2)通知反馈。各节点对收到的版本查询通知进行反馈。
80.vr＝{id，jumps，seq，type，version}，其中version代表当前副本版本。
81.(3.3)版本拓扑图构建。文件持有节点在接收到所有的节点返回的文件版本后，对(2)中获得网络拓扑图中节点添加版本这一属性，获得版本拓扑图，其本质是知识图谱。文件持有节点通过版本拓扑图实现对副本及其关联关系的追踪。
82.(4)同步通知与权限验证。文件持有节点对文件进行更新操作后，对分发的副本进行跨域范围性同步。文件持有节点根据同步节点特征生成权限验证挑战，构建同步通知。各节点进行权限验证并将验证结果放入反馈信息，文件持有节点根据反馈确定同步范围，如图4所示，包含以下步骤：
83.(4.1)权限验证挑战生成。将访问控制策略视为函数f，输入用户画像与数据画像(用户画像与数据画像为权限控制中的结构)，输出权限验证挑战。权限验证挑战结果与用户相关联，具有唯一性。
84.(4.2)同步通知。文件持有节点发送同步通知u给版本拓扑图中的所有节点。
85.u＝{ip＝文件持有方ip，id＝fid，seq＝seq’+1，type＝synchronous，verification}，其中ip，id，seq与定位通知t含义相同，verification代表(4.1)中生成的权限验证挑战。
86.(4.3)权限验证与反馈。各节点接收到同步通知u后，对其中的权限验证挑战进行
响应，将结果放入ur中返回给文件持有节点。
87.ur＝{id，seq，type，verifyresult}，其中verifyresult为权限验证挑战响应结果。
88.(4.4)确定同步范围。文件持有节点对接收到ur中的verifyresult与本地权限计算结果进行对比，判断节点是否具有同步资格，进而确定同步范围。
89.(5)范围同步与一致性校验。文件持有节点在确定同步范围之后，生成访问控制策略，保证副本只能被在同步范围内的节点访问。使用sp技术将访问控制策略绑定在副本文件一同发送给同步范围内节点，如图5所示，包含以下步骤：
90.(5.1)访问控制策略生成。访问控制策略可视为函数f，对于同步范围内节点，f(用户画像，数据画像)＝ture，否则为false。函数通过对节点输入的用户画像和数据画像进行验证，判断节点是否具有访问权限。
91.(5.2)文件范围同步。文件持有节点将绑定有访问控制策略的副本发送给同步范围内节点。
92.(5.3)一致性校验。文件更新完成后，文件同步节点向其父节点发送uv1；副本发送完成后，文件持有节点向文件同步节点的父节点发送uv2。
93.uv1＝{ip＝文件持有者ip，id＝fid，updateaddress，version}
94.uv2＝{ip＝文件持有者ip，id＝fid，updateaddress，version}
95.其中ip，id与前文一致，updateaddress表示更新文件的节点ip，version表示文件版本。
96.(5.4)关联关系范围同步。所有文件同步节点的父节点校验uv1和uv2，校验通过更新表项并向文件持有节点返回成功suc，否则返回错误err。
97.进一步地，本发明还提供了一种多副本关联关系追踪同步装置，包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储能被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成所述的多副本关联关系追踪同步方法。
98.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。