传染病风险流调信息同步与数据脱敏的管理方法及其应用与流程

文档序号:32501138发布日期:2022-12-10 05:28阅读:205来源:国知局
传染病风险流调信息同步与数据脱敏的管理方法及其应用与流程

1.本技术涉及疫情防控技术领域,特别是一种涉及传染病风险流调信息同步与数据脱敏的管理方法及其应用。


背景技术:

2.在大范围烈性流行传染病的疫情背景下,为维护公共卫生安全,相关部门往往需要对涉及的风险人群进行流调,并将相关数据存储到数据库中,用于疫情防控和信息公开。但在这些数据中,往往包含有被调查人群的隐私信息,如果这些信息被盗取或误传播,将可能对本人造成恶劣影响。因此,利用数据库合理管理这些敏感数据、维护公共卫生安全的同时,保障公民隐私权、保护公民隐私不被泄露,成为当下最重要的议题之一。此外,在信息流调过程中往往涉及多个部门协调合作,如何保证信息数据高效及时地在几个部门之间互通、提高疫情防控的工作效率,也是非常值得关注的问题。
3.如今,云计算技术和加密技术的发展为数据库的安全性优化提供了更多的可能性。为了降低硬件成本、提高信息互通效率,越来越多的开发者选择云端元数据库(cloud-based metabase)加本地主数据库(primary database)协同工作的方式,但这样同时也带来了安全性、可靠性的问题:云端数据库相对采用私有局域网的本地数据库来说更容易受到攻击。因此,需要将带有加密功能的云端数据库合理地部署到工作方案中,进而最大程度上提高工作效率、保证数据安全。
4.因此,亟待一种可以实现疫情防控多部门数据实时云互通、信息脱敏保护、基于数字孪生信息公开的传染病风险流调信息同步与数据脱敏的管理方法及其应用。


技术实现要素:

5.本技术实施例提供了传染病风险流调信息同步与数据脱敏的管理方法及其应用,针对目前技术存在的数据不安全等问题。
6.本发明核心技术主要是提供一个指挥中心云数据库与各相关部门的私有数据库的加密信息传输方案、基于数字孪生的疫情防控信息公开方案,目的是实现疫情数据在相关部门之间高效互通,且在对风险人群的隐私数据加以保护的前提下实现疫情防控面向社会的信息公开。
7.第一方面,本技术提供了传染病风险流调信息同步与数据脱敏的管理方法,所述方法包括以下步骤:s1、获取确诊患者信息,采用增量快照加密技术上报至疾控中心分配的数据库中;s2、疾控中心解码确认患者信息,同步至疾控中心相关责任人以进行回访流调,回访流调信息与患者信息打包成患者确诊信息并采用增量快照加密技术上报至指挥中心;s3、指挥中心将患者确诊信息采用增量快照加密技术同步至交通部门,以使得交通部门能够查询该患者的公共交通出行记录并采用增量快照加密技术反馈至指挥中心;s4、指挥中心将交通部门同步的数据与患者确诊信息解码整合,并将患者的与疫
情防控无关的隐私数据脱敏模糊处理,将患者的与疫情防控有关的必要数据分类打包配对,以生成多个增量快照加密文件同步至各地方派出所;s5、地方派出所调取相关监控,结合接收到的多个增量快照加密文件进行追踪流调,并将流调信息脱敏后通知对于场所的管理部门以展开防控措施,同时将流调信息采用增量快照加密技术同步至城市数字孪生服务平台的虚拟城市空间;s6、城市数字孪生服务平台根据流调信息的部分脱敏后,提供给信息公开部门进行面向社会面的信息公开。
8.进一步地,还包括步骤s7:若社会面用户需进行风险自查,则通过实名制登录城市数字孪生服务平台上传自己的行动轨迹信息。
9.进一步地,还包括步骤s8:城市数字孪生服务平台对社会面用户上传的行动轨迹信息进行比对分析,将分析结果脱敏反馈给用户并对风险等级高于阈值的用户信息上传至指挥中心等待指示。
10.进一步地,步骤s8中,风险等级低于阈值的用户的分析结果定时自动清除。
11.进一步地,步骤s1-s6中的增量快照加密技术具体包括以下步骤:当用户访问数据库的文件系统并对其中的信息进行操作时,与对应存储块配对的节点同时受到触发,进而驱动中心控制器对数据进行定向的动态备份;采取创建加密增量快照的方式对受到修改的信息进行动态响应,并通过节点对文件系统进行锁定,在完成云端备份上传后再将文件系统解锁。
12.进一步地,增量快照加密技术还包括以下步骤:根据数据库中数据的时效特征,将数据分为热数据和冷数据;其中,将超过时效特征中访问频率阈值的数据定义为热数据,将未超过时效特征中访问频率阈值的数据定义为冷数据;将热数据对应的节点持续保存在文件系统的接入快速访问区。
13.进一步地,基于对于个人影响程度将交通部门同步的数据与患者确诊信息解码整合后的数据分为不敏感、低敏感、较敏感及敏感四个等级。
14.第二方面,本技术提供了一种传染病风险流调信息同步与数据脱敏的管理系统,用于上述的传染病风险流调信息同步与数据脱敏的管理方法,包括:云端元数据库,用于存储数据;数据库中心控制器,用于响应用户访问云端元数据库或扩展服务数据库的文件系统并对其中的信息进行操作时,与对应存储块配对的节点同时受到触发,进而驱动中心控制器对数据进行定向的动态备份;采取创建加密增量快照的方式对受到修改的信息进行动态响应,并通过节点对文件系统进行锁定,在完成云端备份上传后再将文件系统解锁;备份工具,用于将需要备份数据压缩并分割成独立的部分,同时对文件进行分类并分配目录、创建备份日志;用于通过访问查询语句触发指令来自动、实时地对增量快照执行加密或解码;用于存储查询的增量快照信息、被操作的文件节点;扩展服务数据库,用于存储节点的对接文件系统;用于根据数据库中数据的时效特征,将数据分为热数据和冷数据;其中,将超过时效特征中访问频率阈值的数据定义为热数据,将未超过时效特征
中访问频率阈值的数据定义为冷数据;将热数据对应的节点持续保存在文件系统的接入快速访问区。
15.第三方面,本技术提供了一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行上述的传染病风险流调信息同步与数据脱敏的管理方法。
16.第四方面,本技术提供了一种可读存储介质,可读存储介质中存储有计算机程序,计算机程序包括用于控制过程以执行过程的程序代码,过程包括根据上述的传染病风险流调信息同步与数据脱敏的管理方法。
17.本发明的主要贡献和创新点如下:1、与现有技术相比,本技术可实现疫情数据在相关部门之间高效互通,且在对风险人群的隐私数据加以保护的前提下实现疫情防控面向社会的信息公开;2、与现有技术相比,在不同的应用场景下,为了尽可能保护用户隐私,交接数据的双方可能对数据拥有不同的查阅权限。因此,在进行数据同步之前,各部门端的数据库内置的文件配置器将对数据进行必要的脱敏处理或分类打包,在特定的编码规则下生成加密增量快照文件后再进行同步;3、与现有技术相比,本技术能够通过增量快照对数据库信息进行备份保护,意味着只需要对设备上最新一次快照之后发生信息修改的块进行处理;其中每个快照都仅针对其中修改过的数据信息,这避免了重复、全盘的备份,同时减小了备份所需的存储空间。此外,在需要对备份副本进行频繁更新时,增量快照也降低了系统对网络带宽速度的要求。
18.本技术的一个或多个实施例的细节在以下附图和描述中提出,以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
19.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:图1是根据本技术实施例的传染病风险流调信息同步与数据脱敏的管理方法的流程;图2是本技术实施例的大致流程图;图3是图2更为具体一种实施方式的流程图;图4是本技术管理系统一种实施方式的基本框架图;图5是本技术管理系统一种实施方式的备份操作逻辑图;图6是本技术管理系统一种实施方式的恢复数据操作逻辑图;图7是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
20.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相
一致的装置和方法的例子。
21.需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
22.目前相关部门存储风险人群流调的数据通常会被盗取或误传播,导致个人隐私泄露。而且各部门之间的信息互通的工作效率也是重点问题。
23.基于此,本发明基于数字孪生与云端加密快照技术来解决现有技术存在的问题。
24.实施例一本技术旨在提出传染病风险流调信息同步与数据脱敏的管理方法,通过结合增量快照技术和实际情况,在疫情防控的背景下加以优化,结合数字孪生概念,形成一个创新且高效的可以实现疫情防控多部门数据实时云互通、信息脱敏保护、基于数字孪生信息公开的系统方案。
25.本技术的指挥中心云数据库面对不同的部门(主要包括疾控中心、交通部门、地方街道派出所等)拥有不同的加密、解码的信息传递方式和信息传递流程。
26.具体地,本技术实施例提供了传染病风险流调信息同步与数据脱敏的管理方法,可以有效提高工作效率、保证数据安全,提高中,具体地,参考图1-3所示(图1中的步骤s5在实施例中分开为步骤s5和s6,因此后续步骤序号发生了变化),所述方法包括:s1、获取确诊患者信息,采用增量快照加密技术上报至疾控中心分配的数据库中,如地方医院发现疫情,将确诊患者情况上报疾控中心;此步骤中,医院需将确诊患者的身份信息和联系方式一并上报,以便疾控中心联系患者。医院通过登录预先分配的加密云端数据库客户端,录入信息。本地设备将信息生成增量快照加密文件,联网上传同步到疾控中心分配的数据库中(疾控中心数据库)。
27.s2、疾控中心解码确认患者信息,同步至疾控中心相关责任人以进行回访流调,回访流调信息与患者信息打包成患者确诊信息并采用增量快照加密技术上报至指挥中心;此步骤中,疾控中心数据库检查到新卷上传后,将对数据来源进行识别、决策。来自医院的数据文件将被解码、分类打包,患者的联系方式、基本信息(仅用于确认是否是本人)和确诊情况将被同步给疫控中心的相关责任人、负责对患者进行回访流调,而患者的身份信息将被加密(生成增量快照文件)上传至指挥中心的云端数据库;与此同时,疾控中心分配的工作人员将根据患者的联系方式与患者取得联系回访,记录下患者近日的行程轨迹(包括时间、空间、当时的衣着特征等便于后续调取监控确认行程的关键信息),反馈到疾控中心,疾控中心再将回访所得信息和患者身份信息打包生成加密增量快照文件,上传同步至指挥中心。如此可将患者治疗、患者回访的工作分开,减轻医院方工作负担。
28.s3、指挥中心将患者确诊信息采用增量快照加密技术同步至交通部门,以使得交通部门能够查询该患者的公共交通出行记录并采用增量快照加密技术反馈至指挥中心;此步骤中,指挥中心云端数据库将患者的关键身份信息(仅用于调取公共交通出行记录)生成增量快照加密文件,同步到交通部门分配的对应数据库。交通部门数据库检测到文件更新后,将对文件进行解码,并依据文件信息调取出行记录,再将出行记录和身份信
息一并重新生成增量快照加密文件、上传反馈给指挥中心。
29.s4、指挥中心将交通部门同步的数据与患者确诊信息解码整合,并将患者的与疫情防控无关的隐私数据脱敏模糊处理,将患者的与疫情防控有关的必要数据分类打包配对,以生成多个增量快照加密文件同步至各地方派出所;此步骤中,完成上述工作后,指挥中心将来自疾控中心的流调信息、来自交通部门的行程信息解码整合,将患者本人的隐私数据(如身份证号、姓名、性别、年龄、职业等与疫情防控无直接关系的个人信息)脱敏模糊处理,仅以便于分类的统一识别代号标记打包,根据涉及的风险地区,分类分别将涉及的风险区域、时间、该时间患者的衣着特征等必要信息打包配对,生成多个增量快照加密文件同步至各地方派出所数据库。
30.s5、地方街道派出所调取相关监控,结合衣着特征等信息追踪流调,同时将涉及的活动空间、场所、时间等风险数据脱敏并通知给对应的社区、商铺等管理部门以便其快速展开防控措施(但不涉及某个特定病例的详细行动轨迹或具体身份信息、体貌特征等与疫情防控无直接关系的信息);此步骤中,各地方街道派出所数据库查询到文件更新后,将对文件进行解码、预处理,第一时间通知已经明确有风险的部门(如常驻社区、常驻单位、搭乘的交通工具等公共场所)相关负责人;同时采集其他活动性较大的流动行程(如步行经过某街区等)数据,分配工作人员调取相应监控记录确认行程。
31.s6、地方街道派出所将流调得到的活动空间、活动时间以及确诊时间等关键信息加密同步到城市数字孪生服务平台的虚拟城市空间;此步骤中,地方派出所责任工作人员将对行程信息综合监控记录、患者自述行程等进行判断(如有出入,以监控为准),点对点上传至城市数字孪生服务平台的虚拟城市空间进行风险数据同步。
32.s7、城市数字孪生服务平台实时更新同步数据,将可能的风险等级、区域范围、时间等信息脱敏后提供给信息公开部门进行面向社会面的信息公开;此步骤中,不涉及任何患者本人的详细信息,仅公布确诊时间、活动时间和大致的活动范围,同时在城市数字孪生服务平台上显示风险级数热力图和预计风险清除时间。
33.s8、社会面用户如需风险自查,需实名制登录城市数字孪生服务平台,自定义时间、空间、行动方式等,在虚拟城市空间中上传自己的大致行动轨迹;此步骤中,为了保护患者个人隐私,社会面用户不能在系统中查看每个患者的行动轨迹。同时为了保护平台信息安全、防止恶意登录,用户需填写本人有效联系方式,在记录有效的前提下实名制登录网站,且用户可选的时间空间范围将视实际情况进一步限制(如某用户在一段时间内常住在某省市且一段时间内本人sim卡无跨省流动记录的情况下,该用户只能查询和比对该省市内选择有效时间范围内的风险数据)。
34.s9、城市数字孪生服务平台对社会面用户上传的行动轨迹进行比对分析,将分析结果脱敏反馈给用户,对于风险等级较高的用户,平台则将用户信息上报给指挥中心待进一步指示。
35.此步骤中,在社会面用户上传本人行程后,系统将数据加密上传至平台云端数据库,相关程序将结合库中风险源数据对用户行程进行比对分析,再将比对结果同步反馈到用户端。其中,用户端只能收到本人的风险评测,如有风险,仅通知造成风险的区域、产生时
间以及风险等级等。对于风险用户,系统将其信息和联系方式上传至指挥中心待进一步指示;如无风险,则在保留备份文件一段时间后自动清除。
36.在本实施例中,城市数字孪生平台将对上报的风险信息(包括时间、空间数据)进行并集处理和演算(患者自述与流调信息有出入时,优先以地方派出所调取的信息为准),同时更新到信息公开部门。对于信息公开,指挥中心将在数据脱敏的前提下,如实公开确诊病例人数和活动的大致区域和时间,但不再公布每一个病例的具体住所、活动轨迹等。取而代之的,社会面用户可在相应部门网站实名制登录使用城市数字孪生平台,自定义选择活动的空间、时间、步行速度等,在平台中回溯本人的活动轨迹;结束回溯后,系统将自行比对社会面用户与库中存储病例的活动轨迹信息,打印出社会面用户本人的风险自查评估表,其中仅注明可能涉及与患者密切接触的风险和风险原因(时间、区域信息),但不会公开病例的其他信息(如身份、体貌、具体活动轨迹等)。系统会自动检查社会面用户的操作情况,如果发现有较高风险的用户,则会将用户实名信息加密上传至指挥中心、待进一步电话回访等指示。
37.具体地,本技术采用的城市数字孪生平台是基于元宇宙和数字孪生的概念设想的一个可以将风险信息在等时间、等空间的城市数字孪生虚拟平台信息处理平台,将风险信息录入可视化、直观表现,其重点不在于程序底层逻辑,而更注重工作人员、用户的操作体验和便捷性。此外,本发明示例部署的系统和各部门的权限并非一成不变的,而仅是在一般情况下按照普适性的责任分配进行阐述。在各部门间的数据处理和同步的方法和思路,以及在数据隐私保护的思路下如何实现必要信息公开和风险排查,是本发明声明的核心内容。
38.在本实施例中,本技术采用的增量快照加密技术原理如下:在不同的应用场景下,为了尽可能保护用户隐私,交接数据的双方可能对数据拥有不同的查阅权限。因此,在进行数据同步之前,各部门端的数据库内置的文件配置器将对数据进行必要的脱敏处理或分类打包,在特定的编码规则下生成加密增量快照文件后再进行同步。进一步地,为了保护数据安全,不同部门在不同的交接情境下,使用的密匙应该是不同的,即环节之外无访问权限的其他部门数据库、其他用户等不能解码数据文件。
39.在文件的同步过程中,当一个加密文件被申请同步到目标数据库时,数据提供方数据库的附属程序将指导同步工具运行相应应用程序。基于此,同步工具根据数据情况,编码生成一个或多个额外的增量快照(注意并非扩展数据库中的存储节点,以避免触发数据库的并发约束机制),并协调以生成相应日志条目。在该过程中,同步工具将提供临时存储空间,并在将增量快照发送之前执行加密操作。在目标数据库的附属控制器中,事件监视器可以监测数据库中的节点状态,这可使仅在数据库卷中存在更新操作时(即新的同步文件被上传时)触发相应的处理流程。
40.数据接收端事件监视器直接与数据提供端数据库进行通信;其中,后者包括了一个连接池接口和分析集群,如此则可以使数据提供端数据库上传更新文件。各方数据库中的连接池可以包含关于应用程序私有云和其他组件之间等的连接信息(如连接凭证、许可证书等);其中实现的分析集群,使其可以执行集群的修改等操作,以在其与事件监视器的通信期间提高带宽利用率。例如,客户端可以将修改节点分组,并以预定的周期向事件监视器报告变化组和预处理信息,例如可以分析上传文件的大小、文件上传者的凭证信息等。各
部门的数据库端口按照部署需要分配权限和部署密匙,且这种配置并非一一对应的,即拓扑管理器可以与多个节点连接,以促进协调文件管理。在这样的网络下,系统不仅可以实时同步更新数据,还可以保证数据处理流程有条不紊、保证数据隐私不被泄露。如此利用本发明所声明的系统,合理分配工作流程,可以明确各部门责任、提高工作效率。
41.在本实施例中,增量快照加密技术具体包括以下步骤:当用户访问数据库的文件系统并对其中的信息进行操作时,与对应存储块配对的节点同时受到触发,进而驱动中心控制器对数据进行定向的动态备份;采取创建加密增量快照的方式对受到修改的信息进行动态响应,并通过节点对文件系统进行锁定,在完成云端备份上传后再将文件系统解锁;根据数据库中数据的时效特征,将数据分为热数据和冷数据;其中,将超过时效特征中访问频率阈值的数据定义为热数据,将未超过时效特征中访问频率阈值的数据定义为冷数据;将热数据对应的节点持续保存在文件系统的接入快速访问区。
42.更为通俗易懂地讲,增量快照加密技术中的增量快照就是对于第一快照(新增节点的完整的增量快照),当其中部分发生修改时,系统可以生成第二快照,且该快照将仅覆盖卷的修改部分,而不覆盖未修改的数据。此外,第二快照可以保留对第一快照的引用及其与第一快照相联系的元数据;当第二快照产生后,其中部分又发生了修改,系统可以生成第三快照,以此类推。这种快照的顺序意味着系统能够更快速地生成可以存储在云中的副本;其中,增量备份意味着只有设备上最近一次快照后发生变化的块被保存。也就是说,每个快照都包含将数据(从初始快照创建的那一刻起)恢复到新卷所需的所有信息。
43.而加密部分就是对于增量快照的云端上传过程,如前述内容,通过云端、备份工具等都可以包含解码和加密所需的密匙,即增量快照可以在上传到云之前、同时或之后被加密。为了避免必须删除、格式化和重写部分,云数据库可以简单地在不同的位置写入增量快照,并标注增量快照存储数据的在主数据库的相应位置等其他信息。这样通过具有指向位置的指针,加密的快照可以在云存储中更快地存储和定位,而不影响恢复速度。
44.优选地,基于对于个人影响程度将交通部门同步的数据与患者确诊信息解码整合后的数据分为不敏感、低敏感、较敏感及敏感四个等级。为更好地保护用户数据隐私,同时保障重要的社会公共卫生信息能够及时公开,本技术按照数据的影响程度将数据分为l1~l4四个敏感级别:不敏感、低敏感、较敏感、敏感。
45.不敏感数据(l1级)涉及对社会秩序、公共利益、行业发展、信息主体均无影响的数据,即能够对公众社会面进行公开的涉疫数据和其他模糊数据,例如有患者、密切接触者乘坐的航班、列车次号,有患者、密切接触者活动的区县级行政区及对应时间,以及各地方的新增病患人数等。基于不敏感数据进行公开,能够使社会公众及时从一定程度上进行自身风险自查、调整未来个人行程,但不能使任何人根据此类信息定位到个人或单位。
46.低敏感数据(l2级)涉及有下列情形之一的数据:1) 对全社会、多个行业、行业内多各组织造成轻微影响;2) 对单个组织的正常运作造成中等程度或轻微影响;3) 对个人的合法权益造成轻微损害。
47.即,仅在特定条件下能够对公众进行公开的涉疫数据(严格),例如有确诊患者到
访过的高传染风险私有营利场所及对应时间、常驻工作地点和常驻社区(仅街道、小区等但不精确到楼栋)。考虑到此类信息的公开可能对场所的营收和同区域其他人的正常生活造成一定程度的影响,但在疫情封控风险较大时,需要进行公示以便社会群众进行风险自查,故此类信息仅能在特定条件下进行公开,且在公开后需要及时进行风险清除,以免对小微经济体和个体户的生产造成过大的影响。
48.较敏感数据(l3级)涉及有下列情形之一的数据:1) 对全社会、多个行业、行业内多个组织造成中等程度的影响;2) 对单个组织的正常运作造成严重影响;3) 对个人名誉造成中等程度的损害。
49.即,此类信息可能不适用于面向公众进行公开,但在一定条件下,需要告知相关防疫部门和社区,以便防控工作的进行。但这部分数据需要进行较为严格的保密,以免对相关人员和场所的利益造成持续性的影响。如确诊患者常驻工作和社区的详细信息(精确到楼栋户、房间号),确诊患者的联系方式等。此类信息需要严格保密在防疫工作者的执行阶段,且非相关部门不能获得接触权限。
50.敏感数据(l4级)涉及有下列情形之一的数据:1) 对全社会、多个行业、行业内多个组织造成严重影响;2) 对单个组织的正常运作造成极其严重影响;3) 对人身和财产安全、个人名誉造成严重损害。
51.即,此类数据可能属于非涉疫数据,且不适合面向公众甚至其他防疫部门人员公开,尽管因流调所需,可能会掌握到这些信息,但这些信息应该被进行妥善保存、并适时销毁,以免造成疫情外的次生影响。如:确诊患者的详细个人信息,患者的详细活动轨迹及出行事由等。
52.实施例二基于相同的构思,本技术还提出了一种传染病风险流调信息同步与数据脱敏的管理系统,用于实施例一的传染病风险流调信息同步与数据脱敏的管理方法,如图4-6所示,包括:云端元数据库,用于存储数据;在本实施例中,云端元数据库可以包括公有云和私有云两部分云堆栈,两者可以进行受限的耦合和数据交换。为了尽可能提高本发明所声明的这种数据库备份系统的安全性,同时又保留云备份的便捷性和低成本的优点,本发明声明的方案不局限本地数据库和云端数据库的选择和使用,开发者或管理员可以选择分配通过私有云存储和通过公有云存储的数据类型,也可以部署多个数据库中心控制器来分别对数据进行管理,以实现危险数据脱敏保护。
53.数据库中心控制器,用于响应用户访问云端元数据库或扩展服务数据库的文件系统并对其中的信息进行操作时,与对应存储块配对的节点同时受到触发,进而驱动中心控制器对数据进行定向的动态备份;采取创建加密增量快照的方式对受到修改的信息进行动态响应,并通过节点对文件系统进行锁定,在完成云端备份上传后再将文件系统解锁;在本实施例中,数据库中心控制器可以通过响应查询语句的应用程序接口(api)调取数据。api还可以提供认证和共享凭证的方法,使客户端设备在通过已知凭证访问后访
问资源。中心控制器通过从数据库中的相关表获取记录来响应api请求,将其打包标记为文件、返回程序或发送至参数中传递的地址。因此可实现各部门的访问,授予不同的权限。
54.优选地,数据库中心控制器可以包括不止一个处理器,它可以以云服务器、本地虚拟机等多种形式存在,通过内置程序和逻辑语句控制备份过程、确保数据库中数据的一致性。控制器从客户端接收数据,更新云端元数据库,安排备份,并为新数据生成增量快照;中心控制器还可以执行数据的加密和解密功能。因此,在一些情况下,中心控制器和备份工具可以是彼此耦合并被配置为执行与本公开内容一致的功能的多个设备。两者可以进行物理上的直接连接或基于网络的间接连接。
55.优选地,为了提高返回速度,数据库中心控制器可以预先加载在解决查询时可能会被访问的数据(即热数据)。例如,用户登录后可以读取其浏览历史、访问日志或预测偏好等,基于此,数据库中心控制器可以使用预测分析法或回归法确定冷和热数据的数量并将两者区分开。其中,热数据可以在预热操作中预先下载。热数据可以位于数据库管理系统的特定位置,如处理cpu附近,并保存在具有降低延迟的卷中。相反,不经常需要的数据(即冷数据)可能被保存在延迟较长的繁忙的位置。
56.在进行增量快照的创建或文件恢复进程中,数据库中心控制器可以冻结文件系统,防止不恰当时间的写入操作引发逻辑崩溃。在冻结文件系统之后数据库中心控制器可以指导生成多个节点中的至少一个非空节点的第二增量快照、将该增量快照的加密副本上传到云。其中,冻结系统为定向冻结,即只有修改的副本部分被冻结,而主数据部分则继续运行,并且后者可以通过请求继续被访问或修改。如此,冻结文件系统可以暂时阻止输入操作,并记录当前事件信息,以便之后按序同步、延迟生成对应的增量快照等。
57.备份工具,用于将需要备份数据压缩并分割成独立的部分,同时对文件进行分类并分配目录、创建备份日志;用于通过访问查询语句触发指令来自动、实时地对增量快照执行加密或解码;用于存储查询的增量快照信息、被操作的文件节点;在本实施例中,备份工具通过特定的编码方式与一系列与文件系统编码配对的非空节点相连接。当用户访问文件系统并对其中的信息进行操作时,与对应存储块配对的节点也将受到触发,进而驱动中心控制器对数据进行定向的动态备份。在备份过程中,中心控制器采取创建加密增量快照的方式对受到修改的信息进行动态响应,并通过节点对文件系统进行锁定,在完成云端备份上传后再将文件系统解锁。
58.优选地,如图4所示,备份工具还包含被用于监控数据库数据变动的事件监视器、被用于协调多个数据库和计算机构的桥接拓扑管理器等基础配套程序。在数据库中心控制器中,拓扑管理器动态地根据数据库变化监测情况更新拓扑,并且允许故障发生时相应的dns服务器和其他基础设施工具计算故障时间戳,使备份或恢复过程的响应时间最小化。
59.其中,如图5所示,事件监视器可以监测扩展数据库中的节点状态,这可使仅在数据库卷中存在修改操作时触发备份、生成快照。即增量快照可以只在数据库卷中有变化时生成(并且只针对卷内的修改部分)。为了识别这些变化,事件监视器可以发送允许生成增量快照的指令。在用于监测的示例性实施方案中,事件监视器直接与客户端进行通信;其中,后者包括了一个连接池接口和分析集群,如此则可以使用户实现对数据源的访问。客户端中的连接池可以包含关于应用程序私有云和其他组件之间等的连接信息(如连接凭证、许可证书等)。客户端中实现的分析集群,使其可以执行集群的修改等操作,以在其与事件
监视器的通信期间提高带宽利用率。例如,客户端可以将修改节点分组,并以预定的周期向事件监视器报告变化组和预处理信息,例如客户端可以分析被修改数据的大小、对即将生成的增量快照进行统计分析、确定来自数据库连接器的查询语句信息等。
60.如此,如图6所示,当需要恢复某些节点时,数据中心控制器可通过通信层请求恢复,使备份工具将请求传送到云端元数据库、识别请求中的数据是否为热数据或冷数据并启动对应的恢复过程。期间,对应的编码工具可以执行生成增量快照,协调传输并在本地数据库中完成数据的查询与恢复。
61.优选地,与数据库中心控制器相连接的备份工具可以包括软件和硬件,配置以执行备份恢复、数据切割与压缩、加密与解码等操作,以便能够在数据丢失的情况下恢复原始内容,并且对数据进行整理、创建日志目录以保证备份的完整性和安全性。备份工具可以将需要备份数据压缩并分割成独立的部分,同时对文件进行分类并分配目录、创建备份日志(包括备份时间戳、日志事件等)。备份工具可以通过访问查询语句触发指令来自动、实时地对增量快照执行加密或解码。备份工具还可以存储查询的增量快照信息、被操作的文件节点等。
62.扩展服务数据库,用于存储节点的对接文件系统;用于根据数据库中数据的时效特征,将数据分为热数据和冷数据;在本实施例中,扩展服务数据库还具有对应的配置资源程序。扩展服务数据库和对应的配置资源程序同时负责存储时期内数据的访问数据,进而使控制器可以对冷、热数据进行识别和判断:将超过时效特征中访问频率阈值的数据定义为热数据,将未超过时效特征中访问频率阈值的数据定义为冷数据;将热数据对应的节点持续保存在文件系统的接入快速访问区;对于很少被访问的冷数据,为了节约存储空间,对应的详细数据节点可能不会从一开始就被放入快速访问区。
63.此外,扩展服务数据库和对应的配置资源程序还包括加密和解码快照的程序密匙这部分内容可以被储存在控制器的外界扩展数据库中,也可以通过网络接口存储在在线资源中。它可以包括配置有适当软件的一个或多个计算设备,以配合中心控制器对信息的备份等相一致的操作和进行节点存储。该计算组件被配置为接收和处理面向元数据库和主数据库中的数据的查询请求,并协助提供来自数据库的数据。
64.这部分存储扩展节点的数据库可以是一些关系型或非关系型的数据库,也可以包括计算组件(例如,数据库管理系统、数据库服务器等)。为了便于阐述,这里定义了节点数据库存储组件的功能构件的配置和边界。但只要指定的功能和其关系被适当地执行,就可以被认为是此组件的替代边界;这样的方案同样属于所公开的实施例的范围内。
65.优选地,用于存储节点的对接文件系统的扩展数据库同时也包括能够配合执行数据“预热”和“缓存”等指令的存储器设备。它可以对准备备份的复制快照增量进行缓存,也可以在数据预热操作期间存储数据节点,如此可以在处理 "热 "数据时存储 "冷 "数据,在恢复操作期间搁置 "冷 "数据,进而在恢复期间释放空间,以提高查询效率。
66.如此,结合了云计算和增量快照技术,能够实现更加一致和安全的备份过程,包括生成数据库的顺序快照等。这些快照可以动态加密并上传到云端元数据库,且不需要宕机处理。在本发明公开的系统和方法中,通过增量快照对数据库信息进行备份保护,意味着只
需要对设备上最新一次快照之后发生信息修改的块进行处理;其中每个快照都仅针对其中修改过的数据信息,这避免了重复、全盘的备份,同时减小了备份所需的存储空间。此外,在需要对备份副本进行频繁更新时,增量快照也降低了系统对网络带宽速度的要求。
67.在本实施例中,基于上述的系统,各部门在备份和恢复过程中,当一个非空节点被申请备份到备份工具时,此时数据中心控制器将指导备份工具运行相应应用程序。基于此,备份工具根据数据变化情况,编码生成一个或多个额外的增量快照(注意并非扩展数据库中的存储节点,以避免触发数据库的并发约束机制),并协调以生成相应日志条目。在该过程中,备份工具将提供临时存储空间,并在将增量快照(或恢复数据,即在数据恢复过程中的相应环节)发送到云存储之前执行加密(或解码)的操作。
68.优选地,通过流式备份文件来避免生成大量临时文件来节省时间和存储空间。如前述内容,备份工具可以提供临时的流动存储空间,并且相应程序可以在专用复制分区(而不是主数据库或控制器内部)运行,基于聚合磁盘来提高数据的备份和恢复速度。
69.实施例三本实施例还提供了一种电子装置,参考图7,包括存储器404和处理器402,该存储器404中存储有计算机程序,该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
70.具体地,上述处理器402可以包括中央处理器(cpu),或者特定集成电路(applicationspecificintegratedcircuit,简称为asic),或者可以被配置成实施本技术实施例的一个或多个集成电路。
71.其中,存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制,存储器404可包括硬盘驱动器(harddiskdrive,简称为hdd)、软盘驱动器、固态驱动器(solidstatedrive,简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus,简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器404可在数据处理装置的内部或外部。在特定实施例中,存储器404是非易失性(non-volatile)存储器。在特定实施例中,存储器404包括只读存储器(read-onlymemory,简称为rom)和随机存取存储器(randomaccessmemory,简称为ram)。在合适的情况下,该rom可以是掩模编程的rom、可编程rom(programmableread-onlymemory,简称为prom)、可擦除prom(erasableprogrammableread-onlymemory,简称为eprom)、电可擦除prom(electricallyerasableprogrammableread-onlymemory,简称为eeprom)、电可改写rom(electricallyalterableread-onlymemory,简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下,该ram可以是静态随机存取存储器(staticrandom-accessmemory,简称为sram)或动态随机存取存储器(dynamicrandomaccessmemory,简称为dram),其中,dram可以是快速页模式动态随机存取存储器404(fastpagemodedynamicrandomaccessmemory,简称为fpmdram)、扩展数据输出动态随机存取存储器(extendeddateoutdynamicrandomaccessmemory,简称为edodram)、同步动态随机存取内存(synchronousdynamicrandom-accessmemory,简称sdram)等。
72.存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器402所执行的可能的计算机程序指令。
73.处理器402通过读取并执行存储器404中存储的计算机程序指令,以实现上述实施例中的任意传染病风险流调信息同步与数据脱敏的管理方法。
74.可选地,上述电子装置还可以包括传输设备406以及输入输出设备408,其中,该传输设备406和上述处理器402连接,该输入输出设备408和上述处理器402连接。
75.传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中,传输设备包括一个网络适配器(network interface controller,简称为nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备406可以为射频(radio frequency,简称为rf)模块,其用于通过无线方式与互联网进行通讯。
76.输入输出设备408用于输入或输出信息。在本实施例中,输入的信息可以是患者确诊信息等,输出的信息可以是脱敏后的患者轨迹信息或风险等级等。
77.实施例四本实施例还提供了一种可读存储介质,可读存储介质中存储有计算机程序,计算机程序包括用于控制过程以执行过程的程序代码,过程包括根据实施例一的传染病风险流调信息同步与数据脱敏的管理方法。
78.需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
79.通常,各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现,而其他方面可以由控制器、微处理器或其他计算设备执行的固件或软件来实现,但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示,但是应当理解,作为非限制性示例,本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
80.本发明的实施例可以由计算机软件来实现,该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行,或者由硬件来实现,或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中,并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外,在这一点上,应当注意,如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
81.本领域的技术人员应该明白,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
82.以上实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以作出若干变形和改进,这些都属于本技术的保护范围。因
此,本技术的保护范围应以所附权利要求为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1