一种数据处理方法及装置与流程

transfer protocol，ftp)以及网络文件系统(network file system，nfs)。这两种协议以及工具可以在linux，windows，mac操作系统上轻松获取或者自带，简单快速，且具有一定的安全性。
14.在一种可选的方式中，服务器还可对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据，并传输至网闸机的指定目录。
15.本技术，将编码数据进行压缩处理后可以减少编码数据占用的存储空间。对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据可以避免频繁访问预设的数据库，浪费设备处理资源。
16.在一种可选的方式中，服务器可从指定目录获取待解码数据，待解码数据来自第二网络；待解码数据为网闸机存储在指定目录的；根据配置规则对待解码数据进行解码，获取解码数据。通过该方式可以接收来自其他隔离网络的同步数据。
17.第二方面，本技术提供一种数据处理装置，包括：获取单元、确定单元以及传输单元。
18.其中，获取单元，用于获取待处理数据，待处理数据属于第一网络；确定单元，用于根据配置规则对待处理数据进行编码处理，确定编码数据；传输单元，用于将编码数据传输至指定目录中；指定目录为网闸机在第一网络预设的存储位置；网闸机用于连接第一网络与第二网络；第一网络与第二网络为相互隔离的网络；网闸机上部署多种数据传输协议。
19.在一种可选的方式中，获取单元，可基于预设拦截器对第一网络中的待同步数据进行数据调整操作，确定待处理数据，数据调整操作包括：删除、修改以及新增。
20.在一种可选的方式中，预设拦截器为hibernate的拦截器。
21.在一种可选的方式中，配置规则可包括以下中的一种或多种：
22.对待处理数据中存在关联关系的数据进行解关联处理、删除待处理数据中的临时标记信息、对配置延迟信息的待处理数据进行解延迟处理。
23.在一种可选的方式中，网闸机部署的数据传输协议包括：ftp以及nfs。
24.在一种可选的方式中，数据处理装置还包括：数据压缩单元，用于对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据，并传输至网闸机的指定目录。
25.在一种可选的方式中，数据处理装置还包括：数据解码单元，可从指定目录获取待解码数据，待解码数据来自第二网络；待解码数据为网闸机存储在指定目录的；根据配置规则对待解码数据进行解码，获取解码数据。
26.第三方面，本技术提供一种计算装置，包括：存储器以及处理器；存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行第一方面所述的方法。
27.第四方面，本技术提供一种计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的方法。
28.上述第二方面至第四方面可以达到的技术效果，请参照上述第一方面中相应可能设计方案可以达到的技术效果说明，本技术这里不再重复赘述。
29.本技术的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、
权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
30.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1为本技术实施例提供数据处理的应用场景示意图；
32.图2为本技术实施例提供的数据处理方法的流程示意图；
33.图3为本技术实施例提供的数据处理装置的结构示意图；
34.图4为本技术实施例提供的一种计算设备的结构示意图。
具体实施方式
35.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
36.需要说明的是，本技术中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
37.图1示出数据处理方法的应用场景示意图，该图中包括：目标对象、第一网络以及第二网络，其中第一网络与第二网络为隔离网络，也即隶属与第一网络的目标对象是无法访问第一网络的，也无法将其数据传输至第二网络，同理，第二网络的目标对象也无法访问第一网络，也无法将其数据传输至第一网络。本技术考虑到不同网络间数据可能需要进行同步，因此提出一种数据处理方法，可在相互隔离的网络间同步数据。
38.下面具体介绍数据处理过程。本技术下述实施例中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。以及，除非有相反的说明，本技术实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。例如，第一任务执行设备和第二任务执行设备，只是为了区分不同的任务执行设备，而并不是表示这两种任务执行设备的优先级或者重要程度等的不同。
39.在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
40.图2示出了本技术数据处理方法的流程示意图，该方法可通过服务器来执行，也可通过电子设备来执行，电子设备可以理解为pc、笔记本电脑等，本技术在此不具体限定。接下来以执行主体为服务器为例来说明，可执行如下：
41.步骤201，服务器获取待处理数据，待处理数据属于第一网络。
42.需要说明的是，服务器可基于用户的登录操作，获取待处理数据，例如，用户根据需求设置的登录服务器主动扫描用户历史数据，那么服务器在获取用户的登录操作后，可获取用户历史数据也即待处理数据。当然，服务器也可主动获取待处理数据，例如，自动浏览用户的数据，获取用户在数据的标识信息后，将用户标识的数据作为待处理数据。此外还可能存在其他方式，申请在此不具体限定。
43.在一种可选的方式中，服务器可基于预设拦截器对第一网络中的待同步数据进行数据调整操作，确定待处理数据，数据调整操作包括：删除、修改以及新增。例如，删除数据中的间隔符，修改数据的类别，新增数据类别等。对于基于数据库的操作类别，一般可以区分为新增、修改、以及删除，这里数据编码打包后，需要对操作进行类型区分，在解码重新加入到数据库中时，分类进行处理。基于预设拦截器进行数据处理，可以保证数据的传输的可靠性，以及数据传输的效率。其中，预设拦截器可以为hibernate的拦截器。拦截器可以基于拦截一次事务中的所有操作包括新增、修改、删除、集合属性变化、以及载入内存等动作发生的事件点，可以利用这个特性完成对数据编码、打包的分类操作。
44.步骤202，服务器根据配置规则对待处理数据进行编码处理，确定编码数据。
45.需要说明的是，待处理的数据经过编码处理可保证数据传输中的安全性，避免数据信息的泄露。在一种可选的方式中，配置规则可包括以下中的一种或多种：对待处理数据中存在关联关系的数据进行解关联处理、删除待处理数据中的临时标记信息、对配置延迟信息的待处理数据进行解延迟处理。
46.其中，配置规则可以理解为建立数据模型实体和数据库表的映射关系，对数据实体操作自动保存到数据库持久化。对待处理数据中存在关联关系的数据进行解关联处理可理解为对有关联关系的实体对象属性进行干涉操作，例如，首先对数据包序列化编码数据进行反序列化还原，然后获取对象类型实例后，利用反射机制对有关系标记的属性进行扫描，符合一对多、多对一、或者关联集合等标记的属性去除关联。数据模型中可能会有一些数据属性并不一定对应数据表里的字段，而是业务或者一些额外基于逻辑判断或者标记类型的属性的字段，大多数是基于不参与实际数据表模型的字段，因此可删除待处理数据中的临时标记信息。对配置延迟信息的待处理数据进行解延迟处理可以理解为延迟加载属性是针对在数据实体类中没有被直接抓取出来的属性，在hibernate中设计实现高效的数据抓取，在不希望立即加载的规则后，不会主动抓取触发数据库查询操作，而在真正使用时，才去抓取数据。基于这个特性需要做一些特殊的处理，比如在数据新增情况下，未加载的数据，显然会干扰实际数据的完整性，此时需要主动加载，当在数据修改情况下，未加载的数据，意味着没有进行过修改，需要去掉属性。通过该配置规则可保证编码数据的精炼，可以保证编码数据占用少量的处理资源。
47.步骤203，服务器将编码数据传输至指定目录中；指定目录为网闸机在第一网络预设的存储位置；网闸机用于连接第一网络与第二网络；第一网络与第二网络为相互隔离的网络；网闸机上部署多种数据传输协议。
48.需要说明的是，网闸机还可以理解为堡垒机，在实际应用时，网闸机部署基于文件传输协议或者共享协议，例如ftp和nfs，这两种协议以及工具都是linux，windows，mac操作系统都可以轻松获取或者自带的，简单快速且具有安全性，实现的数据传输程序，在网闸机内部进行杀毒以及其他安全策略的处理，然后根据配置，传输数据文件到解包目录或者从打包目录(可以理解为指定目录)获取数据文件。
49.本技术中，相互隔离的网络间的数据同步是借助网闸机来实现的，通过在网闸机部署不同的传输协议，且将数据传输至网闸机的指定目录，可以实现数据的同步，且基于配置规则对待处理数据进行编码处理，可以提高数据的处理效率。
50.在一种可选的方式中，服务器还可对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据，并传输至网闸机的指定目录。
51.需要说明的是，服务器可启动多个打包监听程序，同时捕捉编码数据。打包监听程序可接收到需要打包的数据请求，先暂存到k/v数据库也即预设数据库，然后依次提取数据，进行压缩打包，存放到配置的打包文件夹，以提供数据传输部分传输。
52.本技术，将编码数据进行压缩处理后可以减少编码数据占用的存储空间。对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据可以避免频繁访问预设的数据库，浪费设备处理资源。
53.在一种可选的方式中，服务器可从指定目录获取待解码数据，待解码数据来自第二网络；待解码数据为网闸机存储在指定目录的；根据配置规则对待解码数据进行解码，获取解码数据。通过该方式可以接收来自其他隔离网络的同步数据。
54.需要说明的是，服务器可启动多个解包监听程序监听指定目录，在发现新的需要解包的文件包后，解压读取文件信息，根据文件描述反序列化信息为数据内容，暂存入k/v数据库。从暂存的解包数据队列中，提取数据根据配置参数信息，依次发送给用于数据还原的接口。在还原接口，先把数据反序列化为hibernate映射实体，再通过hibernate的会话工厂或者实体管理器，根据数据包的信息，新增、修改、删除分别操作，对于关联实体的属性需要做一些额外的处理，存在延迟加载标记、以及一对多的属性，忽略操作等，最后完成数据解码。
55.基于同样的构思，本技术实施例提供一种单点登录装置，如图3所示，包括：获取单元31、确定单元32以及传输单元33。
56.其中，获取单元31，用于获取待处理数据，所述待处理数据属于第一网络；确定单元32，用于根据配置规则对所述待处理数据进行编码处理，确定编码数据；传输单元33，用于将所述编码数据传输至指定目录中；所述指定目录为网闸机在所述第一网络预设的存储位置；所述网闸机用于连接所述第一网络与第二网络；所述第一网络与所述第二网络为相互隔离的网络；所述网闸机上部署多种数据传输协议。
57.本技术中，相互隔离的网络间的数据同步是借助网闸机来实现的，通过在网闸机部署不同的传输协议，且将数据传输至网闸机的指定目录，可以实现数据的同步，且基于配置规则对待处理数据进行编码处理，可以提高数据的处理效率。
58.在一种可选的方式中，获取单元31，可基于预设拦截器对第一网络中的待同步数据进行数据调整操作，确定待处理数据，数据调整操作包括：删除、修改以及新增。基于预设拦截器进行数据处理，可以保证数据的传输的可靠性，以及数据传输的效率。
59.在一种可选的方式中，预设拦截器为hibernate的拦截器。
60.在一种可选的方式中，配置规则可包括以下中的一种或多种：
61.对待处理数据中存在关联关系的数据进行解关联处理、删除待处理数据中的临时标记信息、对配置延迟信息的待处理数据进行解延迟处理。
62.在一种可选的方式中，网闸机部署的数据传输协议包括：ftp以及nfs。
63.在一种可选的方式中，数据处理装置还包括：数据压缩单元，用于对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据，并传输至网闸机的指定目录。本技术，将编码数据进行压缩处理后可以减少编码数据占用的存储空间。对编码数据进行数据压缩，存储在预设数据库中；在定时器结束后，从预设数据库获取编码数据可以避免频繁访问预设的数据库，浪费设备处理资源。
64.在一种可选的方式中，数据处理装置还包括：数据解码单元，可从指定目录获取待解码数据，待解码数据来自第二网络；待解码数据为网闸机存储在指定目录的；根据配置规则对待解码数据进行解码，获取解码数据。通过该方式可以接收来自其他隔离网络的同步数据。
65.在介绍了本技术示例性实施方式中的数据处理方法、装置之后，接下来，介绍本技术的另一示例性实施方式的计算设备。
66.所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
67.在一些可能的实施方式中，根据本技术的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行本说明书上述描述的根据本技术各种示例性实施方式的数据处理方法中的步骤。例如，处理器可以执行如图2中所示的步骤201-步骤203。
68.下面参照图4来描述根据本技术的这种实施方式的计算设备130。图4显示的计算设备130仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图4所示，计算设备130以通用智能终端的形式表现。计算设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
69.总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(rom)1323。存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
70.计算设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，和/或与使得该计算设备130能与一个或多个其它智能终端进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口135进行。并且，计算设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于计算设备130的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
71.在一些可能的实施方式中，本技术提供的交易数据备份方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的数据处理方法中的步骤。例如，处理器可以执行如图2中所示的步骤201-步骤203。
72.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
73.本技术的实施方式的用于三维视觉重定位的程序产品可采用便携式紧凑盘只读存储器(cd-rom)并包括计算机程序，并可在智能终端上运行。但本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可被指令执行系统、装置或者器件使用或者与其结合使用。
74.可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
75.应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
76.此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
77.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程访问频次的预测设备的处理
器以产生一个机器，使得通过计算机或其他可编程访问频次的预测设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
78.这些计算机程序指令也可存储在能引导计算机或其他可编程访问频次的预测设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
79.这些计算机程序指令也可装载到计算机或其他可编程访问频次的预测设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
80.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
81.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。