一种基于分布式部署架构的数据同步方法及服务器与流程

1.本技术涉及数据传输技术领域，尤其涉及一种基于分布式部署架构的数据同步方法及服务器。


背景技术：

2.随着互联网技术的发展，信息系统越来越多，方便了人们生活，解放了人工。在一些场景下，为了便于各系统的数据管理，需要进行数据同步。例如各供应商生产原材料的生产过程关键参数实时采集数据，原材料成品质量检测数据，需要实时收集到某公司云端服务器，供各业务系统进行查询统计分析。
3.现有技术在进行数据同步传输时，一般是到达同步时间点时，同步一定时间段内的全部数据。例如到达8点钟时，将6点至8点时间段内的全部数据均同步传输至云端服务器。这样存在的问题是，同步一定时间段内的全部数据耗时较长，在数据同步期间对数据库的业务性能影响较大。
4.另外，每个供应商内部系统的建设时间、数据库类型、存储介质、接口方式均不相同，数据传输往往通过api接口的方式进行传输。现有技术中一般是由各供应商软件开发人员进行数据传输功能的开发，开发成本较高。目前没有一种对应各供应商统一的数据传输方案。


技术实现要素：

5.本技术实施例提供了一种基于分布式部署架构的数据同步方法，用以解决现有技术数据传输开发成本较高，对数据库的业务性能影响较大的问题。
6.第一方面，本技术提供了一种基于分布式部署架构的数据同步方法，应用于供应商服务器，所述方法包括：
7.通过触发器识别到供应商数据库中存在数据更新时，将更新的数据进行标记并同步到数据变化表；其中，所述数据变化表中包括所述数据更新对应的唯一关键值、数据更新类型、数据库标识信息和数据更新位置；
8.通过轮询所述数据变化表，当根据所述唯一关键值确定所述数据变化表存在新增数据时，根据所述数据库标识信息和数据更新位置确定更新的具体数据；
9.将所述更新的具体数据、所述数据更新类型、数据库标识信息和数据更新位置传输至云端服务器，以使云端服务器根据接收到的信息完成数据同步。
10.第二方面，本技术提供了一种基于分布式部署架构的数据同步方法，应用于云端服务器，所述方法包括：
11.接收更新的具体数据、数据更新类型、数据库标识信息和数据更新位置，其中，所述更新的具体数据、数据更新类型、数据库标识信息和数据更新位置是供应商服务器通过触发器识别到供应商数据库中存在数据更新时，将更新的数据进行标记并同步到数据变化表；其中，所述数据变化表中包括所述数据更新对应的唯一关键值、数据更新类型、数据库
标识信息和数据更新位置；通过轮询所述数据变化表，当根据所述唯一关键值确定所述数据变化表存在新增数据时，根据所述数据库标识信息和数据更新位置确定更新的具体数据，并发送至云端服务器的；
12.根据接收到的更新的具体数据、数据更新类型、数据库标识信息和数据更新位置完成数据同步。
13.第三方面，本技术提供了一种基于分布式部署架构的数据同步装置，所述装置包括：
14.数据标记模块，用于通过触发器识别到供应商数据库中存在数据更新时，将更新的数据进行标记并同步到数据变化表；其中，所述数据变化表中包括所述数据更新对应的唯一关键值、数据更新类型、数据库标识信息和数据更新位置；
15.确定模块，用于通过轮询所述数据变化表，当根据所述唯一关键值确定所述数据变化表存在新增数据时，根据所述数据库标识信息和数据更新位置确定更新的具体数据；
16.发送模块，用于将所述更新的具体数据、所述数据更新类型、数据库标识信息和数据更新位置传输至云端服务器，以使云端服务器根据接收到的信息完成数据同步。
17.第四方面，本技术提供了一种基于分布式部署架构的数据同步装置，所述装置包括：
18.接收模块，用于接收更新的具体数据、数据更新类型、数据库标识信息和数据更新位置，其中，所述更新的具体数据、数据更新类型、数据库标识信息和数据更新位置是供应商服务器通过触发器识别到供应商数据库中存在数据更新时，将更新的数据进行标记并同步到数据变化表；其中，所述数据变化表中包括所述数据更新对应的唯一关键值、数据更新类型、数据库标识信息和数据更新位置；通过轮询所述数据变化表，当根据所述唯一关键值确定所述数据变化表存在新增数据时，根据所述数据库标识信息和数据更新位置确定更新的具体数据，并发送至云端服务器的；
19.第二数据同步模块，用于根据接收到的更新的具体数据、数据更新类型、数据库标识信息和数据更新位置完成数据同步。
20.第五方面，本技术提供了一种服务器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
21.存储器，用于存放计算机程序；
22.处理器，用于执行存储器上所存放的程序时，实现上述方法步骤。
23.第六方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。
24.本技术提供了一种基于分布式部署架构的数据同步方法，通过触发器自动识别供应商数据库中是否存在数据更新，如果存在，将更新的数据进行标记并同步到数据变化表。轮询数据变化表，根据数据变化表中的唯一关键值确定数据变化表存在新增数据时，根据数据库标识信息和数据更新位置确定更新的具体数据，进而将更新的具体数据、数据更新类型、数据库标识信息和数据更新位置传输至云端服务器，以使云端服务器根据接收到的信息完成数据同步。本技术一方面通过触发器自动识别供应商数据库中存在数据更新时进行数据同步，保证了数据同步的实时性，另一方面，仅同步更新的数据，降低了数据同步过程中的耗时。通过设置数据变化表，基于数据变化表完成数据同步，降低了对供应商数据库
业务性能的影响。并且通过本技术的方案不需要各个供应商软件开发人员进行数据传输功能的开发，降低了开发成本。
附图说明
25.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本技术提供的第一种数据同步过程示意图；
27.图2为本技术提供的分布式部署架构示意图；
28.图3为本技术提供的数据变化表的部分内容示意图；
29.图4为本技术提供的第二种数据同步过程示意图；
30.图5为本技术提供的第三种数据同步过程示意图；
31.图6为本技术提供的第四种数据同步过程示意图；
32.图7为本技术提供的第五种数据同步过程示意图；
33.图8为本技术提供的第六种数据同步过程示意图；
34.图9为本技术提供的中间数据表示意图；
35.图10为本技术提供的数据收集业务流程图；
36.图11为本技术提供的数据解析业务流程图；
37.图12为本技术提供的数据分发业务流程图；
38.图13为本技术提供的数据同步日志效果示意图；
39.图14为本技术提供的第一种数据同步装置结构示意图；
40.图15为本技术提供的第二种数据同步装置结构示意图；
41.图16为本技术提供的服务器结构示意图。
具体实施方式
42.为使本技术的目的和实施方式更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
43.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
44.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
45.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
46.术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或
硬件或/和软件代码的组合，能够执行与该元件相关的功能。
47.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
48.为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
49.图1为本技术提供的基于分布式部署架构的数据同步过程示意图，该过程包括以下步骤：
50.s101：通过触发器识别到供应商数据库中存在数据更新时，将更新的数据进行标记并同步到数据变化表；其中，所述数据变化表中包括所述数据更新对应的唯一关键值、数据更新类型、数据库标识信息和数据更新位置。
51.s102：通过轮询所述数据变化表，当根据所述唯一关键值确定所述数据变化表存在新增数据时，根据所述数据库标识信息和数据更新位置确定更新的具体数据。
52.s103：将所述更新的具体数据、所述数据更新类型、数据库标识信息和数据更新位置传输至云端服务器，以使云端服务器根据接收到的信息完成数据同步。
53.本技术提供了一种基于集团化分布式部署架构实时数据同步方法，图2为本技术提供的分布式部署架构示意图，包括云端服务器和至少一个供应商服务器。本技术中，集团的服务器称为云端服务器，集团的供应商的服务器称为供应商服务器。例如，某集团或公司配备有服务器称为云端服务器，为该集团或公司提供产品或原料的各个公司称为供应商，各个供应商的服务器称为供应商服务器。
54.本技术提供的基于分布式部署架构的数据同步方法应用于供应商服务器。供应商服务器中保存供应商数据库，供应商数据库中建立触发器，通过触发器自动监测数据库的数据更新。通过触发器识别到供应商数据库中存在数据更新时，将更新的数据进行标记并同步到数据变化表。数据变化表包括但不限于唯一关键值字段、数据更新类型字段、数据库标识信息字段和数据更新位置字段。例如还包括数据更新时间字段、数据更新顺序字段、数据更新状态字段等。通过触发器识别到供应商数据库中存在数据更新时，为此次数据更新分配唯一关键值并写入唯一关键值字段；将此次数据更新的数据更新类型写入数据更新类型字段，数据更新类型包括新增数据、删除数据和修改数据；将发生数据更新的数据库标识信息，写入数据库标识信息字段，将更新数据在数据库中的位置信息写入数据更新位置字段。另外，还可以将数据更新的发生时间写入数据更新时间字段；按照数据更新的顺序，确定此次数据更新的序号，并将序号写入数据更新顺序字段；将数据更新的状态写入数据更新状态字段，数据更新的状态包括产生更新数据、数据已同步、数据同步失败等。
55.图3为本技术提供的数据变化表的部分内容示意图，图3中示出了数据变化表中的唯一关键值字段(sync_key)、数据更新类型字段(action_status)、数据更新时间字段
(action_date)、数据更新状态字段(sync_flag)、数据库标识信息字段(sync_name)和数据更新顺序字段(sequence)。sync_key字段中的值即为每次数据更新对应的唯一关键值；action_status字段中的u是指修改数据，d是指删除数据，a是指新增数据；action_date字段中的内容为每次数据更新发生的时间；sync_flag字段中的1是指产生更新数据，2是指数据已同步3是指数据同步失败；sync_name字段中的内容为数据库的名称；sequence字段中的内容为每次数据更新对应的顺序号。
56.供应商服务器实时轮询数据变化表，或者定时轮询数据库变化表，根据数据变化表中的唯一关键值确定数据变化表是否存在新增数据。若所述通过轮询发现数据变化表中出现新增的唯一关键值时，确定数据变化表存在新增数据。此时根据数据变化表中新增的唯一关键值，确定新增的唯一关键值对应的数据库标识信息和数据更新位置。根据数据库标识信息和数据更新位置可以确定更新的具体数据。
57.供应商服务器将更新的具体数据、数据更新类型、数据库标识信息和数据更新位置传输至云端服务器，云端服务器接收到上述信息之后，将更新的具体数据，按照数据更新类型，同步至云端服务器中的与数据库标识信息和对应的数据库中的数据更新位置，从而完成数据同步至云端服务器。
58.本技术通过触发器自动识别供应商数据库中是否存在数据更新，如果存在，将更新的数据进行标记并同步到数据变化表。轮询数据变化表，根据数据变化表中的唯一关键值确定数据变化表存在新增数据时，根据数据库标识信息和数据更新位置确定更新的具体数据，进而将更新的具体数据、数据更新类型、数据库标识信息和数据更新位置传输至云端服务器，以使云端服务器根据接收到的信息完成数据同步。本技术一方面通过触发器自动识别供应商数据库中存在数据更新时进行数据同步，保证了数据同步的实时性，另一方面，仅同步更新的数据，降低了数据同步过程中的耗时。通过设置数据变化表，基于数据变化表完成数据同步，降低了对供应商数据库业务性能的影响。并且通过本技术的方案不需要各个供应商软件开发人员进行数据传输功能的开发，降低了开发成本。
59.为了保证数据同步的安全性，图4为本技术提供的数据同步过程示意图，包括以下步骤：
60.s201：通过触发器识别到供应商数据库中存在数据更新时，将更新的数据进行标记并同步到数据变化表；其中，所述数据变化表中包括所述数据更新对应的唯一关键值、数据更新类型、数据库标识信息和数据更新位置。
61.s202：通过轮询所述数据变化表，当根据所述唯一关键值确定所述数据变化表存在新增数据时，根据所述数据库标识信息和数据更新位置确定更新的具体数据。
62.s203：将所述更新的具体数据、所述数据更新类型、数据库标识信息和数据更新位置进行加密，并传输至所述云端服务器，以使云端服务器对接收到的信息进行解密，根据解密后的信息完成数据同步。
63.本技术中，供应商服务器在将更新的具体数据、所述数据更新类型、数据库标识信息和数据更新位置传输至云端服务器时，首先对更新的具体数据、所述数据更新类型、数据库标识信息和数据更新位置进行加密，然后将加密后的信息发送至云端服务器。云端服务器接收到加密后的信息后，首先对加密后的信息进行解密，解密后得到更新的具体数据、所述数据更新类型、数据库标识信息和数据更新位置，然后将更新的具体数据，按照数据更新
类型，同步至云端服务器中的与数据库标识信息和对应的数据库中的数据更新位置，从而完成数据同步至云端服务器。
64.其中，本技术可以通过des加密算法、md5加密算法、base64加密算法、rsa加密算法dsa加密算法等将更新的具体数据、所述数据更新类型、数据库标识信息和数据更新位置进行加密。
65.本技术中，云端服务器可以接收各个供应商服务器发送的数据进行数据同步，云端服务区也可以向各个供应商服务器发送数据，供应商服务器接收到云端服务器之后，在本地进行数据同步。
66.具体的，所述方法还包括：
67.若接收到云端服务器发送的待分发数据、目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息，对所述待分发数据进行校验，若校验通过，根据所述待分发数据、目标数据库的标识信息和所述待分发数据在目标数据库中的位置信息完成数据同步。
68.本技术中，云端服务器接收管理人员输入的待分发数据、目标供应商服务器的标识信息、目标数据库的标识信息和待分发数据在目标数据库中的位置信息，然后云端服务器根据目标供应商服务器的标识信息，将待分发数据、目标数据库的标识信息和待分发数据在目标数据库中的位置信息发送至目标供应商服务器。
69.目标供应商服务器接收到待分发数据、目标数据库的标识信息和待分发数据在目标数据库中的位置信息之后，将待分发数据同步至目标数据库的标识信息对应的目标数据库中的对应位置。需要说明的是，待分发数据包括新增数据、删除数据和修改数据。
70.目标供应商服务器接收到待分发数据之后，首先对待分发数据进行校验，若校验通过，进行后续数据同步的过程，否则不进行数据同步的过程。对待分发数据进行校验可以是，云端服务器在向目标供应商服务器发送的信息中携带待分发数据的类型信息，目标供应商服务器接收到待分发数据之后，判断接收到的待分发数据的类型信息与云端服务器发送的待分发数据的类型信息是否一致，如果一致，则校验通过，否则校验不通过。例如，云端服务器在向目标供应商服务器发送的信息中携带待分发数据的类型信息为金额，目标供应商服务器接收到待分发数据之后，判断接收到的待分发数据的类型信息也是金额，则校验通过，若判断接收到的待分发数据的类型信息是日期，则类型信息不一致，校验不通过。
71.需要说明的是，上述校验过程进行举例说明，本技术不对具体的数据校验过程进行限定，只要通过数据校验能够确定目标供应商服务器接收到的数据与云端服务器发出的待分发数据是否一致即可。
72.图5为本技术提供的基于分布式部署架构的数据同步过程示意图，包括以下步骤：
73.s301：接收更新的具体数据、数据更新类型、数据库标识信息和数据更新位置，其中，所述更新的具体数据、数据更新类型、数据库标识信息和数据更新位置是供应商服务器通过触发器识别到供应商数据库中存在数据更新时，将更新的数据进行标记并同步到数据变化表；其中，所述数据变化表中包括所述数据更新对应的唯一关键值、数据更新类型、数据库标识信息和数据更新位置；通过轮询所述数据变化表，当根据所述唯一关键值确定所述数据变化表存在新增数据时，根据所述数据库标识信息和数据更新位置确定更新的具体数据，并发送至云端服务器的。
74.s302：根据接收到的更新的具体数据、数据更新类型、数据库标识信息和数据更新位置完成数据同步。
75.本技术提供的数据同步方法应用于云端服务器。本技术中，若接收到的是加密后的信息，通过对加密后的信息进行解密，得到更新的具体数据、数据更新类型、数据库标识信息和数据更新位置，然后再根据接收到的更新的具体数据、数据更新类型、数据库标识信息和数据更新位置完成数据同步。
76.本技术中，所述根据接收到的更新的具体数据、数据更新类型、数据库标识信息和数据更新位置完成数据同步之前，所述方法还包括：
77.对所述更新的具体数据进行校验，判断所述更新的具体数据是否校验通过，如果是，根据接收到的更新的具体数据、数据更新类型、数据库标识信息和数据更新位置完成数据同步。
78.本技术中，云端服务器接收到供应商服务器发送的更新的具体数据之后，首先对更新的具体数据进行校验，若校验通过，进行后续数据同步的过程，否则不进行数据同步的过程。对更新的具体数据进行校验可以是，供应商服务器在向云端服务器发送的信息中携带更新的具体数据的类型信息，云端服务器接收到更新的具体数据之后，判断接收到的更新的具体数据的类型信息与供应商服务器发送的更新的具体数据的类型信息是否一致，如果一致，则校验通过，否则校验不通过。
79.图6为本技术提供的数据同步过程示意图，包括以下步骤：
80.s401：接收更新的具体数据、数据更新类型、数据库标识信息和数据更新位置。
81.s402：对更新的具体数据进行校验，判断更新的具体数据是否校验通过，如果是，进行s403，如果否，进行s404。
82.s403：根据接收到的更新的具体数据、数据更新类型、数据库标识信息和数据更新位置完成数据同步。
83.s404：不同步更新的具体数据。
84.较佳的，所述对所述更新的具体数据进行校验包括：
85.接收供应商服务器发送的所述更新的具体数据的第一校验值，其中，所述第一校验值是所述供应商服务器对所述更新的具体数据进行哈希计算得到的；
86.接收到所述更新的具体数据之后，通过哈希计算得到所述更新的具体数据的第二校验值，判断所述第一校验值和第二校验值是否一致，如果是，确定校验通过，否则确定校验未通过。
87.本技术中，供应商服务器对更新的具体数据进行哈希计算得到第一校验值，在向云端服务器发送的信息中携带第一校验值。云端服务器在接收到更新的具体数据和第一校验值之后，对接收到的更新的具体数据进行哈希计算得到第二校验值，然后判断第一校验值和第二校验值是否一致，如果是，确定校验通过，否则确定校验未通过。
88.图7为本技术提供的数据同步过程示意图，包括以下步骤：
89.s501：接收更新的具体数据、数据更新类型、数据库标识信息、数据更新位置以及更新的具体数据的第一校验值。
90.s502：通过哈希计算得到所述更新的具体数据的第二校验值，判断所述第一校验值和第二校验值是否一致，如果是，进行s503，如果否，进行s504。
91.s503：根据接收到的更新的具体数据、数据更新类型、数据库标识信息和数据更新位置完成数据同步。
92.s504：不同步更新的具体数据。
93.并且，若更新的具体数据校验未通过，确定供应商服务器对应的管理人员，向管理人员反馈数据同步异常信息。其中，可以通过短信、邮件等方式向管理人员反馈数据同步异常信息。
94.图8为本技术提供的数据同步过程示意图，包括以下步骤：
95.s601：通过触发器识别到云端数据库存在待分发数据时，将所述待分发数据进行标记并同步到中间数据表；其中，所述中间数据表中包括所述待分发数据、目标供应商的标识信息、目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息。
96.s602：通过轮询所述中间数据表，获取所述待分发数据、所述目标供应商的标识信息、所述目标数据库的标识信息和所述待分发数据在目标数据库中的位置信息。
97.s603：根据所述目标供应商的标识信息，将所述待分发数据、目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息发送至目标供应商服务器，以使所述目标供应商服务器根据所述待分发数据、所述目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息完成数据同步。
98.本技术中，云端服务器的云端数据库中可以配置触发器，通过触发器识别云端数据库是否存在待分发数据，如果存在则将待分发数据进行标记并同步到中间数据表。图9为本技术提供的中间数据表示意图，如图9所示，中间数据表包括待分发数据字段、目标供应商的标识信息字段、目标数据库的标识信息字段和位置信息字段。图9仅为示意说明，中间数据表还可以包括待分发数据产生的时间字段，待分发数据的类型字段等。待分发数据的类型包括新增待分发数据、删除待分发数据、修改待分发数据。
99.云端服务器定时或实时轮询中间数据表，获取待分发数据、目标供应商的标识信息、目标数据库的标识信息和待分发数据在目标数据库中的位置信息；根据目标供应商的标识信息，确定待分发数据的目的方。然后将上述中间数据表中的信息发送至目标供应商服务器，目标供应商服务器接收到上述信息之后，将待分发数据同步至目标数据库的标识信息对应的目标数据库中的对应位置。
100.为了保证云端服务器向供应商服务器分发数据过程中的安全性，本技术中，将所述待分发数据、所述目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息进行加密，并发送至目标供应商服务器，以使所述目标供应商服务器对接收到的加密后的信息进行解密，得到并根据所述待分发数据、所述目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息完成数据同步。
101.其中，本技术可以通过des加密算法、md5加密算法、base64加密算法、rsa加密算法dsa加密算法等将待分发数据、目标数据库的标识信息和待分发数据在目标数据库中的位置信息进行加密。
102.本技术提供了一种基于集团化分布式部署架构实时数据采集、任务收集和分发的方法，包括以下过程：自动触发收集各供应商服务器的数据信息；通过数据收发服务将各个供应商服务器的准实时数据收集汇总至云端服务器；各个供应商服务器需要标准化数据时，从云端服务器自动触发提取标准的待分发数据，分发到各供应商服务器进行数据同步
与共享，保持标准数据的规范、统一；本技术实现了对来自各个供应商不同系统，不同数据结构，不同类型数据实时数据的标准化，统一化及时管理。
103.本技术不依赖数据存储介质、存储结构和接口方式，能够在系统层面快速、准确、即时的满足客户对数据的上传与获取，方便、快捷、规范、准确。实现了多个异地数据表中准实时数据交互收集与分发；数据同步异常可以快速通过邮件、实时消息反馈系统管理人员进行处理；实现数据准实时传递，通过创建的数据变化表，实现的快速的数据收集。
104.数据收集场景例如是供应商生产原材料的生产过程关键参数实时采集数据，原材料成品质量检测数据，需要实时收集到集团云端服务器供srm，mes，wms等业务系统进行查询统计分析。
105.数据分发场景例如是针对物料主数据等基础数据需要与集团云端服务器各业务系统保持一致，当集团修改这些基础数据后，需要统一分发到各供应商进行更新。
106.数据收集原理如下：
107.各供应商属地终端本地数据表中建立触发器，自动监测数据本地表数据变化，数据有变化时自动将变化部分数据标记、打包同步到数据变化表中，专门部署在服务器端的job定时轮询服务负责定时将数据变化表中数据加密后调用数据收发服务传输到云端服务器。
108.数据解析原理如下：
109.job定时轮询服务在对数据传输时进行加密,再调用数据收发服务进行数据传输，数据收发服务对收集到的数据进行解密后传输到云端服务器进行存储，数据收发服务对收集到的数据进行解析分析处理后存储到云端服务器，实现数据的实时同步，存储和共享。
110.数据分发原理如下：
111.通过云端服务器按需将统一规制的标准数据先分发到中间数据表，再由数据收发服务去主动监测和获取分发数据及分发目的方等信息，加密后进行调用job定时轮询服务，将分发数据进行解密后存入各供应商属地终端本地对应标准表进行增、删、改操作。到各供应商属地终端供使用，实现数据实时统一的分发和同步，保证多点数据统一、标准、生效。
112.图10为本技术提供的数据收集业务流程图，如图10所示，触发器实时探测是否存在数据更新，当不存在数据更新时，继续进行探测，当存在数据更新时，变化数据查询统一的数据变化表，job定时轮询服务监控数据变化表，判断数据变化表是否有新增数据，如果没有，流程结束，如果有，job定时轮询服务调用数据收发服务收集数据到云端服务器。
113.配置好轮询服务时，根据系统分配的供应商服务器标识信息，调用云端api接口将数据及时回传至云端服务器，传输过程中出现网络异常时，系统将自动记录失败数据，待网络正常后自动进行续传。
114.图11为本技术提供的数据解析业务流程图，如图11所示，job定时轮询服务收集数据变化表中的数据，加密处理并转为json格式，数据收发服务获取传输json格式数据，数据解密处理并存储。
115.job定时轮询服务监测到数据变化表数据不为0时，则触发调用加密机制进行加密json方式，数据收发服务收到json格式数据后先进行解析，再存储到云端服务器的云端数据库中。云端服务器、供应商服务器收到数据时，通过公钥进行解密，当确定数据结构不正确，或校验不通过时，系统将记录错误信息，不会进行数据处理；数据解析成功后，数据将自
动将数据同步至对应数据表中。
116.图12为本技术提供的数据分发业务流程图，如图12所示，云端数据库接口识别到数据变化，获取待分发数据并加密，数据收发服务调用job定时轮询服务进行数据传输，job定时轮询数据解密，数据收发服务将数据分发到目标供应商服务器的数据表中。
117.与各供应商服务器约定的统一标准数据在云端服务器发生变化时也是自动触发数据同步，通过收发服务调用job定时轮询服务加密分发到各供应商终端上，job定时轮询服务将变化数据同步到属地终端或服务器数据库对应表中。数据分发时，根据数据影响范围、使用范畴自动将数据同步至供应商服务器中。
118.本技术提供的数据同步方法不涉及具体的业务人员操作，都是通过配置各触发器、job定时轮询服务和数据收发服务自动执行和触发的。图13为本技术提供的数据同步日志效果示意图，如图13所示，本技术自动完成数据实时同步，并记录数据同步结果的日志信息。
119.图14为本技术提供的数据同步装置结构示意图，该装置包括：
120.数据标记模块141，用于通过触发器识别到供应商数据库中存在数据更新时，将更新的数据进行标记并同步到数据变化表；其中，所述数据变化表中包括所述数据更新对应的唯一关键值、数据更新类型、数据库标识信息和数据更新位置；
121.确定模块142，用于通过轮询所述数据变化表，当根据所述唯一关键值确定所述数据变化表存在新增数据时，根据所述数据库标识信息和数据更新位置确定更新的具体数据；
122.发送模块143，用于将所述更新的具体数据、所述数据更新类型、数据库标识信息和数据更新位置传输至云端服务器，以使云端服务器根据接收到的信息完成数据同步。
123.所述发送模块143，具体用于将所述更新的具体数据、所述数据更新类型、数据库标识信息和数据更新位置进行加密，并传输至所述云端服务器，以使云端服务器对接收到的信息进行解密，根据解密后的信息完成数据同步。
124.所述装置还包括：
125.第一数据同步模块144，用于若接收到云端服务器发送的待分发数据、目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息，对所述待分发数据进行校验，若校验通过，根据所述待分发数据、目标数据库的标识信息和所述待分发数据在目标数据库中的位置信息完成数据同步。
126.图15为本技术提供的数据同步装置结构示意图，该装置包括：
127.接收模块151，用于接收更新的具体数据、数据更新类型、数据库标识信息和数据更新位置，其中，所述更新的具体数据、数据更新类型、数据库标识信息和数据更新位置是供应商服务器通过触发器识别到供应商数据库中存在数据更新时，将更新的数据进行标记并同步到数据变化表；其中，所述数据变化表中包括所述数据更新对应的唯一关键值、数据更新类型、数据库标识信息和数据更新位置；通过轮询所述数据变化表，当根据所述唯一关键值确定所述数据变化表存在新增数据时，根据所述数据库标识信息和数据更新位置确定更新的具体数据，并发送至云端服务器的；
128.第二数据同步模块152，用于根据接收到的更新的具体数据、数据更新类型、数据库标识信息和数据更新位置完成数据同步。
129.所述接收模块151，具体用于若接收到的是加密后的信息，通过对加密后的信息进行解密，得到所述更新的具体数据、数据更新类型、数据库标识信息和数据更新位置。
130.所述装置还包括：
131.校验模块153，用于对所述更新的具体数据进行校验，判断所述更新的具体数据是否校验通过，如果是，根据接收到的更新的具体数据、数据更新类型、数据库标识信息和数据更新位置完成数据同步。
132.所述校验模块153，具体用于接收供应商服务器发送的所述更新的具体数据的第一校验值，其中，所述第一校验值是所述供应商服务器对所述更新的具体数据进行哈希计算得到的；接收到所述更新的具体数据之后，通过哈希计算得到所述更新的具体数据的第二校验值，判断所述第一校验值和第二校验值是否一致，如果是，确定校验通过，否则确定校验未通过。
133.所述校验模块153，还用于若所述更新的具体数据校验未通过，确定所述供应商服务器对应的管理人员，向所述管理人员反馈数据同步异常信息。
134.所述装置还包括：
135.数据分发模块154，用于通过触发器识别到云端数据库存在待分发数据时，将所述待分发数据进行标记并同步到中间数据表；其中，所述中间数据表中包括所述待分发数据、目标供应商的标识信息、目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息；
136.通过轮询所述中间数据表，获取所述待分发数据、所述目标供应商的标识信息、所述目标数据库的标识信息和所述待分发数据在目标数据库中的位置信息；
137.根据所述目标供应商的标识信息，将所述待分发数据、目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息发送至目标供应商服务器，以使所述目标供应商服务器根据所述待分发数据、所述目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息完成数据同步。
138.数据分发模块154，具体用于将所述待分发数据、所述目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息进行加密，并发送至目标供应商服务器，以使所述目标供应商服务器对接收到的加密后的信息进行解密，得到并根据所述待分发数据、所述目标数据库的标识信息和所述待分发数据在所述目标数据库中的位置信息完成数据同步。
139.本技术还提供了一种服务器，该服务器包括供应商服务器和云端服务器，如图16所示，包括：处理器161、通信接口162、存储器163和通信总线164，其中，处理器161，通信接口162，存储器163通过通信总线164完成相互间的通信；
140.所述存储器163中存储有计算机程序，当所述程序被所述处理器161执行时，使得所述处理器161执行以上任一方法步骤。
141.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
142.通信接口162用于上述电子设备与其他设备之间的通信。
143.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
144.上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
145.本技术还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现以上任一方法步骤。
146.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
147.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。