一种基于差异数据的商品信息同步方法与流程

1.本发明涉及计算机技术领域，尤其涉及一种基于差异数据的商品信息同步方法。


背景技术：

2.随着互联网技术的发展和电商业务系统数据的增长，系统间数据同步问题成为常态化，由于各种运营活动以及可能存在的突发状况，商品信息数据存在高频率更新的需求。
3.目前的数据同步方式主要全量更新的方法，采用ftp服务器实现数据的同步；此方法在数据量较大时，存在传输速度慢的问题；并且由于商品信息数据更新存在更新频率高，发动数据量小的特点，使用传统方法就会导致同步时间长，并且同步时存在大量的网络带宽浪费的情况。


技术实现要素：

4.本发明的目的就在于为了解决市场上大量商品信息更新频率高，更新数据量小时数据同步慢，并且带宽严重浪费的问题而提供一种基于差异数据的商品信息同步方法，本发明通过发送端生成差异化数据并发送后，在接收端生成完整数据的方法。能满足传输速度快，更新频率高的需求。
5.本发明通过以下技术方案来实现上述目的：
6.一种基于差异数据的商品信息同步方法，包括以下步骤：
7.步骤1，首次同步数据时直接同步完整数据；
8.步骤2，非首次数据同步时，先将当前需要同步的数据与上一次数据进行对比；
9.步骤3，在对比数据时生成包含增加、删除、修改的三种不同操作类型的差异数据，并发送到接收端；
10.步骤4，接收端收到数据后根据差异数据操作本地保存的上一次数据，并生成新的完整数据；
11.步骤5，接收端完成数据操作后，生成md5完成数据的正确性校验。
12.进一步方案为，所述步骤1中，首次同步完整数据，并包含md5。
13.进一步方案为，所述步骤2中，根据新数据与旧数据生成两个商品id列表用于数据的快速对比。
14.进一步方案为，所述步骤3中，发送端数据操作类型有三类：增加，删除，修改，增加时记录增加的位置和完整内容；删除时记录删除id，修改时记录id和修改后的内容，发送的数据中包含了整个数据的md5值。
15.进一步方案为，所述步骤4中，接收端遍历收到的差异信息，逐条完成对本地已有数据的操作。
16.进一步方案为，所述步骤5中，接收端生成新数据后，根据md5校验数据的完整性。
17.本发明的有益效果在于：
18.本发明的一种基于差异数据的商品信息同步方法，通过发送端生成差异化数据并
发送后，在接收端生成完整数据的方法；能满足传输速度快，更新频率高的需求。
附图说明
19.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明拓扑结构图。
21.图2为本发明发送端流程。
22.图3为本发明接收端流程图。
具体实施方式
23.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
24.在任一实施例中，如图1-3所示，本发明的一种基于差异数据的商品信息同步方法，包括以下步骤：
25.步骤1，首次同步数据时直接同步完整数据；首次同步完整数据，并包含md5；
26.步骤2，非首次数据同步时，先将当前需要同步的数据与上一次数据进行对比；根据新数据与旧数据生成两个商品id列表用于数据的快速对比；
27.步骤3，在对比数据时生成包含增加、删除、修改的三种不同操作类型的差异数据，并发送到接收端；发送端数据操作类型有三类：增加，删除，修改，增加时记录增加的位置和完整内容；删除时记录删除id，修改时记录id和修改后的内容，发送的数据中包含了整个数据的md5值；
28.步骤4，接收端收到数据后根据差异数据操作本地保存的上一次数据，并生成新的完整数据；接收端遍历收到的差异信息，逐条完成对本地已有数据的操作；
29.步骤5，接收端完成数据操作后，生成md5完成数据的正确性校验；接收端生成新数据后，根据md5校验数据的完整性。
30.在一个具体实施例中，如图1-3所示，本发明的一种基于差异数据的商品信息同步方法，包括以下步骤：
31.图1为本发明拓扑结构图，包括数据的发送端和接收端；
32.图2为本发明发送端流程，包括以下步骤：
33.首先读取上一次已传输的数据；
34.如果没有已传输数据，则是首次传输，直接传输完整数据；
35.非首次传输时,则需要提取出当前数据与上一次数据的差异信息，具体步骤如下：
36.先使用单次循环遍历上一次数据，读取所有的商品信息id(此id唯一)，建立id的列表；
37.再用同样的方法，建立当前数据的id列表；
38.循环对比这两个id列表，得到需要修改的数据操作类型有三类：增加，删除，修改。如果是增加时，则需要记录增加的位置和完整内容。删除时，需要记录删除id；修改时，
39.需要记录id和修改后的内容。由上可得到记录差异信息的完整数据；
40.当所有数据都对比完成后，即完成了本次差异数据的提取；
41.将新的数据整体的md5记录在差异数据中，用于验证。
42.图3为本发明接收端线程流程流程，包括以下步骤：
43.接收到数据后，先读取本地的上一次完整数据；
44.如果没有上一次完整数据，则是首次传输，直接使用接收到的数据；
45.非首次传输时，则需要遍历并解析所有的差异信息，修改本地数据：增加操作时，在指定的位置增加内容；删除时，将指定id的信息删除；修改时，找到指定id修改数据。
46.当所有差异内容都处理完成后，对比本地数据的md5；即完成整个流程。
47.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。


技术特征：
1.一种基于差异数据的商品信息同步方法，其特征在于，包括以下步骤：步骤1，首次同步数据时直接同步完整数据；步骤2，非首次数据同步时，先将当前需要同步的数据与上一次数据进行对比；步骤3，在对比数据时生成包含增加、删除、修改的三种不同操作类型的差异数据，并发送到接收端；步骤4，接收端收到数据后根据差异数据操作本地保存的上一次数据，并生成新的完整数据；步骤5，接收端完成数据操作后，生成md5完成数据的正确性校验。2.如权利要求1所述的一种基于差异数据的商品信息同步方法，其特征在于，所述步骤1中，首次同步完整数据，并包含md5。3.如权利要求1所述的一种基于差异数据的商品信息同步方法，其特征在于，所述步骤2中，根据新数据与旧数据生成两个商品id列表用于数据的快速对比。4.如权利要求1所述的一种基于差异数据的商品信息同步方法，其特征在于，所述步骤3中，发送端数据操作类型有三类：增加，删除，修改，增加时记录增加的位置和完整内容；删除时记录删除id，修改时记录id和修改后的内容，发送的数据中包含了整个数据的md5值。5.如权利要求1所述的一种基于差异数据的商品信息同步方法，其特征在于，所述步骤4中，接收端遍历收到的差异信息，逐条完成对本地已有数据的操作。6.如权利要求1所述的一种基于差异数据的商品信息同步方法，其特征在于，所述步骤5中，接收端生成新数据后，根据md5校验数据的完整性。

技术总结
本发明公开了一种基于差异数据的商品信息同步方法，发送端将本次需要发送的数据与上一次已经发送的数据进行对比，得到差异信息，并根据最新数据生成MD5码；将差异信息传输到接收端；接收端收到差异信息后，根据差异信息对接收端本地的数据进行操作；接收端操作完成后，生成数据的完整MD5码，与发送端的MD5进行比对；如果MD5一致，则传输完成；如果MD5不一致，则重新传输。通过发送端生成差异化数据并发送后，在接收端生成完整数据的方法。能满足传输速度快，更新频率高的需求。更新频率高的需求。更新频率高的需求。


技术研发人员：陈金业
受保护的技术使用者：四川启睿克科技有限公司
技术研发日：2022.10.25
技术公布日：2023/1/3