模型的评价方法、装置、电子设备及存储介质与流程

1.本公开涉及人工智能领域，具体涉及计算机视觉、图像识别和深度学习技术，具体可用于智慧城市或智能交通应用场景下。


背景技术：

2.视觉检测模型是一种用于检测视野内视觉目标的模型，现被广泛地用于智慧城市、智能驾驶、智能交通、智能机器人等场景。在模型的训练过程中，通常需要对模型进行多次改进或调试，即对模型进行迭代，使其可以达到预期的检测目标。现有技术中，模型的迭代效果仅能通过指标变化反映，对于模型的版本迭代是否解决了某些场景下的问题、是否引入了新的问题、还有哪些遗留问题尚未解决，这些信息都无法准确、直观地提供给用户。


技术实现要素：

3.本公开提供了一种用于模型的评价方法、装置、电子设备以及存储介质。
4.根据本公开的一方面，提供了一种模型的评价方法，包括：利用两个模型分别对样本图像进行目标检测，得到各自对应的检测结果；对于每个检测结果，与该样本图像进行匹配得到坏例；通过比对两个检测结果的坏例，对该两个模型的坏例修复情况进行评价。
5.根据本公开的另一方面，提供了一种模型的评价装置，包括：检测模块，用于利用两个模型分别对样本图像进行目标检测，得到各自对应的检测结果；匹配模块，用于对于每个检测结果，与该样本图像进行匹配得到坏例；评价模块，用于通过比对两个检测结果的坏例，对该两个模型的坏例修复情况进行评价。
6.根据本公开的另一方面，提供了一种电子设备，包括：
7.至少一个处理器；以及
8.与该至少一个处理器通信连接的存储器；其中，
9.该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
10.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
11.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。
12.本公开的技术，通过和样本图像进行分别比对，得到两个模型各自对应的坏例。然后通过比对坏例，得到坏例的产生或修复情况，即，本公开将“坏例”作为最直观、准确的视觉模型评判标准，以此得到对用户非常友好的模型评价结果。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图用于更好地理解本方案，不构成对本公开的限定。其中：
15.图1是根据本公开一实施例的模型的评价方法的流程示意图；
16.图2是根据本公开另一实施例的模型的评价方法的流程示意图；
17.图3是根据本公开又一实施例的模型的评价方法的流程示意图
18.图4是根据本公开一实施例的模型的评价方法的分析示意图；
19.图5是根据本公开一实施例的坏例比较方法流程示意图；
20.图6是根据本公开另一实施例的坏例比较方法流程示意图；
21.图7是根据本公开一实施例的模型的评价装置的结构示意图；
22.图8是用来实现本公开实施例的模型的评价方法的电子设备的框图。
具体实施方式
23.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
24.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
25.另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
26.视觉检测模型(也被称为视觉模型)被广泛地应用于智慧城市、智能交通等具体场景中，使用过程中，如需评价该模型的性能好坏，通常需要收集各个维度的指标，但是仅仅通过指标不能具体的反映不同场景下的问题，因此常常还需要对评测结果进行坏例(badcase)的可视化。但是现有技术中，仅仅是对不同版本的检测效果分别进行可视化，然后人工分别分析两个版本的结果图片对比分析变化点；至多对不同版本的检测结果的坏例可视化画在同一帧上，人工逐帧比对分析总结变化趋势。这种方法在进行可视化之后，缺点十分明显，即是每一帧的图像上可视化后的障碍物特别多，图像上后密密麻麻都是框，很难发现坏例的变化，即使发现了坏例的变化还需要对两个版本的问题进行具体的对比分析，找到变化的问题场景，十分耗费人工。
27.如上所述，针对同一个模型的修正或改进，不同版本的迭代效果仅能通过指标变化反映，就算找出了坏例，也需要很多人进行繁琐的标注、比对工作，因此，模型的版本迭代是否解决了某些场景下的问题、是否引入了新的问题、还有哪些遗留问题尚未解决，这些问题都难以获得直观、准确的答案。
28.根据本公开的实施例，提供了一种模型的评价方法，图1是根据本公开一实施例的模型的评价方法的流程示意图，具体包括：
29.s101：利用两个模型分别对样本图像进行目标检测，得到各自对应的检测结果；
30.一示例中，样本图像是多路口多场景下的相机离散图片，图片中交通参与者(包括行人、车辆、路障等)被标注真值，该真值被保存在不同路口对应的参数集中。然后，使用不同路口下的图片作为输入，运行路侧感知模块，即利用不同的模型对样本图像进行检测，将检测结果写入文件中。
31.一示例中，两个模型可以是同一模型的不同版本，也可以是不同模型，但是，需要是同一类视觉检测模型或有可比性的视觉检测模型。利用两个模型分别对同一张样本图像进行目标检测，得到对应的检测结果。可以重复上述过程，以完成对多帧样本图像的目标检测。
32.s102：对于每个检测结果，与该样本图像进行匹配得到坏例；
33.一示例中，获得每一帧样本图像的障碍物信息，包括障碍物类型，障碍物位置等；然后，通过比对样本图片以及对应的检测结果，得到样本图像中实际存在但是没有检测出来或是检测错误的对象作为坏例，具体可以记录下出现问题的帧号、模型代码、坏例的障碍物类型、坏例的检测框(也叫2d框)位置等信息。
34.s103：通过比对两个检测结果的坏例，对该两个模型的坏例修复情况进行评价。
35.一示例中，通过比对两个检测结果的一至多个坏例，根据坏例在上述两个模型中的出现情况，确定坏例代表的是是第一个模型的遗留问题、还是第二个模型的新增问题、或是第二个模型修复的问题。
36.一示例中，可以获取很多帧的多个样本图像，根据每个图像获取两个模型分别对应的检测结果，然后比对同一帧样本图像的坏例修复情况；因为样本图像有多帧，所以最后会获得很多帧样本图像的坏例修复情况，根据这些坏例修复情况对模型进行综合评估，可以避免偶然一帧中识别失败导致的评估偏差。
37.采用上述方案，采取“坏例”作为最直观、准确的视觉模型评判标准，通过分别提取两个视觉模型中的坏例，然后比对，从而确定两个视觉模型的变化趋势，评估两个视觉模型的优劣。
38.根据本公开的实施例，还提供了另一种模型的评价方法，图2是根据本公开另一实施例的模型的评价方法的流程示意图，具体包括：
39.s201：利用两个模型分别对样本图像进行目标检测，得到各自对应的检测结果；
40.一示例中，上述步骤s201与步骤s101相同，在此不再赘述。
41.s202：分别将每个检测结果作为当前检测结果，获取该样本图像的实际目标和该当前检测结果的检测目标；
42.一示例中，实际目标包括样本图像中真实对象的类型信息和位置信息；检测结果中也包括检测目标的类型信息和位置信息。其中，类型信息可以分为机动车、非机动车、行人、其他四种类型，其中的其他类型主要包括路障、锥桶、隔离带等。位置信息可以是中心点坐标，可以是检测框的相关坐标等等，此处不做限定。
43.一示例中，不同图像对应着不同的检测结果，依次获取每一个检测结果，与对应的样本图像进行比对。
44.s203：根据预设条件在该实际目标中确定是否存在该检测目标的匹配对象；
45.一示例中，一个检测结果中，可能包含多个检测目标，需要依次获取每一个检测目标，与实际目标进行匹配。根据预设条件在该实际目标中确定是否存在该检测目标的匹配对象具体包括：分别获取该检测目标和该实际目标的类型信息；然后，从该实际目标中筛选出与该检测目标类型一致的第一实际目标；具体地，即，针对当前的检测目标，先获取与其类型一致的一至多个第一实际目标；然后，分别获取该检测目标和该第一实际目标的检测框；根据该检测目标和该第一实际目标的检测框的交并比(iou)，从该第一实际目标中确定是否存在该检测目标的匹配对象。具体地，将检测目标的检测框和多个实际第一目标的检测框进程比对，找到最大的交并比，当iou大于等于0.5时，说明该第一实际目标已经被成功检测出，即由匹配对象；将对应的第一实际目标记为该检测目标的正例(tp)，将对应的标记值(flag)置为1；若最大的iou小于0.5时，则说明该第一实际目标被检测出，但是检测的位置很偏，则将对应的检测目标记为误检(fp)，也可以说，该检测目标无匹配对象。
46.一示例中，也可以先找到位置关系符合预设要求(即交并比大于某阈值)的检测目标和实际目标，然后判断是否类型一致。
47.一示例中，在比对完一个样本图像的所有检测目标后，如果存在无法与任一检测目标匹配的实际目标，则把该实际目标记为对应的检测模型的漏检对象。
48.通过上述方案，利用“类型”信息和位置信息(交并比)筛选出预备匹配对象，然后通过交并比是否符合预设数值得到该预备匹配对象是匹配上的对象还是无法匹配上的误检结果。通过上述多层筛选的方案，可以精准筛选出匹配对象，从而获知实际目标是否被检测目标成功检测出来；另，如果先进行类型筛选，再进行位置筛选，可以避免检测目标和所有实际目标依次进行交并比计算，提高了坏例的筛选效率。
49.s204：将不存在匹配对象的检测目标作为该当前检测结果的坏例；
50.一示例中，漏检对象和误捡均是坏例，即，还包括检测目标中不存在但是样本图像中实际存在的漏检结果，记录相关信息，包括障碍物类别、2d框的左上、右下两点坐标等等。
51.s205：通过比对两个检测结果的坏例，对该两个模型的坏例修复情况进行评价。
52.一示例中，上述步骤s205与步骤s103相同，在此不再赘述。
53.通过上述方案，通过将每个模型对应的检测结果与样本图像中的实际目标进行一一匹配，确定被检测出的、未被检测出的和检测错误的目标，并从中筛选出未被检测出和检测错误的案例，记录为坏例，后续将用于视觉模型的评价。上述方案可以高效地分类别筛选出所有坏例，用于后续模型的评价环节。
54.一示例中，上述步骤s103或s205具体包括：比对两个检测结果的坏例，具体地，汇总两个检测结果的坏例，得到坏例的类型信息和位置信息，从其中一个检测结果中依次获得每一个坏例，将每一个获得的坏例与另一个检测结果中的所有坏例匹配，最终遍历所有检测结果中的所有坏例。如果两个来自不同检测结果的坏例类型一致且位置相近，比如两个坏例的检测框的两个顶点的坐标差均小于10个像素，则确定二者是关联坏例；如果一个检测结果中的坏例在另一个检测结果中找不到类型一致且位置相近的匹配坏例，则认为其为单独坏例。在确定存在关联坏例的情况下，表示坏例在两个模型都出现了，则确定该坏例为两个模型均未修复的坏例；在确定存在单独坏例的情况下，确定该单独坏例对应的模型已修复坏例或新出现坏例。采用上述实施例，根据两个检测结果中的坏例是否有关联坏例，
得到两个检测模型是否都存在关联的坏例，从而得到坏例的修复情况。
55.一示例中，若该两个模型的检测结果中出现相同的坏例，则将该相同的坏例识别为关联坏例，确定该两个模型均未修复该关联坏例，即，如果同一个坏例既出现在第一个模型中，又出现在第二个模型中，即能确定该坏例并未被任何一个模型修复；具体地，确定是否存在相同坏例，即通过二者的类型和位置关系确定。采用上述方案，可以快速锁定两个模型都未能修复的坏例，然后通过筛选两个模型的相同点得到坏例未被修复的原因，进而得到改进模型的具体方法。
56.一示例中，若该两个模型为第一模型和由该第一模型调整后得到的第二模型，确定该第一模型的检测结果和该第二模型的检测结果中的单独坏例，即，两个模型是同一模型的不同版本，第二模型是第一模型的改进版，确定是仅出现在第一模型的检测结果的单独坏例，或是仅出现在第二模型的检测结果的单独坏例；对该第一模型的检测结果中的单独坏例，确定该第二模型已修复该单独坏例，即，如果一个坏例仅仅出现在第一模型的检测结果中，则确定第二模型已经修复了该坏例；对该第二模型的检测结果中的单独坏例，确定为该第二模型新出现的坏例，即，如果一个坏例没有出现在第一模型的检测结果中，但突然出现在第二模型的检测结果中，则判断其为新出现的坏例。通过上述方案，可以确定出坏例是否为已修复的坏例或是新增坏例，帮助用户了解模型改进过程中的改进趋势。
57.根据本公开的实施例，还提供了又一种模型的评价方法，图3是根据本公开又一实施例的模型的评价方法的流程示意图，具体包括：
58.s301：利用两个模型分别对样本图像进行目标检测，得到各自对应的检测结果；
59.s302：对于每个检测结果，与该样本图像进行匹配得到坏例；
60.s303：通过比对两个检测结果的坏例，对该两个模型的坏例修复情况进行评价；
61.上述步骤s301-s303与步骤s101-s103实质相同，因此此处不再赘述步骤实施细节。
62.s304：在该样本图像上展示每个检测结果的坏例及坏例修复情况。
63.一示例中，对每一张样本图像都进行坏例的可视化。如图4所示，取任一帧的图像，显示每一个坏例的检测框，并用不同的线段或颜色显示坏例的修复情况，比如新增坏例的检测框是连续直线，未修复坏例的检测框是线段，已修复坏例的检测框是“线段-点-线段”的形式。当然，也可以用不用颜色来区分不同类型坏例的检测框。同时，还可以在每一个检测框的附近标注上坏例的相关信息，包括坏例的类型(是误检还是漏检)以及障碍物的类型等等。采用上述方案，可以直观地展示出坏例及其修复情况，帮助用户第一时间了解模型的效果趋势。
64.一具体实施例中，本公开中的两个模型分别是第一版(base版)和第二版(new版)，其中，第二版由第一版改进而来，模型评价方法包括如下步骤：
65.一、遍历所有的样本图片；
66.二、遍历所有第一版模型的坏例，将每一个坏例的参数(flag)的初始值设置为0；
67.三、如图5所示，将每一个第一版模型中的坏例依次与第二版模型中的坏例比较，如果二者检测框像素点坐标差小于预定数值(比如小于10)，且类别一致，则将该比对的第一版模型坏例的参数设置为1，确定为未修复；若二者检测框像素点坐标差小于预定数值，但类别不一致，则第一版模型坏例记为已修复且flag设置1，第二版模型的坏例记为新增；
二者检测框像素点坐标差大于等于预定数值，则该第一版模型的坏例记为已修复且flag设置为1；遍历完全部第一版模型的坏例后，剩下的第一版模型的坏例的flag为0的记为已修复。
68.四、如图6所示，将每一个第二版模型中的坏例依次与第一版模型中的坏例比较，若二者检测框像素点坐标差小于预定数值，即在第一版模型中找到了匹配的坏例，则该第二版模型坏例的flag置为1；遍历完全部第一版模型的坏例后，第二版模型中无法匹配上的(flag为0)记为新增。
69.如图7所示，本公开的实施例中提供一种模型的评价装置700，该装置包括：
70.检测模块701，用于利用两个模型分别对样本图像进行目标检测，得到各自对应的检测结果；
71.匹配模块702，用于对于每个检测结果，与该样本图像进行匹配得到坏例；
72.评价模块703，用于通过比对两个检测结果的坏例，对该两个模型的坏例修复情况进行评价。
73.一示例中，匹配模块包括：
74.获取单元，用于分别将每个检测结果作为当前检测结果，获取该样本图像的实际目标和该当前检测结果的检测目标；
75.确定单元，用于根据预设条件在该实际目标中确定是否存在该检测目标的匹配对象；
76.生成单元，用于将不存在匹配对象的检测目标作为该当前检测结果的坏例。
77.一示例中，确定单元用于：
78.分别获取该检测目标和该实际目标的类型信息；
79.从该实际目标中筛选出与该检测目标类型一致的第一实际目标；
80.分别获取该检测目标和该第一实际目标的检测框；
81.根据该检测目标和该第一实际目标的检测框的交并比，从该第一实际目标中确定是否存在该检测目标的匹配对象。
82.一示例中，评价模块包括：
83.比对单元，用于比对两个检测结果的坏例；
84.关联坏例单元，用于在确定存在关联坏例的情况下，确定该两个模型均未修复坏例；
85.单独坏例单元，用于在确定存在单独坏例的情况下，确定该单独坏例对应的模型已修复坏例或新出现坏例。
86.一示例中，关联坏例单元用于：
87.若该两个模型的检测结果中出现相同的坏例，则将该相同的坏例识别为关联坏例，确定该两个模型均未修复该关联坏例。
88.一示例中，该单独坏例单元用于：
89.若该两个模型为第一模型和由该第一模型调整后得到的第二模型，确定该第一模型的检测结果和该第二模型的检测结果中的单独坏例；
90.对该第一模型的检测结果中的单独坏例，确定该第二模型已修复该单独坏例；
91.对该第二模型的检测结果中的单独坏例，确定为该第二模型新出现的坏例。
92.一示例中，上述装置还包括：
93.展示模块，用于在该样本图像上展示每个检测结果的坏例及坏例修复情况。
94.本公开实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
95.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
96.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
97.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
98.如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
99.设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
100.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如模型的评价方法。例如，在一些实施例中，模型的评价方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的模型的评价方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型的评价方法。
101.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出
装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
102.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
103.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
104.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
105.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
106.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
107.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
108.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。