回放方法、录制方法以及相关设备与流程

本技术实施例涉及自动化领域，尤其涉及回放方法、录制方法以及相关设备。

背景技术：

1、自动化(automation)技术是通过一个或多个设备代替人工从事重复性操作的技术。一般地，具有规则驱动、可重复等特性的工作流程都可以作为自动化的潜在目标。

2、传统技术中，在将设备上需要人工介入的多个操作进行自动化时，用户可以将基于前述多个操作生成的语义拷贝至该设备中，由该设备基于前述多个语义实现对应的操作，进而实现自动化。当由多个设备构成的系统需要实现自动化时，用户需要分别基于该系统中的每个设备分别撰写语义，并且，分别将每个设备对应的语义拷贝至前述系统中的对应设备中。

3、然而，由于前述系统中的多个设备是分布式布置的，因此，每个设备仅感知用户输入给该设备的语义，而不感知其他设备执行语义的进度。若前述系统中的多个设备之间存在数据或信令交互(例如，该系统中某一个设备执行某一条语义之后，需要该系统中另一个设备执行另一条语义)，则将导致该系统中各个设备执行语义的顺序出现混乱，进而导致该系统的自动化流程难以实现。

技术实现思路

1、本技术实施例提供了一种回放方法、录制方法以及相关设备，用于在分布式场景实现包含多个设备的系统的自动化流程。

2、本技术提供的回放方法可以在涉及录制设备和回放设备的场景下使用，也可以在不涉及录制设备而仅涉及回放设备的场景下使用。

3、第一方面，本技术提供了一种回放方法，该回放方法在涉及录制设备和回放设备的场景下使用。在该方法中，录制组中的每个录制设备基于用户在录制设备上的操作生成至少一条语义。然后，服务器接收来自录制组中的每个录制设备的至少一条语义。每条语义是描述用户在该录制设备上的操作的信息。其中，该语义包括时间信息、对象信息和动作信息。其中，时间信息用于指示该录制设备检测到该操作的时刻，能够反映用户在何时对该录制设备进行了操作。对象信息用于指示该语义对应的操作的客体，即用户对录制设备上的哪个部件进行了操作。动作信息用于指示该操作的内容，即用户在录制设备上的操作具体是哪些动作。然后，服务器根据每条该语义的时间信息，按照时间先后顺序向该回放组中对应的回放设备发送每条语义。

4、可选的，当服务器接收录制组中每个录制设备生成的全部语义，该服务器可以获得多条语义。在一种示例中，前述多条语义可以是一个语义集合。此外，该服务器在分发语义之前，需要将前述语义集合中的语义进行排序，以保证服务器发送给回放组的语义是完整的，进而有利于保证回放组中回放设备基于语义执行的操作完整且无误。

5、应理解，前述每个录制设备的至少一条语义可以由录制设备直接发送给服务器，即服务器从录制组中的每个录制设备接收每个录制设备生成的至少一条语义；前述每个录制设备的至少一条语义也可以是录制设备发送给用于中转消息的网元(例如，代理网元、交换机等)，再由该网元发送给服务器。具体此处不做限定。

6、本实施例中，提出在用于实现自动化的语义中添加时间信息作为服务器调度分发多条语义的依据，该服务器在获取到多条语义之后，该服务器能够根据前述多条语义中每条语义的时间信息按照时间先后顺序将前多条语义分发至对应的回放设备中，以使得各个回放设备能够有序执行来自服务器的语义，进而实现有序回放。在本技术中，由于服务器能够代替人工实现按顺序发放前述多条语义，因此，能够避免系统中各个回放设备执行语义的顺序出现混乱，进而能够保证包含多个设备的系统的自动化流程能够实现。

7、本技术中，服务器不仅需要获知按照哪个顺序将前多条语义中的每条语义发出，还需要确定将前述多条语义中的每条语义发送给回放组中的哪个回放设备。

8、在一种可能的实施方式中，该服务器存储有第一对应关系，该第一对应关系为该录制组中每个录制设备的指示信息与该回放组中的回放设备的指示信息之间的对应关系，该第一对应关系用于指示该回放设备能够执行对应的录制设备生成的语义。也可以理解为，录制组中的某一个录制设备生成的语义可以在回放组中与该录制设备存在第一对应关系的回放设备上运行。因此，服务器可以基于前述第一对应关系确定录制组中的每个录制设备生成的语义应当发送给回放组中的哪个回放设备。

9、应理解，前述第一对应关系可以是由人为预设，也可以由服务器根据录制设备的信息(例如，录制设备的设备类型)和回放设备的信息(例如，回放设备的设备类型)确定。应理解，该第一对应关系可以采用数组、表或者其他能够表示关联的数据结构的方式存储至服务器中。具体此处不做限定。

10、本实施例中，提出服务器中存储了第一对应关系，该第一对应关系为该录制组中每个录制设备的指示信息与该回放组中的回放设备的指示信息之间的对应关系。因此，服务器能够基于第一对应关系确定录制组中某一个录制设备生成的语义应当发送给回放组中的哪个回放设备进行执行。不仅有利于保证服务器分发语义时的准确率，还有利于保证服务器分发语义时的效率，避免服务器将语义分发给错误的回放设备，而导致回放设备的回放任务出现混乱。

11、在一种可能的实施方式中，前述第一对应关系中的指示信息包括设备标识和/或设备类型。例如，录制设备的指示信息包括录制设备的设备标识和/或录制设备的设备类型；回放设备的指示信息包括回放设备的设备标识和/或回放设备的设备类型。可选的，前述指示信息还可以是其他能够区分某一个录制设备或区分某一个回放设备的信息。

12、可选的，该设备类型用于指示该录制设备支持的软件类型和/或硬件类型。

13、其中，硬件类型指设备具有的物理的结构。示例性的，在基于用户界面(userinterface，ui)的多终端自动化场景中，硬件类型包括触摸屏、键盘、鼠标等。示例性的，在涉及影音推送的多终端自动化场景中，硬件类型包括摄像头、扬声器、麦克风以及触摸屏等。示例性的，在基于制造业的自动化场景中，硬件类型包括距离传感器、红外传感器、红外测温仪等。此外，软件类型指设备能够通过运行程序实现的软件功能。示例性的，在基于用户界面(ui)应用的自动化场景中，软件类型包括记录应用调用何种功能接口的系统类型和ui存储格式的文件类型，系统类型主要包括调用浏览器等容器接口的web应用、调用系统接口的windows桌面应用、安卓(andriod)/ios/鸿蒙(harmonyos)原生应用；ui存储格式的文件类型主要包括基于dom树表达的应用界面、支持json格式存储的应用界面、支持xml格式存储的应用界面、支持pdf格式存储的应用界面等。示例性的，在基于制造业的自动化场景中，软件类型包括支持的上位机类型、传感器支持的应用类型。示例性的，在基于快捷操作的自动化场景中，软件类型包括执行某一业务的相关应用，例如，搜索引擎类应用、购物类应用、影音播放类应用。

14、在一种可能的实施方式中，该录制设备支持的软件类型与对应的回放设备支持的软件类型存在非空交集；和/或，该录制设备支持的硬件类型与对应的回放设备支持的硬件类型存在非空交集。也可以理解为，录制设备与回放设备支持的软件类型完全相同或部分相同，或者，录制设备与回放设备支持的硬件类型完全相同或部分相同。

15、在一种可能的实施方式中，每条该语义包括该录制设备的指示信息。该服务器根据每条该语义的时间信息，按照时间先后顺序向该回放组中对应的回放设备发送该语义，包括：该服务器根据每条该语义的时间信息、每条该语义中该录制设备的指示信息和该第一对应关系，按照该时间先后顺序向将该回放组中对应的回放设备发送该语义。

16、本实施方式中，提出在语义中设置录制设备的指示信息，以使得该服务器根据语义中的录制设备的指示信息确定该语义是由录制组中的哪个录制设备生成的。由于，该服务器中还存储有第一对应关系，该第一对应关系为该录制组中每个录制设备的指示信息与该回放组中的回放设备的指示信息之间的对应关系。因此，该服务器能够根据语义中的录制设备的指示信息和第一对应关系确定与该语义对应的回放设备。

17、在一种可能的实施方式中，该服务器存储有设备列表，该设备列表存储有录制组的信息和该回放组的信息，该录制组的信息包括该录制组中每个录制设备的设备标识，该回放组的信息包括该回放组中每个回放设备的设备标识。该服务器从录制组中的每个录制设备接收至少一条语义之前，该方法还包括：该服务器接收多个注册消息，每个该注册消息包括发送该注册消息的设备的设备标识；该服务器根据该设备列表和该注册消息中的设备的设备标识确定该设备为录制设备或回放设备。

18、本实施方式中，录制设备和回放设备可以通过注册的方式向服务器提供录制设备的信息(例如，录制设备的设备标识)和回放设备的信息(例如，回放设备的设备标识)。而服务器需要通过预存的设备列表确定发送注册请求的设备为录制设备还是回放设备。通过前述注册管理方式，服务器可以仅对已注册的录制设备和回放设备进行管理，有利于提高管理录制设备和回放设备的效率。

19、在一种可能的实施方式中，该注册消息还包括该设备的设备类型，该设备的设备类型包括该录制设备的设备类型和该回放设备的设备类型。该服务器将该录制设备的设备类型与该录制设备的设备标识对应存储；该服务器将该回放设备的设备类型与该回放设备的设备标识对应存储。

20、本实施方式中，提出当注册消息中包含设备类型(例如，录制设备的设备类型或回放设备的设备类型)时，该服务器还将设备的设备标识和设备类型对应存储，以使得该服务器能够比较方便地查阅每个设备的设备类型，进而有利于方便服务器基于设备标识和设备类型做决策。

21、在一种可能的实施方式中，该服务器接收多个注册消息之后，该服务器接收来自录制组中的每个录制设备的至少一条语义之前，该方法还包括：该服务器向该录制组中的每个该录制设备发送第一录制指令，该第一录制指令用于指示每个该录制设备启动录制，该第一录制指令包括该服务器的系统时钟信息，该系统时钟信息用于指示该录制组中的每个录制设备按照该服务器的系统时钟进行时钟同步。

22、本实施方式中，提出服务器能够通过第一录制指令控制录制设备启动录制，并且，该服务器可以在第一录制指令中携带服务器的系统时钟信息，以使得录制设备基于服务器的系统时钟信息重置录制设备的系统时钟。由于该服务器是同时向录制组中的每个录制设备广播第一录制指令，因此，录制组中的每个录制设备均可以收到前述第一录制指令。因此，录制组中的每个录制设备可以基于同一个系统时钟(即服务器的系统时钟)进行重置时钟，以保证录制组中各个录制设备的系统时钟是同步的。

23、可选的，第一录制指令还包括至少一个录制接口，该至少一个录制接口用于获取与录制任务的任务类型对应的至少一个操作的原始信息，该原始信息为录制设备检测到的与用户在该录制设备上的操作相关的信息。示例性的，前述录制接口包括麦克风的输入/输出(input/output，i/o)接口、扬声器的i/o接口、鼠标的i/o接口、键盘的i/o接口等等，具体此处不做限定。

24、本实施方式中，提出服务器可能在第一录制指令中携带录制接口，以使得录制设备仅从第一录制指令中的录制接口获取原始信息。有利于服务器基于控制接口的粒度控制录制设备进行录制，而不用该录制设备获取每个接口的信息。有利于节省录制设备的处理负荷。

25、在一种可能的实施方式中，该服务器向该录制组中的每个该录制设备发送第一录制指令之后，该方法还包括：该服务器向该录制组中的至少一个该录制设备发送第二录制指令，该第二录制指令用于指示该录制设备停止录制。

26、本技术中，服务器在将前述多条语义(例如，语义集合)中的语义发送给对应的回放设备时，该服务器可以一次仅发送一条语义给对应的回放设备，也可以一次发送一组语义(包括多条语义)给对应的某一个回放设备。可选的，该服务器还可以将收到来自回放设备的通知消息作为发送下一条语义(或下一组)的触发条件。其中，前述通知消息用于指示回放设备已经执行完已收到的语义，也可以理解为，前述通知消息用于指示回放设备收到的语义已回放成功。

27、在一种可能的实施方式中，若前述多条语义包括n条语义，该n为大于1的整数。该服务器根据每条该语义的时序信息，将前述多条语义中的语义按该顺序发送至该回放组中对应的回放设备，包括：该服务器根据前述n条语义中每条语义的时序信息将前述n条语义进行排序，得到由该n条语义确定的第一语义序列；该服务器向该回放组中对应的回放设备发送该第一语义序列中的第i条语义；该服务器接收该第i条语义对应的通知消息，该第i条语义对应的通知消息用于指示该第i条语义回放成功，该i为大于等于1且小于等于n的整数。

28、本实施方式中，提出服务器每次向回放组中的回放设备发送一条语义之后，该服务器需要收到来自前述回放设备的表示以回放成功的通知消息才会触发发送下一条语义。因此，有利于回放组中的回放设备能够有序执行收到的语义，也有利于服务器在回放设备未能发送前述通知消息时向回放设备重发前述语义，以使得回放组中每个回放设备均能够执行相应的语义，进而确保整个回放任务有序进行。

29、在一种可能的实施方式中，若前述多条语义包括n条语义，该n为大于1的整数。该服务器根据每条该语义的时序信息，将前述多条语义中的语义按该顺序发送至该回放组中对应的回放设备，包括：该服务器根据前述n条语义中每条语义的时序信息将前述n条语义进行排序，得到由该n条语义确定的第一语义序列；该服务器将该第一语义序列划分为多个第二语义序列，每个该第二语义序列为该第一语义序列中连续的由同一回放设备执行的至少一条语义确定的序列；该服务器向该回放组中对应的回放设备发送该第二语义序列。

30、本实施方式中，提出服务器每次向回放组中的回放设备发送一组语义(即一个第二语义序列)，该一组语义均由某一个回放设备执行。待回放设备执行完前述一组语义之后，该服务器再向回放设备发送下一组语义。本实施方式有利于节省服务器与回放设备之间的信令开销。此外，由于，每条语义中包含时间信息，因此，回放设备能够基于一组语义中的各条语义的时间信息确定执行前述一组语义中的各条语义的顺序。因此，回放组中的回放设备也能够确保整个回放任务有序进行。

31、第二方面，本技术提供了一种回放方法，该回放方法在涉及录制设备和回放设备的场景下使用。在该方法中，语义可以是由人工拷贝至服务器。服务器获取多条语义，每条该语义用于指示需要在回放组中的回放设备上执行的操作，该操作包括控制该回放组中的一个回放设备与该回放组中的另一个回放设备进行交互。该语义包括时序信息、对象信息和动作信息。其中，该时序信息用于指示该语义相对于前多条语义中的其他语义的顺序。该对象信息用于指示该语义对应的操作的客体，即回放设备根据该语义在回放设备的哪个部件执行操作。该动作信息用于指示该操作的内容，即回放设备根据该语义在回放设备的部件执行哪些动作。然后，该服务器根据每条该语义的时序信息指示的顺序向该回放组中对应的回放设备发送该语义。

32、本实施例中，提出在用于实现自动化的语义中添加时序信息作为服务器调度分发多条语义的依据，该服务器在获取到前述多条语义之后，该服务器能够根据前述多条语义中每条语义的时序信息确定分发语义的顺序，然后，按照前述时序信息指示的顺序将前述多条语义分发至对应的回放设备中，以使得各个回放设备能够有序执行来自服务器的语义，进而实现有序回放。在本技术中，由于服务器能够代替人工实现按顺序发放语义，因此，能够避免系统中各个回放设备执行语义的顺序出现混乱，进而能够保证包含多个设备的系统的自动化流程能够实现。

33、在一种可能的实施方式中，该服务器存储有该回放组中每个回放设备的指示信息，每个该回放设备的指示信息用于标识该回放组中的一个回放设备。

34、可选的，该服务器可以通过注册的方式管理回放组中的各个回放设备。例如，回放组中的每个回放设备通过向服务器发送注册消息以向回放设备提供回放设备的指示信息。

35、在一种可能的实施方式中，每条该语义还包括该回放设备的指示信息，该语义中的回放设备的指示信息用于指示与该语义对应的回放设备。

36、本实施例中，前述每条语义包括该回放设备的指示信息，该语义中的回放设备的指示信息用于指示语义将由哪个回放设备执行，以便于服务器基于每条语义中的回放设备的指示信息将语义分发至对应的回放设备中。

37、在一种可能的实施方式中，该服务器根据每条该语义的时序信息指示的顺序向该回放组中对应的回放设备发送该语义，包括：该服务器根据每条该语义的时序信息和每条该语义中的该回放设备的指示信息，按照该时序信息指示的顺序向该回放设备的指示信息所指示的回放设备发送该语义。

38、本实施方式中，提出当每条语义中包含回放设备的指示信息，并且，该服务器中存储有回放组中各个回放设备的指示信息时，该服务器可以基于每条语义中的回放设备的指示信息确定与该条语义对应的回放设备，进而该服务器能够基于每条语义中的回放设备的指示信息将该语义发送给对应的回放设备。

39、在一种可能的实施方式中，该服务器根据每条该语义的时序信息指示的顺序向该回放组中对应的回放设备发送该语义之前，该方法还包括：该服务器获取第二对应关系，该第二对应关系包括该时序信息与该回放设备的指示信息之间的对应关系，该第二对应关系用于指示包含该时序信息的语义能够在该回放设备的指示信息指示的回放设备中运行；该服务器根据每条该语义的时序信息指示的顺序向该回放组中对应的回放设备发送该语义，包括：该服务器根据每条该语义的时序信息和该第二对应关系，按照该时序信息指示的顺序向该回放组中对应的回放设备发送该语义。

40、本实施方式中，提出服务器可以基于每条语义的时序信息确定每条语义应当发送给哪个回放设备。具体地，服务器中能够获取第二对应关系，该第二对应关系为时序信息与该回放设备的指示信息之间的对应关系。因此，该第二对应关系能够指示包含该时序信息的语义应当在该回放设备的指示信息指示的回放设备中运行。因此，该服务器可以仅基于语义的时序信息和第二对应关系确定每条语义对应的回放设备，而可以不解析语义中的其他信息。

41、在一种可能的实施方式中，该回放设备的指示信息包括该回放设备的设备标识和/或该回放设备的设备类型，该回放设备的设备类型用于指示该回放设备支持的软件类型和/或硬件类型。可选的，该设备类型用于指示该录制设备支持的软件类型和/或硬件类型。

42、其中，硬件类型指设备具有的物理的结构。示例性的，在基于用户界面ui的多终端自动化场景中，硬件类型包括触摸屏、键盘、鼠标等。示例性的，在涉及影音推送的多终端自动化场景中，硬件类型包括摄像头、扬声器、麦克风以及触摸屏等。示例性的，在基于制造业的自动化场景中，硬件类型包括距离传感器、红外传感器、红外测温仪等。此外，软件类型指设备能够通过运行程序实现的软件功能。示例性的，在基于用户界面(ui)应用的自动化场景中，软件类型包括记录应用调用何种功能接口的系统类型和ui存储格式的文件类型，系统类型主要包括调用浏览器等容器接口的web应用、调用系统接口的windows桌面应用、安卓(andriod)/ios/鸿蒙(harmonyos)原生应用；ui存储格式的文件类型主要包括基于dom树表达的应用界面、支持json格式存储的应用界面、支持xml格式存储的应用界面、支持pdf格式存储的应用界面等。示例性的，在基于制造业的自动化场景中，软件类型包括支持的上位机类型、传感器支持的应用类型。示例性的，在基于快捷操作的自动化场景中，软件类型包括执行某一业务的相关应用，例如，搜索引擎类应用、购物类应用、影音播放类应用。

43、第三方面，本技术提供了一种录制方法，该录制方法应用于录制设备中。具体地，录制设备生成至少一条语义。然后，该录制设备向服务器发送该至少一条语义，以使得该服务器根据每条该语义的时间信息按时间先后顺序向回放组中对应的回放设备发送该语义。

44、其中，每条该语义是该录制设备生成的描述用户在该录制设备上的操作的信息，该语义包括时间信息、对象信息和动作信息，该时间信息用于指示该录制设备检测到该操作的时刻，该对象信息用于指示该语义对应的操作的客体，该动作信息用于指示该操作的内容。

45、本实施方式中，提出录制设备生成的语义具有时间信息，该时间信息为录制设备检测到该操作的时刻。当录制组中每个录制设备生成的语义均携带时间信息时，前述来自不同录制设备的语义可以通过时间信息进行排序，以使得服务器能够获知录制组中各个录制设备生成语义的时间顺序。而传统技术中，录制设备生成的语义没有时间信息，当服务器获得来自不同的录制设备的语义时，该服务器无法确定哪些语义先生成，哪些语义后生成。因此，该服务器也无法实现有序分发语义。而本技术中，提出在语义中增设时间信息，能够使得服务器获得对语义进行排序的依据(即时间信息)，进而有利于服务器实现有序分发语义。

46、在一种可能的实施方式中，该录制设备为录制组中多个录制设备中的一个，该操作包括控制该录制组中的一个录制设备与该录制组中的另一个录制设备进行交互。

47、本实施方式中，提出录制组中的每个录制设备将基于前述方式生成语义，即录制组中每个录制设备生成的语义均包含时间信息。

48、在一种可能的实施方式中，该录制设备生成至少一条语义，包括：该录制设备获取至少一条原始信息，每条该原始信息为该录制设备检测到的与用户在该录制设备上的操作相关的信息，每条该原始信息包括操作时间、操作对象和操作类型；其中，该操作时间为该录制设备检测到用户在该录制设备的操作的时刻，该操作对象为该录制设备检测到的用户在该录制设备上操作的客体，该操作类型为该录制设备检查到的用户通过该录制设备支持的硬件和/或软件执行的动作类型。该录制设备确定该操作时间为该语义的时间信息；该录制设备根据该操作对象确定该语义的对象信息；该录制设备根据该操作类型确定该语义的动作信息。

49、可选的，该语义还包括该录制设备的设备类型。

50、在一种可能的实施方式中，该录制设备根据该操作类型确定该语义的动作信息，包括：该录制设备根据该操作类型和映射规则确定该操作类型对应的动作特征为该语义的动作信息，该映射规则包括一种动作特征与多种操作类型之间的对应关系，该多种操作类型中的每种操作类型均满足该动作特征。

51、本实施方式中，提出录制设备中存储有映射规则，该映射规则用于将原始信息中的操作类型转换为语义中的动作信息。该语义中的动作信息是基于操作类型而抽象出来的动作特征，该动作特征能够适用于多种系统。有利于提升语义的通用性，以使得语义在不同的系统均可以被执行。

52、示例性的，该多种操作类型包括第一操作类型和第二操作类型，该第一操作类型为通过触摸屏在用户界面上按下，该第二操作类型为在显示屏上按下左键；与该第一操作类型和该第二操作类型对应的第一动作特征为按下。

53、示例性的，该多种操作类型包括第三操作类型和第四操作类型，该第三操作类型为通过触摸屏在用户界面上向第一方向滑动，该第四操作类型为通过鼠标沿该第一方向滚动进度条；与该第三操作类型和该第四操作类型对应的第二动作特征为沿该第一方向移动。

54、在一种可能的实施方式中，该录制设备生成至少一条语义之前，该方法还包括：该录制设备向该服务器发送注册消息，该注册消息包括该录制设备的指示信息，该录制设备的指示信息包括该录制设备的设备类型和该录制设备的设备标识。

55、在一种可能的实施方式中，该录制设备向该服务器发送注册消息之后，该方法还包括：

56、该录制设备从该服务器接收第一录制指令，该第一录制指令用于指示该录制设备启动录制，该第一录制指令包括该服务器的系统时钟信息，该系统时钟信息用于指示该录制组中的每个录制设备按照该服务器的系统时钟进行时钟同步。

57、本实施方式中，提出录制设备能够从服务器接收第一录制指令，并基于第一录制指令启动录制。此外，由于第一录制指令中携带服务器的系统时钟信息，因此录制设备可以基于服务器的系统时钟信息重置录制设备的系统时钟。当该服务器能够同时向录制组中的每个录制设备广播第一录制指令时，录制组中的每个录制设备均可以收到前述第一录制指令，并且，录制组中的每个录制设备可以基于同一个系统时钟(即服务器的系统时钟)进行重置时钟。因此，有利于保证录制组中各个录制设备的系统时钟是同步的。

58、在一种可能的实施方式中，该录制设备从该服务器接收第一录制指令之后，该方法还包括：该录制设备从该服务器接收第二录制指令，该第二录制指令用于指示该录制设备停止录制。

59、第四方面，本技术提供了一种服务器，当服务器从录制组中获取语义时，该服务器包括：收发模块和处理模块。其中，收发模块，用于接收来自录制组中的每个录制设备的至少一条语义，每条该语义是描述用户在该录制设备上的操作的信息，该语义包括时间信息、对象信息和动作信息，该时间信息用于指示该录制设备检测到该操作的时刻，该对象信息用于指示该语义对应的操作的客体，该动作信息用于指示该操作的内容。处理模块，用于根据每条语义的时间信息确定各条语义的时间先后顺序，并且，控制收发模块按照时间先后顺序向该回放组中对应的回放设备发送该语义。

60、在一种可能的实施方式中，该服务器还包括存储模块，该存储模块用于存储有第一对应关系，该第一对应关系为该录制组中每个录制设备的指示信息与该回放组中的回放设备的指示信息之间的对应关系，该第一对应关系用于指示该回放设备能够执行对应的录制设备生成的语义。

61、可选的，该指示信息包括设备标识和/或设备类型，该设备类型用于指示该录制设备支持的软件类型和/或硬件类型。

62、可选的，该录制设备支持的软件类型与对应的回放设备支持的软件类型存在非空交集；和/或，该录制设备支持的硬件类型与对应的回放设备支持的硬件类型存在非空交集。

63、在一种可能的实施方式中，当每条语义包括录制设备的指示信息时，处理模块具体用于根据每条该语义的时间信息、每条该语义中该录制设备的指示信息和该第一对应关系，按照该时间先后顺序向将该回放组中对应的回放设备发送该语义。

64、在一种可能的实施方式中，该服务器中的存储模块还用于存储设备列表。该设备列表存储有录制组的信息和该回放组的信息。其中，该录制组的信息包括该录制组中每个录制设备的设备标识，该回放组的信息包括该回放组中每个回放设备的设备标识。此时，服务器中的收发模块，还用于接收多个注册消息，每个该注册消息包括发送该注册消息的设备的设备标识；该服务器中的处理模块，还用于根据该设备列表和该注册消息中的设备的设备标识确定该设备为录制设备或回放设备。

65、在一种可能的实施方式中，该注册消息还包括该设备的设备类型，该设备的设备类型包括该录制设备的设备类型和该回放设备的设备类型。当该注册消息还包括设备的设备类型时，服务器中的存储模块还用于将该录制设备的设备类型与该录制设备的设备标识对应存储；以及，将该回放设备的设备类型与该回放设备的设备标识对应存储。

66、在一种可能的实施方式中，该服务器中的收发模块，还用于向该录制组中的每个该录制设备发送第一录制指令，该第一录制指令用于指示每个该录制设备启动录制，该第一录制指令包括该服务器的系统时钟信息，该系统时钟信息用于指示该录制组中的每个录制设备按照该服务器的系统时钟进行时钟同步。

67、在一种可能的实施方式中，该服务器中的收发模块，还用于向该录制组中的至少一个该录制设备发送第二录制指令，该第二录制指令用于指示该录制设备停止录制。

68、需要说明的是，本技术实施例还有多种其他的实施方式，具体可参见第一方面的具体实施方式和其有益效果，在此不再赘述。

69、第五方面，本技术提供了一种服务器，该服务器可以直接获得人工拷贝的多条语义，得到语义集合。此时，该服务器包括获取模块和处理模块。其中，获取模块，用于获取多条语义。处理模块，用于根据每条该语义的时序信息指示的顺序控制收发模块向该回放组中对应的回放设备发送该语义。

70、其中，每条该语义用于指示需要在回放组中的回放设备上执行的操作，该操作包括控制该回放组中的一个回放设备与该回放组中的另一个回放设备进行交互。此外，该语义包括时序信息、对象信息和动作信息。其中，该时序信息用于指示该语义相对于前述多条语义中的其他语义的顺序，该对象信息用于指示该语义对应的操作的客体，该动作信息用于指示该操作的内容。

71、在一种可能的实施方式中，该服务器存储有该回放组中每个回放设备的指示信息，每个该回放设备的指示信息用于标识该回放组中的一个回放设备。

72、在一种可能的实施方式中，每条该语义还包括该回放设备的指示信息，该语义中的回放设备的指示信息用于指示与该语义对应的回放设备。

73、在一种可能的实施方式中，该处理模块，具体用于根据每条该语义的时序信息和每条该语义中的该回放设备的指示信息，然后，按照该时序信息指示的顺序控制收发模块向该回放设备的指示信息所指示的回放设备发送该语义。

74、在一种可能的实施方式中，该获取模块，还用于获取第二对应关系，该第二对应关系包括该时序信息与该回放设备的指示信息之间的对应关系，该第二对应关系用于指示包含该时序信息的语义能够在该回放设备的指示信息指示的回放设备中运行。处理模块，还用于根据每条该语义的时序信息和该第二对应关系确定每条语义对应的回放设备，并且，按照该时序信息指示的顺序控制收发模块向该回放组中对应的回放设备发送该语义。

75、在一种可能的实施方式中，该回放设备的指示信息包括该回放设备的设备标识和/或该回放设备的设备类型，该回放设备的设备类型用于指示该回放设备支持的软件类型和/或硬件类型。

76、需要说明的是，本技术实施例还有多种其他的实施方式，具体可参见第二方面的具体实施方式和其有益效果，在此不再赘述。

77、第六方面，本技术提供了一种录制设备，该录制设备包括处理模块和收发模块。其中，处理模块，用于生成至少一条语义，每条该语义是该录制设备生成的描述用户在该录制设备上的操作的信息，该语义包括时间信息、对象信息和动作信息，该时间信息用于指示该录制设备检测到该操作的时刻，该对象信息用于指示该语义对应的操作的客体，该动作信息用于指示该操作的内容。收发模块，用于向服务器发送该至少一条语义，以使得该服务器根据每条该语义的时间信息按时间先后顺序向回放组中对应的回放设备发送该语义。

78、在一种可能的实施方式中，该录制设备为录制组中多个录制设备中的一个，该操作包括控制该录制组中的一个录制设备与该录制组中的另一个录制设备进行交互。

79、可选的，该语义还包括该录制设备的设备类型。

80、在一种可能的实施方式中，该处理模块，具体用于：

81、获取至少一条原始信息，每条该原始信息为该录制设备检测到的与用户在该录制设备上的操作相关的信息，每条该原始信息包括操作时间、操作对象和操作类型；其中，该操作时间为该录制设备检测到用户在该录制设备的操作的时刻，该操作对象为该录制设备检测到的用户在该录制设备上操作的客体，该操作类型为该录制设备检查到的用户通过该录制设备支持的硬件和/或软件执行的动作类型；

82、确定该操作时间为该语义的时间信息；

83、根据该操作对象确定该语义的对象信息；

84、根据该操作类型确定该语义的动作信息。

85、在一种可能的实施方式中，该处理模块，具体用于根据该操作类型和映射规则确定该操作类型对应的动作特征为该语义的动作信息，该映射规则包括一种动作特征与多种操作类型之间的对应关系，该多种操作类型中的每种操作类型均满足该动作特征。

86、在一种可能的实施方式中，该收发模块，还用于向服务器发送注册消息，该注册消息包括该录制设备的指示信息，该录制设备的指示信息包括该录制设备的设备类型和该录制设备的设备标识。

87、在一种可能的实施方式中，该收发模块，还用于从该服务器接收第一录制指令，该第一录制指令用于指示该录制设备启动录制，该第一录制指令包括该服务器的系统时钟信息，该系统时钟信息用于指示该录制组中的每个录制设备按照该服务器的系统时钟进行时钟同步。

88、在一种可能的实施方式中，该收发模块，还用于从该服务器接收第二录制指令，该第二录制指令用于指示该录制设备停止录制。

89、需要说明的是，本技术实施例还有多种其他的实施方式，具体可参见第三方面的具体实施方式和其有益效果，在此不再赘述。

90、第七方面，本技术提供了一种服务器，该服务器包括处理器和存储器；其中，存储器存储有计算机程序；该处理器调用该计算机程序以使得该服务器执行第一方面或第一方面的任一种实施方式中的方法，或者，以使得该服务器执行第二方面或第二方面的任一种实施方式中的方法。

91、第八方面，本技术提供了一种录制设备，该录制设备包括处理器和存储器；其中，存储器存储有计算机程序；该处理器调用该计算机程序以使得该录制设备执行第三方面或第三方面的任一种实施方式中的方法。

92、第九方面，本技术提供了一种自动化系统，该自动化系统包括：回放设备，上述第四方面以及第四方面的任一种实施方式中的服务器，以及，上述第六方面以及第六方面的任一种实施方式中的录制设备。

93、第十方面，本技术提供了一种自动化系统，该自动化系统包括：回放设备，以及，上述第四方面以及第四方面的任一种实施方式中的服务器。

94、第十一方面，本技术提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得该计算机执行如前述第一方面、第二方面或第三方面，以及前述各个方面的各种实施方式中的任一种实施方式所介绍的方法。

95、第十二方面，本技术实施例提供了一种计算机可读存储介质，包括指令，当该指令在计算机上运行时，以使得计算机执行如前述第一方面、第二方面或第三方面，以及前述各个方面的各种实施方式中的任一种实施方式所介绍的方法。