显示方法、显示装置以及可读存储介质与流程

1.本发明涉及软件工程技术领域，具体而言，涉及一种显示方法、显示装置以及可读存储介质。


背景技术：

2.目前，相关技术中，rpa(robotic process automation机器人流程自动化)领域的自动化程序与用户的操作不能同时进行，并且一个ui(user interface，用户界面)不能同时显示自动化程序的处理结果和用户的操作过程。


技术实现要素：

3.本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
4.有鉴于此，本发明的第一方面提出了一种显示方法。
5.本发明的第二方面提出了一种显示装置。
6.本发明的第三方面提出了一种显示装置。
7.本发明的第四方面提出了一种可读存储介质。
8.为了实现上述至少一个目的，本发明的第一方面提出了一种显示方法，用于第一设备，第一设备中包括自动化程序，显示方法包括：接收第一输入和第二输入，第一输入为自动化程序所执行的输入；响应于第一输入，在第一界面中显示第一内容，第一内容与第一输入对应的第一处理过程相关联；以及响应于第二输入，在第二界面显示第二内容，第二内容与第二输入对应的第二处理过程，以及第一输入对应的第一处理结果相关联。
9.在该技术方案中，本技术通过同时接收第一输入和第二输入，并在同一个电子设备的子界面显示自动化程序的处理过程，在电子设备的主界面显示自动化程序的处理结果和用户输入的处理过程，使用户能够直观了解到rpa机器人与用户的协同操作的过程，从而提升用户的使用体验。用户操作和自动化程序处理彼此独立，用户操作所占用的运行资源并不会影响自动化程序处理，从而避免了用户在主界面误操作影响子界面自动化处理情况的发生，同时，主界面中针对不同的自动化程序可以设置有多个子界面，从而实现了多个自动化程序的同时显示，满足用户与多个自动化程序的协同操作，满足多个rpa机器人协同操作的使用场景需求，进一步地提升用户的使用体验。
10.另外，本发明提供的上述技术方案中的显示方法还可以具有如下附加技术特征：
11.在上述技术方案中，接收第一输入和第二输入，第一输入为自动化程序所执行的输入之前，还包括：建立第一界面和第二界面之间的基础连接。
12.在该技术方案中，建立主界面和子界面之间的基础连接，能够在自动化程序进行处理之前，监听主桌面的运行命令，并将运行指令发送至子桌面，控制子桌面自动化程序的进行，保证了主界面和子界面之间的及时性，保证自动化程序能够快速的进行，提高用户的使用体验。
13.在上述任一技术方案中，响应于第二输入，在第二界面显示第二内容，包括：获取
第一输入对应的第一处理结果；响应于第二输入，获取第二输入对应的第二处理过程；在第二界面中的不同显示区域分别显示第一处理结果和第二处理过程。
14.在该技术方案中，获取第一输入对应的第一处理结果以及获取第二输入对应的第二处理过程，能够便于在电子设备的主界面实现对rpa机器人与用户的协同操作的结果的共同展示，克服了相关技术中的用户和rpa机器人不能协同操作的技术问题。同时，在主界面的不同显示区域分别显示自动化处理的结果和用户的操作过程，能够使用户直观的了解到rpa机器人与用户的协同操作的结果，从而提高用户的使用体验。
15.在上述任一技术方案中，获取第一输入对应的第一处理结果，包括：接收对第二界面的第三输入；响应于第三输入，读取第一输入对应的第一处理结果。
16.在该技术方案中，接收用户需要查看自动化处理结果的输入指令，并根据输入指令，读取rpa机器人的输入对应的自动化处理结果，能够满足用户的日常使用需求。同时，当用户面对某些重要情况时，能够及时获取自动化处理结果，满足用户的使用场景需求，提升用户使用体验。
17.在上述任一技术方案中，接收第一输入和第二输入之前，还包括：在显示第二界面的情况下，接收第四输入；响应于第四输入，在第二界面中显示第一界面。
18.在该技术方案中，根据用户构建子界面的请求信息，能够在用户操作的主界面中显示rpa机器人的子界面，从而提前构建子桌面，满足rpa机器人与用户的协同操作的使用需求。同时，提前构建子桌面，能够满足后续根据用户指令对rpa机器人的控制需求，从而提升用户的使用体验。
19.在上述任一技术方案中，响应于第四输入，在第一界面中显示第二界面，包括：响应于第四输入，获取自动化程序的运行状态；在自动化程序处于运行状态下，在第一界面中显示第二界面。
20.在该技术方案中，响应于用户构建子界面的请求信息，判断自动化程序的运行状态，能够避免对子界面运行资源的浪费，当判断自动化程序为运行时，在用户操作的主界面显示自动化程序的子界面，实现了对自动化程序的处理结果和用户的操作过程的同时显示，从而满足rpa机器人与用户的协同操作，提高用户的使用体验。
21.在上述任一技术方案中，在自动化程序处于运行状态下，在第一界面中显示第二界面之后，包括：在自动化程序由运行状态切换至停运状态的情况下，在第一界面中取消显示第二界面。
22.在该技术方案中，在自动化程序由运行状态切换至停运状态的情况时，取消自动化程序的子界面在用户操作的主界面中的显示，能够进一步降低对运行资源的占用。同时，不影响主界面中其他子界面的运行，使得多个子界面运行彼此独立，根据用户需要显示相应自动化程序的子界面，提升用户的使用体验。
23.本技术的第二发明提出了一种显示装置，包括：接收单元，接收单元用于接收第一输入和第二输入，第一输入为自动化程序所执行的输入；响应单元，响应单元用于响应于第一输入，在第一界面中显示第一内容，第一内容与第一输入对应的第一处理过程相关联；响应单元还用于响应于第二输入，在第二界面显示第二内容，第二内容与第二输入对应的第二处理过程，以及第一输入对应的第一处理结果相关联。
24.在该技术方案中，接收单元用于接收第一输入和第二输入，从而能够同时节点自
动化程序的输入和用户的输入，为用户操作和rpa机器人的协同操作提供基础。响应单元响应于第一输入和第二输入，电子设备的子界面显示自动化程序的处理过程，在电子设备的主界面显示自动化程序的处理结果和用户输入的处理过程，从而实现了对自动化程序的处理过程、自动化程序的处理结果和用户的操作过程的同时显示，提高用户的使用体验。
25.本技术的第三方面提出了一种显示装置，包括：存储器和处理器，存储器存储在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的显示方法的步骤。
26.在该技术方案中，显示装置包括存储器和处理器，存储器存储在处理器上运行的程序或指令，程序或指令被处理器执行时实现第一方面的显示方法的步骤，从而具有第一方面的全部有益技术效果，在此不再赘述。
27.本技术的第四方面提出了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现第一方面的显示方法的步骤。
28.在该技术方案中，可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述第一方面的显示方法的步骤，从而具有上述第一方面的全部有益技术效果，在此不再赘述。
29.本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
30.图1示出了根据本发明的一个实施例的显示方法的流程示意图之一；
31.图2示出了根据本发明的一个实施例的显示方法的处理示意框图之一；
32.图3示出了根据本发明的一个实施例的显示方法的处理示意框图之二；
33.图4示出了根据本发明的一个实施例的显示方法的处理示意框图之三；
34.图5示出了根据本发明的一个实施例的显示方法的流程示意图之二；
35.图6示出了根据本发明的一个实施例的显示方法的流程示意图之三；
36.图7示出了根据本发明的一个实施例的显示方法的流程示意图之四；
37.图8示出了根据本发明的一个实施例的显示方法的流程示意图之五；
38.图9示出了根据本发明的一个实施例的显示方法的处理示意框图之四；
39.图10示出了根据本发明的一个实施例的显示装置的结构框图之一；
40.图11示出了根据本发明的一个实施例的显示装置的结构框图之二。
具体实施方式
41.为了可以更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
42.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
43.下面参照图1至图11描述根据本发明的一些实施例的显示方法、显示装置和可读
存储介质。
44.实施例一
45.如图1所示，本技术的一些实施例的显示方法，用于第一设备，第一设备中包括自动化程序，显示方法包括：
46.步骤102，接收第一输入和第二输入，第一输入为自动化程序所执行的输入；
47.第一输入为自动化程序rpa执行的输入，自动化程序可以为rpa机器人，而第二输入为用户操作进行的输入，第一设备为电子设备。
48.步骤104，响应于第一输入，在第一界面中显示第一内容，第一内容与第一输入对应的第一处理过程相关联；以及响应于第二输入，在第二界面显示第二内容，第二内容与第二输入对应的第二处理过程，以及第一输入对应的第一处理结果相关联。
49.第一界面为电子设备中的子界面，子界面中显示有第一内容，第一内容可以显示出与rpa机器人的输入相关的第一处理过程。第二界面为电子设备的主界面，主界面与子界面之间占用不同的运行资源。当主界面锁屏时，子界面对应的第一处理过程仍处于执行状态。主界面不仅能显示与用户输入对应的第二处理过程，还能显示rpa机器人的输入相关的第一处理结果，实现了对自动化程序的处理结果和用户的操作过程的同时显示，从而满足rpa机器人与用户的协同操作，提高用户的使用体验。
50.在该实施例中，本技术通过同时接收第一输入和第二输入，并在同一个电子设备的子界面显示自动化程序的处理过程，在电子设备的主界面显示自动化程序的处理结果和用户输入的处理过程，使用户能够直观了解到rpa机器人与用户的协同操作的过程，从而提升用户的使用体验。用户操作和自动化程序处理彼此独立，用户操作所占用的运行资源并不会影响自动化程序处理，从而避免了用户在主界面误操作影响子界面自动化处理情况的发生，同时，主界面中针对不同的自动化程序可以设置有多个子界面，从而实现了多个自动化程序的同时显示，满足用户与多个自动化程序的协同操作，满足多个rpa机器人协同操作的使用场景需求，进一步地提升用户的使用体验。
51.如图2所示，第二界面中的第二处理进程指的是用户的操作进程，子界面的第一处理进程指的是自动化程序的处理进程。第一处理进程为第一界面中响应于第一输入所执行处理对应的进程。本技术并不对第一处理进程的数量进行限制，每个第一处理进程能够控制对应的rpa机器人运行。
52.如图3所示，第二界面运行第一处理进程，该进程与用户执行的第一输入相关，第一界面中运行第二处理进程，该进程与自动化程序执行的第二输入相关，两个系统分别占有独立的运行资源，二者互不干扰。第二处理进程为第二界面中响应于第二输入所执行处理对应的进程。
53.可以理解的是，一个窗口容器内可以容纳多个第一界面系统。
54.每个第一界面系统对应设置有一个与其对应的第一处理进程，每个第一处理进程对应一个rpa机器人。第一处理进程将运行的结果通过套接字连接的方式传输至主系统的第二处理进程中。
55.用户可以更改第二界面系统中的第二处理进程，更改第一界面系统中的第一处理进程，从而控制第一处理进程对应的rpa机器人，实现用户对rpa机器人的控制。
56.在本技术的一个实施例中，接收第一输入和第二输入，第一输入为自动化程序所
执行的输入之前，还包括：建立第一界面和第二界面之间的基础连接。
57.在该实施例中，建立主界面和子界面之间的基础连接，能够在自动化程序进行处理之前，监听主桌面的运行命令，并将运行指令发送至子桌面，控制子桌面自动化程序的进行，保证了主界面和子界面之间的及时性，保证自动化程序能够快速的进行，提高用户的使用体验。
58.第一界面系统与第二界面系统通过tcp(transmission control protocol，传输控制协议)/socket通信连接。传输控制协议本身具有的确认应答、超时重传、流量控制、拥塞控制等特性，从而能够保证通信中基础字节流的可靠性，进而保证上层应用信息的可靠性。
59.如图4所示，第二界面系统可以为主桌面系统，第一界面系统可以为子桌面系统。第二处理进程为第二界面系统中响应于第二输入所执行处理对应的进程。第二处理进程可以为主桌面系统的主处理进程。主界面系统中设置有socket的客户端和socket的服务器。其中，socket客户端设置在主处理进程的窗口容器中。主处理进程中的socket客户端装箱形成任务数据，并将任务数据生成运行指令发送至socket服务器。
60.第一界面系统中设置有第一处理进程。第一处理进程为第一界面中响应于第一输入所执行处理对应的进程。第一处理进程可以为子桌面系统的代理处理进程。代理处理进程中设置有socket客户端。主处理进程的socke服务器转发运行指令发送给子界面系统中的socket客户端。子界面系统的socket客户端会拆箱形成rpa机器人对应的任务数据。子界面系统根据rpa机器人对应的任务数据运行机器人程序，从而实现了主界面系统对rpa机器人的控制。
61.主界面系统的socke服务器接收运行命令，发送给子界面系统的socket客户端，子界面系统的socket客户端回传运行信息的结果至主界面系统的socke服务器，保证运行结果的回传。为了保证子界面系统开启后，代理处理进程的启动，可以通过注册表将代理处理进程的启动信息写入到注册表的开机启动项，从而在子界面系统启动时，启动代理处理进程，实现了子界面系统和主界面系统之间连接和断开的及时性。
62.主界面系统和子界面系统之间的通信连接将通信层和业务层进行分离，从而在业务层发生变化时，不需要改变通信层，减少数据的变化量，减少业务开发人员的工作量。
63.本技术通过对将主界面系统socket服务器作为主界面系统socket客户端与子界面系统socket客户端之间的信息转发端，并将主界面系统socket客户端与子界面系统socket客户端的标识信息成对写入通信层。当需要启动多对主界面系统socket客户端与子界面系统socket客户端时，增加相应的标识信息，能够保证主界面系统与子界面系统的数据具有一定的扩展性。
64.如图5所示，在本技术的一个实施例中，响应于第二输入，在第二界面显示第二内容，包括：
65.步骤502，获取第一输入对应的第一处理结果；
66.获取rpa机器人的输入对应的处理结果，能够便于后续在主界面中显示，从而避免用户需要额外查找rpa机器人的处理结果，减少用户额外查找的时间，提高用户的使用体验。
67.步骤504，响应于第二输入，获取第二输入对应的第二处理过程；
68.获取用户输入的处理过程，便于后续在主界面中显示。
69.步骤506，在第二界面中的不同显示区域分别显示第一处理结果和第二处理过程。
70.在主界面的不同显示区域分别显示自动化处理的结果和用户输入的过程，能够使用户直观地同时了解到自动化处理结果和用户的操作过程，从而实现对rpa机器人与用户的协同操作的结果的共同展示，从而提高用户的使用体验。
71.在该实施例中，获取第一输入对应的第一处理结果以及获取第二输入对应的第二处理过程，能够便于在电子设备的主界面实现对rpa机器人与用户的协同操作的结果的共同展示，克服了相关技术中的用户和rpa机器人不能协同操作的技术问题。同时，在主界面的不同显示区域分别显示自动化处理的结果和用户的操作过程，能够使用户直观的了解到rpa机器人与用户的协同操作的结果，从而提高用户的使用体验。
72.如图6所示，在本技术的一个实施例中，获取第一输入对应的第一处理结果，包括：
73.步骤602，接收对第二界面的第三输入；
74.第三输入可以为用户需要查看自动化处理结果的输入指令。
75.步骤604，响应于第三输入，读取第一输入对应的第一处理结果。
76.根据用户的输入指令，读取rpa机器人的输入对应的自动化处理结果，能够提高用户自主的选择性。同时，当用户面对某些重要情况时，能够及时获取自动化处理结果，满足用户的使用场景需求。
77.在该实施例中，接收用户需要查看自动化处理结果的输入指令，并根据输入指令，读取rpa机器人的输入对应的自动化处理结果，能够满足用户的日常使用需求。同时，当用户面对某些重要情况时，能够及时获取自动化处理结果，满足用户的使用场景需求，提升用户使用体验。
78.如图7所示，在本技术的一个实施例中，接收第一输入和第二输入之前，还包括：
79.步骤702，在显示第二界面的情况下，接收第四输入；
80.第四输入可以为用户构建子界面的请求信息。
81.步骤704，响应于第四输入，在第二界面中显示第一界面。
82.根据用户的请求信息，在用户操作的主界面中显示rpa机器人的子界面，能够满足用户的需要，提升用户的使用体验。
83.在该实施例中，根据用户构建子界面的请求信息，能够在用户操作的主界面中显示rpa机器人的子界面，从而提前构建子桌面，满足rpa机器人与用户的协同操作的使用需求。同时，提前构建子桌面，能够满足后续根据用户指令对rpa机器人的控制需求，从而提升用户的使用体验。
84.如图8所示，响应于第四输入，在第一界面中显示第二界面，包括：
85.步骤802，响应于第四输入，获取自动化程序的运行状态；
86.获取自动化程序的运行状态，能够判断第一处理过程是否成功打开，从而避免第一处理过程在未运行的情况下对运行资源的浪费。
87.步骤804，在自动化程序处于运行状态下，在第一界面中显示第二界面。
88.在自动化程序处于运行状态下时，能够判断第一处理过程处于运行状态，从而根据用户需要在用户操作的主界面显示自动化程序的子界面，满足用户的使用需求。
89.在该实施例中，响应于用户构建子界面的请求信息，判断自动化程序的运行状态，
能够避免对子界面运行资源的浪费，当判断自动化程序为运行时，在用户操作的主界面显示自动化程序的子界面，实现了对自动化程序的处理结果和用户的操作过程的同时显示，从而满足rpa机器人与用户的协同操作，提高用户的使用体验。
90.在本技术的一个实施例中，在自动化程序处于运行状态下，在第一界面中显示第二界面之后，包括：在自动化程序由运行状态切换至停运状态的情况下，在第一界面中取消显示第二界面。
91.在该实施例中，在自动化程序由运行状态切换至停运状态的情况时，取消自动化程序的子界面在用户操作的主界面中的显示，能够进一步降低对运行资源的占用。同时，不影响主界面中其他子界面的运行，使得多个子界面运行彼此独立，根据用户需要显示相应自动化程序的子界面，提升用户的使用体验。
92.自动化过程的状态确认，以及自动化程序是否由运行状态切换至停运状态可以由第一界面系统中预存的函数关系进行确认。本技术并不对具体的函数关系进行限制。第一界面系统中还预存有开启第一处理过程和鉴定用户信息的相关函数。
93.第一界面系统中可以提前设置服务地址，保证第一界面系统能够控制远程界面协议的相关模块，从而保证第一界面系统与远程界面协议的相关模块之间的连接。
94.如图9所示，在本技术的一个实施例中，第二界面系统将装箱形成的任务数据转换成json(javascript object notation，javascript对象简谱)格式的信息发送给第一界面系统，第一界面系统对消息进行接收和解析后，发送给机器人运行程序机器人的参数信息，从而根据参数信息控制机器人。第一界面系统对消息进行接收和解析形成的参数信息也是json格式。同时，机器人生成反馈信息给第二界面系统。
95.实施例二
96.如图10所示，本技术的一个实施例提出了一种显示装置1000，包括：接收单元1002，接收单元1002用于接收第一输入和第二输入，第一输入为自动化程序所执行的输入；响应单元1004，响应单元1004用于响应于第一输入，在第一界面中显示第一内容，第一内容与第一输入对应的第一处理过程相关联；响应单元1004还用于响应于第二输入，在第二界面显示第二内容，第二内容与第二输入对应的第二处理过程，以及第一输入对应的第一处理结果相关联。
97.在该实施例中，接收单元1002用于接收第一输入和第二输入，从而能够同时节点自动化程序的输入和用户的输入，为用户操作和rpa机器人的协同操作提供基础。响应单元1004响应于第一输入和第二输入，电子设备的子界面显示自动化程序的处理过程，在电子设备的主界面显示自动化程序的处理结果和用户输入的处理过程，从而实现了对自动化程序的处理过程、自动化程序的处理结果和用户的操作过程的同时显示，提高用户的使用体验。
98.实施例三
99.如图11所示，本技术的一个实施例提供了一种显示装置1100，包括：存储器1102和处理器1104，存储器1102存储在处理器1104上运行的程序或指令，程序或指令被处理器1104执行时实现如上述任一实施例的显示方法的步骤。
100.在该实施例中，显示装置1100包括存储器1102和处理器1104，存储器1102存储在处理器1104上运行的程序或指令，程序或指令被处理器1104执行时实现上述任一实施例的
显示方法的步骤，从而具有上述任一实施例的全部有益技术效果，在此不再赘述。
101.实施例四
102.本技术的一个实施例提出了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述任一实施例的显示方法的步骤。
103.在该实施例中，可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述任一实施例的显示方法的步骤，从而具有上述任一实施例的全部有益技术效果，在此不再赘述。
104.进一步地，可以理解的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
105.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
106.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
107.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
108.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
109.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
110.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。