用于设备交互的方法、装置、设备和存储介质与流程

本申请涉及计算机技术领域，尤其涉及一种用于设备交互的方法、装置、设备和计算机可读存储介质。

背景技术：

近年来随着计算机软硬件技术的发展，出现了各种形式的可穿戴式智能设备，例如智能手表、头戴式电子设备和智能运动鞋等，这些可穿戴式智能设备在工业、医疗健康、军事、教育、娱乐等许多领域表现出了广阔的应用前景。

头戴式电子设备作为其中最具代表性的穿戴式智能设备，在使用时可以与手机等终端设备连接。例如，头戴式电子设备可以与手机连接，头戴式电子设备可以作为手机的扩展屏使用。还例如，手机可以作为头戴式电子设备的计算单元使用，为头戴式电子设备提供计算功能。可见，手机等终端设备与头戴式电子设备经常需要相互配合使用，此种情况下如何尽可能的利用终端设备实现头戴式电子设备更多的功能成为人们关注的问题。

技术实现要素：

本公开实施例提供了一种用于设备交互的方法、装置、设备和存储介质。

第一方面，本公开实施例提供了一种用于设备交互的方法，包括：获取第一终端的姿态变化信息，其中，姿态变化信息用于表征第一终端在空间中的姿态变化，第一终端设置有触控区域；根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象；若第一终端接收到针对触控区域的触控操作，则确定触控操作的触控类型；根据触控操作的触控类型，生成目标对象的控制指令；对目标对象执行控制指令，以更新用户界面。

第二方面，本公开实施例提供了一种用于设备交互的装置，包括：第一获取模块，用于获取第一终端的姿态变化信息，其中，姿态变化信息用于表征第一终端在空间中的姿态变化，第一终端设置有触控区域；定位模块，用于根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象；第一处理模块，用于若第一终端接收到针对触控区域的触控操作，则确定触控操作的触控类型；第一生成模块，用于根据触控操的触控类型，生成目标对象的控制指令；第一执行模块，用于对目标对象执行控制指令，以更新用户界面。

第三方面，本公开实施例提供了一种用于设备交互的设备，包括头戴式的显示终端和移动终端，显示终端与移动终端可进行通信，移动终端包括：处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现如第一方面的用于设备交互的方法。

第四方面，本公开实施例提供了一种用于设备交互的设备，包括头戴式的显示终端和移动终端，显示终端与移动终端可进行通信，显示终端包括：处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现如第一方面的用于设备交互的方法。

第五方面，本公开实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如第一方面的用于设备交互的方法步骤。

本公开实施例提供的技术方案，首先获取第一终端的姿态变化信息，之后，根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，并在用户界面中确定与调整后的操作点对应的目标对象，若第一终端接收到针对触控区域的触控操作，则确定触控操作的触控类型，而后，根据触控操作的触控类型，生成对目标对象的控制指令，最后对目标对象执行控制指令，以更新用户界面。本申请中在利用终端设备与头戴式电子设备进行交互的过程中，通过第一终端设置的触控区域可以控制第二终端的用户界面的显示，从而使得第一终端和第二终端在配合使用时，利用第一终端已有的结构实现了手柄的功能来控制第二终端的显示，充分利用了第一终端。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为适用于本申请的用于设备交互的方法或用于设备交互的装置的系统结构示意图；

图2为根据本申请的用于设备交互的方法的第一实施例的流程示意图；

图3为根据本申请的用于设备交互的方法的第二实施例的流程示意图；

图4为根据本申请的用于设备交互的方法的第三实施例的流程示意图；

图5为根据本申请的用于设备交互的方法的第四实施例的流程示意图；

图6为根据本申请的用于设备交互的方法的第五实施例的流程示意图；

图7为根据本申请的用于设备交互的方法的第六实施例的流程示意图；

图8为根据本申请的用于设备交互的方法的第七实施例的流程示意图；

图9为根据本申请的用于设备交互的装置的模块组成示意图；

图10为根据本申请的用于设备交互的电子设备的结构示意图。

图例说明：

200-第一终端，300-第二终端，201-触控区域。

具体实施方式

本公开实施例提供了一种用于设备交互的方法、装置、设备和存储介质。

为了使本技术领域的人员更好地理解本公开中的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

如图1所示，图1为适用于本申请的用于设备交互的方法或用于设备交互的装置的系统结构示意图。该系统可以包括第一终端(如智能手机)200、第二终端(如头戴式电子设备)300。第一终端200和第二终端300可以通过各种方式连接，例如有线、无线通信链路或者光纤电缆等等。第一终端200和第二终端300可以进行交互，以发送或接收信息等。

应该理解，图1中的第一终端200可以是硬件，也可以是软件。当第一终端200为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机等等。当第一终端200为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。图1中的第二终端300可以是头戴式电子设备，该头戴式电子设备可以是在空间中指定位置处显示待操作的用户界面的电子设备，包括但不限于ar眼镜、vr眼镜等。

需要说明的是，上述第一终端200的触摸屏可以设有触控区域。例如，如图1所示，可以将第一终端200的触控屏直接确定为触控区域201，该触控区域201可以接收用户的触控操作来辅助实现在界面中的选中等功能，触控操作可以如单击、双击、滑动等。上述第一终端200可以是提供各种服务功能的电子设备。例如，对获取到的第一终端的姿态变化信息进行分析等处理，并将处理结果(如，根据第一终端在第二终端的用户界面指向的位置调整得到的操作点)反馈给第二终端。

需要说明的是，本申请实施例所提供的用于设备交互的方法一般由第一终端200执行，相应地，用于设备交互的装置一般设置于第一终端200中。

还需要指出的是，第二终端300也可以是提供各种服务功能的电子设备，例如，对从第一终端获取的姿态变化信息进行分析等处理，根据处理结果可以调整第二终端的用户界面中显示的操作点等。相应地，用于设备交互的装置可以设置于第二终端300中。

应该理解，图1中的第一终端200和第二终端300的数目仅仅是示意性的。根据实现需要，可以具有任意数目的第一终端200和第二终端300。例如，图1中可以包括两个第一终端200和一个第二终端300，此时两个第一终端200均可以与第二终端300交互，以实现更新第二终端300的用户界面。

如图2所示，图2示出了根据本申请的用于设备交互的方法的第一实施例的流程示意图。该用于设备交互的方法，包括以下步骤：

在步骤s102中，获取第一终端的姿态变化信息。

在本实施例中，用于设备交互的方法的执行主体(例如，图1中的第一终端200)可以通过各种方式获取第一终端的姿态变化信息。其中，姿态变化信息可以表征第一终端在空间中的姿态变化。这里，第一终端在空间中的姿态变化可以理解为第一终端在空间中多个(如6个)方向上自由运动的变化。作为示例，上述第一终端可以通过其上安装的传感器直接获取自身的姿态变化信息，此种情况下，上述执行主体可以从第一终端直接获取第一终端的姿态变化信息。

需要说明的是，上述第一终端可以为包括触控显示屏的终端设备。例如，第一终端可以为手机。并且上述第一终端的触控显示屏上可以设置有触控区域。作为示例，上述触控区域可以辅助用户触控操作，如通过接收到单击、双击、滑动等操作来对应执行打开应用程序、关闭应用程序、打开某应用程序的菜单。在本实施例中，第一终端上设置的触控区域不再做功能的划分，整个触控区域可以实现相同的触控功能。例如，第一终端的整个触控屏可以作为触控区域，用于辅助用户的触控操作，而不再对第一终端的触控屏再次划分。

通常，上述第一终端可以安装有用于采集多个自由度(degreeoffreedom)信息的传感器。作为示例，上述第一终端的传感器可以为3dof或是6dof的传感器的移动设备，其中，3dof可以指有3个转动角度的自由度，而6dof可以指除了3个转动角度外，再加上上下、前后、左右3个位置相关的自由度。上述姿态变化信息可以表征第一终端在空间中位置的变化和第一终端在空间中方向的变化。例如，第一终端在空间中的姿态由水平状态变化为竖直状态，或者，还可以为第一终端在空间中的姿态由水平状态变化为与水平方向倾斜一定的角度的状态等。上述第一终端的姿态变化信息可以通过上述3dof的传感器或是6dof的传感器来确定。可以理解的是，若第一终端安装有6dof传感器，那么第一终端在空间中移动时可以直接采集6dof信息来确定出姿态变化信息。此时上述执行主体可以直接获取第一终端的姿态变化信息。

在步骤s104中，根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象。

在本实施例中，上述第二终端可以是头戴式电子设备，该第二终端可以将用户界面显示在空间中指定位置处。在第一终端和第二终端交互的过程中，第一终端在空间中的姿态可以与用户界面中的操作点对应，因此第一终端在空间中的姿态发生变化时，相应地第二终端的用户界面中的操作点也相应地发生变化。上述执行主体在获取姿态变化信息之后，可以对姿态变化信息进行分析，从而可以对第二终端显示的用户界面中的操作点进行调整。上述执行主体可以在用户界面中确定出调整后的操作点所指示的对象，并将该对象确定为目标对象。

作为示例，对于第一终端在空间中当前位姿，第二终端显示的用户界面中操作点所在位置指示第一app图标，上述执行主体根据位姿变化信息可以调整第二终端显示的用户界面中操作点，从当前第一app图标所在的位置调整到第二app图标所在的位置，从而可以在用户界面中确定与调整后的操作点对应的目标对象为第二app。

在步骤s106中，若第一终端接收到针对触控区域的触控操作，则确定触控操作的触控类型。

在本实施例中，第一终端可以接收用户对触控区域的各种触控操作，而后对所接收到的触控操作进行分析从而可以确定出触控操作的触控类型。这里，触控操作可以包括滑动操作、点击操作或长按操作等。上述触控类型可以包括左滑类型、右滑类型、上滑类型、下滑类型、单击类型、双击类型、长按类型等。作为示例，上述执行主体可以对接收到的滑动操作的滑动轨迹进行分析，从而确定出左滑类型、右滑类型、上滑类型、下滑类型等。或者，上述执行主体还可以对点击操作进行分析，从而确定出单击类型、双击类型等。

步骤s108中，根据触控操作的触控类型，生成目标对象的控制指令。

在本实施例中，基于步骤s106所确定的触控类型，上述执行主体可以响应于上述触控操作的触控类型生成针对上述目标对象的控制指令。可以理解的是，预先设置与不同触控类型对应的控制指令，因此上述执行主体在确定出触控类型之后可以得到对应的控制指令，该控制指令可以用于控制上述目标对象。可以理解的是，这里还可以预先生成控制指令，此时上述执行主体根据触控操作的触控类型可以直接调用目标对象的控制指令。

作为示例，上述目标对象可以为显示在用户界面的第一app的窗口，若上述第一终端在接收到用户针对触控区域的滑动操作时，上述执行主体可以对接收到的滑动操进行分析，从而确定出触控类型为左滑类型。而后上述执行主体根据左滑类型生成窗口缩小指令，以缩小第一app的窗口。

在步骤s110中，对目标对象执行控制指令，以更新用户界面。

本实施例中，基于步骤s108生成的控制指令，上述执行主体可以对上述目标对象执行该控制指令，并生成相应的操作结果数据。然后，上述执行主体可以在上述第二终端显示的用户界面中显示上述操作结果数据，以更新用户界面。作为示例，若上述控制指令为对该第一app的界面内容进行缩小的指令，则上述操作结果数据可以为该第一app界面内容缩小后的界面数据，第二终端的用户界面可显示该界面数据。

需要说明的是，本申请公开的方法，第一终端(例如，手机)和第二终端(例如，头戴式电子设备)交互的过程中，当用户需要对第二终端的用户界面显示的目标对象进行操作时，无需移动第二终端，第二终端的用户界面可以直接显示待操作的目标对象，而后用户移动第一终端即可以移动用户界面上显示的操作点，直到操作点移动至目标对象为止。

进一步的，第一终端和第二终端在交互的过程中，第二终端的移动通常不会改变用户界面显示的信息，从而提高了交互过程中用户界面显示的稳定性。例如，上述第二终端为智能眼镜，第一终端为手机，用户在佩戴智能眼镜时，采用手机与智能眼镜进行交互的过程中，若需要对目标对象进行操作，可以直接移动手机，使得智能眼镜的用户界面的操作点调整到目标对象即可，无需用户移动头部佩戴的智能眼镜。可以理解的是，用户佩戴智能眼镜时，用户一般很难保证头部固定不动，如果移动头部就会使得智能眼镜显示的内容发生变化，那么智能眼镜的用户界面会出现显示内容不根据实际的需求变化的情况，从而导致智能眼镜和手机交互的过程中，智能眼镜的用户界面显示不稳定。

本公开的上述实施例提供的用于设备交互的方法，首先获取第一终端的姿态变化信息，之后，根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，并在用户界面中确定与调整后的操作点对应的目标对象，若第一终端接收到针对触控区域的触控操作，则确定触控操作的触控类型，而后，根据触控操作的触控类型，生成对目标对象的控制指令，最后对目标对象执行控制指令，以更新用户界面。本申请中在利用终端设备与头戴式电子设备进行交互的过程中，通过第一终端设置的触控区域可以控制第二终端的用户界面的显示，从而使得第一终端和第二终端在配合使用时，利用第一终端已有的结构实现了手柄的功能来控制第二终端的显示，充分利用了第一终端。该实施例中的第一终端，利用触控屏上设置的触控键和姿态变化信息可以实现手柄的功能，从而使得第一终端具有了新用户，从而充分利用了第一终端。

进一步的，上述步骤s106的处理过程可以多种多样，在一些可选的实施例中，以下再提供一种可选的处理过程，具体可以参见下述步骤a2-步骤a4的具体处理过程。

在步骤a2中，响应于确定出所述触控操作包括滑动触控操作，获取所述滑动触控操作的滑动轨迹。

可以理解的是，上述触控操作可以为各种类型的触控操作，例如，上述触控操作可以为点击操作。当然，上述触控操作还可以为滑动触控操作。上述执行主体在确定出上述触控操作包括滑动操作的情况下，可以获取滑动触控操作的滑动轨迹。这里，滑动轨迹可以包括左滑轨迹、右滑轨迹、上滑轨迹和下滑轨迹等。当然，上述滑动轨迹还可以包括其他方向的滑动轨迹，如，触控区域为矩形，滑动轨迹为由触控区域中心位置向触控区域的四个角的方向滑动的轨迹等，这里没有唯一的限定。

在步骤a4中，确定与所获取的滑动轨迹对应的触控类型，以得到与所确定的触控类型对应的控制指令。

上述执行主体在获取滑动轨迹后，可以确定出与所获取的滑动轨迹对应的触控类型。例如，滑动轨迹为左滑轨迹，则可以确定出对应的触控类型为左滑类型。相应地，若滑动轨迹为右滑轨迹，则可以确定出对应的触控类型为右滑类型。可以理解的是，上述执行主体在确定出触控类型后可以得到与触控类型对应的触控指令。这里，可以预先建立触控类型和触控指令之间的对应关系，例如，左滑类型与目标对象放大指令对应，右滑类型与目标对象缩小指令，上滑类型和下滑类型分别与目标对象近拉近指令和目标对象推远指令对应。由此可知，上述执行主体在得到控制指令后执行所得到的控制指令可以控制目标对象放大、缩小、拉近或推远。

作为示例，上述执行主体在第二终端的用户界面上确定出第一app的窗口为目标对象后，第一终端接收到触控操作之后，确定出触控类型为左滑类型。此种情况下，上述执行主体可以得到与左滑类型对应的目标对象放大指令，执行该目标对象放大指令则可以将第一app的窗口放大，并将放大后的第一app的窗口显示在第二终端的用户界面中。

这样，用户可以通过手指或触控笔在第一终端的触控区域沿着某预设的方向进行触控操作，上述执行主体在确定出所接收到的触控操作的触控轨迹时，可以确定出对应的触控类型，得到与该触控类型对应的控制指令，从而对目标对象执行控制指令来对目标对象放大、缩小、拉近或推远，该方法丰富了第一终端和第二终端的交互形式，提升了用户体验。

可以理解的是，上述第一终端的触控区域所接收到的触控操作不仅可以包括滑动触控操作，还可以包括点击、长按等触控操作，因此上述执行主体确定出的触控类型还可以为单击类型、双击类型等，这里没有具体的限定。

在一些可选的实施例中，上述方法还可以包括下述步骤b2-步骤b6的处理过程，具体可参见下述步骤b2-步骤b6的具体处理过程。

在步骤b2中，响应于接收到用户界面初始化指令，获取第二终端当前在空间中的姿态信息。其中，上述初始化指令可以用于初始化第二终端的用户界面在当前显示空间中的位置。

在步骤b4中，根据所获取的姿态信息，确定用户界面在空间中的当前显示位置信息。

在步骤b6中，将用户界面显示在当前显示位置信息所指示的位置处。

在本实施例中，上述执行主体可以在不同场景下接收用户界面初始化指令。而后，上述执行主体可以获取第二终端在空间中的位姿信息，例如，可以获取第二终端在空间的坐标位置信息和第二终端的方向信息。

作为示例，第二终端可以为用户佩戴的智能眼镜，智能眼镜中的惯性单元传感器imu可以感知智能眼镜的角速度和加速度数据，智能眼镜的灰度相机可以采集周围环境中的灰度图像。然后，分析角速度、加速度数据和灰度图像可以确定智能眼镜在空间中的坐标位置和朝向(该朝向通常可以表示佩戴智能眼镜的用户面部的朝向，以便于将智能眼镜的用户界面设置在用户的前方)。

可以理解的是，可以预先设置第二终端与第二终端显示的用户界面的距离(例如2米)，并将该距离确定为预设距离。上述执行主体在确定出第二终端的位姿信息后，可以对位姿信息进行分析，在空间中确定出第二终端所朝向的方向上预设距离处的位置，并将该位置确定为用户界面显示的位置。

作为示例，在上述第一终端和第二终端从未连接状态转为连接状态场景下，可以调用上述初始化指令。该场景具体可以为：安装在上述第一终端或第二终端中的某预定应用程序检测到上述第一终端与第二终端连接成功时，可以通过该应用程序调用初始化指令，上述执行主体在接收到初始化指令之后即可以获取第二终端的姿态信息，进而可以在空间中确定第二终端的用户界面所处的位置。

在上述示例中，由于上述预先设定的用户界面与当前第二终端之间的相对距离，为预设距离。这样，用户在启动上述第一终端和第二终端进行交互的过程中，通过对上述第二终端显示的用户界面的位置进行初始化操作，可以使得上述第二终端显示的用户界面显示在空间中的预设位置处，使得用户在使用上述第二终端观看到的用户界面的视觉效果较好，进一步提高了用户的使用体验。

当然可以理解的是，上述执行主体还可以通过其他方式设置第二终端的用户界面在空间中的位置，例如，可以根据第一终端在空间中的姿态信息确定第二终端的用户界面设置在空间中的位置，这里没有唯一的限定。

在一些可选的实施例中，在第一终端和第二终端在交互时，第一终端可以控制特定的应用软件在第二终端的用户界面显示。上述执行主体可以通过多种方式选择上述特定的应用软件。如图3所示，在上述步骤s102之前，上述方法还可以包括下述步骤s002-步骤s008的处理过程，具体可以参见下述步骤s002-步骤s008的具体处理过程。

在步骤s002中，获取预先存储的应用软件的白名单。

其中，上述白名单可以是预先存储的、可以显示在第二终端的用户界面中的应用软件的名单信息。上述白名单的确定方式可以多种多样。例如，可以是根据满足预设条件的应用软件来确定白名单。该预设条件可以为第一终端检测到用户在历史时段(如1天)内使用某应用软件的使用时常长大于预设时长。作为示例，上述白名单可以实时地被更新，具体地，可以将第一终端检测到的满足上述预设条件的应用软件实时地自动添加到上述白名单中。或者，上述预设条件也可以为在预设时历史时段(如1周)内使用次数超过预设阈值，这里没有唯一的限定。

在步骤s004中，基于白名单，从第一终端确定待显示在第二终端的信息。

在步骤s006中，将待显示在第二终端的信息按照预设的显示模式进行设置，得到主用户界面。

其中，上述显示模式可以包括2d显示模式或3d显示模型等。或者，上述显示模式还可以包括待显示的信息的排列方式等，例如，待显示的信息为从白名单选出的应用软件，上述显示模式可以为将所选择的应用软件分为不同组的显示模式。这里，对于上述显示模式没有唯一的限定。

在步骤s008中，将主用户界面确定为第二终端显示的用户界面。

这样，通过获取预先存储的应用软件的白名单，从第一终端确定待显示在第二终端的信息，并将待显示在第二终端的信息按照预设的显示模式进行设置，从而可以得到主用户界面。最后，可以将上述主用户界面确定为上述第二终端显示的用户界面，以便于用户可以通过第一终端对显示在第二终端主用户界面中的应用软件进行操控。

在一些可选的实施例中，如图4所示，在上述步骤s102之前，上述方法还可以包括下述步骤s010-步骤s016的处理过程，具体可以参见下述步骤s010-步骤s016的具体处理过程。

在步骤s010中，针对第一终端安装的多个应用软件中的应用软件，响应于确定出该应用软件包括目标软件开发工具包，将该应用软件确定为目标应用软件。

在步骤s012中，基于目标应用软件，从第一终端确定待显示在第二终端的信息。

在步骤s014中，将待显示在第二终端的信息按照预设的显示模式进行设置，得到主用户界面。

在步骤s016中，将主用户界面确定为第二终端显示的用户界面。

这样，通过将确定出的使用目标软件开发工具包的应用软件确定为目标应用软件，目标应用软件与第二终端适配效果更好。然后，可以从第一终端确定出目标应用软件作为待显示在第二终端的信息，并将待显示在第二终端的信息按照预设的显示模式进行设置，从而可以得到主用户界面。最后，可以将上述主用户界面确定为上述第二终端显示的用户界面，以便于用户可以通过第一终端对显示在第二终端主用户界面中的应用软件进行操控。该实施例使得用户可以在第二终端显示的用户界面中查找到目标应用软件，满足了用户的多样化的需求，提高了用户的使用体验。

在一些可选的实施例中，如图5，上述步骤s102的处理方法可以多种多样，以下再提供一种可选的处理方法，具体可以参见下述步骤s1022-步骤s1024的具体处理过程。

在步骤s1022中，获取第一终端的方向变化信息。

在步骤s1024中，根据方向变化信息和预设的基准点，确定第一终端的姿态变化信息。

其中，基准点可以为基于第二终端的使用者确定的相对位置点。这里，上述执行主体可以获取第一终端在空间中的方向变化信息。作为示例，第一终端可以设置有陀螺仪等传感器，第一终端在空间中移动后可以通过该传感器采集第一终端的方向变化信息。然后，在空间中选择一个位置点作为基准点。例如，该基准点可以为空间中与用户面部中的某一点之间满足预设条件的点，如以用户下巴的某个相对位置点为基准点。根据该基准点以及上述确定出的第一终端的方向变化信息，可以确定出该第一终端的姿态变化信息。

在一些可选的实施例中，如图6所示，上述第二终端显示的用户界面可以为三维用户界面，上述步骤s104的具体处理过程可以多种多样，以下再提供一种可选的处理方法，具体可以参见下述步骤s1042-步骤s1044的具体处理过程。

在步骤s1042中，根据姿态变化信息，调整预设的射线在空间中的延伸方向。其中，射线的延伸方向可以用于表征第一终端在空间中的方向。

在步骤s1044中，确定射线与第二终端显示的用户界面的交点，将交点确定为操作点。

当然可以理解的是，上述第二终端显示的用户界面可以为二维用户界面，此时，第二终端的用户界面中的操作点还可以通过箭头等形式表示，这里没有具体的限定。

进一步的，考虑到用户在针对第一终端设置的触控区域进行触控操作的过程中，如果第一终端在用户的触发操作下一直处于亮屏状态，可能会导致第一终端的耗电速度过快，进而可能会导致用户使用第一终端和第二终端进行交互的有效交互时长减少。因此，为了延长用户使用第一终端和第二终端进行交互的有效交互时长，在一些可选的实施例中，如图7所示，上述方法还可以包括下述步骤s018-步骤s020的具体处理过程。

在步骤s018中，若检测到第一终端与第二终端建立了通信连接，则对第一终端的触控屏进行熄屏。

在步骤s020中，将熄屏后的触控屏确定为第一终端的触控区域。

在本实现方式中，在上述第一终端和第二终端从未连接状态转为连接状态的情况下，上述执行主体可以检测到第一终端与第二终端建立了通信连接。之后，上述执行主体可以生成熄屏指令，通过该熄屏指令对上述第一终端的触控屏进行熄屏。然后，将熄屏后的触控屏的全部有效触控区域确定为第一终端的触控区域。这样，用户在通过将上述第一终端与第二终端进行连接后，可以直接在上述处于熄屏状态下的第一终端的触控区域进行触控操作，延长了用户使用第一终端与第二终端进行交互的有效交互时长，提高了用户的使用体验。

进一步的，考虑到用户的使用习惯不同，有些用户在使用第一终端和第二终端进行交互的过程中，存在点亮第一终端的屏幕的需求。因此，为了满足用户的多样化需求，在一些可选的实现方式中，上述方法还可以包括下述步骤k2-步骤k6的处理过程，具体可以参见下述步骤k2-步骤k6的具体处理过程。

在步骤k2中，若第一终端接收到针对触控区域的目标预设触控操作，则响应于目标预设触控操作生成熄屏指令。

可选地，上述目标预设触控操作的触控方式可以多种多样。作为示例，上述目标预设触控操作可以为当用户通过触控位于第一终端上的某指定物理按键时，上述执行主体所接收到的针对触控区域的触控操作。或者，上述目标预设触控操作还可以为用户通过手指或触控笔在第一终端触摸区域内的预设操作。例如，该目标预设触控操作可以为用户通过手指或触控笔在第一终端触摸区域内朝着触摸区域左上角滑动的触控操作。或者，还可以是用户通过两只手指或三只手指同时在第一终端触控区域内的滑动触控操作。本申请对上述目标预设触控操作的具体表现形式不做具体限定。

这里，以上述目标预设触控操作为用户通过手指或触控笔在第一终端触摸区域内朝着触摸区域左上角滑动的触控操作为例。当用户在使用第一终端和第二终端进行交互的过程中，若用户希望延长使用第一终端和第二终端进行交互的有效交互时长，且该用户没有第一终端一直亮屏的需求时，用户可以通过手指或触控笔在第一终端触摸区域内朝着触摸区域左上角滑动，这样第一终端在接收到针对触控区域的目标预设触控操时，上述执行主体可以响应于上述目标预设触控操作生成熄屏指令。

在步骤k4中，执行熄屏指令，对第一终端显示触控区域的触控屏进行熄屏。

在步骤k6中，将熄屏后的触控屏确定为第一终端的触控区域。

这样，用户在使用第一终端和第二终端进行交互的过程中，可以根据自己的实际需求，来决定是否触发针对触控区域的目标预设触控操作。进而用户可以在第一终端提供的符合自己实际需求的触控区域进行触发操作。满足了用户在使用第一终端和第二终端进行交互过程中的多样化需求，提高了用户的使用体验。

进一步的，考虑到如果将home等功能键设置在第一终端的触控区域内(即触控区域划分为两个不同的功能区域)，可能会存在用户在进行触控操作时出现误触发home键等功能键的问题，从而降低了用户使用第一终端和第二终端进行交互体验的沉浸感。因此，为了减少用户在使用第一终端和第二终端进行交互过程中的误触发问题，在一些可选的实现方式中，上述方法还可以包括下述步骤m2-步骤m4的处理过程，具体可以参见下述步骤m2-步骤m4的具体处理过程。

在步骤m2中，获取多个预设功能键。

其中，上述预设功能键的确定方式可以多种多样。例如，上述预设功能键可以是上述执行主体根据检测到的用户在历史时段(如1天)内使用功能键的次数大于预设次数时确定出的多个功能键。或者，也可以是用户根据自己的实际使用需求预先添加在上述白名单中的功能键等。上述预设功能键可以包括home键、快捷照键等。需要说明的是，本方法对上述预设功能键的确定方式，以及上述预设功能键的种类不作具体限定。

在步骤m4中，将预设功能键确定为待显示在第二终端的信息。

通过上述方法，上述执行主体在检测到上述第一终端与第二终端连接成功的情况下，可以获取多个预设功能键。然后，将上述获取的预设功能键确定为待显示在第二终端的信息并在第二终端显示的用户界面中进行展示。有效避免了同时将多个功能键布置在第一终端的触控区域时，用户在进行触控操作时可能会出现误触发某功能键，从而降低了用户使用第一终端和第二终端进行交互体验的沉浸感的问题，进一步提高了用户的使用体验。

进一步地，考虑到将多个预设功能键展示在第二终端显示的用户界面上，可能存在多个功能键在上述用户界面上分布较为零散，不便于用户查找的问题。因此，为了便于用户在使用某预设功能键执行某预设功能时，能够快速找到该预设功能键，在一些可选的实现方式中，在上述步骤m2之后，上述方法还可以包括下述步骤m6的具体处理过程。

在步骤m6中，将多个预设功能键按照预设功能显示模式进行合并，生成合并后的预设功能键。

可选地，上述步骤m4的处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以参见下述步骤m42的具体处理过程。

将合并后的预设功能键确定为待显示在第二终端的信息。

这样，通过上述处理将多个预设功能键按照预设功能显示模式进行合并，生成合并后的预设功能键，其中，合并后的预设功能键包括多个区域，每个区域分别对应一个预设功能键，然后，将合并后的预设功能键确定为待显示在第二终端的信息的方法，使得用户在需要使用某预设功能键的过程中，通过找到的该合并后的预设功能键，可以很容易找到该预设功能键，进一步提高了用户使用第一终端和第二终端进行交互的交互效率。

可选地，上述合并后的预设功能键可以按照预设模式进行显示。

例如，上述合并后的预设功能键的显示模式可以为2d显示模式，则合并后的预设功能键的显示模式可以包括轮盘显示模式，其中，轮盘划分为多个区域，每个区域分别对应一个预设功能键。

或者，上述合并后的预设功能键的显示模式还可以为3d显示模式，则合并后的预设功能键的显示模式包括立方体显示模式，立方体显示模式中的每个面对应一个区域，每个区域分别对应一个预设功能键。

这样，通过将上述合并后的预设功能键可以按照不同的模式进行显示，如轮盘显示模式或立方体显示模式，用户通过点击轮盘显示的某个区域或立方体显示的某个面的方式，可以触发某预设功能，进一步提高了用户的使用体验。

在一些可选的实施例中，上述执行主体接收到预设功能键的调用指令后，可以在第二终端的用户界面按照预设模式显示预设功能键。可以理解的是，上述预设功能键可以为包括home键、快捷照等多种功能键。上述执行主体可以接收到任一预设功能键的调用指令，即可以在第二终端的用户界面进行显示。

进一步的，为了进一步提高用户在使用第一终端和第二终端进行交互的交互效率，在一些可选的实现方式中，上述方法还可以包括下述步骤p2-步骤p4的具体处理过程。

在步骤p2中，接收第三预设指令，其中，第三预设指令可以为用于调用预设功能键的调用指令。

其中，上述第三预设指令可以是通过语音方式接收的指令。或者，还可以是通过接收到用户对第一终端或第二终端上设置的物理按键的触控操作获取的指令。这里，对于上述第三预设指令的接收形式没有唯一的限定。

在步骤p4中，响应于第三预设指令，执行对预设功能键的控制指令，以更新用户界面。

在本实现方式中，在用户在使用上述第一终端和第二终端进行交互的过程中，当用户需要执行某预设操作的时候，如需要“执行返回桌面”或“启动home键”时，用户可以说出“返回桌面”或者“启动home键”等。或者，可以触发位于上述第一终端或第二终端上的与该预设功能相对应的物理按键(如home键)等。这样，上述执行主体可以通过设置在上述第一终端或第二终端中的语音接收组件接收上述第三预设指令，或者通过检测到的用户对与该预设功能的物理按键所进行的触控操作，然后，响应于上述第三预设指令，执行对上述预设功能键的控制指令，以更新用户界面。通过上述方式，上述执行主体在接收到上述第三预设指令的情况下，可以直接响应于上述第三预设指令，执行对预设功能键的控制指令，进一步提高用户在使用第一终端和第二终端进行交互的交互效率。

可以理解的是，考虑到用户在使用第一终端和第二终端进行交互的过程中，当用户需要执行某预设操作的时候，若由于口误说错了该预设操作所对应的预设功能键时，可能会导致不能按照用户预期的想法来顺利进行交互操作。因此，为了进一步提高用户的使用体验，在一些可选的实现方式中，上述方法还可以包括下述步骤w2-步骤w10的具体处理过程。

在步骤w2中，接收第一预设指令，其中，第一预设指令可以为用于调用预设功能键的调用指令。

作为示例，上述第一预设指令可以是通过语音方式获取的指令。

在本实现方式中，用户在使用上述第一终端和第二终端进行交互操作的过程中，若用户需要通过某预设功能键实现某预设功能，则可以说出该预设功能键的名字或者想要实现的预设功能。这样，上述执行主体可以通过设置在上述第一终端中的语音接收组件接收上述第一预设指令。

作为示例，用户在使用上述第一终端和第二终端进行交互的过程中，若用户想要退出当前第二终端显示的用户界面而返回至桌面，则可以说出“返回桌面”或者“启动home键”等。这样，上述执行主体可以通过设置在上述第一终端中的语音接收组件接收上述第一预设指令，如“返回桌面”或者“启动home键”等。

在步骤w4中，响应于第一预设指令，获取与第一预设指令对应的预设功能键的信息。

作为示例，以上述步骤w2的示例为例，当上述执行主体接收到上述“返回桌面”或者“启动home键”等第一预设指令的情况下，可以对上述接收到的第一预设指令进行解析，得到与该第一预设指令对应的预设功能键的信息(如home键信息)，然后，响应于上述第一预设指令，获取与该第一预设指令对应的预设功能键的信息。

在步骤w6中，将预设功能键显示在用户界面中。

作为示例，以上述步骤w4中的示例为例，在获取到与该第一预设指令对应的预设功能键的信息(如home键)的情况下，上述执行主体可以将该预设功能键如home键显示在上述第二终端当前显示的用户界面中。

在步骤w8中，若第一终端接收到针对预设功能键的触控操作，则生成对预设功能键的控制指令。

在本实现方式中，用户可以对第一终端上设置的触控区域进行触控操作。因此，在第一终端接收到用户针对触控区域的触控操作的情况下，响应于该触控操作，上述执行主体可以生成针对预设功能键的控制指令。具体地，上述执行主体为第一终端，则该第一终端在接收到用户针对触控区域的触控操作时，可以响应于触控操作生成针对上述预设功能键的控制指令。或者上述执行主体为第二终端，则在第一终端接收到用户针对触控区域的触控操作时，第二终端可以获取该触控操作(例如，针对触控区域的单击操作)，并生成针对该预设功能键的控制指令。

作为示例，上述预设功能键可以为显示在第二终端显示的用户界面中的home键，上述第一终端在接收到用户针对触控区域的单击操作时，上述执行主体响应于该单击操作可以生成针对该home键的控制指令，以便于可以从当前显示界面返回至桌面。

在步骤w10中，对预设功能键执行控制指令，以更新用户界面。

这样，用户在使用上述第一终端和第二终端进行交互的过程中，当用户需要执行某预设操作的时，上述执行主体可以接收用户发出的第一预设指令，并将与该第一预设指令对应的预设功能键显示在上述第二终端显示的用户界面中，用户可以通过执行对显示在上述第二终端显示的用户界面中的预设功能键执行触发操作。有效地解决了用户口误说错预设操作所对应的预设功能键导致的不能按照用户预期的想法来顺利进行交互操作的问题，进一步提高了用户对预设功能键触发的准确性。

可选地，为了进一步提高用户在使用第一终端和第二终端进行交互过程中的交互效率，在一些可选的实现方式中，上述方法还可以包括下述步骤i2-步骤i10的具体处理过程。

在步骤i2中，接收第二预设指令，其中，第二预设指令可以为用于调用合并后的预设功能键的的调用指令。

作为示例，上述第二预设指令可以是通过语音方式获取的指令。

在本实现方式中，用户在针对上述第一终端和第二终端交互的过程中，若用户需要同时调用多个预定功能键，为了便于用户的操作，用户可以说出获取合并后的预设功能键的信息，这样，上述执行主体可以通过设置在上述第一终端或第二终端中的语音接收组件接收上述第二预设指令。

作为示例，用户在针对上述第一终端和第二终端交互的过程中，若用户想要一次性获取多个预设功能组件，则可以说出“获取合并后的预设功能键”等。这样，上述第一终端可以通过设置在上述第一终端中的语音接收组件接收上述第二预设指令，如“获取合并后的预设功能键”等。

在步骤i4中，响应于第二预设指令，获取与第二预设指令对应的合并后的预设功能键的信息。

上述步骤i4的具体处理过程可参见上述步骤s114的具体处理过程。

在步骤i6中，将合并后的预设功能键显示在用户界面中。

上述步骤i6的具体处理过程可参见上述步骤s116的具体处理过程。

在步骤i8中，若第一终端接收到针对合并后的预设功能键的目标区域的触控操作，则生成与目标区域所对应的预设功能键的控制指令。

作为示例，上述合并后的预设功能键在第二终端显示的用户界面上的显示形式可以包括多个区域，每个区域可以对应于一个预设功能键，上述目标区域为目标功能键所在的区域。

在本实现方式中，用户可以对第一终端上设置的触控区域进行触控操作。因此，在第一终端接收到用户针对合并后的预设功能键的目标区域的触控操作的情况下，响应于该触控操作，上述执行主体可以生成针对目标区域所对应的预设功能键的控制指令。作为示例，上述执行主体可以为第一终端，则该第一终端在接收到用户针对触控区域的触控操作时，可以响应于触控操作生成针对上述目标区域所对应的预设功能键的控制指令。或者，上述执行主体还可以为第二终端，则在第一终端接收到用户针对触控区域的触控操作时，第二终端可以获取该触控操作(例如，针对触控区域的点击操作)，并生成针对该目标区域所对应的预设功能键的控制指令。

作为示例，上述目标区域所对应的预设功能键可以为home键，上述第一终端在接收到用户针对触控区域的点击操作，确定点击操作的触控类型为单击类型时，上述执行主体响应于该单击类型可以生成针对该home键的控制指令，从而可以从当前显示界面返回至桌面。

在步骤i10中，对预设功能键执行控制指令，以更新用户界面。

这样，用户在使用上述第一终端和第二终端进行交互的过程中，当用户想要一次性获取多个预设功能键时，上述执行主体可以通过接收用户发出的第二预设指令，并将与该第二预设指令对应的合并后的预设功能键显示在上述第二终端显示的用户界面中。而无需用户在每次需要使用不同的预先功能键时，都需要向上述执行主体发送第二预设指令，进一步提高用户在使用第一终端和第二终端进行交互过程中的交互效率。

进一步地，考虑到用户在使用上述执行主体来对触控键进行触控操作的过程中，可能会经常使用某些按键来完成某项特定的功能，为了提高用户在对这类按键触发的触发效率，如图8所示，在一些可选的实施例中，上述方法还可以包括下述步骤s112-步骤s116的处理过程，具体可以参见下述步骤s112-步骤s116的具体处理过程。

在步骤s112中，基于对操作点的调整，从至少一个预设功能键中选取目标功能键，将所选取的目标功能键确定为目标对象。

其中，上述目标功能键可以为具有某种功能的预设功能键。例如，该目标功能键可以为home键等。上述第二终端的用户界面显示目标功能键的方式具体可以参见前述实施例中步骤w2-步骤w6，或者，步骤i2-步骤i6的具体处理过程。

上述第一终端在和第二终端交互的过程中，第一终端在空间中的姿态可以与用户界面中的操作点对应，因此第一终端在空间中的姿态发生变化后，相应地第二终端的用户界面中的操作点也相应地发生变化。上述执行主体在获取姿态变化信息之后，可以对姿态变化信息进行分析，从而可以对第二终端显示的用户界面中的操作点进行调整。上述执行主体可以在用户界面中基于用户对操作点的调整，在第二终端显示的用户界面中确定与操作点对应的目标功能键。

在步骤s114中，若第一终端接收到针对触控区域的第一预设触控操作，则响应于第一预设触控操作生成返回主用户界面指令。

在步骤s116中，执行返回主用户界面指令，将第二终端当前显示的用户界面更新为主用户界面。

上述目标功能键可以为具有目标功能的按键(如返回主界面home键等)，该目标功能键显示在第二终端的显示的用户界面上。这样，通过将上述触控区域和目标功能键分开，可以有效避免将home键等预设功能键同时设置在第一终端的触控区域时，用户容易出现误触发按键的问题。解决了第一终端存在多个实现不同功能的触控区域(也可以理解为第一终端存在多个触控键)时用户容易误触的问题。

在一些实施例中，考虑到在对上述第二终端显示的用户界面在空间中的位置进行初始化之后，佩戴第二终端的用户在走动时，该第二终端和第二终端在空间中显示的用户界面之间的相对位置会发生变化。例如，佩戴第二终端的用户在往第二终端显示的用户界面方向靠近时，会导致用户与用户界面之间的距离逐渐减小，从而可能会影响用户的视觉效果。为了解决上述问题，本方法还可以包括下述步骤c2-步骤c10的处理过程，具体可以参见下述步骤c2-步骤c10的具体处理过程。

在步骤c2中，基于对操作点的调整，从至少一个预设功能键中选取目标功能键，将所选取的目标功能键确定为目标对象。

在步骤c4中，若第一终端接收到针对触控区域的第二预设触控操作，则响应于第二预设触控操作生成用户界面初始化指令。

作为示例，上述目标功能键可以为具有某种功能的预设功能键(如home键等)，上述第二预设触控操作可以为对该目标功能键的双击操作等。用户可以通过对上述目标功能键执行该第二预设触控操作来实现生成用户界面初始化指令。

可选地，当用户在佩戴第二终端走动时，例如，用户在向第二终端显示的用户界面方向移动时，会导致用户与用户界面之间的距离逐渐减小(如小于2米)，此时，如果需要将第二终端显示的用户界面与所佩戴的第二终端的相对位置恢复为初始状态(如相对距离为2米)，则可以通过预设的重置功能，如通过双击第二终端上显示的目标功能键(如home键)，生成用户界面初始化指令来重置用户界面在空间中的位置。

在步骤c6中，执行用户界面初始化指令，获取第二终端当前在空间中的姿态信息。

当上述执行主体在通过上述步骤c4的处理，响应于第二预设触控操作生成用户界面初始化指令后，可以执行用户界面初始化指令，通过设置在上述第二终端自带的imu传感器以及灰度摄像机等，可以重新采集imu传感数据和灰度图像数据等来确定当前第二终端在空间中的姿态信息。可以理解的是，上述第二终端还可以通过其他方式来感应其在空间中的姿态信息，这里没有唯一的限定。

在步骤c8中，根据所获取的姿态信息，更新用户界面在空间中的当前显示位置信息。

在步骤c10中，将用户界面显示在更新后的当前显示位置信息所指示的位置处。

通过上述方法，当用户在佩戴第二终端走动导致用户通过上述第二终端观看到的用户界面的视觉效果降低的情况下，可以通过预设的重置功能，如通过双击第一终端上的目标触控键(如home键)。这样，在上述执行主体接收到上述针对目标触控键的第二预设触控操作的情况下，可以响应于第二预设触控操作生成用户界面初始化指令来对用户界面的位置进行重置，以使上述第二终端显示的用户界面显示在空间中指定的优选位置处，从而提升了用户的视觉体验效果，提高了用户的使用体验。

本公开实施例提供的技术方案，首先获取第一终端的姿态变化信息，之后，根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，并在用户界面中确定与调整后的操作点对应的目标对象，若第一终端接收到针对触控区域的触控操作，则确定触控操作的触控类型，而后，根据触控操作的触控类型，生成对目标对象的控制指令，最后对目标对象执行控制指令，以更新用户界面。本申请中，在利用终端设备与头戴式电子设备进行交互的过程中，通过第一终端设置的触控区域可以控制第二终端的用户界面的显示，从而使得第一终端和第二终端在配合使用时，利用第一终端已有的结构实现了手柄的功能来控制第二终端的显示，充分利用了第一终端。

对应上述实施例提供的用于设备交互的方法，基于相同的技术构思，本公开实施例还提供了一种用于设备交互的装置，图9为本公开实施例提供的用于设备交互的装置的模块组成示意图，该用于设备交互的装置用于执行图1至图8描述的用于设备交互的方法，如图9所示，该用于设备交互的装置包括：第一获取模块901，用于获取第一终端的姿态变化信息，其中，姿态变化信息用于表征第一终端在空间中的姿态变化，第一终端设置有触控区域；定位模块902，用于根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象；第一处理模块903，用于若第一终端接收到针对触控区域的触控操作，则确定触控操作的触控类型；第一生成模块904，用于根据触控操的触控类型，生成目标对象的控制指令；第一执行模块905，用于对目标对象执行控制指令，以更新用户界面。

可选地，上述检测模块，包括：第一获取单元，用于响应于确定出触控操作包括滑动触控操作，获取滑动触控操作的滑动轨迹；第一确定单元，用于确定与所获取的滑动轨迹对应的触控类型，以得到与所确定的触控类型对应的控制指令，其中，控制指令包括以下至少一个：目标对象放大指令、目标对象缩小指令、目标对象近拉近指令、目标对象推远指令。

可选地，上述装置还包括：第二处理模块，用于响应于接收到用户界面初始化指令，获取第二终端当前在空间中的姿态信息；第一确定模块，用于根据所获取的姿态信息，确定用户界面在空间中的当前显示位置信息；第一显示模块，用于将用户界面显示在当前显示位置信息所指示的位置处。

可选地，上述装置还包括：第二获取模块，用于获取预先存储的应用软件的白名单；第二确定模块，用于基于白名单，从第一终端确定待显示在第二终端的信息；第三处理模块，用于将待显示在第二终端的信息按照预设的显示模式进行设置，得到主用户界面；第三确定模块，用于将主用户界面确定为第二终端显示的用户界面。

可选地，上述装置还包括：第四处理模块，用于针对第一终端安装的多个应用软件中的应用软件，响应于确定出该应用软件包括目标软件开发工具包，将该应用软件确定为目标应用软件；第四确定模块，用于基于目标应用软件，从第一终端确定待显示在第二终端的信息；第五处理模块，用于将待显示在第二终端的信息按照预设的显示模式进行设置，得到主用户界面；第五确定模块，用于将主用户界面确定为第二终端显示的用户界面。

可选地，上述第一获取模块，包括：第二获取单元，用于获取第一终端的方向变化信息；第二确定单元，用于根据方向变化信息和预设的基准点，确定第一终端的姿态变化信息，其中，基准点为基于第二终端的使用者确定的相对位置点。

可选地，第二终端显示的用户界面为三维用户界面；上述定位模块包括：调整单元，用于根据姿态变化信息，调整预设的射线在空间中的延伸方向，其中，射线的延伸方向用于表征第一终端在空间中的方向；第三确定单元，用于确定射线与第二终端显示的用户界面的交点，将交点确定为操作点。

可选地，上述装置还包括：第一熄屏模块，用于若检测到第一终端与第二终端建立了通信连接，则对第一终端的触控屏进行熄屏；第六确定模块，用于将熄屏后的触控屏确定为第一终端的触控区域。

可选地，上述装置还包括：第二生成模块，用于若第一终端接收到针对触控区域的目标预设触控操作，则响应于目标预设触控操作生成熄屏指令；第二执行模块，用于执行熄屏指令，对第一终端显示触控区域的触控屏进行熄屏；第七确定模块，用于将熄屏后的触控屏确定为第一终端的触控区域。

可选地，上述装置还包括：第六处理模块，用于响应于接收到至少一个预设功能键的调用指令，在第二终端的用户界面中按照预设模式显示预设功能键。

可选地，上述装置还包括：第八确定模块，用于基于对操作点的调整，从至少一个预设功能键中选取目标功能键确定为目标对象；第七处理模块，用于若第一终端接收到针对触控区域的第一预设触控操作，则响应于第一预设触控操作生成返回主用户界面指令；第三执行模块，用于执行返回主用户界面指令，将第二终端当前显示的用户界面更新为主用户界面。

可选地，上述装置还包括：第九确定模块，用于基于对操作点的调整，从至少一个预设功能键中选取目标功能键确定为所述目标对象；第八处理模块，用于若第一终端接收到针对触控区域的第二预设触控操作，则响应于第二预设触控操作生成用户界面初始化指令；第九处理模块，用于执行用户界面初始化指令，获取第二终端当前在空间中的姿态信息；更新模块，用于根据所获取的姿态信息，更新用户界面在空间中的当前显示位置信息；第二显示模块，用于将用户界面显示在更新后的当前显示位置信息所指示的位置处。

本公开实施例提供的技术方案，首先获取第一终端的姿态变化信息，之后，根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，并在用户界面中确定与调整后的操作点对应的目标对象，若第一终端接收到针对触控区域的触控操作，则确定触控操作的触控类型，而后，根据触控操作的触控类型，生成目标对象的控制指令，最后对目标对象执行控制指令，以更新用户界面。本申请中在利用终端设备与头戴式电子设备进行交互的过程中，通过第一终端设置的触控区域可以控制第二终端的用户界面的显示，从而使得第一终端和第二终端在配合使用时，利用第一终端已有的结构实现了手柄的功能来控制第二终端的显示，充分利用了第一终端。

本公开实施例提供的用于设备交互的装置能够实现上述用于设备交互的方法对应的实施例中的各个过程，为避免重复，这里不再赘述。

需要说明的是，本公开实施例提供的用于设备交互的装置与本公开实施例提供的用于设备交互的方法基于同一发明构思，因此该实施例的具体实施可以参见前述用于设备交互的方法的实施，重复之处不再赘述。

对应上述实施例提供的用于设备交互的方法，基于相同的技术构思，本公开实施例还提供了一种设备，该设备用于执行上述的用于设备交互的方法，图10为实现本公开各个实施例的一种设备的结构示意图，如图10所示。该设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1001和存储器1002，存储器1002中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1002可以是短暂存储或持久存储。存储在存储器1002的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地，处理器1001可以设置为与存储器1002通信，在电子设备上执行存储器1002中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源1003，一个或一个以上有线或无线网络接口1004，一个或一个以上输入输出接口1005，一个或一个以上键盘1006。

具体在本实施例中，该设备包括有处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现以下方法步骤：获取第一终端的姿态变化信息，其中，姿态变化信息用于表征第一终端在空间中的姿态变化，第一终端设置有触控区域；根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象；若第一终端接收到针对触控区域的触控操作，则确定触控操作的触控类型；根据触控操作的触控类型，生成目标对象的控制指令；对目标对象执行控制指令，以更新用户界面。

本公开实施例提供的技术方案，首先获取第一终端的姿态变化信息，之后，根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，并在用户界面中确定与调整后的操作点对应的目标对象，若第一终端接收到针对触控区域的触控操作，则确定触控操作的触控类型，而后，根据触控操作的触控类型，生成目标对象的控制指令，最后对目标对象执行控制指令，以更新用户界面。本申请中在利用终端设备与头戴式电子设备进行交互的过程中，通过第一终端设置的触控区域可以控制第二终端的用户界面的显示，从而使得第一终端和第二终端在配合使用时，利用第一终端已有的结构实现了手柄的功能来控制第二终端的显示，充分利用了第一终端。

进一步地，对应上述实施例提供的用于设备交互的方法，本说明书实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器1003执行时实现如上述用于设备交互的方法实施例的各步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，上述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。

需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于用于设备交互的方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的用于设备交互的方法的实施，重复之处不再赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

可以理解的是，本说明书实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(applicationspecificintegratedcircuits，asic)、数字信号处理器(digitalsignalprocessing，dsp)、数字信号处理设备(dspdevice，dspd)、可编程逻辑设备(programmablelogicdevice，pld)、现场可编程门阵列(field-programmablegatearray，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本说明书上述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本说明书实施例上述功能的模块(例如过程、函数等)来实现本说明书实施例上述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、商品或者设备中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本说明书各个实施例上述的方法。

上面结合附图对本说明书的实施例进行了描述，但是本说明书并不局限于上述的具体实施方式，上述具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本说明书的启示下，在不脱离本说明书宗旨和权利要求所保护的范围情况下，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。