一种智能家居设备交互方法和装置与流程

本发明的实施方式涉及物联网技术领域，更具体地，本发明的实施方式涉及一种智能家居设备交互方法和装置。

背景技术：

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

智能家居即通过底层物联网协议，将家庭中的各个电器设备、照明元件、活动组件(如窗帘等)以Uniform Resource Identifiers(URIs，统一资源标识符)定位，并以Representational State Transfer(REST，表述性状态转移)的原则进行状态间的通信。

而在用户与智能家居设备交互方式方面，由于智能家居系统中可交互的智能家居元件数量呈指数级增长，因此，传统的单品家居设备的物理级交互方式(通过开关、遥控器等与家居设备进行交互)无法适用于智能家居设备交互。

技术实现要素：

目前，智能家居设备的交互方式主要有以下两种：第一种方式是通过移动设备上安装的APP(应用客户端)与智能家居设备进行交互，通过对智能家居设备进行分组，在APP交互界面以列表方式分层进行显示，例如，客厅-灯-灯1，用户在与某一智能家居设备交互时，需要逐层打开列表以定位需交互的家居设备，同时用户还需要记住每一家居设备的编码，如上述的灯编码，如果用户忘记，则可能需要进行多次尝试，显然这种交互方式下，交互界面不够简洁直观，增加了用户操作步骤，使得用户操作较为复杂，另一方面也增加了用户操作的难度，影响了用户体验；第二种方式是通过自然交互界面(NUI，Natural User Interface)进行交互，用户通过语音、手势等自然交互界面进行交互，这种交互方式下，智能家居设备的注册是操作的瓶颈，例如，客厅内并排放置4个吊灯，用户需要事先对不同的等等进行编码，如灯1，灯2等，不同的家居设备需要对应不同的语音和手势，同样，用户需准确记住每个灯的编码以及为其定义的操作手势或者语音等，以便与其进行交互，这种操作方式同样不够直观，增加了用户操作的难度。

为此，非常需要一种改进的智能家居设备交互方法，以降低用户操作难度，提高家居设备交互的便捷性。

在本上下文中，本发明的实施方式期望提供一种智能家居设备交互方法和装置。

在本发明实施方式的第一方面中，提供了一种智能家居设备交互方法，包括：

通过图像采集单元对当前场景进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像，所述当前场景中包含多个受控设备；

确定所述图像采集单元的实时成像范围中的受控设备；

在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。

在本发明实施方式的第二方面中，提供了一种智能家居设备交互装置，包括：

图像采集单元，用于对当前场景进行图像采集，所述当前场景中包含多个受控设备；

第一显示单元，用于呈现所述图像采集单元采集到的实时图像；

第一确定单元，用于确定所述图像采集单元的实时成像范围中的受控设备；

标记单元，用于在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备；和/或

第二显示单元，用于响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。

在本发明实施方式的第三方面中，提供了一种智能家居设备交互装置，例如，可以包括存储器和处理器，其中，处理器可以用于读取存储器中的程序，执行下列过程：通过图像采集单元对当前场景进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像，所述当前场景中包含多个受控设备；确定所述图像采集单元的实时成像范围中的受控设备；在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。

在本发明实施方式的第四方面中，提供了一种程序产品，其包括程序代码，当所述程序产品运行时，所述程序代码用于执行以下过程：通过图像采集单元对当前场景进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像，所述当前场景中包含多个受控设备；确定所述图像采集单元的实时成像范围中的受控设备；在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。

根据本发明实施方式的智能家居设备交互方法和装置，可以通过在实时采集的场景图像上标记其中的受控设备，从而使得用户能够从当前显示的场景图像中直观的定位可操作的受控设备，另外，根据用户的触控操作，还可以在实时采集的场景图像中显示相应的控制操作菜单，以便用户可以对相应的受控设备进行控制操作，实现了用户所见即所得，所见即所控，从而显著地降低了用户操作难度，提高了智能家居设备交互的便捷性，为用户带来了更好的体验。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式的应用场景示意图；

图2示意性地示出了根据本发明实施方式的采集场景中包含的受控设备的可控区域三维位置信息的实施流程示意图；

图3示意性地示出了根据本发明实施方式的存储的数据表的一种可能的结构示意图；

图4示意性地示出了根据本发明实施方式的智能家居设备交互初始化流程示意图；

图5示意性地示出了根据本发明实施方式的智能家居设备交互方法实施流程示意图；

图6a示意性地示出了根据本发明实施方式的确定图像采集单元采集的实时图像中的受控设备流程示意图；

图6b示意性地示出了根据本发明实施方式的确定图像采集单元的实施位置和实时朝向的流程示意图；

图7a示意性地示出了根据本发明实施方式的确定图像采集单元的实时位置和实时朝向流程示意图；

图7b示意性地示出了根据本发明实施方式的显示视口示意图；

图8示意性地示出了根据本发明实施方式的在显示屏呈现的实时图像中进行标记的流程示意图；

图9示意性地示出了根据本发明实施方式的显示屏显示的标记了相应的受控设备后的实时图像示意图；

图10示意性地示出了根据本发明实施方式的响应于针对显示屏上呈现的采集到的实时图像中受控设备的触控操作显示该受控设备对应的控制操作菜单的示意图；

图11示意性地示出了根据本发明另一实施例的智能家居设备交互装置示意图；

图12示意性地示出了根据本发明又一实施例的智能家居交互装置的结构示意图；

图13示意性地示出了根据本发明再一实施例的智能家居交互装置的程序产品示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种智能家居设备交互方法和设备。

在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，在现有的智能家居设备交互方式中，其交互界面不够简洁直观，使得用户操作复杂，另外，用户需要记住相同类型的不同家居设备对应的编码或者操作方式，增加了用户操作难度。

为了简化用户操作步骤，降低用户操作难度，本发明实施例中，可以利用终端设备上的摄像头等图像采集单元对包含智能家居设备的场景进行实时的图像采集，并将采集到的实时图像呈现在终端设备的显示屏上，通过确定实时图像中包含的智能家居设备(本发明实施例中称之为受控设备)并对其进行标记，使得用户能够在通过终端设备实时呈现的场景图像上直观的看到相应的受控设备，而响应于用户的触控操作，还可以显示相应受控设备的控制操作菜单，以便用户对相应受控设备进行操作控制。本发明实施例提供的家居设备交互方式中，交互界面简洁直观，实现了所见即所得，所见即所控，简化了用户操作步骤，林外，由于用户无需对相同类型的不同家居设备进行编码或者定义其对应的操作手势等，降低了用户操作难度。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图1，其为本发明实施例提供的智能家居设备交互方法的应用场景示意图。其包括有多个智能家居设备，如空调11、电视12，空加湿器13等，对智能家居设备的进行控制的通信可以遵循物联网协议，也可以遵循其他通信协议。

示例性方法

下面结合图1的应用场景，参考图2-图9来描述根据本发明示例性实施方式的智能家居设备交互方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

为了实现本发明实施例，需要预先对具体的应用场景进行相关的数据采集和数据预处理。本发明实施例中涉及的应用场景可以为普通物业小区或写字楼中的任一套房屋中、还可以是任一套房屋中的一个房间，例如，客厅，卧室等，或者为酒店的一个房间等等。

具体实施时，通常需要采集以下数据：场景的三维结构信息和所述场景中各设备的三维位置信息，该场景中包含的受控设备的可控区域三维位置信息，以及选取场景中任一区域作为初始位置，以下分别进行介绍。

一、场景的三维结构信息和所述场景中各设备的三维位置信息。

本发明实施例中，可以通过任以任一方式获得场景的三维结构信息和该场景中各设备的三维位置信息：

方式一、通过获得的场景图片进行三维重建。

具体的，可以按照以下流程实施：接收针对场景拍摄的图像，根据接收到的图像进行三维重建得到该场景的三维结构信息和各设备的三维位置信息。

例如，可以采用计算机视觉中的从运动信息中恢复三维场景结构(SFM，Structure from motion)技术，其可以从二维的图像或者视频序列中恢复出相应的三维信息，包括成像摄像机的运动参数以及场景的三维结构信息。其输入可以为一系列二维图像或者视频序列，输出是场景的3D模型信息，输出包括了场景的大概尺寸、场景中各设备的顶点在场景中的三维位置信息，即输出还包括场景内部的细节物体的3D模型)。

方式二、接收用户提供的场景的三维结构信息和场景中各设备的三维位置信息。

这种实施方式下，通常可以由房间的所有者或者房屋的开发商直接提供场景的三维结构图，根据获得的三维结构图直接获取相应场景的三维结构信息和场景中各设备的三维位置信息。

二、场景中包含的受控设备的可控区域三维位置信息。

本发明实施例中，可以按照图2所示的流程采集场景中包含的受控设备的可控区域三维位置信息：

S21、获得场景的三维结构信息和该场景中各设备的三维位置信息。

具体实施时，可以按照上述两种方式中的任一种获得场景的三维结构信息和该场景中各设备的三维位置信息，这里不再赘述。

S22、将场景的三维结构信息和该场景中各设备的三维位置信息导入预设编辑工具中。

其中预设的编辑工具提供与用户交互的交互界面，用户通过交互界面导入场景的三维结构信息和该场景中各设备的三维位置信息。

S23、在编辑工具中，用户通过交互界面从该场景的各设备中选择受控设备以及该受控设备的可控区域。

具体实施时，可以通过编辑工具提供的交互界面，对受控设备及其可控区域进行注册，并为相应的受控设备添加说明信息，例如，注册的受控设备为客厅的灯1等。具体的，用户可以选择一些受控设备的关键顶点，例如受控设备的八个顶点，作为注册受控设备、选择可控区域时的信息输入，这些关键顶点外围连线组成的区域可以理解为受控设备的可控区域。

S24、存储该场景中的受控设备的可控区域三维位置信息。

具体实施时，在确定出了受控设备的可控区域三维位置信息后，可以利用数据表以存储相关数据。在存储时，需要存储相应的场景标识与该场景内包含的各受控设备的可控区域三维位置信息。如图3所示，其为存储的数据表的一种可能的表结构示意图。其中，场景标识用于区分不同的场景，较佳的，场景标识可以表明不同的小区，不同的楼号，不同的房屋及不同的房间，受控设备标识用于区分不同的受控设备。

场景的三维结构信息和受控设备的可控区域三维位置信息，通常可以由8个顶点坐标组成。

需要说明的是，具体实施时，根据受控设备的形状的不同，受控设备的可控区域三维位置信息的描述上可能有所差异。例如，如果受控设备为规则形状，则受控设备的可控区域三维位置信息可能由8个顶点坐标组成。但是，如果受控设备为镶嵌在墙壁上的设备时，例如镶嵌在墙壁上的智能电视，其可能仅需要4个顶点坐标来描述该受控设备的可控区域三维位置信息。另外，具体实施时，根据实际场景的不同，在选择受控设备及其可控区域时也可以仅选择部分顶点坐标，其余顶点坐标采用对称映射的方法确定。而如果受控设备为不规则形状，则可以根据实际需要，选择具有代表性的关键点及其坐标来描述该受控设备的可控区域三维位置信息，所选择的关键点的外围连线组成的区域能够代表该受控设备及其可控区域。图3中以每个受控设备由8个顶点坐标组成为例。

三、选取场景中任一区域作为后续图像识别的初始位置

较佳的，具体实施时，可以选取场景中包含有对比度较高的物体(即本发明实施例中的第一参照物，其中，对比度较高是指指颜色和纹理与周围物体差异较大，比如黑色的物体在白色背景上，其对比度较高)的区域作为后续图像识别的初始位置，具体实施时，初始位置可以由用户指定，并拍摄包含上述参照物的基准图像，记录基准图像中包含的第一参照物的三维位置信息和拍摄基准图像时的角度信息等相关数据。其中，拍摄基准图像时的角度信息是指拍摄基准图像时摄像头朝向与第一参照物的某一个参照面的角度关系。以正方形物体为例，正对物体拍摄时，该物体的4个顶点没有畸变，如果有一定的角度，可以根据畸变程度确定处拍摄时的角度信息；角度信息可以在拍摄时已知并且进行存储记录。

基于上述采集的相关数据，用户在需要与场景中包含的受控设备进行交互时，可以利用本发明实施例提供的方法进行交互，以下详细介绍之。

具体实施时，用户在需要与当前场景内的受控设备进行交互时，可以打开终端设备上的图像采集单元，例如，该图像采集单元可以为摄像头，在场景内进行漫游，基于用户在漫游过程中采集的场景图像序列完成初始化操作，即确定图像采集单元的初始位置和初始朝向(即初始拍摄方向)。

以下结合图4对初始化流程进行说明，可以包括以下步骤：

S41、接收图像采集单元采集的当前场景的第一图像序列。

具体实施时，用户在场景漫游过程中，图像采集单元按照预设帧率采集当前场景图像得到第一图像序列，并将采集的第一图像序列发送给处理单元。

S42、从接收到的第一图像序列中确定包含该当前场景中第一参照物的第一参考图像。

处理单元在接收到图像采集单元发送的场景图像序列后，从中识别出包含上述第一参照物的图像，利用现有的常见图像识别方法识别出图像中包含的第一参照物，并确定包含第一参照物的场景图像为第一参考图像。

S43、根据预置的、包含第一参照物的基准图像和第一参考图像，以及第一参照物的位置信息和拍摄基准图像时的角度信息，计算图像采集单元的初始位置和初始朝向。

处理器根据数据采集以及预处理过程中存储的包含第一参照物的基准图像和步骤S42中确定出的第一参考图像，并结合第一参照物的位置信息和拍摄基准图像时的角度信息，确定图像采集单元的初始位置和初始朝向。

例如，可以采用姿态预估技术(Pose Estimation)，根据基准图像的图像特征点和第一参考图像的图像特征点的匹配关系(例如，基准图像左上角顶点与第一参考图像的左上角的匹配关系)，通过RANSAC(Random Sample Consensus，随机抽样一致)算法消除错误匹配，通过PnP(Perspective N Point)方法(将n个点对应起来)求解图像采集单元的当前pose(姿态)，即图像采集单元的位置和朝向。

至此，完成了初始化流程。

基于此，本发明实施例提供的智能交互方法，可以按照图5所示的流程实施，包括以下步骤：

S51、通过图像采集单元对当前场景进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像。

具体实施时，用户在需要与当前场景中的受控设备进行交互时，利用终端设备对包含该受控设备的当前场景进行图像采集，并在终端设备的显示屏上呈现采集到的实时图像。

S52、确定图像采集单元的实时成像范围中的受控设备。

具体的，确定出图像采集单元的实时成像范围中的多个受控设备，可以将所述实时成像范围中的所有受控设备都确定出来。

S53、在显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对实时图像中的受控设备的触控操作、显示相应的控制操作菜单，和/或用于响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。

具体的，标记受控设备时，将识别出的实时成像范围中的多个受控设备进行标记；可以将识别出的实时成像范围中的所有受控设备均进行标记。

以下结合附图对步骤S52和S53进行详细说明。

在步骤S52中，本发明实施例提供以下两种实施方式确定图像采集单元实时成像范围中的受控设备，具体实施时，可以根据实际需要采用任一种实施方式。

第一种实施方式、图像识别方式

即根据预先采集的受控设备的图像信息，识别在终端设备显示屏上呈现的图像采集单元采集到的实时图像中的受控设备。

第二种实施方式、利用图像采集单元的实时位置、实时朝向、相关采集参数、当前场景中受控设备的可控区域三维信息，计算确定图像采集单元采集的实时图像中的受控设备。

这种实施方式下，可以按照图6a所示的流程确定图像采集单元采集的实时图像中的受控设备，包括以下步骤：

S521、确定图像采集单元在当前场景中的实时位置和实时朝向。

S522、根据图像采集单元的实时位置、实时朝向、以及图像采集单元的参数信息、预先采集的所述当前场景中所包含的受控设备的可控区域三维位置信息，确定图像采集单元的实时成像范围中的受控设备。

具体的，步骤S522中，可以利用计算机视觉中的投影成像原理：p2d＝Proj([R|T]p3d)_，p3d是指在世界坐标系中的3D坐标(相对于初始位置的坐标)，Proj()是投影函数，该投影函数可以根据图像采集单元的参数信息确定，[R|T]是当前相机的位置和朝向，R是朝向、T是位置，其中，R包含了3个自由度的信息，其表示图像采集单元分别相对于x轴，y轴和z轴的旋转量，其为一个3*3的矩阵，T是3维向量(x,y,z)，则[R|T]可以表示为一个3*4的矩阵，输出在2D屏幕上的坐标p2d，基于此，只要知道受控设备的8个3D顶点坐标就可以算出其在2D屏幕上的位置，如果计算出来的坐标p2d不在预设的2D屏幕坐标范围内，则该受控设备不在图像采集单元的实时成像范围内。所以不需要使用当前场景的三维结构的信息。

其中，步骤S521中可以按照图6b所示的流程确定图像采集单元的实施位置和实时朝向：

S5211、确定图像采集单元在当前场景中的初始位置和初始朝向。

其中，确定图像采集单元在当前场景中的初始位置和初始朝向的具体流程如图4所示，这里不再赘述。

S5212、采集图像采集单元的位移信息和转动信息。

具体实施时，可以利用终端设备中的加速度计采集图像采集单元的位移信息，并利用终端设备中的陀螺仪采集图像采集单元的转动信息。

其中，陀螺仪采集图像采集单元在时间t内的转动信息，加速度计采集图像采集单元在时间t内的直线加速度信息，由此，可以估计出图像采集单元在时间t内的位移。

S5213、根据图像采集单元的初始位置、初始朝向、位移信息和转动信息，确定图像采集单元的实时位置和实时朝向。

具体实施时，可以利用步骤S521中确定出的图像采集单元的初始位置和初始朝向，在图像采集单元的移动过程中，利用SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)算法实时确定图像采集单元的实时位置和实时朝向。

基于此，步骤S522中，可以根据图像采集单元的实时位置、实时朝向、以及图像采集单元的参数信息、预先采集的当前场景的三维结构信息和所述当前场景中所包含的受控设备的可控区域三维位置信息，确定图像采集单元的实时成像范围以及实时成像范围中的受控设备。即根据本发明实施例，在确定图像采集单元的实时成像范围中的受控设备时，也可以使用当前场景的三维结构信息，计算出图像采集单元对于当前场景的成像范围，继而再根据受控设备在当前场景中的三维位置信息，计算出图像采集单元的实时成像范围中包含哪些受控设备。

其中，图像采集单元的参数信息可以包括图像采集单元的焦距、元件尺寸、畸变参数等。

较佳的，具体实施时，还可以在图像采集单元移动过程中，按照以下图7a所示的流程确定图像采集单元的实时位置和实时朝向：

S71、在图像采集单元移动过程中，提取图像采集单元采集的包含第二参照物的实时图像作为关键帧图像。

其中，第二参照物可以为图像中包含的对比度较高的物体，将图像采集单元采集的包含第二参照物的图像作为关键帧图像。后续利用关键帧图像来确定图像采集单元在采集到第二参考图像时的实时位置和实时朝向。其中利用关键帧图像的相关信息确定图像采集单元的实时位置和实时朝向的流程与上述利用基准图像的相关信息确定图像采集单元的实时位置和实时朝向的流程类似，以下简单介绍之。

S72、存储关键帧图像的图像信息、拍摄关键帧图像时图像采集单元的第一位置信息和第一朝向信息。

S73、接收图像采集单元采集的当前场景的第二图像序列。

用户继续在当前场景中漫游，相应的，在图像采集单元移动过程中，图像采集单元按照预设帧率(由终端设备自身参数决定)采集当前场景图像得到第二图像序列，并将采集的第二图像序列发送给处理单元。

S74、从接收到的第二图像序列中确定包含当前场景中第二参照物的第二参考图像。

处理单元在接收到图像采集单元发送的场景图像序列后，从接收到的场景图像序列中识别包含第二参照物的图像，将其作为第二参考图像。

S75、根据关键帧图像的图像信息、第二参考图像、第一位置信息和第一朝向信息，确定图像采集单元在采集到第二参考图像时的实时位置和实时朝向。

具体的，可以比较关键帧图像和第二参考图像，根据存储的关键帧图像的图像信息、拍摄关键帧图像时图像采集单元的第一位置信息和第一朝向信息，确定图像采集单元在采集到第二参考图像时的实时位置和实时朝向。

后续如果用户继续在场景中漫游，则可以根据采集到的图像采集单元的位移信息(使用终端设备中的加速度计进行采集)和转动信息(使用终端设备中的陀螺仪进行采集)以及采集到第二参考图像时图像采集单元的实时朝向和实时位置来确定图像采集单元在移动过程中的实时位置和实时朝向。

根据图像采集单元的实时位置和实时朝向，可以确定出图像采集单元的实时成像范围。具体的，当图像采集单元的位置和朝向发生变化时，即为图像采集单元拍摄场景的角度发生变化，导致显示视口(FOV，Field of View)不同，显示视口是指图像采集单元能拍摄到的最大视场范围，如图7b所示，其为显示视口示意图，camera(相机)即为本发明实施例中的图像采集单元，显示视口包括水平视口(Horizontal FOV)和垂直视口(Vertical FOV)。只有在显示视口内的场景呈现在与图像采集单元相应的显示屏上。显示视口由近平面(Near)和远平面(Far)组成，位于近平面和远平面之间的场景可以呈现在与图像采集单元相应的显示屏上。因此，根据图像采集单元的实时位置和实时朝向的不同，显示屏呈现的场景图像也不同，这是因为图像采集单元的成像范围不同而引起的。根据图像采集单元的实时位置和实时朝向可以确定出图像采集单元的实时成像范围，进而可以确定出图像采集单元采集的实时成像范围中的受控设备。

基于此，步骤S53中，根据确定出的、位于图像采集单元实时成像范围内的受控设备，按照图8所示的流程在显示屏呈现的实时图像中进行标记：

S531、根据预先采集的受控设备的可控区域三维位置信息，将位于实时成像范围中的受控设备的可控区域三维位置信息转换为在显示屏上呈现的采集到的实时图像中的二维位置信息。

与上述步骤S522类似，步骤S531中同样可以采用计算机视觉中的投影成像原理：p2d＝Proj([R|T]p3d)_，其中，p3d指在世界坐标系中的3D坐标，Proj()是投影函数，[R|T]是当前相机的位置和朝向，输出在2D屏幕上的坐标为p2d，因此，确定了受控设备的8个3D顶点坐标便可以计算出其在2D屏幕上的位置。

S532、根据确定出的位于实时成像范围中的受控设备在显示屏上呈现的采集到的实时图像中二维位置信息，在显示屏上呈现的采集到的实时图像中的相应位置处，标记相应的受控设备。

如图9所示，其为显示屏显示的标记了相应的受控设备后的实时图像示意图。

可选地，在标记了相应的受控设备后，还可以针对位于实时成像范围内的每一受控设备，确定该受控设备对应的控制操作菜单，并为该被标记的受控设备添加相应的隐藏的控制操作菜单。具体的，可以根据存储的受控设备的描述信息确定该受控设备对应的控制操作菜单。

更佳的，响应于针对显示屏上呈现的采集到的实时图像中受控设备的触控操作，例如在被标记范围内的触控操作，显示相应受控设备对应的控制操作菜单。或者，如果检测到显示屏上呈现的采集到的实时图像上标记范围内的任一位置被点击时，显示相应的控制操作菜单。如图10所示，其为响应于针对显示屏上呈现的采集到的实时图像中受控设备的触控操作显示该受控设备对应的控制操作菜单的示意图。此外，还可以设置如下的触发控制操作菜单显示的方式：在显示屏上预设位置做标记，例如在显示屏正中间做特定标记，用户调整手机朝向时，显示屏上显示的实时图像中的受控设备会在显示屏中移动显示位置，当受控设备移动至显示屏正中间的特定标记处时，显示相应的控制操作菜单。

较佳的，具体实施时，可以采用增强现实(AR)方式显示受控设备对应的控制操作菜单。

由于受控设备可以直观的显示在显示屏上，如果用户可以自行判断哪些为受控设备，因此，具体实施时，也可以不对受控设备进行标记，仅在用户在受控设备处进行触控操作时，显示相应受控设备对应的控制操作菜单即可。具体实施时，也可以仅仅对受控设备进行标记即可，或者，仅在显示屏上预设位置做标记，在图像采集单元移动过程中，如果有受控设备显示于该预设位置时，自动显示该受控设备相应的操作控制菜单。

需要说明的是，本发明实施例中涉及的终端设备可以为常见的手机、平板电脑等，也可以为可穿戴式设备，例如增强现实(AR)眼镜等。

本发明实施例提供的智能家居设备交互方式，可以通过终端设备的显示屏幕直观的显示当前场景的实时图像，并可以将其中包含的受控设备进行标记，方便用户识别，这样，使得用户可以通过终端屏幕(手机、平板电脑等的显示屏)直接定位相应受控设备，或者用户可以通过手势(应用于AR眼镜等可穿戴式设备中)直接定位相应受控设备，另外，响应于用户对相应受控设备的触控操作，实现用户与受控设备的交互(读取受控设备反馈信息或者进行控制操作等)。

示例性设备

在介绍了本发明示例性实施方式的方法之后，接下来，参考图11对本发明示例性实施方式的、智能家居设备交互装置进行说明。

如图11所示，本发明实施例提供的智能家居交互装置，可以包括：

图像采集单元111，用于对当前场景进行图像采集，所述当前场景中包含多个受控设备；

第一显示单元112，用于呈现所述图像采集单元采集到的实时图像；

第一确定单元113，用于确定所述图像采集单元111的实时成像范围中的受控设备；

标记单元114，用于在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备；和/或

第二显示单元115，用于响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或用于响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。

其中，第一确定单元113，可以包括：

第一确定子单元1131，用于确定所述图像采集单元在所述当前场景中的实时位置和实时朝向；

第二确定子单元1132，用于根据所述实时位置、实时朝向、所述图像采集单元的参数信息、以及预先采集的所述场景中包含的受控设备的可控区域三维位置信息，确定所述图像采集单元的实时成像范围中的受控设备。

具体实施时，第二确定子单元1132，具体用于根据所述实时位置和实时朝向、所述图像采集单元的参数信息、预先采集的所述当前场景的三维结构信息和所述场景中所包含的受控设备的可控区域三维位置信息，确定所述图像采集单元的实时成像范围以及所述实时成像范围中的受控设备。

具体实施时，第一确定子单元1131，包括：

第一确定模块，用于确定所述图像采集单元的初始位置和初始朝向；

采集模块，用于采集所述图像采集单元的位移信息和转动信息；

第二确定模块，用于根据所述初始位置、初始朝向、位移信息和转动信息，确定所述图像采集单元的实时位置和实时朝向。

其中，第一确定模块，包括：

第一接收子模块，用于接收所述图像采集单元采集的当前场景的第一图像序列；

第一确定子模块，用于从所述第一图像序列中确定包含所述当前场景中第一参照物的第一参考图像；

第一计算子模块，用于根据预置的、包含所述第一参照物的基准图像和所述第一参考图像，以及所述第一参照物的位置信息和拍摄所述基准图像时的角度信息，计算所述图像采集单元的初始位置和初始朝向。

可选的，第一确定模块，还包括提取子模块和存储子模块、第二接收子模块、第二确定子模块和第二计算子模块，其中：

所述提取子模块，用于在所述图像采集单元移动过程中，提取所述图像采集单元采集的包含第二参照物的实时图像作为关键帧图像；

所述存储子模块，用于存储所述关键帧图像的图像信息、拍摄所述关键帧图像时所述图像采集单元的第一位置信息和第一朝向信息；

所述第二接收子模块，用于接收所述图像采集单元采集的当前场景的第二图像序列；

第二确定子模块，用于从所述第二图像序列中确定包含所述当前场景中所述第二参照物的第二参考图像；

所述第二计算子模块，具体用于根据所述关键帧图像的图像信息、第二参考图像、第一位置信息和第一朝向信息，确定所述图像采集单元在采集到所述第二参考图像时的实时位置和实时朝向。

较佳的，第一确定单元113还可以包括识别子单元1133，用于根据预先采集的受控设备的图像信息，识别在所述显示屏上呈现的采集到的所述实时图像中的受控设备。

具体实施时，标记单元114，包括：

转换子单元1141，用于根据预先采集的受控设备的可控区域三维位置信息，将位于所述实时成像范围中的受控设备的可控区域三维位置信息转换为在所述显示屏上呈现的采集到的实时图像中的二维位置信息；

标记子单元1142，用于根据所述二维位置信息，在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备。

可选地，本发明实施例提供的智能家居设备交互装置，还可以包括：

获得单元116，用于获得所述场景的三维结构信息和所述场景中各设备的三维位置信息；

导入单元117，用于将所述场景的三维结构信息和所述各设备的三维位置信息导入预设编辑工具中；

选择单元118，用于在所述编辑工具中，从所述各设备中选择所述受控设备以及所述受控设备的可控区域；

存储单元119，用于存储所述受控设备的可控区域三维位置信息。

其中，所述获得单元116，包括：

接收子单元1161，用于接收针对所述场景拍摄的图像；或者接收用户提供的所述场景的三维结构信息和所述场景中各设备的三维位置信息；

重建子单元1162，用于根据所述接收子单元接收到的图像进行三维重建得到所述场景的三维结构信息和所述场景中各设备的三维位置信息。

可选地，本发明实施例提供的家居设备交互装置，还可以包括：

添加单元1120，用于在所述标记单元标记所述受控设备之后，针对位于所述实时成像范围内的每一受控设备，确定该受控设备对应的控制操作菜单，并为该被标记的受控设备添加相应的隐藏的控制操作菜单。

具体实施时，第二显示单元115，还用于如果检测到所述显示屏上呈现的采集到的实时图像上标记范围内的任一位置被点击时，显示相应的控制操作菜单。较佳的，所述第二显示单元115，可以用于采用增强现实AR方式显示相应的控制操作菜单。

本发明实施例提供的智能家居交互装置可以设置于终端设备(上述的手机、平板电脑以及可穿戴设备如AR眼镜等)中。

在介绍了本发明提供的智能家居设备交互方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的智能家居设备交互装置。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明的智能家居交互装置可以包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的消息提示方法中的各种步骤。例如，所述处理单元可以执行如图5中所示的步骤S51，通过图像采集单元对当前场景进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像，步骤S52，确定图像采集单元的实时成像范围中的受控设备；以及步骤S53，在显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或用于响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

下面参照图12来描述根据本发明的这种实施方式的智能家居设备交互装置120。图12所示的用于智能家居设备交互装置仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图12所示，智能家居设备交互装置120可以以通用计算设备的形式表现。智能家居设备交互装置120的组件可以包括但不限于：上述至少一个处理单元121、上述至少一个存储单元122、连接不同系统组件(包括存储单元122和处理单元121)的总线123。

总线123表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元122可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1221和/或高速缓存存储器1222，还可以进一步包括只读存储器(ROM)1223。

存储单元122还可以包括具有一组(至少一个)程序模块1224的程序/实用工具1225，这样的程序模块1224包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

智能家居设备交互装置120也可以与一个或多个外部设备124(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与智能家居设备交互装置120交互的设备通信，和/或与使得该智能家居设备交互装置120能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口125进行。并且，智能家居设备交互装置120还可以通过网络适配器126与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器126通过总线123与用于智能家居设备交互装置120的其它模块通信。应当理解，尽管图中未示出，可以结合智能家居设备交互装置120使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

示例性程序产品

在一些可能的实施方式中，本发明提供的智能家居设备交互方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的智能家居设备交互方法中的步骤，例如，所述终端设备可以执行如图5中所示的步骤S51，通过图像采集单元对当前场景进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像，步骤S52，确定图像采集单元的实时成像范围中的受控设备；以及步骤S53，在显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或用于响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

如图13所示，描述了根据本发明的实施方式的用于智能家居设备交互的程序产品130，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。