设备控制方法、配网方法、系统及设备与流程

本申请涉及计算机技术领域，尤其涉及一种设备控制方法、配网方法、系统及设备。

背景技术：

物联网(internetofthings，iot)是指通过各种信息传感设备，实时采集需要监控、连接、互动的物体或过程等的信息，与互联网结合形成的一个巨大网络。物联网的目的是：实现物与物、物与人，所有的物品与网络的连接，方便识别、管理和控制。如今，接入物联网的设备(简称物联网设备)越来越丰富，已经可以通过智能音箱或手机等进行控制。

现有技术中，对物联网设备的控制要么通过语音，要么通过手机应用上的一个开关控制，不直观。

技术实现要素：

本申请提供一种解决上述问题或至少部分地解决上述问题的设备控制方法、配网方法、系统及设备。

在本申请的一个实施例中，提供了一种设备控制方法。该方法包括：

显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；

响应于用户在所述场景图像上针对一设备影像触发的控制事件，执行对所述设备影像对应的实体设备的控制操作。

在本申请的另一实施例中，提供了一种物联网系统。该物联网设备包括：

至少一个实体设备；

客户端，用于显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；响应于用户在所述场景图像上针对一设备影像触发的控制事件，执行对所述设备影像对应的实体设备的控制操作。

在本申请的又一个实施例中，提供了一种设备控制方法。该方法包括：

响应于用户在场景图像上触发的点选操作，获取用户选中设备影像的设备信息；其中，所述场景图像通过实景拍摄得到，其含有至少一个实体设备的设备影像；

检测所述设备信息对应的实体设备为联网状态时，监听用户针对所述设备影像进行的控制操作；

监听到所述用户完成所述控制操作后，基于所述控制操作的操作内容，执行对所述设备影像对应的实体设备的控制操作。

在本申请的又一个实施例中，提供了一种物联网系统。该物联网系统包括：

至少一个实体设备；

客户端，用于响应于用户在场景图像上触发的点选操作，获取用户选中设备影像的设备信息；其中，所述场景图像通过实景拍摄得到，其含有至少一个实体设备的设备影像；检测所述设备信息对应的实体设备为联网状态时，监听用户针对所述设备影像进行的控制操作；监听到所述用户完成所述控制操作后，基于所述控制操作的操作内容，执行对所述设备影像对应的实体设备的控制操作。

在本申请的又一个实施例中，提供了一种设备控制方法。该方法，包括：

显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；

在所述场景图像上，为第一实体设备的设备影像配备一个与其关联的控制控件；

响应于用户对所述控制控件的触控操作，显示控制页面或窗口以便所述用户通过所述控制界面或窗口完成对所述实体设备的控制。

在本申请的又一个实施例中，提供了一种配网方法。该方法包括：

显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；

对所述场景图像中的至少一个实体设备的设备影像进行识别，得到各实体设备的设备信息；

基于所述各实体设备的设备信息确定有未联网的实体设备时，对所述未联网的实体设备进行配网。

在本申请的又一个实施例中，提供了一种客户端设备。该客户端设备包括：存储器、处理器及显示器，其中，

所述存储器，用于存储程序；

所述显示器，与所述处理器耦合；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

控制所述显示器显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；

响应于用户在所述场景图像上针对一设备影像触发的控制事件，执行对所述设备影像对应的实体设备的控制操作。

在本申请的又一个实施例中，提供了一种客户端设备。该客户端设备包括存储器及处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

响应于用户在场景图像上触发的点选操作，获取用户选中设备影像的设备信息；其中，所述场景图像通过实景拍摄得到，其含有至少一个实体设备的设备影像；

检测所述设备信息对应的实体设备为联网状态时，监听用户针对所述设备影像进行的控制操作；

监听到所述用户完成所述控制操作后，基于所述控制操作的操作内容，执行对所述设备影像对应的实体设备的控制操作。

在本申请的又一个实施例中，提供了一种客户端设备。该客户端设备包括：存储器、处理器及显示器；其中，

所述存储器，用于存储程序；

所述显示器，与所述处理器耦合；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

控制所述显示器显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；

控制所述显示器在所述场景图像上，为第一实体设备的设备影像配备一个与其关联的控制控件；

响应于用户对所述控制控件的触控操作，控制所述显示器显示控制页面或窗口以便所述用户通过所述控制界面或窗口完成对所述实体设备的控制。

在本申请的又一个实施例中，提供了一种客户端设备。该客户端设备包括：存储器、处理器及显示器，其中，

所述存储器，用于存储程序；

所述显示器，与所述处理器耦合；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

控制所述显示器显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；

对所述场景图像中的至少一个实体设备的设备影像进行识别，得到各实体设备的设备信息；

基于所述各实体设备的设备信息确定有未联网的实体设备时，对所述未联网的实体设备进行配网。

本申请实施例提供的一个技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

本申请实施例提供的另一个技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后自动识别场景图像中各设备影像的设备信息，并基于识别结果，对未联网的实体设备进行自动配网，用户无需手动对每个实体设备进行配网，方便用户使用。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的物联网系统的结构示意图；

图2为本申请一实施例提供的设备控制方法的流程示意图；

图3为本申请一实施例提供的iot设备控制方法的流程示意图；

图4为本申请另一实施例提供的设备控制方法的流程示意图；

图5为本申请又一实施例提供的设备控制方法的流程示意图；

图6a示出了在实体设备的设备影像所在位置处显示一个与其关联的控制控件的示例；

图6b示出了在实体设备的设备影像附近显示一个与其关联的控制控件600的示例；

图6c示出了在实体设备的设备影像与控制控件之间显示用于表征关联关系的页面元素的示例；

图7为本申请一实施例提供的配网方法的流程示意图；

图8为本申请一实施例提供的设备控制装置的结构示意图；

图9为本申请另一实施例提供的设备控制装置的结构示意图；

图10为本申请又一实施例提供的设备控制装置的结构示意图；

图11为本申请一实施例提供的配网装置的结构示意图；

图12为本申请一实施例提供的客户端设备的结构示意图。

具体实施方式

物联网设备(简称iot设备)越来越丰富，例如，智能音箱、智能冰箱、室内灯具、插座、电饭煲等等。这些iot设备接入网络(如wifi网络)后，用户即可通过手机上的应用(app)对其进行控制。例如，用户打开手机app，手机应用界面上展示iot设备的标识(如名称)及其相应的控制开关；用户通过触控控制开关即可完成对iot设备的控制。或者，用户通过语音控制iot设备，例如，智能音箱。用户需在发出的控制语音中携带唤醒词，如“**音箱”；智能音箱在检测到唤醒词后，再基于用户发出的语音指令做出相应的响应操作(如播报天气预报等)。可见，现有技术中，用户在对iot设备进行控制时，用户在手机app上是无法看到实体iot设备的产品形态的，仅能看到iot设备的设备标识(如名称)，还无法将实体iot设备与所处实际位置对应，不够直观。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图1示出了本申请一实施例提供的物联网系统的结构示意图。如图1所示，所述物联网系统包括：至少一个实体设备102及客户端101。至少一个实体设备102与所述客户端101均接入网络。具体的，客户端101，用于显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；响应于用户在所述场景图像上针对一设备影像触发的控制事件，执行对所述设备影像对应的实体设备的控制操作。

例如，图1所示，至少一个实体设备102包括：微波炉1021、冰箱1022、洗衣机1023及电视机1024等等。各实体设备102被配置成在物理通信接口或层(在图1中被示为无线网络接口或有线连接103)上与接入网(例如图1所示的接入点104)通信。无线网络接口可遵循现有技术中的无线网络协议，如wifi(wirelessfidelity,即ieee802.11)。图1中仅示出了各设备接入网络的一种实现实例，即微波炉1021、冰箱1022、洗衣机1023及电视机1024通过无线接口接入网络，洗衣机1023还可通过有线方式接入网络；实际上，本实施例对于各设备采用无线的方式、还是有线的方式接入网络不作具体限定。

客户端101可包括智能手机、平板电脑、pda(personaldigitalassistant，个人数字助理)、智能穿戴设备(如智能手表、智能眼镜等)等任意终端设备。

接入点104可经由例如光学通信系统(诸如fios,fiberopticservice光纤服务)、电缆调制解调器、数字用户线路(dsl)调制解调器等连接到互联网。

另外，本实施例中提及的实体设备(比如iot设备)是指代具有可寻址接口(例如，网际协议(ip)地址、蓝牙标识符(id)、近场通信(nfc)id等)，并且可通过有线或无线连接方式向一个或多个其他实体设备传送信息的任何对象。实体设备可具有无源通信接口(诸如快速响应(qr)码、射频标识(rfid)标签、nfc标签等等)或有源通信接口(诸如调制解调器、收发机、发射机接收机等等)。实体设备还可具有特定的属性集(例如，设备状态或状况(诸如该iot设备是开启还是关断、打开还是关闭、空闲还是活跃、可用于任务执行还是繁忙等)、冷却或加热功能、环境监视或记录功能、发光功能、发声功能等)，其可被嵌入到中央处理单元(cpu)、微处理器、asic等等中，和/或由其控制/监视，并被配置用于连接至网络(诸如局域网或互联网)。例如，实体设备可包括但不限于：冰箱、烤箱、微波炉、洗碗机、洗衣机、干衣机、空调、电视机、灯具、吸尘器、洒水器、电表、燃气表等，只要这些设备装备有用于与网络进行通信的可寻址通信接口即可。实体设备还可包括手机、台式计算机、膝上型计算机、平板计算机、个人数字助理(pda)等等。相应地，物联网系统可由可接入因特网的设备(例如，膝上型或台式计算机、手机等)以及通常不具有互联网连通性的设备(例如，洗碗机等)的组合构成。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

现有物联网(iot)中的实体设备普遍采用wifi网络连接，然后通过客户端与服务端(如云端)进行数据交互。客户端与实体设备之间没有直接的交互，而是夹杂了服务端(如云端)，当然也可直接走局域网。即本实施例提供的所述方法中，对实体设备的控制可由服务端具体执行。具体的，本实施例提供的所述方法还可包括：

所述客户端101，还用于响应于用户在所述场景图像上针对一设备影像触发的控制事件，获取所述设备影像的设备信息及控制内容；将所述设备信息及控制内容发送至所述服务端105。

服务端105，用于根据所述控制内容对所述设备信息对应的实体设备进行控制。

其中，服务端可以是局域网中的服务器，或网络侧服务器(如云端)。

实际场景中，比如在家里电视机、智能音箱、台灯、插座等等散布在家里的多个角落。用户在使用如手机、计算机等设备的摄像头拍摄时，并不一定能在摄像头的取景范围内全部拍摄下来。由此，本实施例中的所述客户端101，还用于响应于用户的全景扫描操作，获取在全景扫描模式下采集到的多张图像；基于所述多张图像，生成全景模式的所述场景图像。其中，全景模式：是指拍摄超宽幅度的画面时，在每张相片后留出多余位置，以便后续将用户连续移动拍摄的多张相片组成一张超宽的实景照。具体来说，就是在拍摄的时候按照移动的移动轨迹移动镜头，使更多景物进入摄像头，然后就可以将所有摄像头经过的景物都集合到一张照片上，让一张照片涵盖更多的信息和内容。

下面各实施例中将对本实施例提供的所述物联网系统中客户端的具体工作流程作进一步的说明。

图2示出了本申请一实施例提供的设备控制方法的流程示意图。本实施例提供的所述方法的执行主体可以是客户端。具体的，如图2所示，所述设备控制方法，包括：

201、显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像。

202、响应于用户在所述场景图像上针对一设备影像触发的控制事件，执行对所述设备影像对应的实体设备的控制操作。

上述201中，所述场景图像可通过图像采集模块(如摄像头)采集得到。例如，监听到用户触控客户端交互界面上的图像采集控件后，通过调用接口调用客户端的图像采集模块以使图像采集模块处于开启状态，便于用户进行场景图像的采集。

当然，所述场景图像也可以是全景模式的图像。例如，本实施例提供的所述方法还可包括如下步骤：

响应于用户的全景扫描操作，获取在全景扫描模式下采集到的多张图像；

基于所述多张图像，生成全景模式的所述场景图像。

其中，上述全景扫描操作可具体为：用户触控客户端交互界面上的全景图像采集控件后，客户端界面上展现全景扫描移动轨迹；用户按照所述全景扫描移动轨迹移动客户端端，以采集扫描移动轨迹上进入取景范围内的景物。这里需要说明的是，基于多张图像生成全景模式的场景图像的过程，可参见现有技术，本实施例对此不作赘述。

上述202中，所述控制事件可以是用户在所述场景图像上点击某一设备影像后产生的。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

在一种可实现的技术方案中，本实施例中步骤202、“响应于用户在所述场景图像上针对一设备影像触发的控制事件，执行对所述设备影像对应的实体设备的控制操作”，可采用如下步骤实现：

2021、响应于用户在所述场景图像上针对一设备影像触发的控制事件，获取所述设备影像的设备信息及控制内容。

2022、将所述设备信息及控制内容发送至所述服务端，以由所述服务端根据所述控制内容对所述设备信息对应的实体设备进行控制。

其中，所述设备信息可包括但不限于：设备标识、网络状态、工作状态。

上述2021可包括如下步骤：

s1、响应于用户在所述场景图像上的点选操作，获取所述用户选中的设备影像。

具体地，本步骤s1可包括：响应于用户在所述场景图像上的点选操作，获取所述点选操作的操作位置；在所述场景图像上，在所述操作位置为中心的检测区域内检测设备影像，若未检测到设备影像，则向外扩大检测区域，继续在扩大后的检测区域内检测，直至检测到设备影像退出。在一具体实现实例中，各设备影像预先存储在本地，在检测过程中可通过影像比对来确定是否检测到设备影像。

又或者，每个实体设备上都有一个用于识别设备的图案(如二维码或条形码)，且这些图案在场景图像采集前均朝向外侧使其能被拍摄得到。由此，步骤s1可包括：响应于用户在所述场景图像上的点选操作，获取所述点选操作的操作位置；在所述场景图像上，在所述操作位置为中心的检测区域内检测符合预设要求的图案，若检测到该符合要求的图案，则该图案即为用户选中的设备影像。

s2、对所述设备影像进行识别，得到所述设备信息。

一种可实现的技术方案中，对设备影像进行图像识别(机器学习或深度学习等技术来对设备影像进行实物识别)，得到设备类别或设备名称(如冰箱、电视机)；然后根据设备类别或设备名称，获取设备的网络状态、工作状态等，以得到所述设备信息。

或者，另一种可实现的技术方案中，实体设备上有条形码或二维码等图案；用户在拍摄场景图像前，将条形码和二维码均朝向外侧使其能拍摄得到；实体设备在场景图像中所呈的设备影像上就会有条形码或二维码，通过识别设备影像上的条形码或二维码，即可获得实体设备的设备信息。具体的，本步骤s2可包如下步骤：

在所述设备影像中，检测符合预设要求的图案；

检测出所述图案时，对所述图案进行识别得到所述设备信息。

其中，符合预设要求的图案包括：二维码或条形码。

s3、响应于所述用户针对所述设备影像进行的控制操作，确定所述控制内容。

其中，控制操作可以是用户对开关控件进行拨动的操作，或功能的选择操作等等。比如，智能电饭煲，用户可选择煮粥模式、米饭模式、预约模式等等。用户控制操作完成后，即可得到用户此次控制的控制内容。比如，用户将开关控件拨动至开启状态，则确定出的控制内容为开启控制。

进一步，在执行本实施例中的步骤202之前，本实施例提供的方法还可包括如下步骤：

205、检测所述场景图像中含有的至少一个设备影像中各设备影像的实体设备是否均已完成配网。

206、有未完成配网的实体设备时，执行配网操作以使未完成配网的实体设备接入网络。

本实施例的实施基础是：实体设备需已完成配网，即已成功接入网络。只有实体设备接入网络，才能实现对实体设备的控制。因此，在实现本实施例提供的方法之前，可对在场景图像中呈现有设备影像的实体设备进行配网检测。只有确保各实体设备均完成配网，场景图像上对应的设备影像才可作为控制对象。

物联网系统中，一些实体设备如智能插座、智能空调、智能空气净化器等，由于不具备人机交互界面，所以不能像电脑、手机等设备一样的搜索，选择指定的ap并输入连接密码。上述步骤205和206就是来解决这一类设备的联网需求的。进一步来说，就是通过某种方式把ap的名称(ssid)和密码告知实体设备中的网络连接模块(如wifi模块)，之后实体设备根据收到的ssid和密码连接指定ap。

配网操作有以下两种模式：

softap配网模式：实体设备需处于ap模式，客户端用于sta模式；客户端连接实体设备的ap后组成局域网；客户端发送需要连接路由的ssid及密码至实体设备，实体设备主动去连接指定路由后完成连接。

一键配置(smartconfig)模式：实体设备中的网络连接模块(如wifi模块)处于混杂模式(promiscuousmodel)下，监听网络中的所有报文；客户端将ssid和密码编码到udp报文中在，通过广播包或组播包发送。实体设备接收到udp报文后解码得到正确的ssid和密码，然后主动连接指定ssid的路由，完成连接。

再进一步的，本实施例提供的方法还可包括如下步骤：

207、若所述配网操作失败，则显示提示信息以提示用户确认配网操作失败的实体设备是否被打开并工作于配网模式。

由上述配网过程可知，设备只有在打开并工作与配网模式(如wifi配网模式)才能进行配网。显示提示信息的目的是为了提示用户，让用户查看实体设备是否未被打开并工作于配网模式。

下面以实体设备上都有可见的二维码为例，对本申请实施例提供的技术方案进行说明。

用户进入客户端应用后，可先查看各iot设备(即各实施例中的实体设备)的联网状态，如有未联网的iot设备，可让所有需要配网的iot设备进入配网模式，并确保各iot设备位于可见区域，且各设备的二维码同样可见。上述准备工作完成后，本实施例提供的设备控制方法，如图3所示，可具体包括，：

301、响应于用户触发的全景扫描请求，进入app全景扫描模式，扫描所在区域一定角度(如90度、135度、180度或360度等的景象)内的景象得到一全景模式的场景图像。

302、扫描完成后，显示场景图像并对场景图像中的所有二维码进行识别，得到多个设备信息。

303、基于所述多个设备信息，判断是否有未联网iot设备；若有，则进入步骤304；否则，进入步骤305。

304、对未联网iot设备进行配网操作，并执行步骤305。

305、响应于用户在场景图像中的点选操作，获取点选操作的操作位置处的二维码；对所述二维码进行识别得到设备信息。

306、响应于用户针对其选中的设备影像进行的控制操作，确定控制内容。

307、将所述设备信息及所述控制内容发送至服务端，服务端根据控制内容对所述设备信息对应的iot设备进行控制。

本申请的另一实施例提供一种物联网系统，该物联网系统的架构同上述图1所示的物联网系统的结构示意图。本实施例与上述图1所示实施例的区别是：客户端的执行功能不同。具体的，本实施例提供的物联网系统，同上述图1所示实施例，包括：至少一个实体设备102及客户端101。区域在于：所述客户端101，用于响应于用户在场景图像上触发的点选操作，获取用户选中设备影像的设备信息；其中，所述场景图像通过实景拍摄得到，其含有至少一个实体设备的设备影像；检测所述设备信息对应的实体设备为联网状态时，监听用户针对所述设备影像进行的控制操作；监听到所述用户完成所述控制操作后，基于所述控制操作的操作内容，执行对所述设备影像对应的实体设备的控制操作。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

同样的，对实体设备的控制可由服务端来实现。即本实施例提供的技术方案还包括：

所述客户端101，还用于监听到所述用户完成所述控制操作后，将所述操作内容及所述设备信息发送至服务端105；

所述服务端105，用于根据所述操作内容对所述设备信息对应的实体设备进行控制。

本实施例之前的各实施例的技术方案，是在用户对场景图像进行操作之前，先对场景图像中出现的实体设备进行配网。实际上，用户边操作边去检测是否联网也是可行的。即本实施例提供的技术方案，用户在场景图像上点选一设备影像后，再判断该设备影像对应的实体设备是否为联网状态；若为断网状态，则在对其进行配网后再进行后续的动作。其中，客户端的工作流程可参见如下各实施例。

图4示出了本申请另一实施例提供的设备控制方法的流程示意图。本实施例提供的所述方法的执行主体可以是客户端。如图4所示，所述设备控制方法，包括：

401、响应于用户在场景图像上触发的点选操作，获取用户选中设备影像的设备信息。

其中，所述场景图像通过实景拍摄得到，其含有至少一个实体设备的设备影像。具体实施时，所述场景图像可以全景模式的场景图像。

402、检测所述设备信息对应的实体设备为联网状态时，监听用户针对所述设备影像进行的控制操作。

403、监听到所述用户完成所述控制操作后，基于所述控制操作的操作内容，执行对所述设备影像对应的实体设备的控制操作。

在一种可实现的技术方案中，上述401“响应于用户在场景图像上触发的点选操作，获取用户选中设备影像的设备信息”，可具体为：

响应于用户在场景图像上触发的点选操作，获取点选操作的操作位置处的设备影像；对所述操作位置处的设备影像进行识别，得到所述用户选中的设备影像的设备信息。具体实施时，可采用图像识别技术(如深度学习技术)对设备影像进行识别，以识别出设备类别或名称。或者，设备影像上有二维码或条形码，通过识别用户选中设备影像上的二维码或条形码得到设备信息。

在一种可实现的技术方案中，步骤402“检测所述设备信息对应的实体设备为联网状态时，监听用户针对所述设备影像进行的控制操作”，可具体采用如下步骤实现：

4021、检测所述设备信息对应的实体设备为联网状态时，显示所述设备影像对应的控制界面或窗口。

4022、监听用户在所述控制界面或窗口内进行的控制操作。

只有在实体设备为联网状态时，用户才能通过客户端对其进行控制。即检测到所述设备信息对应的实体设备为联网状态时，再显示所述设备影像对应的控制界面或窗口，等待用户在控制界面或窗口内进行的控制操作。具体实施时，控制界面或窗口内可包含有：开关控件、功能选项、预约时间设置等。具体的，不同类别的实体设备，其对应的控制界面或窗口不同，可基于实体设备的具体设备特点设定，本实施例对此不作具体限定。

在一种可实现的技术方案中，步骤403“监听到所述用户完成所述控制操作后，基于所述控制操作的操作内容，执行对所述设备影像对应的实体设备的控制操作”，包括：

监听到所述用户完成所述控制操作后，将所述操作内容及所述设备信息发送至服务端，以由服务端根据所述操作内容对所述设备信息对应的实体设备进行控制。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

进一步的，本申请实施例提供的所述方法还可包括如下步骤：

404、检测所述设备信息对应的实体设备为断网状态时，执行配网操作以使所述设备信息对应的实体设备接入网络。

405、待所述设备信息对应的实体设备成功接入网络后，所述设备影像即为可进行控制操作的对象。

其中，上述404中配网操作可参见上述实施例中的相应内容，此处不再赘述。

图5示出了本申请又一实施例提供的设备控制方法的流程示意图。同样的，本实施例提供的所述方法的执行主体可以是客户端。如图5所示，所述设备控制方法，包括：

501、显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像。

502、在所述场景图像上，为第一实体设备的设备影像配备一个与其关联的控制控件。

503、响应于用户对所述控制控件的触控操作，显示控制页面或窗口以便所述用户通过所述控制界面或窗口完成对所述实体设备的控制。

有关502可参见上述各实施例中的相关内容，此处不再赘述。

上述502中，控制控件的显示方式可包括但不限于如下的几种：

在所述第一实体设备的设备影像位置处采用隐式方式为其配置一个不可见的所述控制控件；或者

在所述第一实体设备的设备影像所在位置处显示一个与其关联的控制控件；或者

在所述第一实体设备的设备影像附近显示一个与其关联的控制控件；或者

在所述场景图像上，显示为所述第一实体设备的设备影像配备的控制控件，并在所述第一实体设备的设备影像与所述控制控件之间显示用于表征关联关系的页面元素。

图6a示出了在实体设备的设备影像所在位置处显示一个与其关联的控制控件的示例；6b示出了在实体设备的设备影像附近显示一个与其关联的控制控件600的示例；及图6c示出了在实体设备的设备影像与控制控件之间显示用于表征关联关系的页面元素的示例。其中，图6c所示的实例中，用于表征关联关系的页面元素即各控制控件上显示的各实体设备的设备类别；用户可根据各控制控件上显示设备类别的页面元素，即可将图中的设备影像与控制控件关联起来。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

在一种可实现的技术方案中，步骤502、“在所述场景图像上，为第一实体设备的设备影像配备一个与其关联的控制控件”可具体包括：

5021、对所述第一实体设备的设备影像进行识别，得到所述第一实体设备的设备信息。

5022、基于所述第一实体的设备信息确定所述第一实体设备为联网状态时，为所述第一实体设备的设备影像配备一个与其关联的控制控件。

上述5021中，可采用图像识别技术(如深度神经网络技术)对设备影像进行识别，以得到设备类别或名称；然后，再根据设备类别或名称，获得网络状态、工作状态等信息。或者，通过识别设备影像中的二维码或条形码，得到该设备影像对应的实体设备的设备信息。

进一步的，本申请实施例提供的所述方法还可包括如下步骤：

503、对所述场景图像中的第二实体设备的设备影像进行识别，得到所述第二实体设备的设备信息。

504、基于所述第二实体的设备信息确定所述第二实体设备为断网状态时，为所述第二实体设备的设备影像配备一个与其关联的配网控件。

图6a中示出了洗衣机的设备影像配备显示有一个与其关联的配网控件601的示例。

图7示出了本申请一实施例提供的配网方法的流程示意图。本实施例提供的所述方法的执行主体可以是客户端。具体的，如图7所示，所述设备控制方法，包括：

601、显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像。

602、对所述场景图像中的至少一个实体设备的设备影像进行识别，得到各实体设备的设备信息。

603、基于所述各实体设备的设备信息确定有未联网的实体设备时，对所述未联网的实体设备进行配网。

有关上述601～603的具体实现，可参见上述各实施例中的相应内容，此处不再赘述。

本申请实施例提供的另一个技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后自动识别场景图像中各设备影像的设备信息，并基于识别结果，对未联网的实体设备进行自动配网，用户无需手动对每个实体设备进行配网，方便用户使用

在一种可实现的技术方案中，上述步骤602“对所述场景图像中的至少一个实体设备的设备影像进行识别，得到各实体设备的设备信息”，包括：

6021、获取各实体设备的设备影像中符合要求的图案。

6022、对各实体设备的设备影像中符合要求的图案进行识别，得到各实体设备的设备信息。

具体实施时，符合要求的图案可以是但不限于：条形码、二维码等。

通过上述各步骤完成对实体设备的配网使得实体设备成功接入网络后，场景图像中的各设备影像即为可进行控制的对象。

需要说明的是，上述各实施例中提及的用户在场景图像上的点选操作可以为例如：长按、连击、单击等操作。

图8示出了本申请一实施例提供的设备控制装置的结构示意图。如图所示，所述设备控制装置包括：显示模块11及执行模块12。其中，显示模块11用于显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；执行模块12用于响应于用户在所述场景图像上针对一设备影像触发的控制事件，执行对所述设备影像对应的实体设备的控制操作。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

进一步的，所述执行模块12还用于：响应于用户在所述场景图像上针对一设备影像触发的控制事件，获取所述设备影像的设备信息及控制内容；将所述设备信息及控制内容发送至所述服务端，以由所述服务端根据所述控制内容对所述设备信息对应的实体设备进行控制。

进一步的，所述设备信息包括如下至少一种信息：设备标识、网络状态、工作状态。

进一步的，所述执行模块12还用于：响应于用户在所述场景图像上的点选操作，获取所述用户选中的设备影像；对所述设备影像进行识别，得到所述设备信息；响应于所述用户针对所述设备影像进行的控制操作，确定所述控制内容。

进一步的，所述执行模块12还用于：在所述设备影像中，检测符合预设要求的图案；检测出所述图案时，对所述图案进行识别得到所述设备信息。

其中，符合预设要求的图案包括但不限于：二维码或条形码等。

进一步的，本实施例提供的所述设备控制装置还可包括：获取模块及生成模块。其中，获取模块用于响应于用户的全景扫描操作，获取在全景扫描模式下采集到的多张图像；所述生成模块用于基于所述多张图像，生成全景模式的所述场景图像。

进一步的，本申请实施例提供的所述设备控制装置还可包括：检测模块和配网模块。其中，所述检测模块用于检测所述场景图像中含有的至少一个设备影像中各设备影像的实体设备是否均已完成配网；所述配网模块用于有未完成配网的实体设备时，执行配网操作以使未完成配网的实体设备接入网络。

进一步的，本申请实施例提供的所述设备控制装置还可包括显示模块，该显示模块用于若所述配网操作失败，则显示提示信息以提示用户确认配网操作失败的实体设备是否被打开并工作于配网模式。

这里需要说明的是：上述实施例提供的设备控制装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图9示出了本申请另一实施例提供的设备控制装置的结构示意图。如图9所示，所述设备控制装置包括：获取模块21、检测模块22、监听模块23及控制模块24。其中，获取模块21用于响应于用户在场景图像上触发的点选操作，获取用户选中设备影像的设备信息；其中，所述场景图像通过实景拍摄得到，其含有至少一个实体设备的设备影像；所述检测模块22用于检测所述设备信息对应的实体设备是否为联网状态；所述监听模块23用于在所述设备信息对应的实体设备为联网状态时，监听用户针对所述设备影像进行的控制操作；所述控制模块24用于在所述监听模块监听到所述用户完成所述控制操作后，基于所述控制操作的操作内容，执行对所述设备影像对应的实体设备的控制操作。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

进一步的，所述监听模块23还用于所述设备信息对应的实体设备为联网状态时，显示所述设备影像对应的控制界面或窗口；监听用户在所述控制界面或窗口内进行的控制操作。

进一步的，本实施例提供的设备控制装置还包括配网模块。所述配网模块还用于在所述设备信息对应的实体设备为断网状态时，执行配网操作以使所述设备信息对应的实体设备接入网络；待所述设备信息对应的实体设备成功接入网络后，所述设备影像即为可进行控制操作的对象。

进一步的，所述控制模块24还用于：在所述监听模块监听到所述用户完成所述控制操作后，将所述操作内容及所述设备信息发送至服务端，以由服务端根据所述操作内容对所述设备信息对应的实体设备进行控制。

这里需要说明的是：上述实施例提供的设备控制装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图10示出了本申请又一实施例提供的设备控制装置的结构示意图。如图所示，所述设备控制装置包括：第一显示模块31、第二显示模块32及第三显示模块33。其中，所述第一显示模块31用于显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；所述第二显示模块32用于在所述场景图像上，为第一实体设备的设备影像配备一个与其关联的控制控件；所述第三显示模块33用于响应于用户对所述控制控件的触控操作，显示控制页面或窗口以便所述用户通过所述控制界面或窗口完成对所述实体设备的控制。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

进一步的，所述第二显示模块32还用于：

在所述第一实体设备的设备影像所在位置处显示一个与其关联的控制控件；或者

在所述第一实体设备的设备影像附近显示一个与其关联的控制控件；或者

在所述场景图像上，显示为所述第一实体设备的设备影像配备的控制控件，并在所述第一实体设备的设备影像与所述控制控件之间显示用于表征关联关系的页面元素。

进一步的，所述第二显示模块32还用于：

对所述第一实体设备的设备影像进行识别，得到所述第一实体设备的设备信息；

基于所述第一实体的设备信息确定所述第一实体设备为联网状态时，为所述第一实体设备的设备影像配备一个与其关联的控制控件。

进一步的，本实施例提供的设备控制装置还包括：识别模块及第四显示模块。其中，所述识别模块用于对所述场景图像中的第二实体设备的设备影像进行识别，得到所述第二实体设备的设备信息；所述第四显示模块用于基于所述第二实体的设备信息确定所述第二实体设备为断网状态时，为所述第二实体设备的设备影像配备一个与其关联的配网控件。

这里需要说明的是：上述实施例提供的设备控制装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图11示出了本申请一实施例提供的配网装置的结构示意图。如图11所示，所述配网装置包括：显示模块41、识别模块42及配网模块43。其中，显示模块41用于显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；识别模块42用于对所述场景图像中的至少一个实体设备的设备影像进行识别，得到各实体设备的设备信息；配网模块43用于基于所述各实体设备的设备信息确定有未联网的实体设备时，对所述未联网的实体设备进行配网。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后自动识别场景图像中各设备影像的设备信息，并基于识别结果，对未联网的实体设备进行自动配网，用户无需手动对每个实体设备进行配网，方便用户使用

进一步的，所述识别模块42还用于获取各实体设备的设备影像中符合要求的图案；对各实体设备的设备影像中符合要求的图案进行识别，得到各实体设备的设备信息。

这里需要说明的是：上述实施例提供的配网装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图12示出了本申请一实施例提供的客户端设备的结构示意图。如图12所示，所述客户端设备包括：存储器51、处理器52及显示器54。其中，

所述存储器51，用于存储程序；

所述显示器54，与所述处理器耦合；

所述处理器52，与所述存储器51耦合，用于执行所述存储器51中存储的所述程序，以用于：

控制所述显示器54显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；

响应于用户在所述场景图像上针对一设备影像触发的控制事件，执行对所述设备影像对应的实体设备的控制操作。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

上述处理器52在执行存储器51中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步，如图12所示，客户端设备还包括：通信组件53、显示器54、电源组件55、音频组件56等其它组件。图12中仅示意性给出部分组件，并不意味着客户端设备只包括图12所示组件。

本申请另一实施例提供了一种客户端设备。本实施例提供的客户端设备的实现结构可参见上述图12所示的结构。本实施例提供的客户端设备包括：存储器及处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

响应于用户在场景图像上触发的点选操作，获取用户选中设备影像的设备信息；其中，所述场景图像通过实景拍摄得到，其含有至少一个实体设备的设备影像；

检测所述设备信息对应的实体设备为联网状态时，监听用户针对所述设备影像进行的控制操作；

监听到所述用户完成所述控制操作后，基于所述控制操作的操作内容，执行对所述设备影像对应的实体设备的控制操作。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

上述处理器在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步，客户端设备还包括：通信组件、电源组件、音频组件等其它组件。

本申请另一实施例提供了一种客户端设备。本实施例提供的客户端设备的实现结构可参见上述图12所示的结构。本实施例提供的客户端设备包括：存储器、处理器及显示器；其中，

所述存储器，用于存储程序；

所述显示器，与所述处理器耦合；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

控制所述显示器显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；

控制所述显示器在所述场景图像上，为第一实体设备的设备影像配备一个与其关联的控制控件；

响应于用户对所述控制控件的触控操作，控制所述显示器显示控制页面或窗口以便所述用户通过所述控制界面或窗口完成对所述实体设备的控制。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后可通过在场景图像上进行操作的方式，完成对相应实体设备的控制，所见即所得的效果，非常直观，使用方便；特别是场所内有多个可控制的实体设备时，场景图像能直观的展现各实体设备的影像，用户在欲控制的设备影像上进行相应操作，即可完成对相应实体设备的控制，直观、不易出错。

上述处理器在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步，客户端设备还包括：通信组件、电源组件、音频组件等其它组件。

本申请另一实施例提供了一种客户端设备。本实施例提供的客户端设备的实现结构可参见上述图12所示的结构。本实施例提供的客户端设备包括：存储器、处理器及显示器；其中，

所述存储器，用于存储程序；

所述显示器，与所述处理器耦合；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

控制所述显示器显示实景拍摄到的场景图像，其中，所述场景图像中含有至少一个实体设备的设备影像；

对所述场景图像中的至少一个实体设备的设备影像进行识别，得到各实体设备的设备信息；

基于所述各实体设备的设备信息确定有未联网的实体设备时，对所述未联网的实体设备进行配网。

本实施例提供的技术方案，用户可通过实景拍摄实体设备所在的场所得到场景图像，然后自动识别场景图像中各设备影像的设备信息，并基于识别结果，对未联网的实体设备进行自动配网，用户无需手动对每个实体设备进行配网，方便用户使用。

上述处理器在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步，客户端设备还包括：通信组件、电源组件、音频组件等其它组件。

上述各实施例中的存储器可被配置为存储其它各种数据以支持在客户端设备上的操作。这些数据的示例包括用于在客户端设备上操作的任何应用程序或方法的指令。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的信息处理方法步骤或功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。