移动终端及其控制方法与流程

1.技术领域

本公开涉及一种能够控制物联网(iot)装置的移动终端及其控制方法。

2.

背景技术：

移动终端已经变成日益增长更多的功能。这样的功能的示例包括数据和语音通信、经由相机捕获图像和视频、记录音频、经由扬声器系统播放音乐文件、以及在显示器上显示图像和视频。一些移动终端包括支持玩游戏的附加的功能性，而其它的终端被配置为多媒体播放器。最近，移动终端已经被配置成接收允许观看诸如视频和电视节目的内容的广播和多播信号。

随着其变成多功能的，能够允许移动终端捕获静止图像或者运动图像，播放音乐或者视频文件、玩游戏、接收广播等等，使得被实现为一体化多媒体播放器。

正在不断进行努力以支持和增加移动终端的功能性。这样的努力包括软件和硬件改进，以及在结构组件中的变化和改进。

同时，最近，由于技术的发展，多个装置可以经由网络被连接。iot技术的发展允许多个装置形成网络以便当前被相互连接使多个装置共享相互信息或者使用网络向用户提供各种功能。

因此，用于容易地管理和控制能够相互通信的多个装置，即，iot装置的方法已经被积极地研究，并且为此，也已经研究通过用户的移动终端管理和控制iot装置的方法。

技术实现要素：

因此，详细描述的方面是为了提供一种具有允许用户容易地和方便地管理和控制多个物联网(iot)装置的移动终端，和控制移动终端的方法。

详细描述的另一方面是为了提供一种能够使用户通过使用通过移动终端的相机感测到的预览图像识别和控制多个iot装置从而通过直觉容易地管理iot装置的移动终端，和控制移动终端的方法。

为了实现这些和其它的优点并且根据本说明书的用途，如在此具体化和广泛地描述的，一种移动终端，包括：相机；存储器，该存储器被配置成存储信息；触摸屏，该触摸屏被配置以显示信息；通信单元，该通信单元被配置成执行与至少一个装置的无线通信；以及控制器，该控制器被配置成：使触摸屏显示通过相机获得的预览图像或者先前存储的图像的图像，其中被显示的图像包括多个装置并且对应于移动终端位于的特定室内区域；使存储器存储包括多个装置的两个或者更多个装置的连接信息和两个或者更多个装置的操作状态信息的设置信息；并且经由通信单元发送信息以使两个或者更多个装置根据被存储的连接信息相互连接，并且响应于被存储的设置信息的选择根据被存储的操作状态信息进行操作。

在本公开的实施例中，控制器进一步被配置成：使设置信息被存储以与特定情形设置相关联；并且当多个设置信息中的每一个被存储时，基于通过移动终端检测到的相对应的周围环境信息使存储器不同地存储与相同的特定情形设置相关联的多个设置信息。

在本公开的实施例中，周围环境信息包括当前时间和天气信息。

在本公开的实施例中，控制器进一步被配置成使触摸屏显示用于基于通过移动终端检测到的周围环境信息改变两个或者更多个装置中的至少一个的操作状态的信息。

在本公开的实施例中，用于改变两个或者更多个装置中的至少一个的操作状态的被显示的信息进一步以检测到的周围环境信息和两个或者更多个装置的当前操作状态为基础。

在本公开的实施例中，控制器进一步被配置成：当根据被显示的信息改变两个或者更多个装置的至少一个的操作状态时，更新所选择的设置信息。

在本公开的实施例中，控制器进一步被配置成：使触摸屏显示与两个或者更多个装置中的每一个相对应的图形对象；以及当与所选择的一个装置相对应的图形对象被选择时使两个或者更多个装置中的所选择的一个被断开。

在本公开的实施例中，控制器进一步被配置成：根据经由触摸屏接收到的拖动轨迹从用于被存储的设置信息的多个装置中选择两个或者更多个装置，其中拖动轨迹在被显示的图像中形成与两个或者更多个装置中的每一个相交的环路。

在本公开的实施例中，控制器进一步被配置成：当预设时段期满时或者当两个或者更多个装置中的一个的连接状态被改变时，使设置信息被存储。

在本公开的实施例中，控制器进一步被配置成，使触摸屏显示用于两个或者更多个装置中的每一个的控制界面，其中，基于在被显示的图像中的相对应的装置的大小，控制界面是不同的。

在本公开的实施例中，其中根据图像的放大或者缩小或者根据在特定室内区域内的移动终端的移动，改变在被显示的图像中的相对应的装置的大小。

在本公开的实施例中，控制器进一步被配置成：随着在被显示的图像的相对应的装置的大小增加，改变被显示的控制界面以具有相对应的装置的更高的控制粒度。

在本公开的实施例中，控制器进一步被配置成：响应于被显示的图像中的所选择的装置的选择使触摸屏显示与两个或者更多个装置的所选择的装置的操作状态有关的图形对象；以及基于对显示的图形对象的触摸输入，控制所选择的装置。

在本公开的实施例中，控制器进一步被配置成：使触摸屏显示反映一个或者多个iot装置的操作状态变化的效果的通过相机感测到的图像。

在本公开的实施例中，进一步包括传感器，该传感器被配置成检测移动终端被抓握的状态，其中，基于移动终端被抓握的检测到的状态，显示通过相机获得的预览图像或者先前存储的图像。

在本公开的实施例中，控制器进一步被配置成：当被包括在先前存储的图像中的特定对象被显示在触摸屏上并且接收到对显示的特定对象的选择输入时，使触摸屏显示与另一室内区域相对应的另一先前存储的图像，其中显示的另一先前存储的图像包括其它的多个装置。

在本公开的实施例中，控制器进一步被配置成：将其它的多个装置中的一个与两个或者更多个装置中的一个相连接。

在本公开的实施例中，控制器进一步被配置成：当另一先前存储的图像被存储时，使触摸屏在显示的图像上显示与特定对象的区域相对应的指示符。

在本公开的实施例中，控制器进一步被配置成：经由通信单元建立与接入点的连接，其中接入点包括与特定室内区域中的多个装置有关的信息；以及当移动终端被连接到接入点时，确定移动终端已经进入特定室内区域。

为了实现这些和其它的优点并且根据本说明书的用途，如在此具体化和广泛地描述的，一种控制移动终端的方法，该方法包括：显示包括位于特定室内区域中的多个装置的操作状态信息和连接状态信息的多个设置信息项目，其中，基于当存储各个相对应的设置信息项目时检测到的周围环境信息，不同地显示多个设置信息项目中的每一个；以及控制多个装置中的一个或者多个以被相互连接，并且响应于选择的设置信息项目的选择根据多个设置信息项目中的所选择的设置信息项目操作，其中多个设置信息项目中的每一个对应于不同的预设特定情形设置。

根据在下文中给出的详细描述，本申请的应用的进一步范围将变得更加显然。然而，应理解的是，仅通过说明给出指示本公开的优选实施例的特定示例和详细描述，因为对本领域的技术人员来说本公开的精神和范围内的各种变化和修改将变得显然。

附图说明

附图被包括以提供对本公开的进一步理解，并且被并入且组成本说明书的一部分，附图图示示例性实施例并且连同描述一起用于解释本公开的原理。

在附图中：

图1a是根据本公开的移动终端的框图；

图1b和图1c是从不同方向看的移动终端的一个示例的概念图；

图2是示出在根据本公开的实施例的移动终端中根据移动终端被抓握的状态不同的用户界面被提供以控制物联网(iot)装置的操作过程的流程图。

图3a和图3b是图示根据本公开的实施例的移动终端被抓握的示例的视图。

图4是图示在根据本公开的实施例的移动终端中用户界面被提供以根据用户的选择控制被定位在其内部没有被显示的特定区域中的iot装置的过程的流程图。

图5是图示在根据本公开的实施例的移动终端中根据被显示在显示单元上的特定iot装置图像的大小提供不同的控制界面的过程的流程图。

图6是图示在根据本公开的实施例的移动终端中基于被施加到被显示在显示单元上的图像的触摸输入连接一个或者多个iot装置的操作过程的流程图。

图7是图示在根据本公开的实施例的移动终端中根据特定iot装置的操作状态中的变化估计的图像被显示的操作过程的流程图。

图8是图示在根据本公开的实施例的移动终端中对不同的移动终端单独地许可控制iot装置的权限的操作过程的流程图。

图9a和图9b是图示根据本公开的实施例的移动终端使用先前捕获的图像控制iot装置的示例的视图。

图10是图示在根据本公开的实施例的移动终端中通过预览图像控制iot装置的示例的视图。

图11是图示在根据本公开的实施例的移动终端中控制被定位在不显示其内部的特定区域中的iot装置的示例的视图。

图12是图示在根据本公开的实施例的移动终端中检测和注册新的iot装置的示例的视图。

图13是图示在根据本公开的实施例的移动终端中基于触摸输入相互连接被显示在显示单元上的iot装置的示例的视图。

图14a和图14b是图示在根据本公开的实施例的移动终端中根据预设模式控制多个iot装置的操作状态的示例的视图。

图15是图示在根据本公开的实施例的移动终端中通过预览屏幕显示根据已经改变其操作状态的iot装置的周围环境中的变化的示例的视图。

图16a和图16b是图示在根据本公开的实施例的移动终端中根据被显示在显示单元上的iot装置的图像的大小提供不同的控制界面的示例的视图。

图17是图示在根据本公开的实施例的移动终端中对不同的移动终端许可控制特定iot装置的权限的示例的视图。

具体实施方式

参考附图，现在将根据在此公开的示例性实施例详细地给出描述。为了参考附图简要描述，相同的或者等效的组件可以被设有相同或者相似的附图标记，并且其描述将不会被重复。通常，诸如“模块”和“单元”的后缀可以被用于指代元件或者组件。这样的后缀的使用在此旨在仅有助于说明书的描述，并且后缀本身旨在没有给予任何特定的意义或者功能。在本公开中，为了简要，通常已经省略了在相关领域中对于普通技术人员来说公知的那些。附图被用于帮助容易地理解各种技术特征并且应理解附图没有限制在此提出的实施例。正因如此，本公开应被解释为延伸到除了在附图中特别陈述的之外的任何改变、等同物以及替代。

可以使用各种不同类型的终端实现在此提出的移动终端。这样的终端的示例包括蜂窝电话、智能电话、用户装置、膝上型计算机、数字广播终端、个人数字助手(pda)、便携式多媒体播放器(pmp)、导航仪、便携式计算机(pc)、板式pc、平板pc、超级本、可佩戴装置(例如，智能手表、智能眼镜、头戴式显示器(hmd))等等。

现在参考图1a-1c，其中图1a是根据本公开的移动终端的框图，并且图1b和图1c是从不同的方向看到的移动终端的一个示例的概念视图。

示出移动终端100，其具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180、以及电源单元190的各种组件。理解的是，不要求实现所有图示的组件，并且可以替换地实现更多或者更少的组件。

现在参考图1a，示出移动终端100，该移动终端100具有被配置有数个被共同实现的组件的无线通信单元110。例如，无线通信单元100通常包括允许在移动终端100与无线通信系统或者移动终端位于的网络之间的无线通信的一个或多个组件。

无线通信单元110通常包括一个或者多个模块，其允许诸如在移动终端100和无线通信系统之间的无线通信的通信、在移动终端100和另一移动终端之间的通信、在移动终端100与外部服务器之间通信。此外，无线通信单元110通常包括将移动终端100连接到一个或者多个网络的一个或者多个模块。为了有助于这样的通信，无线通信单元110包括一个或者多个广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114、以及位置信息模块115中的一个或者多个。

输入单元120包括：用于获得图像或者视频的相机121；麦克风122，该麦克风122是一种用于输入音频信号的音频输入装置；以及用于允许用户输入信息的用户输入单元123(例如，触摸键、推动键、机械键、软键等等)。数据(例如，音频、视频、图像等等)通过输入单元120被获得并且可以根据装置参数、用户命令、以及其组合通过控制器180分析和处理。

通常使用被配置成感测移动终端的内部信息、移动终端的周围环境、用户信息等等的一个或者多个传感器实现感测单元140。例如，在图1a中，示出具有接近传感器141和照明传感器142的感测单元140。

必要时，感测单元140可以可替选地或者附加地包括其它类型的传感器或者装置，诸如触摸传感器、加速度传感器、磁传感器、g传感器、陀螺仪传感器、运动传感器、rgb传感器、红外(ir)传感器、手指扫描传感器、超声传感器、光学传感器(例如，相机121)、麦克风122、电池量表、环境传感器(例如，气压计、湿度计、温度计、辐射监测传感器、热传感器、以及气体传感器等)、以及化学传感器(例如，电子鼻、医疗传感器、生物传感器等等)，举了一些例子。移动终端100可以被配置成利用从感测单元140获得的信息，并且特别地，从感测单元140的一个或者多个传感器及其组合获得的信息。

输出单元150通常被配置成输出诸如音频、视频、触觉输出等等的各种类型的信息。示出具有显示单元151、音频输出模块152、触觉模块153、以及光学输出模块154的输出单元150。

显示单元151可以具有与触摸传感器的层间结构或者集成结构以便于促成触摸屏幕。触摸屏幕可以在移动终端100和用户之间提供输出接口，并且用作在移动终端100和用户之间提供输入接口的用户输入单元123。

接口单元160用作对接能够被耦合到移动终端100的各种类型的外部装置。例如，接口单元160可以包括任何有线或者无线端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。在一些情况下，响应于被连接到接口单元160的外部装置，移动终端100可以执行与被连接的外部装置相关联的各种控制功能。

存储器170通常被实现为存储数据以支持移动终端100的各种功能或者特征。例如，存储器170可以被配置成存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或者指令等等。经由无线通信可以从外部服务器下载这些应用程序中的一些。在制造或者装运时其它的应用程序可以被安装在移动终端100内，其通常是用于移动终端100的基本功能(例如，接收呼叫、拨打电话、接收消息、发送消息等等)的情况。通常，应用程序被存储在存储器170中、安装在移动终端100中，并且通过控制器180执行以执行用于移动终端100的操作(或者功能)。

除了与应用程序相关联的操作之外，控制器180通常用作控制移动终端100的整体操作。控制器180能够通过处理通过在图1a中描述的各种组件输入或者输出的信号、数据、信息等等，或者激活被存储在存储器170中的应用程序来提供或者处理适合于用户的信息或者功能。作为一个示例，控制器180根据已经被存储在存储器170中的应用程序的执行控制在图1a-1c中图示的一些组件或者所有组件。

电源单元190能够被配置成接收外部电力或者提供内部电力以便于供应对于操作被包括在移动终端100中的元件和组件所要求的适当的电力。电源单元190可以包括电池，并且电池可以被配置成被嵌入在终端主体中，或者被配置成从终端主体可拆卸。

上述组件中的至少一些可以以协作方式操作，以便实现根据稍后要解释的各种实施例的眼镜式终端的操作或者控制方法。通过驱动被存储在存储器170中的至少一个应用程序在眼镜式终端上可以实现眼镜式终端的操作或者控制方法。

在下文中，在描述通过移动终端100实现的各种实施例之前，将会更加详细地给出参考图1的前述组件的描述。关于无线通信单元110，广播接收模块111通常被配置成经由广播信道从外部广播管理实体接收广播信号和/或广播相关信息。广播信道可以包括卫星信道、陆地信道、或者两者。在一些实施例中，可以利用两个或者更多个广播接收模块111以有助于同时接收两个或者更多个广播信道，或者支持广播信道当中的切换。

移动通信模块112能够将无线信号发送到一个或者多个网络实体并且/或者从一个或者多个网络实体接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等等。这样的网络实体形成移动通信网络的一部分，其根据用于移动通信(例如，全球移动通信系统(gsm)、码分多址(cdma)、cdma2000(码分多址2000)、ev-do(增强的语音数据优化或者仅增强的语音数据)、宽带cdma(wcdma)、高速下行链路分组接入(hsdpa)、高速上行链路分组接入(hsupa)、长期演进(lte)、高级长期演进(lte-a)等等)的技术标准或者通信方法构造。

经由移动通信模块112发送和/或接收的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号、或者各种格式的数据以支持文本和多媒体消息的通信。

无线互联网模块113被配置成有助于无线互联网接入。此模块可以被内部地或者外部地耦合到移动终端100。无线互联网模块113可以根据无线互联网技术经由通信网络发送和/或接收无线信号。

这样的无线互联网接入的示例包括无线lan(wlan)、无线保真(wi-fi)、wi-fi直连、数字生活网络联盟(dlna)、无线宽带(wibro)、全球微波接入互操作(wimax)、高速下行链路分组接入(hsdpa)、高速上行链路分组接入(hsupa)、长期演进(lte)、高级lte(lte-a)等等。无线互联网模块113可以根据一个或者多个这样的无线互联网技术，或者其它的互联网技术发送/接收数据。

在一些实施例中，当根据作为移动通信网络的一部分的例如wibro、hsdpa、hsupa、gsm、cdma、wcdma、lte、lte-a等等实现无线互联网接入时，无线互联网模块113执行这样的无线互联网接入。这样，无线互联网模块113可以与移动通信模块112协作，或者用作移动通信模块112。

短程通信模块114被配置成有助于短程通信。适合于实现这样的短程通信的技术包括：蓝牙(bluetooth^tm)、射频识别(rfid)、红外数据协会(irda)、超宽带(uwb)、紫蜂(zigbee)、近场通信(nfc)、无线保真(wi-fi)、wi-fi直连、无线usb(无线通用串行总线)等等。经由无线局域网，短程通信模块114通常支持在移动终端100和无线通信系统之间的无线通信，在移动终端100和另一移动终端100之间的通信、或者在移动终端和另一移动终端100(或者外部服务器)位于的网络之间的通信。无线局域网的一个示例是无线个人域网。

在一些实施例中，另一移动终端(可以类似于移动终端100配置)可以是可佩戴设备，例如，智能手表、智能眼镜或者头戴式显示器(hmd)，其能够与移动终端100交换数据(或者以其它方式与移动终端100协作)。短程通信模块114可以感测或者识别可佩戴设备，并且允许在可佩戴设备和移动终端100之间的通信。另外，当感测到的可佩戴设备是被授权与移动终端100通信的设备时，例如，控制器180可以使在移动终端100中处理的数据的至少一部分经由短程通信模块114传输到可佩戴设备。因此，可佩戴设备的用户可以在可佩戴设备上使用在移动终端100中处理的数据。例如，当在移动终端100中接收到呼叫时，用户可以使用可佩戴设备应答呼叫。而且，当在移动终端100中接收到消息时，用户能够使用可佩戴设备检查接收到的消息。

位置信息模块115通常被配置成检测、计算、导出或者以其它方式识别移动终端的位置。作为示例，位置信息模块115包括全球定位系统(gps)模块、wi-fi模块、或者两者。如有必要，位置信息模块115可以替换地或附加地与无线通信单元110的任何其它模块起作用以获得与移动终端的位置有关的数据。

作为一个示例，当移动终端使用gps模块时，可以使用从gps卫星发送的信号获取移动终端的位置。作为另一示例，当移动终端使用wi-fi模块时，能够基于将无线信号发送到wi-fi模块或者从wi-fi模块接收无线信号的无线接入点(ap)有关的信息获取移动终端的位置。

输入单元120可以被配置成允许对移动终端120的各种类型的输入。这样的输入的示例包括音频、图像、视频、数据、以及用户输入。使用一个或者多个相机121经常获得图像和视频输入。这样的相机121可以处理在视频或者图像捕获模式下通过图像传感器获得的静止图片或者视频的图像帧。被处理的图像帧能够被显示在显示单元151上或者被存储在存储器170中。同时，相机121可以以矩阵配置排列以允许具有多个角度或者焦点的多个图像被输入到移动终端100。而且，相机121可以位于立体排列以获取用于实现立体图像的左图像和右图像。

麦克风122一般被实现为准许将音频输入到移动终端100。根据在移动终端100中执行的功能能够以各种方式能够处理音频输入。如有必要，麦克风122可以包括各种噪声去除算法以去除在接收外部音频信号的过程中产生的不想要的噪声。

用户输入单元123是允许用户输入的组件。这样的用户输入可以使控制器180能够控制移动终端100的操作。用户输入单元123可以包括机械输入元件中的一个或者多个(例如，机械键、位于移动终端100的前和/或后表面或者侧表面上的按钮、薄膜开关、滚动轮、滚动开关等等)、或者触摸灵敏的输入元件等等。作为一个示例，触摸灵敏的输入元件可以是通过软件处理被显示在触摸屏上的虚拟键或者软键或者视觉键、或者位于在除了触摸屏之外的位置处的移动终端上的触摸键。另一方面，虚拟键或者视觉键可以以例如，图形、文本、图标、视频、或者其组合的各种形状显示在触摸屏上。

感测单元140通常被配置成感测移动终端的内部信息、移动终端的周围环境信息、用户信息等等中的一个或者多个。控制器180通常与感测单元140协作以基于感测信号控制移动终端100的操作或执行与被安装在移动终端中的应用程序相关联的数据处理、功能或者操作。使用任何种类的传感器可以实现感测单元140，现在将会更加详细地描述其中的一些。

接近传感器141指的是在没有机械接触的情况下通过使用磁场、红外线等等感测接近表面的对象、或者位于表面附近的对象的存在或者不存在的传感器。接近传感器141可以被布置在通过触摸屏覆盖的移动终端的内部区域处，或者触摸屏附近。

例如，接近传感器141可以包括任何透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等等。当触摸屏被实现为电容型时，接近传感器141能够通过电磁场响应于具有导电性的对象的接近的变化来感测指示器相对于触摸屏的接近。在这样的情况下，触摸屏(触摸传感器)也可以被归类成接近传感器。

术语“接近触摸”将会在此被经常引用以表示其中指示器被定位为接近触摸屏而没有接触触摸屏的场景。术语“接触触摸”将会在此被经常引用以表示其中指示器物理接触触摸屏的场景。对于与指示器相对于触摸屏的接近触摸相对应的位置，这样的位置将会对应于其中指示器垂直于触摸屏的位置。接近传感器141可以感测接近触摸，和接近触摸模式(例如，距离、方向、速度、时间、位置、移动状态等等)。

通常，控制器180处理与通过接近传感器141感测到的接近触摸和接近触摸模式相对应的数据，并且使在触摸屏上能够输出视觉信息。另外，根据是否相对于触摸屏上的点的触摸是接近触摸或者接触触摸，控制器180能够控制移动终端100执行不同的操作或者处理不同的数据。

使用任何各种触摸方法，触摸传感器能够感测被施加到诸如显示单元151的触摸屏的触摸。这样的触摸方法的示例包括电阻型、电容型、红外型、以及磁场型等等。

作为一个示例，触摸传感器可以被配置成将被施加到显示单元151的特定部分的压力的变化转换成电输入信号，或者将在显示单元151的特定部分处出现的电容转换成电输入信号。触摸传感器也可以被配置成不仅感测被触摸的位置和被触摸的区域，而且感测触摸压力和/或触摸电容。触摸对象通常被用于将触摸输入施加到触摸传感器。典型的触摸对象的示例包括手指、触摸笔、触笔、指示器等等。

当通过触摸传感器感测触摸输入时，相应的信号可以被传送到触摸控制器。触摸控制器可以处理接收到的信号，并且然后将相应的数据传送到控制器180。因此，控制器180可以感测已经触摸显示单元151的哪一个区域。在此，触摸控制器可以是与控制器180分离的组件、控制器180、或者其组合。

在一些实施例中，控制器180可以根据触摸了触摸屏或者除了触摸屏之外被设置的触摸键的触摸对象的类型执行相同或者不同的控制。例如，基于移动终端100的当前操作状态或者当前执行的应用程序，可以决定根据提供触摸输入的对象是否执行相同或者不同的控制。

触摸传感器和接近传感器可以被单独地或者组合实现，以感测各种类型的触摸。这样的触摸包括短(或者轻敲)触摸、长触摸、多点触摸、拖动触摸、轻击触摸、捏缩触摸、捏放触摸、滑动触摸、悬停触摸等等。

如有必要，超声传感器可以被实现以使用超声波识别与触摸对象有关的位置信息。例如，控制器180可以基于通过照明传感器和多个超声传感器感测到的信息计算波生成源的位置。因为光比超声波快得多，所以光到达光学传感器的时间远远比超声波到达超声传感器的时间短。使用此事实可以计算波生成源的位置。例如，可以基于光作为参考信号使用与超声波到达传感器的时间的时间差计算波生成源的位置。

相机121通常包括至少一个相机传感器(ccd、cmos等等)、光传感器(或者图像传感器)、以及激光传感器。

实现具有激光传感器的相机121可以允许相对于3d立体图像的物理对象的触摸的检测。光传感器可以被层压在显示设备上，或者与显示设备重叠。光传感器可以被配置成扫描接近触摸屏的物理对象的移动。更加详细地，光传感器可以包括在行和列处的光电二极管和晶体管以使用根据被施加的光的量改变的电信号扫描在光传感器处接收到的内容。即，光传感器可以根据光的变化计算物理对象的坐标从而获得物理对象的位置信息。

显示单元151通常被配置成输出在移动终端100中处理的信息。例如，显示单元151可以显示在移动终端100处执行的应用程序的执行屏幕信息或者响应于执行屏幕信息的用户界面(ui)和图形用户界面(gui)信息。

在一些实施例中，显示单元151可以被实现为用于显示立体图像的立体显示单元。

典型的立体显示单元可以采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等等的立体显示方案。

音频输出模块152通常被配置成输出音频数据。可以从任何数量的不同的来源获得这样的音频数据，使得可以从无线通信单元110接收音频数据或者可以已经将其存储在存储器170中。可以在诸如信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等等的模式期间输出音频数据。音频输出模块152能够提供与由移动终端100执行的特定功能(例如，呼叫信号接收声音、消息接收声音等等)有关的音频输出。音频输出模块152也可以被实现为接收器、扬声器、蜂鸣器等等。

触觉模块153能够被配置成产生用户能够感觉、感知、或者以其它方式体验的各种触觉效果。通过触觉模块153产生的触觉效果的典型示例是振动。能够通过用户选择或者通过控制器进行设置来控制通过触觉模块155产生的振动的强度、模式等等。例如，触觉模块153可以以组合的方式或者顺序的方式输出不同的振动。

除了振动之外，触觉模块153还能够生成各种其它的触觉效果，包括通过诸如垂直移动以接触皮肤的针排列的刺激的效果、通过喷孔或者吸入口的空气的喷射力或者吸力、对皮肤的触摸、电极的接触、静电力、通过使用能够吸收或者产生热的元件再现冷和暖的感觉的效果等等。

触觉模块153也能够被实现为允许用户通过诸如用户的手指或者手臂的肌肉感觉来感觉触觉效果，以及通过直接接触传递触觉效果。根据移动终端100的特定配置也可以设置两个或者更多个触觉模块153。

光学输出模块154能够使用光源的光输出用于指示事件产生的信号。在移动终端100中产生的事件的示例可以包括消息接收、呼叫信号接收、未接来电、报警、日程表通知、电子邮件接收、通过应用的信息接收等等。

也可以以移动终端发射单色光或者具有多种颜色的光的方式实现通过光学输出模块154输出的信号。例如，当移动终端感测用户已经检查了产生的事件时信号输出可以被结束。

接口单元160用作用于要连接到移动终端100的外部设备的接口。例如，接口单元160能够接收从外部设备发送的数据，接收电力以传送到移动终端100内的元件和组件，或者将移动终端100的内部数据发送到这样的外部设备。接口单元160可以包括有线或者无线头戴式受话器端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有标识模块的设备的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。

识别模块可以是存储用于认证使用移动终端100的权限的各种信息的芯片并且可以包括用户识别模块(uim)、订户识别模块(sim)、通用订户识别模块(usim)等等。另外，具有识别模块的设备(在此也被称为“识别设备”)可以采用智能卡的形式。因此，识别设备经由接口单元160能够与终端100相连接。

当移动终端100与外部托架相连接时，接口单元160能够用作允许电力从托架供应到移动终端100的通道或者可以用作允许用户从托架输入的各种命令信号传递到移动终端的通道。从托架输入的各种命令信号或者电力可以作为用于识别移动终端被正确地安装在托架上的信号操作。

存储器170能够存储程序以支持移动终端180的操作并且存储输入/输出数据(例如，电话簿、消息、静止图像、视频等等)。存储器170可以存储与响应于触摸屏上的触摸输入输出的各种模式的振动和音频有关的数据。

存储器170可以包括一种或者多种类型的存储介质，包括闪存型、硬盘型、固态盘(ssd)型、硅盘型、多媒体卡式、卡型存储器(例如，sd或dx存储器等)、随机存取存储器(ram)、静态随机存取存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁存储器、磁盘、光盘等等。也可以关于在诸如互联网的网络上执行存储器170的存储功能的网络存储设备操作移动终端100。

控制器180可以典型地控制移动终端100的一般操作。例如，当移动终端的状态满足预设条件时，控制器180可以设置或者释放用于限制用户输入与应用有关的控制命令的锁定状态。

控制器180也能够执行与语音呼叫、数据通信、视频呼叫等等相关联的控制和处理，或者执行模式识别处理以将在触摸屏上执行的手写输入或者绘图输入分别识别为字符或者图像。另外，控制器180能够控制这些组件中的一个或者组合以便于实现在此公开的各种示例性实施例。

电源单元190接收外部电力或者提供内部电力并且供应对于操作被包括在移动终端100中的各自的元件和组件所需的适当的电力。电源单元190可以包括电池，该电池通常是可充电的或者可拆卸地耦合到终端主体，用于充电。

电源单元190可以包括连接端口。连接端口可以被配置为接口单元160的一个示例，用于供应电力以对电池再充电的外部充电器被电气地连接到该接口单元160。

作为另一示例，电源单元190可以被配置成在没有使用连接端口的情况下以无线的方式对电池再充电。在本示例中，使用以磁感应为基础的感应耦合方法或者以电磁谐振为基础的电磁谐振耦合方法，电源单元190能够接收从外部无线电力发射器传递的电力。

可以使用例如软件、硬件、或者其任何组合，以计算机可读介质、机器可读介质、或者类似介质实现在此描述的各种实施例。

参考图1b和图1c，参考直板式终端主体，描述移动终端100。然而，移动终端100可以替选地已各种不同的配置中的任意一种来实现。这样的配置的示例包括手表式、夹式、眼镜型、或者折叠式、翻盖式、滑盖式、摇摆式、旋转式等的各种结构，其中两个或者更多个主体以相对可移动的方式被相互组合。在此的讨论将常常涉及特定型的移动终端(例如，直板式、手表式、眼睛型等等)。然而关于特定型移动终端的这种教导也将通常应用到其它型移动终端。

参考图1b和图1c，参考直板式终端主体，描述移动终端100。然而，移动终端100可以替选地已各种不同的配置中的任意一种来实现。这样的配置的示例包括手表式、夹式、眼镜型、或者折叠式、翻盖式、滑盖式、摇摆式、旋转式等的各种结构，其中两个或者更多个主体以相对可移动的方式被相互组合。在此的讨论将常常涉及特定型的移动终端(例如，直板式、手表式、眼睛型等等)。然而关于特定型移动终端的这种教导也将通常应用到其它型移动终端。

移动终端100将通常包括形成终端的外观的壳体(例如，外壳、外罩、盖等)。在本实施例中，壳体可以被划分成前壳体101和后壳体102。各种电子组件可以被合并在前壳体101和后壳体102之间形成的空间中。至少一个中间壳体可以被附加地布置在前壳体和后壳体101和102之间。

显示单元151能够被布置在终端主体的前表面上以输出信息。如所图示的，显示单元151的窗口151a能够被安装到前壳体101使得与前壳体101一起形成终端主体的前表面。

在一些实施例中，电子组件也可以被安装到后壳体102。这样的电子组件的示例可以包括可拆卸的电池、标识模块、存储卡等。用于覆盖电子组件的后盖103可以被可拆卸地耦合到后壳体102。因此，当从后壳体102拆卸后盖103时，被安装到后壳体102的电子组件可以被外部地暴露。

如所图示的，当后盖103被耦合到后壳体102时，后壳体102的侧表面可以被部分地暴露。在一些情况下，在耦合时，后壳体102也可以被后盖103完全地遮盖。在一些实施例中，后盖103可以包括用于外部地暴露相机121b或者音频输出模块152b的开口。

壳体101、102、103可以通过注入成型合成树脂形成或者可以由例如不锈钢(sts)、铝(al)、钛(ti)等的金属形成。

作为多个壳体形成用于容纳组件的内部空间的示例的替选，移动终端100可以被配置使得一个壳体形成内部空间。在本实例中，以合成树脂或者金属从侧表面延伸到后表面的方式来形成具有连体的移动终端100。

如有必要，移动终端100可以包括防水单元(未示出)，用于防止水引入到终端主体。例如，防水单元可以包括防水构件，其位于窗口151a和前壳体101之间、在壳体101和后壳体102之间、或者后壳体102和后盖103之间，当这些壳体被耦合时密闭地密封内部空间。

移动终端可以包括显示单元151、第一和第二音频输出模块151a/151b、接近传感器141、照明传感器142、光学输出模块154、第一和第二相机121a/121b,、第一和第二操纵单元123a/123b、麦克风122、接口单元160等。

将会针对图1b和图1c示出的的移动终端100进行描述。显示单元151、第一音频输出模块151a、接近传感器141、照明传感器142、光学输出模块154、第一相机121a以及第一操纵单元123a被布置在终端主体的前表面上，第二操纵单元123b、麦克风122以及接口单元160被布置在终端主体的侧表面上，并且第二音频输出模块151b和第二相机121b被布置在终端主体的后表面上。

然而，应当理解，可替选的布置是可能的，并且在本公开的教导内。一些组件可以省略或者重新布置。例如，第一操纵单元123a可以不被布置在终端主体的另一表面上，并且第二音频输出模块152b可以被布置在终端主体的侧表面上。

显示单元151输出在移动终端100中处理的信息。显示单元151能够使用一个或多个合适的显示装置。例如，这样合适的显示装置的示例包括液晶显示器(lcd)、薄膜晶体管-液晶显示器(tft-lcd)、有机发光二极管(oled)、柔性显示器、3维(3d)显示器、以及电子墨显示器，以及其组合。

可以使用能够实现相同或者不同显示技术的两个显示装置来实现显示单元151。例如，多个显示单元151可以被布置在一个侧面上以相互分开，或者这些装置可以被集成，或者这些装置可以被布置在不同的表面上。

显示单元151也能够包括触摸传感器，该触摸传感器感测在显示单元处接收到的触摸输入。当触摸被输入到显示单元151时，触摸传感器可以被配置成感测此触摸，并且控制器180(例如)能够生成与触摸相对应的控制命令或者其它信号。以触摸方式输入的内容可以是文本或者数值，或者能够以各种模式指示或者指定的菜单项目。

触摸传感器可以以被布置在窗口151a和窗口151a的后表面上的显示器之间的具有触摸图案的膜的形式，或者被直接地构图在窗口151a的后表面上的金属线来配置。或者，触摸传感器可以与显示器集成地形成。例如，触摸传感器可以被布置在显示器的基板上或者显示器内。

显示单元151也能够与触摸传感器一起形成触摸屏。在此，触摸屏可以用作用户输入单元123(参见图1a)。因此，触摸屏可以替换第一操纵单元123a的功能中的至少一些。

可以以用于输出语音音频、报警声音或者多媒体音频再现的扬声器的形式实现第一音频输出模块152a。

显示单元151的窗口151a将典型地包括用于允许从第一音频输出模块152a产生的音频穿过的孔径。一个备选是允许音频沿着结构主体之间的组装间隙(例如，在窗口151a和前壳体101之间的间隙)释放。在本实例中，被独立地形成以输出音频声音的孔可以不被看到或者在外观上以其它方式被隐藏，从而进一步简化移动终端100的外观的制造。

光学输出模块154可以输出用于指示事件产生的光。在移动终端100中产生的事件的示例包括消息接收、呼叫信号接收、未接来电、报警、日程表通知、电子邮件接收、通过应用的信息接收等。当感测到用户的事件查看时，控制器可以控制光学输出单元154以停止光的输出。

第一相机121可以处理在视频呼叫模式或者捕获模式下通过图像传感器获得的静止或者运动图像的图像帧。因此，处理的图像帧可以被显示在显示单元151上或者被存储在存储器170中。

第一和第二操纵单元123a和123b是用户输入单元123的示例，通过用户可以对其进行操纵以将输入提供给移动终端100。通常，第一和第二操纵单元123a和123b也可以被称为操纵部分，并且可以采用允许用户执行诸如触摸、推动、滚动等等的操纵的任何触觉方法。第一和第二操纵单元123a和123b也可以采用允许用户执行诸如接近触摸、悬停等等的操纵的任何非触觉的方法。

图1b图示作为触摸键的第一操纵单元123a，但是可能的替选包括机械键、推动键、触摸键以及其组合。

可以以各种方式使用在第一和第二操纵单元123a和123b处接收到的输入。例如，第一操纵单元123a可以由用户使用以将输入提供给菜单、主屏键、取消、搜索等等，并且第二操纵单元123b可以由用户使用以提供输入以控制从第一或者第二音频输出模块152a或者152b输出的音量级，切换到显示单元151的触摸识别模式等等。

作为用户输入单元123的另一示例，后输入单元(未示出)可以位于终端主体的后表面上。后输入单元能够由用户操纵以将输入提供给移动终端100。可以以各种不同的方式使用输入。例如，用户可以使用后输入单元以提供用于从第一或者第二音频输出模块152a或者152b输出的电源开/关、开始、结束、滚动、控制音量级的输入，切换到显示单元151的触摸识别模式等等。后输入单元可以被配置成允许触摸输入、推动输入或者其组合。

后输入单元可以被设置成在终端主体的厚度方向中重叠前表面的显示单元151。作为一个示例，后输入单元可以被设置在终端主体的后表面的上端部分上，使得当用户使用一只手抓住终端主体时用户能够使用食指容易地操纵它。可替选地，后输入单元能够被定位在终端主体的后侧的至多任何位置处。

包括后输入单元的实施例可以实现后输入单元中的第一操纵单元123a的功能的一些或者全部。这样，在其中从前侧省略第一操纵单元123a的情形下，显示单元151能够具有更大的屏幕。

作为又一个替选，移动终端100可以包括手指扫描传感器，该手指扫描传感器扫描用户的指纹。因此，控制器180可以使用通过手指扫描传感器感测的指纹信息作为认证过程的一部分。手指扫描传感器可以被安装在显示单元151或者用户输入单元123中。

麦克风122被示出为位于移动终端100的末端处，但是其他位置是可能的。如有必要，多个麦克风可以被实现，利用这样的布置允许接收立体声音。

接口单元160可以用作允许移动终端100与外部设备对接的路径。例如，接口单元160可以包括用于连接到另一设备(例如，耳机、外部扬声器等)的连接终端、用于近场通信的端口(例如，红外数据协会(irda)端口、蓝牙端口、无线lan端口等)、或者用于将电力供应到移动终端100的电源终端中的一个或多个。接口单元160可以以用于容纳诸如订户标识模块(sim)、用户标识模块(uim)、或者用于信息存储的存储器卡的外部卡的插槽的形式来实现。

第二相机121b被示出为位于终端主体的后侧处，并且包括与第一相机单元121a的图像捕获方向大体上相反的图像捕获方向。如有必要，第二相机121b可以可替选地位于其他位置，或者使其可移动，以便于具有与被示出的图像捕获方向不同的图像捕获方向。

第二相机121b可以包括沿着至少一条线布置的多个透镜。多个透镜也可以以矩阵配置来布置。相机可以被称为“阵列相机”。当第二相机121b被实现为阵列相机时，可以使用多个透镜以各种方式捕获图像以及图像具有更好的质量。

如在图1c中所示，闪光灯124被示出为与第二相机121b相邻。当通过相机121b捕获主题的图像时，闪光灯124可以照明主题。

如在图1b中所示，第二音频输出模块152b能够位于终端主体上。第二音频输出模块152b可以结合第一音频输出模块152a来实现立体声功能，并且也可以被用于实现用于呼叫通信的扬声器电话模式。

用于无线通信的至少一个天线可以位于终端主体上。天线可以被安装在终端主体中或者通过壳体形成。例如，配置广播接收模块111的一部分的天线可以缩回到终端主体中。可替选地，使用被附接到后盖103的内表面的膜、或者包括导电材料的壳体，可以形成天线。

用于将电力供应到移动终端100的电源单元190可以包括电池191，该电池191被安装在终端主体中或者可拆卸地耦合到终端主体的外部。电池191可以经由连接到接口单元160的电源线缆来接收电力。此外，使用无线充电器以无线方式能够对电池191充电。通过电磁感应或者电磁谐振可以实现无线充电。

后盖103被示出为耦合到用于屏蔽电池191的后壳体102，以防止电池191的分离，并且保护电池191免受外部冲击或者外来物质的影响。当从终端主体可拆卸电池191时，后壳体103可以被可拆卸地耦合到后壳体102。

用于保护外观或者协助或者扩展移动终端100的功能的附件也可以被提供在移动终端100上。作为附件的一个示例，可以提供用于覆盖或者容纳移动终端100的至少一个表面的盖或者袋。盖或者袋可以与显示单元151协作以扩展移动终端100的功能。附件的另一示例是用于协助或者扩展对触摸屏的触摸输入的触摸笔。

在下文中，将会参考附图描述与可以在如上所述配置的移动终端100中实现的控制方法有关的实施例。对于本领域的技术人员来说显而易见的是，在没有脱离本发明的精神和范围的情况下能够进行修改和变化。

图2是图示在根据本公开的实施例的移动终端100中根据移动终端100被抓握的状态不同的用户界面被提供以控制物联网(iot)装置的操作过程的流程图，并且图3a和图3b是图示根据本发明的实施例的移动终端100被抓握的示例的视图。

参考图2，在本公开的实施例中，当移动终端100进入预设室内区域时，用户可以选择是否执行识别和控制被定位在相对应的室内区域中的iot装置的功能。例如，控制器180可以根据是否移动终端已经接入预设接入点(ap)检测是否移动终端已经进入预设室内区域。当用户选择识别和控制被定位在相对应的室内区域中的iot装置的功能的开始时，控制器180可以开始图2的操作过程。

首先，控制器180可以检测移动终端100被抓握的状态(s200)。这是要基于用户当前抓握移动终端100的状态识别用户的直观行为，并且根据识别结果提供适合的用户界面。例如，通过使用重力传感器，控制器180可以识别是否移动终端100当前处于被定位在与地面垂直的方向的状态或者处于被定位在与地面水平的方向的状态。即，当通过重力传感器感测到的重力方向是移动终端100的前侧或者后侧的方向时，控制器180可以确定移动终端100处于与地面水平的方向中。同时，当通过重力传感器感测到的重力方向被定向到移动终端100的上端部分或者下端部分时，控制器180可以确定移动终端当前处于垂直于地面的方向中。在此，关于移动终端100的前侧或者后侧，相对于被设置在移动终端100上的显示单元151，在其上形成显示单元151的移动终端100的一侧可以是前侧并且与前侧相对的移动终端的一侧可以是后侧。而且，关于移动终端100的上端部分或者下端部分，第一音频输出单元152a被设置的移动终端100的部分可以是移动终端100的上端部分并且麦克风122被形成的移动终端100的部分可以是移动终端100的下端部分。

图3a和图3b是图示根据本公开的实施例的移动终端100被抓握的示例的视图。

首先，如在图3a中所图示，当用户在移动终端100被放下的状态下抓握移动终端100时，控制器180可以检测到移动终端100是处于与地面水平的状态下。在这样的情况下，控制器180可以通过先前存储的室内图像，即，先前捕获的室内图像，识别用户打算识别iot装置的用户的行为，不论移动终端100的相机如何。

另一方面，如在图3b中所示，当在移动终端100被直立的状态下用户抓握移动终端100时，控制器180可以检测到移动终端当前处于垂直于地面的状态下。在这样的情况下，控制器180可以通过使用被安装在移动终端100的后侧上的第二相机121b感测到的图像识别用户打算识别iot装置的用户的行为。

控制器180根据步骤s200的检测结果确定移动终端100的抓握状态(s202)，并且提供用于根据确定结果识别和控制iot装置的不同的用户界面。

首先，当根据如在图3a中所图示的步骤s202的确定结果在被放下的状态下抓握移动终端100时，控制器180可以在显示单元151上输出与移动终端100当前被定位的室内状态相对应的先前存储的图像(s204)。在此，如上所述，控制器180可以基于从当前接入的ap或者可连接的外围设备，例如，iot装置接收到的信号识别移动终端100被定位的位置。先前存储的图像可以是用户先前捕获的图像。在这样的情况下，基于针对各个图像存储的附加信息(例如，关于捕获图像的位置的信息)或者用户选择，控制器180可以在显示单元151上输出与移动终端100当前被定位的室内位置相对应的图像。

同时，在先前存储的图像在显示单元151上被输出的情况下，控制器180可以识别被包括在显示单元151上输出的图像中的多个iot装置。而且，控制器180可以显示多个被识别的iot装置使得在被输出的图像上区分它们(s206)。而且，控制器180可以进一步显示关于多个被识别的iot装置中的每一个的信息。

控制器180可以通过各种方法识别被包括在图像中的iot装置。在此，iot装置中的每一个可以指的是可以与其它iot装置形成网络的装置，并且为了与其它iot装置形成网络，各个iot装置可以使用无线中继器，即，诸如ap的装置等等。

因此，各个iot装置可以被连接到ap并且将其识别信息发送到被连接的ap。ap可以存储从iot装置接收到的识别信息。当从先前注册的移动终端100接收到请求时，识别信息可以被发送到先前注册的移动终端100。同时，当用户选择识别和控制被定位在相对应的区域中的iot装置的功能的开始时，移动终端100可以从当前连接的ap，即，已经接收到iot装置的识别信息的ap，请求关于iot装置的识别信息。

同时，当从ap接收到多条iot装置的识别信息时，控制器180可以通过先前存储的服务器或者与对应于识别信息的iot装置的外观有关的制造商收集关于与接收到的识别信息相对应的iot装置的外观的信息。控制器180可以分析在显示单元151上输出的先前存储的图像，并且检测装置匹配收集的外观信息的区域。控制器180可以将检测到的区域视为与被收集的外观信息相对应的iot装置被显示的区域。然后控制器180可以显示检测到的区域使得其区分于其它区域。当以这样的方式识别iot装置时，控制器180可以进一步在被识别的iot装置的附近显示与相对应的iot装置有关的信息(s206)。

同时，当在根据如在图3b中所图示的步骤s202的确定结果移动终端被直立的状态下抓握移动终端100时，控制器180可以激活移动终端100的相机，例如，第二相机121b的传感器。控制器180可以在显示单元151上输出通过被激活的相机传感器接收到的图像。在这样的情况下，从相机传感器接收到的图像可以在显示单元151上作为预览状态下的图像被输出(s212)。

同时，根据相机传感器被定向的方向可以改变预览状态下的图像。在显示单元151上输出预览状态下的图像的状态下，控制器180可以分析预览图像并且检测是否图像匹配先前收集到的iot装置的外观信息。在此，iot装置的外观信息可以是从与识别信息相对应的iot装置的制造商或者先前存储的服务器收集到的信息，并且可以对应于从移动终端100当前被连接到的ap接收到的iot装置的识别信息。

同时，在从预览图像检测到其中匹配收集到的iot装置的外观信息的图像被显示的区域的情况下，控制器180可以将检测到的区域视为其中与收集到的外观信息相对应的iot装置被包括在预览图像中的区域。然后控制器180可以显示检测到的区域使得其区分于其它的区域。当iot装置被识别时，控制器180可以在被识别的iot装置的附近显示与相对应的iot装置有关的信息。而且，控制器180可以在图像上进一步显示关于各个被识别的iot装置的信息(s214)。

在下面的描述中，其中在被放下的状态下抓握移动终端100并且在特定室内区域中包括的iot装置通过如在图3a中所图示的先前捕获的图像被识别的移动终端100的操作模式将会被称为“照片模式”。同时，其中在被直立的状态下抓握移动终端并且通过如在图3b中所图示的预览状态下的图像识别特定室内区域中包括的iot装置的移动终端100的操作模式将会被称为“增强现实(ar)模式”。

在步骤s206或者s214中，当从在显示单元151上输出的图像(先前捕获的图像或者预览状态下的图像)识别iot装置时，控制器180可以根据用户输入选择被识别的iot装置中的至少一个(s208)。而且，控制器180可以控制或者管理所选择的至少一个iot装置(s201)。例如，在步骤s208中，基于被施加到当前输出到显示单元151上的图像，即，被施加到先前捕获的图像或者预览状态下的图像的用户的触摸输入，控制器180可以允许被显示在输出的图像上的特定iot装置的操作状态被控制，或者可以允许多个iot装置被相互连接。

在此，用户的触摸输入可以是诸如被施加到显示单元151的触摸输入、触摸和拖动输入等等的各种输入。而且，控制器180可以显示特定iot装置的图像使得其基于被施加到显示单元151的用户的触摸输入被放大或者缩小，并且可以执行控制使得根据被显示在显示单元151上的特定iot装置的图像的大小显示不同的控制界面。

以这样的方式，参考图5将会详细地描述根据本公开的实施例的移动终端的操作过程，其中根据被显示在显示单元151上的iot装置的大小显示不同的控制界面。而且，将会参考图6详细地描述根据本公开的实施例的移动终端100的操作过程，其中根据被施加到在显示单元151上输出的图像的用户的触摸输入相互连接多个iot装置。

同时，在上面，已经描述了通过简单地使用照片模式或者ar模式通过先前存储的图像或者预览状态下的图像识别被定位在特定室内区域中的iot装置的情况。然而，根据本公开的实施例的移动终端100也可以提供其中用户可以通过先前存储的图像或者预览状态下的图像选择被定位在没有被显示的特定室内区域中的iot装置的操作模式，并且可以控制其操作。在此，在照片模式或者ar模式下，其内部没有被显示的特定室内区域可以是例如通过被关闭的门“覆盖的室内区域”等等。在这样的情况下，控制器180可以通过使用与“被覆盖的室内区域”相对应的图像识别被定位在“覆盖的室内区域”中的iot装置，并且显示其中被识别的iot装置被包括的区域使得在“覆盖的室内区域”相对应的图像上区分该区域。而且，控制器180可以控制被定位在“覆盖的室内区域”中的iot装置或者可以根据用户选择连接多个iot装置。

同时，当照片模式或者增强现实模式使用其中移动终端100当前被定位的室内区域的先前存储的图像或者使用预览状态下的图像时，“被覆盖的室内区域”的图像的显示使用其中移动终端100当前不被定位在的室内区域的图像。因此，其中通过“被覆盖的室内区域”的图像识别的iot装置的根据本公开的实施例的移动终端100的操作模式将会被称为“虚拟现实(vr)模式”。而且，将会参考图4详细地描述在vr模式下连接被覆盖的室内区域的iot装置或者其中移动终端100当前被定位在的室内区域的iot装置的操作过程，或者控制其操作状态的操作过程。

图4是图示在根据本公开的实施例的移动终端100中用户界面被提供以根据用户选择控制被定位在没有显示其内部的特定区域中的iot装置的过程的流程图。

参考图4，在步骤s208中在照片模式中或者在ar模式中操作移动终端100的状态下，移动终端100的控制器180可以检测被施加到当前在显示单元151上输出的图像的用户的触摸输入。在此，控制器180可以检测是否用户的触摸输入已经被施加到与预设特定区域，即，“覆盖的室内区域”相对应的图像被显示的区域(s400)。

在根据在步骤s400中的检测结果用户的触摸输入还没有被施加到与“覆盖的室内区域”相对应的图像被显示的区域的情况下，用户180可以通过照片模式或者ar模式选择被包括在显示单元151上输出的图像中的iot装置中的至少一个(s408)。控制器180可以改变被选择的iot装置的操作状态或者可以连接多个iot装置。

同时，当根据在步骤s400产生的检测结果用户的触摸输入已经被施加到其中与“覆盖的室内区域”相对应的图像被显示的区域时，控制器180可以在显示单元151上输出与特定的区域相对应的特定室内区域的图像，即，“覆盖的室内区域”的图像。

在这样的情况下，与“覆盖的室内区域”相对应的图像可以是先前已经被存储的图像。而且，当存在使用选择时，控制器180可以在显示单元151上输出与“覆盖的室内区域”相对应的图像。在此，可以根据对先前存储的图像(或者在照片模式下在显示单元151上输出的图像)或者预览状态下的图像(或者在ar模式下在显示单元151上输出的图像)的用户的触摸输入确定用户选择。

即，当“覆盖的室内区域”的图像被存储或者被捕获时，用户可以设置先前存储的图像(在照片模式下输出的图像)或者预览状态下的图像(或者在ar模式下输出的图像)的特定区域，使得其对应于“覆盖的室内区域”的图像。在此，特定区域可以是其中与“覆盖的室内区域”相对应的对象的图像被显示在先前存储的图像或者预览状态下的图像中的区域，像与“覆盖的室内区域”相对应的对象，例如，“覆盖的室内区域”的门。

当在特定的区域中感测到用户的触摸输入时，通过使用“覆盖的室内区域”的图像，控制器可以确定用户已经选择在识别iot装置的操作模式下，即，在“vr模式”下操作移动终端。当通过用户选择特定区域时，控制器180可以在显示单元151上输出与“覆盖的室内区域”相对应的图像(s402)。

当与“覆盖的室内区域”相对应的图像在显示单元151上被输出时，被包括在与“覆盖的室内区域”相对应的图像中的iot装置可以被识别。在此，控制器180可以进一步在被识别的iot装置的附近显示关于iot装置的信息(s404)。

在此，可以在与在照片模式下识别在先前捕获的室内图像中包括的iot装置的过程相似的过程中识别iot装置。即，移动终端100可以从“覆盖的室内区域”的ap接收被定位在“覆盖的室内区域”中的iot装置的识别信息，并且可以从各个iot装置的接收到的识别信息中收集各个iot装置的外观信息。基于收集的外观信息，被定位在“覆盖的室内区域”中的iot装置可以被识别和显示使得被识别的iot装置被相互区分。

同时，当被定位在“覆盖的室内区域”中的iot装置被识别时，控制器180可以基于被施加到“覆盖的室内区域”的图像的触摸输入选择被识别的iot装置的至少一个。或者，基于用户的触摸输入，控制器可以选择被定位在“覆盖的室内区域”中的iot装置中的至少一个和被包括在被显示在其中移动终端在照片模式或者ar模式下操作的状态下显示的图像(先前存储的室内图像或者预览状态下的图像)中的iot装置中的至少一个(s406)。在步骤s210中，可以在其操作状态下控制所选择的iot装置，或者所选择的iot装置可以被相互连接。

同时，移动终端100的控制器180可以识别被包括在在照片模式或者在ar模式下输出的图像中的iot装置，并且可区分地显示与被识别的iot装置相对应的图像的区域。在此状态下，在用户放大显示特定的iot装置的区域的情况下或者在用户移动到与特定iot装置被定位的位置相邻的点的情况下，特定的iot装置的图像可以在输出的图像上被显示得更大。

或者，相反地，在用户缩小特定的iot装置被显示的区域的情况下或者在用户移动到远离其中特定的iot装置被定位的位置的点的情况下，特定的iot装置的图像可以在输出的图像上被显示得更小。在这样的情况下，根据本公开的示例性实施例的移动终端100的控制器180可以根据被显示在输出的图像上的特定的iot装置的图像的大小将不同的用户界面提供给用户。

在这样的情况下，不同的控制界面可以是允许不同的功能被控制或者允许相同的功能以不同的方式被控制的界面。例如，在被显示在显示单元151上的iot装置的图像具有比预先确定的大小小的大小的情况下，控制器180可以在显示单元151上显示用于仅控制相对应的iot装置的特定功能的控制界面屏幕，或者用于用户根据预设的数值或者水平选择相对应的iot装置的特定水平或者数值的控制界面屏幕。同时，在被显示的iot装置的图像具有大于预先确定的大小的大小的情况下，控制器180可以在显示单元151上显示用于控制相对应的iot装置的更多功能的控制界面屏幕或者用于更加精细地操作相对应的iot装置的控制界面屏幕。根据通过控制界面屏幕感测到的用户输入可以控制相对应的iot装置的操作状态。

图5图示在根据本公开的实施例的移动终端100中根据iot装置的图像的大小提供不同的控制界面的操作过程。

参考图5，根据本公开的实施例的移动终端的控制器180可以检测是否用户从显示在显示单元151上输出的图像(先前捕获的图像(照片模式)或者在预览状态(ar)模式下的图像)选择要在可操作的状态下控制的iot装置(s500)。例如，在步骤s500中，控制器180可以基于是否在其上显示iot装置图像的显示单元151的区域当中存在已经感测到用户的触摸输入的区域来检测是否用户已经选择iot装置。

根据步骤s500的检测结果，当检测到存在要由用户选择的iot装置时，控制器180可以检测其中在显示单元151上的所选择的iot装置的图像的区域的大小。然后，控制器180可以从显示单元151的显示区域检测所选择的iot装置的图像的大小(s502)。

例如，当用户放大先前存储的图像(在照片模式或者vr模式中在显示单元151上输出的图像)时或者当用户在显示预览状态(ar模式)中的图像的状态下移动到与所选择的iot装置相邻的位置时，所选择的iot装置的图像可以在显示单元151上被显示得更大。同时，当用户缩小先前存储的图像(在照片模式或者vr模式下在显示单元151上显示的图像)时或者当用户移动到远离所选择的iot装置的位置时，可以在显示单元151上缩小所选择的iot装置的图像。

在这样的情况下，控制器180可以计算所选择的iot装置的图像与显示图像信息的显示单元151的区域的比率。控制器180可以根据计算的比率检测当前显示在显示单元151上的所选择的iot装置的图像的大小。

然后控制器180可以在显示单元151上显示在用于控制所选择的iot装置的功能的多个控制界面屏幕当中的与所选择的大小相对应的任意一个控制界面屏幕(s504)。在此，随着检测到的iot装置的大小变大，其可以对应于用于控制更多功能的控制界面屏幕或者用于精细地操作相对应的iot装置的控制界面屏幕。因此，随着被显示在显示单元151上的iot装置的图像的大小变大，包括多个功能或者允许用户执行精细的操作的控制界面屏幕可以被显示在显示单元151上。

控制器180可以根据被施加到显示的控制界面屏幕的用户输入控制所选择的iot装置(s506)。在下文中将会参考图16a和图16b描述根据被显示在显示单元151上的iot装置的图像的大小提供不同的控制界面的示例。

同时，在上面，已经描述了用户选择要被控制的iot装置并且根据所选择的iot装置的大小提供不同的控制界面的示例，但是可替选地，根据iot装置的大小可以激活与相对应的iot装置的控制有关的功能。在这样的情况下，控制器180可以根据检测被显示在显示单元151上的iot装置的图像的大小的结果激活控制相对应的iot装置的功能。在这样的情况下，为了显示激活控制功能的状态，控制器180可以在显示单元151上显示预设控制界面屏幕。

同时，如上所述，基于被施加到在显示单元151上输出的图像(在照片模式或者vr模式中的操作期间输出的先前存储的图像)的用户的触摸输入，多个iot装置可以被相互连接。图6是图示根据本公开的实施例的移动终端100的操作过程的流程图。

参考图6，根据本发明的实施例的移动终端的控制器180可以检测(或者感测)被施加到在显示单元151上输出的图像的用户的触摸和拖动输入(s600)。例如，可以从第一iot装置被显示在输出的图像上的区域到显示第二iot装置的区域施加这样的触摸和拖动输入。

在这样的情况下，控制器180可以根据被施加的拖动输入的轨迹选择被包括在输出的图像中的iot装置的至少一个(s602)。即，当在特定的iot装置被显示的显示单元151中施加拖动输入时，控制器180可以检测到用户选择相对应的iot装置。

当通过拖动输入选择一个iot装置时，控制器180可以在图2的步骤s210中在显示单元151上显示用于控制所选择的iot装置的操作状态的屏幕(例如，控制界面屏幕)。

同时，当通过拖动输入选择多个iot装置时，控制器180可以确定用户已经选择多个iot装置。控制器180可以使多个iot装置建立网络以便在步骤s210中被连接。在这样的情况下，控制器180可以通过使用连接与多个iot装置相对应的图像的线性图形对象在显示单元151上显示多个iot装置被连接的状态。

同时，当在图2的步骤s210中改变特定的iot装置的操作状态时，根据本公开的实施例的移动终端100的控制器180可以提供使用户能够预先检查根据改变的操作状态变化的iot装置的周围环境的功能。为此，控制器180可以在显示单元151的一个区域中显示根据被改变的操作状态变化的iot装置的周围环境。在此，显示iot装置的变化的周围环境的功能将会被称为预览功能，并且其中显示iot装置的变化的周围环境的显示单元151上的一个区域将会被称为预览区域。

根据其操作阶段已经被用户改变的iot装置的类型和特性，可以不同地执行预览功能。例如，当已经改变其操作状态的iot装置是照明装置时，控制器180可以在预览区域中显示根据被改变的照明而变暗或者变亮的室内区域的图像。而且，当其操作状态被改变的iot装置是tv时，控制器180可以在预览区域中显示根据被改变的亮度变暗或者变亮的输出图像信息的tv的图像。

同时，预览区域可以仅被形成在显示单元151的一部分中。因此，用户可以将被显示在预览区域中的图像与被显示在显示单元151上的另一区域中的图像进行比较并且根据操作状态中的变化事先检查影响。

图7是图示在根据本公开的实施例的移动终端100中根据特定iot装置的操作状态中的变化估计的图像被显示的操作过程的流程图。

参考图7，根据本公开的实施例的移动终端的控制器180可以检测是否根据图2的步骤s210中的用户选择已经改变特定的iot装置的操作状态(s700)。

在此，特定的iot装置可以是根据预览功能事先设置为显示被估计的图像的iot装置。例如，这样的特定的iot装置可以是影响室内环境的照明的iot装置，诸如，照明装置，或者能够调节通过窗口发送的光的量的窗帘打开和关闭装置。

同时，即使在除了影响室内区域的照明的iot装置之外的iot装置的操作状态被改变的情况下，也可以执行预览功能。例如，即使当与音频信号的输出有关的iot装置的音量设置被改变时，预览功能也可以被执行。然而，在这样的情况下，预览功能可以被替换成根据被改变的音量输出预设音频信号的功能，而不是显示估计的改变的室内区域的图像的功能。因此，根据其操作状态已经被改变的iot装置的类型和图像可以不同地执行预览功能。然而，在下文中，为了描述的目的，将会描述作为示例的根据在影响照明的特定iot装置的操作状态下的变化显示被估计的室内环境状态的图像的情况。

在根据步骤s700中的检测结果改变能够执行预览功能的特定iot装置的操作状态的情况下，控制器180可以将显示单元151划分成多个区域(s702)。然后控制器180可以在多个区域当中的第一区域中显示与当前室内环境状态相对应的图像，并且可以在多个区域当中的第二区域中显示根据iot装置的操作状态中的变化估计的室内环境的图像(s704)。在此，第一区域和第二区域可以是不同的区域。

同时，在步骤s704中，基于移动终端100当前被抓握的状态根据操作模式可以变化与“当前室内环境状态”相对应的图像。例如，在移动终端100的操作状态是“ar模式”的情况下，控制器180可以在显示单元151上显示从相机传感器接收到的图像作为与“当前室内环境状态”相对应的图像。然而，当移动终端100的操作模式是照片模式时，控制器180可以根据特定iot装置中的每一个的现有设定值和当前时间校正先前捕获的特定室内区域的图像，并且在显示单元151上显示作为“与当前室内环境状态相对应的图像”的被校正的图像。

用户根据当前设置的操作状态选择是否改变iot装置的操作状态。当用户选择改变操作状态时，控制器180可以改变当前选择的iot装置的操作状态(s706)。

在上面，描述根据用户选择根据特定iot装置的操作状态中的变化执行预览功能，但是根据本公开的实施例的移动终端100的控制器180可以基于当前室内环境状态和当前时间显示预设推荐值。在这样的情况下，当用户将输入施加到被显示的推荐值时，控制器180可以改变相对应的iot装置的操作状态。

同时，在上面的描述中，通过任意一个移动终端100识别和控制被包括在特定室内区域中的至少一个iot装置。然而，另外，根据本公开的实施例的移动终端100可以被许可通过另一移动终端100控制已经识别的iot装置的权限。在这样的情况下，首先识别iot装置并且具有控制被识别的iot装置的权限的移动终端将会被称为第一移动终端，并且被许可控制被识别的iot装置中的至少一个的权限的移动终端将会被称为第二移动终端。

图8是图示当根据本公开的实施例的移动终端是第二移动终端时操作过程的流程图。

参考图8，当根据本公开的实施例的移动终端，即，第二移动终端进入特定室内区域时，第二移动终端的控制器180可以被连接到位于区域中的ap。在这样的情况下，控制器180可以感测是否用户选择识别和控制被定位在特定室内区域中的iot装置的功能。当识别和控制iot装置的功能被选择时，可以通过ap确认移动终端是否是事先注册的移动终端。在此，先前注册的移动终端可以指的是移动终端，即，第一移动终端，先前设置以控制和管理其中第二移动终端当前被定位的室内区域中的iot装置。

根据确认结果，当移动终端不是先前注册的移动终端(第一移动终端)时，控制器180可以显示通知信息以通知用户移动终端不是先前注册的移动终端。控制器180可以确定是否与其中当前移动终端被定位的室内区域的iot装置有关的控制权限可以被许可。例如，根据是否预设认证信息已经被输入可以确定是否要许可与iot装置有关的控制权限(s800)。而且，在此，预设认证信息，即，第一认证信息可以是先前注册的移动终端，即，第一移动终端的用户认证信息。在此，预设认证信息可以是先前存储在当前被连接到第二移动终端的ap中的信息。

同时，在步骤s800中，当通过第二移动终端输入的认证信息不匹配先前存储在ap中的认证信息时，第二移动终端的控制器180可以显示认证信息不匹配。而且，控制器180可以在第二移动终端的显示单元151上显示指示控制权限没有被许可的通知信息(s810)。

同时，在步骤s800中，当通过第二移动终端输入的认证信息匹配先前存储在ap中的认证信息时，第二移动终端的控制器180可以显示认证信息匹配。控制器180可以激活第二移动终端的相机传感器，例如，第二相机121b，并且在第二移动终端的显示单元151上输出从第二相机121b接收到的预览状态下的图像(s802)。第二移动终端的控制器180可以感测是否预设第二认证信息被输入(s804)。

在此，第二认证信息可以是用于确定通过第二移动终端可以控制的iot装置的信息，与根据在步骤s800中输入的第一认证信息是否匹配而许可的控制权限分开。即，当iot装置被包括当前在预览状态下输出的图像中时，控制器180可以识别iot装置。在被识别的iot装置的图像被显示在第二移动终端的显示单元上的状态下，当预设第二认证信息被输入时，根据匹配结果，第二移动终端可以被许可控制识别的iot装置的权限。

同时，第二认证信息可以是第一移动终端的用户认证信息。在此，第一认证信息和第二认证信息可以是相同的或者不同的。第二认证信息可以是被存储在ap中的信息，像第一认证信息一样。

同时，例如，第一认证信息可以是第一移动终端的用户的指纹信息，并且第二认证信息可以是第一移动终端的用户的面部的图片。在这样的情况下，通过指纹信息的识别可以许可控制iot装置的权限。可以根据识别被包括在从第二移动终端的前相机(第一相机121a)接收到的图像中的面部图像的结果确定通过第二移动终端能够控制的iot装置的单独的选择。

在这样的情况下，持有第二移动终端的第一移动终端的用户可以识别指纹并且许可控制第二移动终端的权限。其后，在特定的iot装置的图像被显示在第二移动终端的显示单元151上的状态下，用户可以允许他的或者她的面部通过前相机，即，第二移动终端的第一相机121a成像(例如，当用户抓握处于被直立的状态的第二移动终端时)。因此，可以许可通过第二移动终端控制特定的iot装置的控制权限。

同时，尽管控制特定iot装置的控制权限被许可，但如果不期待通过第二移动终端控制iot装置，则第一移动终端的用户可以不允许他的或者她的面部通过第二移动终端成像(例如，当用户抓握处于被放下的状态的移动终端时)，并且因此，相对应的iot装置可以不作为通过第二移动终端能够控制的装置被选择。

因此，根据在步骤s804中的感测结果，当预设第二认证信息没有被输入或者输入的认证信息不匹配被先前存储在ap中的第二认证信息时，第二移动终端的控制器180可以在不许可控制当前显示在显示单元151上的iot装置的权限的情况下执行步骤s802。在这样的情况下，从第二相机121b接收到的预览状态下的图像可以继续在第二移动终端的显示单元151上被输出。

同时，根据步骤s804中的检测结果，当输入的认证信息匹配先前存储在ap中的第二认证信息时，第二移动终端的控制器180可以检测到控制当前显示在显示单元151上的iot装置的权限已经被许可(s806)。在这样的情况下，通过第二移动终端的显示单元151，控制器180可以显示指示相对应的iot装置能够被控制的通知信息。而且，第二移动终端的控制器180可以检测是否许可控制iot装置的权限的功能已经被终止(s808)。而且，第二移动终端的控制器180可以根据步骤s808中的检测结果重复地执行步骤s802至s808。

同时，在上面，参考流程图已经描述了根据本公开的实施例的移动终端100通过先前存储的室内区域的图像或者通过利用相机感测的预览图像识别和控制被定位在室内区域中的iot装置的操作过程。

在下文中，参考附图将会描述，通过先前存储的室内区域的图像或者通过利用相机感测到的预览图像，根据本公开的实施例的移动终端100识别被定位在室内区域中的iot装置并且控制被识别的iot装置的示例。

图9a和图9b是图示根据本公开的实施例的移动终端100使用先前捕获的图像控制iot装置的示例的视图。

根据本公开的实施例的移动终端的控制器180可以通过使用连接不同屏幕的图像显示被包括在特定室内区域中的iot装置，使得至少两个特定室内区域的不同面被显示在单个平面上，而不是直接使用通过将特定室内区域成像而获得的图像。

图9a图示通过使用通过连接通过捕获两个不同的特定室内区域的面获得的图像合成的图像来管理和控制在特定室内区域中定位的iot装置的示例，并且在此，其中照明装置902、tv904、立体音箱系统906、以及笔记本计算机908作为被定位在特定室内区域中的iot装置存在的情况被假定。

首先，图9a的第一图图示操作状态的示例，例如，照片模式的操作状态，其中在根据本发明的实施例的移动终端的显示单元151上输出特定室内区域的被合成的图像900。例如，当用户抓握处于放下的状态的移动终端100时，根据本公开的实施例的移动终端100的控制器180可以在如在图9a的第一图中所图示的显示单元151上输出特定室内区域的合成图像900。

从输出图像900识别被定位在特定室内区域中的iot装置902、904、906以及908，并且其中与被识别的iot装置902、904、906、以及908相对应的图像被显示的输出图像900上的区域可以被显示以被区分。因此，在特定室内区域的图像900上，与照明装置902、tv904、立体音箱系统906、以及笔记本计算机908的图像相对应的区域可以以轮廓的形式分别被显示为图形对象912、914、916以及918，从而照明装置902、tv904、立体音箱系统906、以及笔记本计算机908的识别可以被显示。

在此状态下，当用户的触摸被施加到特定室内区域的图像900时，控制器180可以控制被识别的iot装置中的至少一个。即，如在图9a的第二图中所图示，当用户触摸其中与作为被识别的iot装置的笔记本计算机908相对应的图像被显示的显示单元151的区域时，控制器180可以检测到用户选择笔记本计算机908。

在图9a的第二附图中图示的状态下，当用户施加被拖动到其中与立体音箱系统906相对应的图像如在图9a的第三附图中所图示被显示的显示单元151的区域的拖动输入时，控制器180可以检测到，继笔记本计算机908之后，用户选择立体音箱系统906。另外，控制器180可以根据拖动输入确定用户选择笔记本计算机908和立体音箱系统906的连接。

然后，控制器180可以控制笔记本计算机908和立体音箱系统906建立其中笔记本计算机908和立体声系统906被相互连接的网络。因此，笔记本计算机908和立体音箱系统906可以被相互连接并且共享信息。因此，从笔记本计算机908输出的立体音箱系统信号可以通过立体音箱系统906被输出。

以这样的方式，当通过特定室内区域的图像900连接多个iot装置时，控制器180可以在显示单元151上显示iot装置的连接状态。即，如在图9a的第四图中所图示，控制器180可以显示图形对象920，图形对象920将被连接的iot装置的图像，即，笔记本计算机908的图像和立体音箱系统906的图像连接，并且因此，用户可以可视地识别笔记本计算机908和立体音箱系统906被连接。

同时，在图9a中，描述其中根据本公开的实施例的移动终端100的控制器180使用连接至少两个特定室内区域的不同面的图像的示例，但是通过捕获特定室内区域获得的图像也可以被立即使用。图9b图示其示例。

首先，参考图9b，图9b的第一图图示在根据本公开的实施例的移动终端100的显示单元151上输出特定室内区域的先前捕获的图像950的照片模式操作状态的示例。

在这样的情况下，控制器180可以从输出图像950识别被定位在特定室内区域中的iot装置904、906以及908，并且在其中显示与被识别的iot装置904、906以及908相对应的图像的输出图像950上可区分地显示区域。因此，在特定室内区域的先前捕获的图像950上，与tv904、立体音箱系统906、以及笔记本计算机908相对应的区域可以以轮廓的形式分别被显示为图形对象912、914以及916，从而tv904、立体音箱系统906、以及笔记本计算机908可以被显示以被识别。

在此状态下，当用户的触摸被施加到特定室内区域的先前捕获的图像950时，控制器180可以控制被识别的iot装置中的至少一个。即，如在图9b的第二和第三图中所图示，当用户从其中显示笔记本计算机908的区域到其中显示立体音箱系统906的区域施加拖动输入时，控制器180可以控制笔记本计算机908和立体音箱系统906以建立其中笔记本计算机908和立体音箱系统906被连接的网络。

控制器180可以在显示单元151上显示iot装置的连接状态。即，如在图9b的第四图中所图示，控制器180可以显示图形对象，该图形对象将被连接的iot装置的图像，即，笔记本计算机908的图像和立体音箱系统906的图像连接，并且因此，用户可以可视地识别笔记本计算机908和立体音箱系统906被连接。

图10是图示在根据本公开的实施例的移动终端100中通过预览图像控制iot装置的示例的视图。

如在图10的第一图中所图示，根据本公开的实施例的移动终端100可以在显示单元151上输出预览状态下通过移动终端100的后相机，即，第二相机121b接收到的图像。例如，当用户抓握处于直立状态下的移动终端100时，根据本公开的实施例的移动终端100的控制器180可以在如在图10的第一图中所图示的显示单元151上直接地输出通过相机传感器接收到的图像1000。

同时，如在图10的第一图中所图示，控制器180可以在预览状态下显示的图像1000上识别和可区分地显示iot装置。例如，如在图10的第一图中所图示，控制器180可以在被识别的iot装置周围显示引导线使得被识别的iot装置能够被区分地显示。

同时，在被识别的iot装置被显示的状态下，当用户将触摸输入施加到在其上显示任意一个iot装置图像的显示单元151上的区域时，控制器180可以检测到与被显示在施加触摸输入的区域中的图像相对应的iot装置已经被选择。即，如在图10的第一图中所图示，当用户将触摸输入施加到显示立体音箱系统906的显示单元151的区域时，控制器180可以检测到用户已经选择立体音箱系统906的控制或者管理。

同时，当用户改变图像捕获角度时，控制器180可以相应地显示在预览状态下通过相机传感器接收到的图像。即，当用户朝着室内区域的不同区域引导移动终端的后相机121b时，根据被改变的图像捕获角的不同图像可以在预览状态下被显示在移动终端100的显示单元151上。通过根据被改变的图像捕获角接收到的图像中包括的iot装置的图像，iot装置可以被识别并且可区分地显示，如在图10的第二图中所图示。

同时，如在图10的第二图中所图示，控制器180可以检测被施加到显示在预览图像上的iot装置的用户的触摸输入。在这样的情况下，控制器180可以检测通过图10的第一图中的用户选择的iot装置(立体音箱系统906)和图10的第二图中的用户选择的iot装置(笔记本计算机908)被用户选择。

例如，在用户选择多个iot装置的情况下，用户可以确认是否所选择的iot装置通过建立网络相互连接。即，如在图10的第三图中所图示，控制器180可以在显示单元151上显示确认菜单1010。而且，如在图10的第三图中所图示，当用户选择两个选择的装置，即，立体音箱系统906和笔记本计算机908的连接时，控制器180可以控制立体音箱系统906和笔记本计算机908以建立网络并且共享信息。

当在立体音箱系统906和笔记本计算机908之间的网络的建立被完成并且两个装置被相互连接时，控制器180可以在显示单元151上显示指示连接结果的通知信息1020。图10的第四图图示其示例。当在立体音箱系统906和笔记本计算机908之间的网络的连接被完成时，笔记本计算机908的信息可以被发送到立体音箱系统906，并且因此，可以通过立体音箱系统906输出从笔记本计算机908输出的音频信号。

同时，在图9a、图9b以及图10中，其中仅两个iot装置被控制以被连接的情况被图示并且被描述为示例，但是本公开不限于此。即，根据用户的拖动输入两个或者更多个iot装置可以被相互连接，并且可以通过被连接的装置之间建立的网络相互交换信息。或者，被连接的装置可以形成特定的组，并且根据用户选择，被包括在相对应的组中的装置可以被同时选择并且根据用户设置被驱动到操作状态。

同时，在图9a、图9b以及图10中，根据用户选择而选择的iot装置建立网络使得被连接的情况被图示并且被描述为示例，但是本公开不限于此。即，用户可以选择与除了前述连接之外的任何其它的操作有关的控制。在这样的情况下，在先前捕获的屏幕(当在照片模式下操作时或者当在虚拟现实模式下操作时)或者其中预览图像被显示的屏幕被显示的状态下，控制器180可以在显示单元151上显示与当前选择的装置的特定操作状态有关的图形对象，并且基于被施加到显示的图形对象的用户输入控制所选择的装置的特定操作状态。

同时，在上面，其中在iot装置之间简单地建立网络以连接iot装置的情况已经被描述，但是，通过使用触摸和拖动输入，特定的装置也可以被设置为默认输出装置。

例如，如在图9a、图9b或者图10中所图示，立体声系统906和笔记本计算机908可以被相互连接。在这样的情况下，笔记本计算机908的音频信号可以通过立体音箱系统906被输出。然后，在立体音箱系统906和笔记本系统908以这样的方式被简单地连接的情况下，当通过移动终端100的控制可以被释放时或者当笔记本计算机908或者立体音箱系统906的电源被切断时，在立体音箱系统906和笔记本计算机908之间的连接可以被释放。然而，在立体音箱系统906作为笔记本计算机908的默认输出装置被连接的情况下，立体音箱系统906可以被设置为输出笔记本计算机908的音频信号的基本输出装置，与通过移动终端100的控制的释放或者笔记本计算机908或者立体音箱系统906的断电无关。在这样的情况下，尽管任何其它输出装置(例如，扬声器(未示出))作为笔记本计算机908的音频信号输出装置被用户临时连接，但是当在笔记本计算机908和当前连接的扬声器之间的连接由于断电或者由于用户的连接的释放被释放时，笔记本计算机908和立体音箱系统906可以再次被相互连接。

例如，在通过触摸拖动输入相互连接的装置通过触摸拖动输入被再次连接的情况下，可以设置默认装置连接。在存在已经设置的用于默认连接的装置的情况下，当根据本公开的实施例的操作开始时，控制器180可以在先前捕获的图像上(在照片模式或者虚拟现实模式下的操作状态)或者在预览状态下显示的图像上(在增强现实模式下的操作状态)立即显示装置的默认连接状态。因此，在这样的情况下，尽管用户没有连接装置，但是多个iot装置可以以相互连接的状态(默认连接状态)显示在显示单元151上。

另外，在默认状态下装置连接的情况下，控制器180可以显示不同于其中装置被简单地连接的情况的在默认状态下连接的装置。即，在默认连接的装置的情况下，控制器180可以通过区分连接被连接的iot装置的图像的图形对象(例如，线性图形对象)的颜色或者粗细显示默认连接状态。

同时，在上面，描述可以提供操作模式使得用户可以通过先前捕获的图像或者预览状态下的图像来选择被定位在没有被显示的特定室内区域中的iot装置并且控制所选择的iot装置的操作。在这样的情况下，控制器180可以通过显示与“覆盖的室内区域”相对应的特定图像来显示与“覆盖的室内区域”相对应的先前捕获的图像。而且，与“覆盖的室内区域”相对应的特定图像可以是与“覆盖的室内区域”的“门”相对应的图像。

即，当用户捕获特定室内区域并且存储捕获到的图像作为与“覆盖的室内区域”相对应的图像时，用户可以选择与“覆盖的室内区域”相对应的对象的图像。在这样的情况下，用户可以选择用于进入特定室内区域的门，作为与“覆盖的室内区域”相对应的对象。当“门”被选择时，控制器180可以分析“门”的图像的特征点并且提取被分析的特征点。而且，基于被提取的特征点，控制器180可以从在照片模式的操作状态或者增强现实的模式的操作状态下在显示单元151上输出的图像中识别“门”。

在这样的情况下，其中与“门”相对应的图像被显示的显示单元151的区域可以被区分地显示。当用户选择与“门”的图像相对应的显示单元151的区域时，进入虚拟现实模式的操作状态并且与“覆盖的室内区域”相对应的图像可以在显示单元151上被输出。

图11是图示在根据本公开的实施例的移动终端中被定位在其内部没有被显示的特定区域，即，“覆盖的室内区域”中的iot装置被控制的示例的视图。

首先，参考图11的第一图，在根据本公开的实施例的移动终端100在照片模式下操作的状态下与“覆盖的室内区域”相对应的图像1100被区分地显示在显示单元151上输出的先前捕获的图像上的示例被图示。而且，参考图11的第二图，在根据本公开的实施例的移动终端100在增强现实模式下操作的状态下与“覆盖的室内区域”相对应的图像1100可区分地显示在显示单元151上输出的先前捕获的图像上的示例被图示。

在此状态下，当用户的触摸输入被施加到与“覆盖的室内区域”相对应的图像1100被显示的区域时，控制器180可以进入虚拟现实模式。即，如在图11的第三图中所图示，作为对如在图11的第一图或者第二图中所图示的用户的触摸输入的响应，控制器180可以在显示单元151上输出关于“覆盖的室内区域”的先前捕获的图像。即，控制器180可以进入前述的虚拟现实模式操作的状态。

同时，当进入虚拟现实模式的操作状态时，控制器180可以识别被包括在显示单元151上输出的图像中的iot装置。例如，如在图11的第三图中所图示，当被定位在“覆盖的室内区域”中的iot装置是照明装置1152和台式计算机1154时，控制器180在被识别的iot装置的周围，即，在照明装置1152的周围和在台式计算机1154的周围以框架的形式显示图形对象1162和1164，以可区分地显示被识别的iot装置。而且，如在图11的第三图中所图示，控制器180可以进一步显示包括关于“覆盖的室内区域”，即，诸如“书房”的名称的从用户输入的有关信息的图形对象1170。

同时，在此状态下，用户可以检测关于被定位在“覆盖的室内区域”中的iot装置的用户选择。即，如在图11的第三图中所示，当在照明装置1152的图像被显示在“覆盖的室内区域”的图像中的区域中检测用户的触摸输入时，控制器180可以检测到用户已经选择照明装置1152的控制或者管理。然后，根据用户选择，控制器180可以改变照明装置1152的操作状态或者控制被定位在其它室内区域中的iot装置(在照片模式的操作状态下或者在增强现实模式的操作状态下选择的iot装置)和照明装置1152以建立网络。当照明装置1152经由网络与其它的iot装置相连接时，控制器180可以在显示单元151上显示相对应的通知消息1180，如在图11的第四图中所图示。

同时，在上面，仅被识别的装置被连接或者被控制的情况已经被描述为示例，但是在新的装置被识别的情况下，根据本公开的实施例的移动终端100的控制器180可以通知用户被识别的新装置。图12是图示在根据本公开的实施例的移动终端100中检测和注册新的iot装置的示例的视图。

首先，图12的第一图图示在根据本公开的实施例的移动终端100在照片模式下操作的状态下识别新的iot装置的示例。

在安装和驱动新的iot装置的情况下，新的iot装置可以搜寻可连接的ap并且被连接到搜索到的ap。当被连接到ap时，新的iot装置可以将其识别信息发送到ap。在这样的情况下，ap可以接收新的iot装置的识别信息，不是先前注册的iot装置的识别信息，并且检测新的iot装置已经被安装。

在新的iot装置被注册之后，当在根据本公开的实施例的移动终端100中开始通过特定室内区域的先前捕获的图像或者预览状态下的图像识别iot装置的过程时，ap可以将与新iot装置有关的信息发送到移动终端100。在这样的情况下，如在图12的第一图中所图示，控制器180可以显示从ap接收到的新的iot装置的信息并且显示指示新的iot装置的检测的通知信息1022和图形对象1210。

在这样的情况下，控制器180可以请求用户重新捕获要在照片模式或者虚拟现实模式下使用的特定室内区域的图像。在这样的情况下，控制器180可以通过重新捕获的图像识别新的iot装置并且可区分地显示新的iot装置。或者，控制器180可以进入增强现实的模式并且请求用户识别新的iot装置。

而且，如上所述，当检测到新的iot装置时，通过从相机感测到的图像，控制器180可以在先前捕获的图像上显示检测到的iot装置的图像，并且进行注册。为此，控制器180可以执行注册新的iot装置的位置的过程。

在这样的情况下，控制器180可以驱动相机传感器，并且在显示单元151上显示通过驱动的相机传感器接收到的图像。控制器180可以检测是否与新的iot装置相对应的图像被包括在预览图像1250中。为此，控制器180可以从ap接收新的iot装置的识别信息，并且从预设外部服务器或者新iot装置的制造商收集与接收到的识别信息相对应的外观信息。使用收集的外观信息，是否包括与新的iot装置相对应的图像的图像已经被感测到可以被检测。

同时，如在图12的第三图中所图示，当通过相机传感器感测到包括新的iot装置，即，笔记本计算机1260的图像时，控制器180可以识别笔记本计算机1260。在这样的情况下，指示笔记本计算机1260是被识别的iot装置的图形对象1270可以进一步被显示在笔记本计算机1260周围。

在其中新的iot装置，即，笔记本计算机1260被识别的状态下，用户可以将触摸应施加到显示新的iot装置图像的区域，以便于注册新的iot装置，即，笔记本计算机1260。在此，如在图12的第三图中所图示的选择菜单1280可以被显示在显示单元151上。

在这样的情况下，当用户选择新的iot装置的注册时，控制器180可以在先前捕获的特定室内区域的图像上显示新的iot装置的位置。例如，控制器180可以分析新的iot装置周围的图像，并且从先前捕获的图像中检测具有与新的iot装置周围的图像相似的特征点的区域。

即，如在图12的第三图中所图示，当新的iot装置，即，笔记本计算机1260，被放置在桌子上时，控制器180可以从特定室内区域的先前捕获的图像中检测与在其上放置笔记本计算机1260的“桌子”相对应的图像的区域。并且然后，控制器180可以在检测到的区域中显示与笔记本计算机1260相对应的图像。控制器180可以存储包括新的iot装置，即，笔记本计算机1260的图像，使得在照片模式或者虚拟现实模式的操作状态下图像可以被用作先前捕获的图像。在此，笔记本计算机1260的显示的图像可以是被包括在图12的第二和第三图中的预览图像中的笔记本计算机1260的图像。

同时，在根据本公开的实施例的移动终端100中，用户可以事先连接多个iot装置并且设置操作状态，并且将其存储作为设置信息。而且，在预设模式下，多个相对应的iot装置可以根据被作为设置信息存储的多个iot装置的连接状态和操作状态相互设置连接和操作状态。图13是图示其示例的视图。

参考图13，图13的第一图图示用户选择立体音箱系统906的示例。在此状态下，如在图13的第二图中所图示，当用户施加被拖动到在其上显示tv904的图像的显示单元151的区域的拖动输入时，控制器180可以检测立体音箱系统906和tv904已经被用户选择。

在此状态下，如在图13的第三图中所图示，当用户继续将拖动输入施加到在其上显示照明902的图像的显示单元151的区域时，紧跟立体音箱系统906和tv904，控制器180可以检测到用户已经继续选择了照明装置902。

在此状态下，当用户终止触摸输入时，控制器180可以控制立体音箱系统906、tv904、以及照明装置902以建立其中iot装置，即，立体音箱系统906、tv904、以及照明装置902通过拖动轨迹被连接的网络。然而，在图13的第四图中所图示的，当用户的触摸和拖动输入轨迹形成闭合环路时，控制器180可以生成根据拖动轨迹选择的iot装置，即，立体音箱系统906、tv904、以及照明装置902被连接的设置信息。

在这样的情况下，设置信息可以包括关于装置(照明装置902、tv904以及立体音箱系统906)被连接的当前状态的信息和关于各个装置的操作状态的信息。当用户选择生成的设置信息时，控制器180可以连接被包括在所选择的设置信息中的iot装置并且控制iot装置以根据被包括在设置信息中的操作状态操作。因此，在特定情况下，即，当用户看电影、读书、烹饪、或者睡眠时，由用户主要使用或者设置的特定iot装置的操作状态可以事先被设置为对应于特定情形并且被存储。并且然后，稍后可以选择被存储的设置信息，使得在特定的情形下可以每次设置由用户主要使用或者设置的iot装置的操作状态。

同时，可以生成多个设置信息。而且，用户可以设置与被生成的设置信息中的每一个相对应的特定情形。而且控制器180可以根据各个情形分类被生成的设置信息并且对其进行存储。

例如，用户可以相互连接多个iot装置，并且，通过使用被连接的状态，根据用户相互连接多个iot装置并且使用其看电影的情形、用户读书的情形、用户睡眠的情形、或者用户烹饪的情形，存储关于在各种情况中在不同操作状态下操作的iot装置的信息，作为设置信息。在这样的情况下，控制器180可以生成被相互连接的iot装置和iot装置的操作状态，作为与例如，“电影”、“读书”、“睡眠”以及“烹饪”的不同的特定情形有关的设置信息。

同时，在存储设置信息中，根据生成设置信息的时间、与时间相对应的天气等等，控制器180可以生成多条设置信息作为与一种情形有关的信息。例如，在与特定情形相对应的设置信息被生成的时间是夜间(例如，6:00p.m.至9:00p.m.)的情况下，控制器180可以存储设置信息作为与关于当前设置的情形的“夜间”相对应的信息。而且，当与特定情形相对应的设置的信息被再次生成时，如果生成设置信息的时间是白天(例如，12:00a.m.至6:00p.m.)，则生成的设置信息可以作为与特定情形相对应的不同的设置信息被存储。

另外，在分类设置信息中，根据本公开的实施例的移动终端100也可以使用已经存储设置信息的时间的天气信息。例如，为了获得与当前时间相对应的天气信息，控制器180可以使用从预设外部服务器(例如，韩国气象局的服务器等等)接收到的天气信息。而且，当根据用户选择iot装置的设置信息被生成时，控制器180可以存储关于当前时间和天气的信息以及关于用户输入的特定情形的信息。因此，如果已经生成多条iot装置的设置信息的时间点不同或者天气不同，则关于相同情形的iot装置的设置信息可以作为不同设置信息被生成，尽管设置信息对应于相同的情形。

同时，控制器180可以根据预设参考确定是否时间和天气是相同的。例如，控制器180可以将24个小时划分成多个时间段(6:00a.m.至12:00a.m.：“早晨”，12:00a.m.至6:00p.m.：“白天”，6:00p.m.至10:00p.m.：“晚间”，并且10:00p.m.至6:00a.m.：“深夜”)，并且，在相同的时间段生成设置信息的情况下，控制器180可以将设置信息视为在相同的时间生成的信息。或者，在天气的情况下，控制器180可以根据设置的天气参考(晴朗、多云、下雨…)确定天气并且当被确定的天气相同时，控制器180可以将其视为与相同的天气相对应的设置信息。

同时，当生成设置信息时，控制器180可以检测是否存在与已经生成设置信息的天气和时间相对应的任何其它的设置信息。在先前生成的任何其它的设置信息被检测到的情况下，控制器180可以允许用户选择是否将检测到的设置信息更换成最新生成的设置信息。在这样的情况下，当用户想要将检测到的设置信息更换成新生成的设置信息时，控制器180可以将与时间段和/或天气相对应的现有的设置信息更换成最新产生的设置信息。然而，当用户不选择更换时，控制器180可以删除当前新生成的设置信息或者可以存储新生成的设置信息作为新名称的设置信息(例如，“电影模式(下雨)2”)。

同时，在上面的描述中，仅天气信息被提及，但是通过移动终端100检测到的各种类型的信息也可以与设置信息一起被存储。例如，控制器180可以将在移动终端100中检测到的照明、温度等等和设置信息一起存储。在这样的情况下，尽管生成的设置信息的时间段和天气是相同的，但如果其照明、温度等等是不同的，则控制器180可以将设置信息确定为不同的信息。

以这样的方式，在根据本公开的实施例的移动终端100中可以生成与特定情形有关的多条设置信息。而且，当根据用户的“模式选择”用户选择与多条设置信息有关的任何一个特定情形时，控制器180可以在显示单元151上显示关于与特定情形有关的多条设置信息的信息。当选择多条设置信息中的任意一个时，控制器180可以根据选择的设置信息同时设置多个iot装置的连接和其操作状态。图14a图示其示例。

参考图14a，首先，图14a的第一图图示用户选择关于多个设置信息的信息的显示的示例。即，如在图14a的第一图中所图示，当用户在选择屏幕1400中选择“预设模式”时，控制器180可以在显示单元151上显示到目前为止存储的设置信息的列表1412。

同时，根据如上所述的特定有关情形可以存储设置信息。即，如参考图13在上面所描述的，在生成的设置信息已经作为与“电影”、“阅读”、“睡眠”以及“烹饪”有关的设置信息被存储的情况下，根据与多个设置信息中的每一个有关的特定情形，通过与诸如“电影模式”、“阅读模式”、“睡眠模式”以及“烹饪模式”等等的“模式”可以分类设置信息，使得其被存储。

在这样的情况下，在用户选择特定设置信息之前，控制器180可以允许用户选择与期待被选择的设置信息有关的特定情形。因此，如在图14a的第二图中所图示，控制器180可以在显示单元151上显示模式选择菜单1410。

同时，如上所述，当当前生成的设置信息是与“电影”、“阅读”、“睡眠”以及“烹饪”有关的设置信息时，控制器180可以在显示单元151上显示模式选择菜单1410以允许用户选择“电影”、“阅读”、“睡眠”以及“烹饪”。

在这样的情况下，至少一个不同的设置信息可以对应于各种模式。例如，各种模式可以包括根据诸如时间、天气等等的环境其操作状态已经被设置为不同的iot装置的设置信息。

例如，当用户从如在图14的第二图中所图示的模式选择菜单1410中选择“电影模式1412”时，控制器180可以显示关于包括关于与“电影模式”有关的至少一个iot装置的信息以及如在图14a的第三图中所图示的iot装置的操作状态的设置信息的多条图像信息1450、1452、1454以及1456。在这样的情况下，被显示在显示单元上的多条图像信息1450、1452、1454以及1456可以是用于显示与根据时间、天气等等不同地操作的至少一个iot装置有关的设置信息的信息，以及如在图14的第三图中所图示的iot装置的操作状态。

例如，第一图像信息1450可以显示被设置以对应于其中当下雨时用户看电影的情形(“电影模式(下雨)”)的iot装置的设置信息。在此，被显示在第一图像信息中的tv1204可以对应于第一图像信息的“tv”，并且照明装置1202可以对应于“灯”，并且立体音箱系统1206可以对应于“声音”。

即，当被显示在第一图像信息1450中时，对应于其中当在下雨时用户观看电影的情形的设置信息(与第一图像信息1450相对应的设置信息)可以是关于其中照明装置1202、tv1204、以及立体音箱系统1204被相互连接的状态的信息。而且，设置信息可以是关于其中照明装置1202和tv1204处于打开状态并且立体音箱系统1204可以具有被设置为“10”的音量的状态的信息。因此，如在图14a的第三图中所图示，当用户选择第一图像信息1450时，控制器180可以控制照明装置1202、tv1204、以及立体音箱系统1206使得iot装置被连接并且根据与第一图像信息1450相对应的设置信息控制其操作状态。

因此，如在图14a的第三图中所图示，当第一图像信息1450被选择时，照明装置1202、tv1204、以及立体音箱系统1206被连接，并且控制器180可以根据当前选择的设置信息通过连接iot装置的图形对象1470显示其中iot装置被相互连接的状态。而且，如在图14a的第四图中所图示，控制器180可以在显示单元151上显示当前选择的设置信息以及指示根据多个iot装置的操作状态已经连接多个iot装置并且已经设置多个iot装置的操作状态的通知信息1460。

同时，在上面描述的iot装置的设置信息可以包括从预设外部服务器、根据本公开的实施例的移动终端的制造商、或者有关iot装置的制造商接收到的设置信息，以及用户生成的设置信息。在这样的情况下，接收到的设置信息可以对应于用户设置的特定情形。而且，接收到的设置信息可以包括关于特定时间段、天气等等的彼此不同的信息。

同时，如在图14a中所图示，在根据设置模式中的任意一个设置iot装置的操作状态的情况下，控制器180可以检测是否当前检测到的周围情形适合于当前设置的iot装置的操作状态。当iot装置操作不适合于检测到的周围情形时，控制器180可以提供与iot装置的操作状态有关的推荐信息。

例如，在图14a的第三图中所图示的图形对象当中，控制器180可以打开tv1204，将立体音箱系统1206的音量设置为“7”，并且根据与第二信息1456相对应的设置信息(“电影模式(晴天)”)切断照明装置1202。在此状态下，控制器180可以感测移动终端100周围的照明的强度。或者，控制器180可以感测通过相机121接收到的图像的照明的强度。控制器180可以根据感测到的照明的强度和设置信息确定是否设置的iot装置的操作状态是合适的。即，在当前感测到的照明的强度等于或者小于预设水平时，控制器可以推荐用户将照明装置1202的操作状态变成开启状态，尽管当前时间是白天。

在此，可以从预设外部服务器、根据本公开的实施例的移动终端100的制造商、有关iot装置的制造商等等接收用于确定是否检测到的周围环境和当前设置的iot装置的操作状态是合适的信息。或者，控制器180可以根据用户先前设置的值，例如，根据与特定情形、特定时间、或者特定天气有关的设定值，确定是否检测到的周围环境和当前设置的iot装置的操作状态是合适的。

在这样的情况下，当对应于特定情形、特定时间、或者特定天气的设置信息与用户设置的值或者从设置的外部服务器接收到的值相对应时，控制器180可以根据设定值或者从外部服务器接收到的值确定是否iot装置的操作状态是合适的。

同时，当推荐的信息被显示并且用户根据显示的推荐信息改变当前选择的iot装置中的至少一个的操作状态时，控制器180可以根据当前改变的iot装置的操作状态更新关于被包括在当前设置信息中的iot装置的操作状态的信息。

同时，在上面，已经描述了多个iot装置被同时连接并且根据用户选择设置其操作状态的示例，但是另外，多个iot装置也可以被同时连接并且被以不同的方式控制。

例如，控制器180可以以历史信息的形式存储设置信息。在这样的情况下，通过时间点可以存储关于被相互连接的多个iot装置的信息和iot装置的操作状态。在这样的情况下，当用户在特定的时间点选择包括iot装置的连接及其操作状态的设置信息时，控制器180可以以与其中多个iot装置在特定的时间点被连接的状态相同的方式连接多个iot装置，并且设置多个iot装置以具有相同的操作状态。

在此，在预先确定的时间段生成设置信息的情况下或者在iot装置的连接状态或者操作状态被改变的情况下，即，在多个iot装置被重新连接或者其连接状态被改变的情况下，或者无论何时特定的iot装置的操作状态被改变，控制器180可以生成新的设置信息。设置信息可以进一步包括关于存储相对应的信息的时间的信息。而且，设置信息可以进一步包括关于在存储相对应的信息的时间的天气的信息。

同时，设置信息可以进一步包括关于已经选择设置信息的次数的信息。在这样的情况下，控制器180可以显示用于用户识别的关于已经选择设置信息的次数的信息，并且可以显示已经选择超过预先确定的次数的设置信息或者当用户首选设置信息时用户最频繁地选择的设置信息。例如，控制器180可以通过使用图形对象以框架的形式或者以不同颜色区分用户首选的设置信息与其它的设置信息。或者，控制器180可以首先显示用户首选的设置信息而不是其它的设置信息使得用户可以容易地发现他的或者她的首选的设置信息。

同时，在上面，为了描述的目的，假定移动终端100在照片模式下操作，但是本公开不限于此。即，即使当移动终端100在前述的增强现实模式或者虚拟现实模式下操作时，多个iot装置当前被连接的状态可以根据用户选择作为特定的设置信息被存储。

同时，在上面，已经参考图14a描述了用户选择特定设置信息和iot装置的操作状态被同时控制的示例。然而，控制器180可以根据用户选择释放被包括在特定设置信息中的任意一个iot装置的连接。图14b图示其示例。

首先，参考图14b的第一图，图14b的第一图图示根据用户选择的设置信息照明装置1202、tv1204、立体音箱系统1206、以及窗户的百叶窗1472被连接的示例。在这样的情况下，如在图14a中所图示，可以通过图形对象1470指示其中照明装置1202、tv1204、音频1206、以及百叶窗1472被连接的状态。

在此状态下，控制器180可以在显示单元151上显示根据用户选择当前选择的iot装置的设置信息。即，如在图14b的第一图中所图示，当用户将触摸输入施加到显示单元151时，控制器180可以确定触摸输入作为用于检查设置信息的用户的输入。然后，如在图14b的第二图中所图示，控制器180可以在显示单元151上显示当前选择的设置信息1480。

同时，在此状态下，控制器180可以感测用于释放根据设置信息1480连接的iot装置中的任意一个的连接状态的用户的输入。例如，如在图14b的第二图中所图示，在其中iot装置的设置信息如在图14b的第二图中所图示被显示的状态下，当iot装置中的任意一个被选择时，控制器180可以释放iot装置的连接状态。因此，如在图14b的第三图中所图示，当在被显示在显示单元151上的设置信息1480中感测到被施加到与任意一个iot装置，即，百叶窗1472相对应的图形对象1482的区域的用户输入时，控制器180可以检测到作为用于释放在根据设置信息1480连接的iot装置当中的百叶窗1472的连接的输入的用户的输入。因此，控制器180可以控制照明装置1202、tv1204、立体音箱系统1206、以及百叶窗1472，使得根据设置信息1480连接的iot装置当中的百叶窗1472的连接被释放。在百叶窗1472的连接以这样的方式被释放的情况下，控制器180可以通过如图14b的第四图所示的图形对象1470显示其中百叶窗1472没有被连接到照明装置1202、tv1204以及立体音箱系统1206的状态。而且，控制器180可以在显示单元151上显示指示百叶窗1472的连接的释放的通知信息和关于当前被连接的iot装置的信息。

同时，在特定的iot装置的连接状态被释放的情况下，控制器180可以根据在连接中的当前被释放的iot装置更新当前选择的设置信息。或者，相反地，在特定的iot装置另外被连接的情况下，控制器180可以更新当前选择的设置信息以包括另外连接的iot装置。

同时，根据上面的描述，当根据用户选择改变特定装置的操作状态时，根据本公开的实施例的移动终端100的控制器180可以提供显示改变周围环境的预览功能。图15图示预览功能被提供的示例。

首先，参考图15的第一图，图15的第一图图示在根据本公开的实施例的移动终端100在照片模式下操作的状态下用户选择照明装置902的示例。在这样的情况下，控制器180可以在显示单元151上显示与照明装置902有关的功能，即，用于调节照明的强度的图形对象1500。图15的第二图图示其示例。

在这样的情况下，如在图15的第二图中所图示，在用于调节照明装置902的照明的强度的图形对象1500被显示的状态下，当用户的触摸输入被施加到图形对象1500时，控制器180可以根据触摸输入改变照明装置902的照明的强度。在这样的情况下，控制器180可以设置预览区域并且通过预览区域的图像显示根据被改变的照明的亮度改变的周围环境。

即，如在图15的第三图中所图示，以其操作状态已经被改变的iot装置为中心围绕的一个区域，即，预览区域1510，可以被形成在显示单元151上。因此，显示单元151可以被划分成预览区域1510和其它的区域。在此状态下，控制器180可以依照根据触摸输入改变的照明装置902的照明的强度改变预览区域1510的亮度。因此，预览区域902的内部和外部的亮度可以被显示为是不同的，这可以指示根据照明装置902的照明的强度改变的周围环境的影响。控制器180可以在显示单元151上显示允许用户检查是否保持当前改变的操作状态的检查菜单1530。根据检查菜单1530上的用户，照明装置902的照明的强度可以被改变，或者被改变的照明的强度可以被如原样保持。

同时，图15图示根据本公开的实施例的移动终端100在照片模式下操作的示例。因此，在改变预览区域1510的亮度中，控制器180可以在被改变和请求改变照明装置902的操作状态的时间之前根据照明装置902的操作状态进一步考虑照明的强度。即，控制器180在被改变之前根据照明装置902的照明的强度改变在显示单元151上输出的先前捕获的图像900的亮度，并且，根据是否当前时间是夜晚或者白天将亮度改变为更暗或者更亮。在此状态下，控制器180可以在被改变之后在预览区域1510上显示根据照明装置902的照明的亮度的影响。

同时，当根据本公开的实施例的移动终端100在虚拟现实模式下操作时，也可以以相似的方式显示根据在所选择的特定iot装置的操作状态中的变化的影响。同时，当根据本公开的实施例的移动终端在增强现实模式下操作时，控制器180可以在显示单元151上输出的图像(在预览状态下输出的图像)上立即形成预览区域1510。在这样的情况下，控制器180可以根据在照明装置902的操作状态中由用户进行的改变使预览区域1510的亮度变化。这是因为，在增强现实模式的情况下，不同于其它的模式，通过相机传感器实际感测到的图像，而不是先前捕获的图像，被使用。

同时，根据上面的描述，根据本公开的实施例的移动终端100根据显示在显示单元151上的特定iot装置图像的大小提供不同的控制界面。图16a和图16b图示根据显示在显示单元151上的iot装置的图像显示用于控制iot装置的不同控制界面的示例。

首先，参考图16a，图16a图示当被显示在显示单元151上的iot装置图像的大小小于预设大小时显示的控制界面。例如，如在图16a的第一图中所图示，在iot装置被显示具有小于预设大小的大小的状态1600中，当用户在没有进行放大的操作的情况下选择特定的iot装置时，控制器180可以在显示单元151上显示相对应的控制界面。

例如，当假定用户施加到显示tv904的图像的区域的触摸输入作为用于控制tv904的音量的用户输入被感测到时，控制器180可以显示用于根据用户输入控制tv904的音量的控制界面屏幕1610，如在图16a中所图示。而且，在这样的情况下，被显示的控制界面屏幕1610可以仅包括用于通过“大声”、“中等”以及“柔和”的三个阶段简单地控制tv904的音量的菜单，如在图16a的第二图中所图示的。

同时，在用户放大的情况下或者在根据本公开的实施例的移动终端100在增强现实模式下操作并且用户在特定的iot装置被定位的方向中接近的情况下，特定iot装置的图像可以被显示1650以具有等于或者大于预设大小的大小，如在图16b中所图示。在此状态下，如在图16b中所图示，当用户将触摸输入施加到iot装置图像被显示的区域时，响应于此，控制器180可以显示用于控制tv904的音量的控制界面屏幕1660。

在这样的情况下，不同于图16a的第一图，被显示的控制界面屏幕1660可以包括用于精确控制tv904的音量的图形对象。即，如在图16b的第二图中所图示，控制器180可以根据用户的拖动输入以更加精细的单位调节音量，并且因此，用户可以更加精细地控制tv的音量。

同时，在上面，已经描述根据被显示在显示单元151上的iot装置图像的大小显示用于控制iot装置的不同控制界面屏幕的示例。然而，可替选地，根据iot装置图像的大小可以确定是否控制iot装置。即，在其中iot装置的图像被显示具有小于预设大小的大小的状态下，当iot装置的图像被显示具有等于或者大于预设大小的大小时，根据放大或者在增强现实模式下的位置中的用户移动，根据本公开的实施例的移动终端100的控制器180可以在显示单元151上显示用于控制iot装置的操作状态的控制界面屏幕。

同时，在上面，已经描述了根据本公开的实施例的移动终端100向还未被注册的另一移动终端许可控制特定的iot装置的权限。

图17是图示根据本公开的实施例的移动终端将控制特定iot装置的权限许可另一移动终端的示例。

例如，在未被注册的移动终端(在下文中，被称为第二移动终端1750)是根据本公开的实施例的移动终端的情况下，当第二移动终端1750接入特定室内区域的ap时，第二移动终端1750可以请求ap以确定是否第二移动终端1750是先前注册的移动终端。即，第二移动终端1750的控制器可以将其识别信息发送到ap，并且ap可以根据接收到的识别信息确定是否第二移动终端是先前注册的第二移动终端。当第二移动终端不是先前注册的移动终端时，ap可以将相对应的结果发送到第二移动终端。

在这样的情况下，第二移动终端1750可以接收指示第二移动终端1750还未被注册的结果。然后，第二移动终端1750可以请求根据用户选择控制被定位在特定室内区域中的iot装置的权限。图17的第一图图示其示例。

参考图17的第一图，第二移动终端1750的控制器可以通过在显示单元1751上显示的通知信息1700显示还未被注册的第二移动终端1750，并且可以根据用户选择请求控制权限。在这样的情况下，根据是否先前注册的认证信息(在下文中，被称为“第一认证信息”)被输入可以做出是否请求控制权限。

在此，通过第二移动终端1750输入的第一认证信息可以是先前存储在ap中的认证信息。第一认证信息可以是具有关于第二移动终端1750许可控制iot装置的权限的权限的用户的认证信息。在此，具有许可控制iot装置的权限的权限的用户可以是先前注册的移动终端的用户。

因此，当不同用户，即，先前注册的移动终端的用户的授权(第一认证信息)，被输入到认证信息输入栏1710时，第二移动终端1750可以将其发送到ap。当输入的第一认证信息匹配先前注册在ap中的用户认证信息时，请求控制iot装置的权限的过程可以在第二移动终端1750中被执行。

同时，当执行许可控制iot装置的权限的过程时，第二移动终端1750的控制器可以在预览状态下在显示单元1752上显示通过后相机的传感器感测到的图像。而且，控制器可以根据是否特定的iot装置的图像被包括在被显示在预览状态下的图像中或者根据是否另一认证信息(在下文中，被称为第二认证信息)被输入来请求控制iot装置的权限。在此，第一认证信息和第二认证信息两者可以是先前注册的移动终端的用户的认证信息，也可以是不同的认证信息。例如，第一认证信息可以是指纹信息，并且第二认证信息可以是面部识别信息。

在这样的情况下，如在图17的第二图中所图示，在笔记本计算机908的图像被显示在第二移动终端1750的显示单元1752上的情况下，第二移动终端1750的控制器可以确定是否第二认证信息已经被输入。而且，当第二认证信息(例如，面部信息)被输入时，如在图17的第二图中所图示，第二移动终端1750的控制器可以确定是否输入的认证信息匹配先前注册在ap中的认证信息。

当根据匹配结果输入的认证信息不匹配先前被存储在ap中的认证信息时，通过第二移动终端1750控制其图像被显示在显示单元1752上的iot装置的权限可以被限制。然而，当输入认证信息匹配先前存储在ap中的认证信息时，第二移动终端1750的控制器可以在显示单元1752上显示匹配结果1720。而且，根据第二认证信息的匹配，指示控制其图像被显示在显示单元1752上的iot装置，即，笔记本计算机908的权限已经被许可的通知信息1730可以被显示在显示单元1752上。

同时，第一认证信息可以被用于许可控制权限，并且第二认证信息可以被用于提供选择性地控制特定iot装置的权限。因此，在第一认证信息作为指纹信息被注册并且第二认证信息作为面部识别信息被注册的情况下，先前注册的移动终端的用户可以被给予通过简单地改变抓握移动终端1750的状态控制特定iot装置的权限。即，当用户抓握处于直立的状态下的第二移动终端1750时，第二移动终端1750的控制器可以使用从前相机接收到的图像获得面部图像并且使用获得的面部图像作为第二认证信息。因此，因为先前注册的第二移动终端的用户抓握第二移动终端1750以获得先前注册的移动终端的用户的面部图像，因此向第二移动终端提供控制特定iot装置的权限。

然而，在用户抓握处于被放下的状态下的第二移动终端1750的情况下，通过第二移动终端1750的前相机不可以获得面部图像。因此，尽管特定的iot装置的图像被显示在第二移动终端1750的显示单元1752上，但通过第二移动终端1750不可以控制iot装置。

同时，尽管未示出，当对第二移动终端1750许可控制特定iot装置的权限时，也可以将控制限制与控制特定iot装置的权限的许可一起设置。例如，当许可控制特定iot装置的权限时，先前注册的移动终端的操作状态可以由第二移动终端1750改变。即，例如，当能够最大设置的立体音箱系统906的音量是20时，先前注册的移动终端的用户可以将能够被改变的音量限制到15，以及将控制立体音箱系统906的权限许可第二移动终端1750。在这样的情况下，通过第二移动终端1750立体音箱系统906的音量不可以被增加以超过15。

同时，第二移动终端1750的用户也可以向另一移动终端(在下文中，被称为“第三移动终端”)许可被许可给第二移动终端1750控制特定iot装置的权限。以与其中第二移动终端1750被许可控制如在图17中所图示的笔记本计算机908的权限的过程相似的方式可以执行许可控制权限的过程。

然而，在这样的情况下，第二移动终端1750不可以许可第三移动终端比被许可给第二移动终端1750的控制权限更大的控制权限。即，如上所述，在通过第二移动终端1750能够最大地增加的音量的大小被允许为15的情况下，当许可第三移动终端控制立体音箱系统906的权限时，移动终端1750的用户可以将允许的音量的大小仅设置到15。

将会描述根据本公开的实施例的移动终端及其控制方法的效果。

根据本公开的实施例中的至少一个，因为通过使用先前捕获的室内图像或者由移动终端的相机感测到的预览图像来识别和显示被定位在室内区域中的iot装置，所以用户可以容易地识别和控制iot装置。

而且，根据本公开的实施例中的至少一个，因为基于通过先前捕获的图像或者被显示在显示单元上的由移动终端的相机感测到的预览图像施加的用户的触摸输入来控制iot装置，所有用户可以通过直觉更加容易地管理iot装置。

而且，根据本公开的实施例中的至少一个，因为通过基于其中移动终端被抓握的状态先前捕获的室内图像和通过移动终端的相机感测到的预览图像中的任意一个来识别和控制iot装置，所以与用于识别和控制iot装置的用户的直觉行为相对应的用户界面可以被提供。

在前面的描述中提及的本发明可以使用其上存储有用于由执行在此陈述的各种方法的处理器执行的指令的机器可读介质实现。可能的机器可读介质的示例包括hdd(硬盘驱动)、ssd(固态盘)、sdd(硅盘驱动)、rom、ram、cd-rom、磁带、软盘、光数据存储设备等等。根据需要，计算机可读介质也可以被实现为载波的形式(例如，经由互联网的传送)。处理器可以包括终端的控制器180。

前述实施例仅是示例性的并且不被视为对本公开的限制。此描述旨在是说明性的，并且没有限制权利要求的范围。许多替代、修改以及变形对于本领域的技术人员来说将会是显然的。可以以各种方式组合在此描述的示例性实施例的特征、结构、方法以及其它特性以获得附加的和/或替代的示例性实施例。

由于在没有脱离其特性的情况下可以以多种形式实现本特征，所以也应理解的是，上述实施例不受前面描述的任何细节的限制，除非另有规定，否则应在所附的权利要求中限定的范围内被广泛地解释，并且因此旨在由所附的权利要求涵盖落入权利要求的范围和界限或者该范围和界限的等同物内的所有变化和修改。