基于光标签的信息设备交互方法及系统与流程

本发明涉及光信息技术和位置服务领域，更具体地涉及利用光标签进行设备交互的方法和系统。
背景技术：
：随着移动互联网、物联网技术、大数据等技术的不断发展，智能家居产业迎来了快速的发展，涌现了很多具备数字化、网络化、智能化功能的信息家电设备，这些信息家电设备可以互相联网，并且还可以通过网络来进行交互控制。随着手机等智能便携设备的普及，越来越多的智能家居系统采用手机来帮助用户控制家电设备，这样只要用户的手机能够连接网络，就能随时随地地通过网络进行控制家里的用电设备。然而当电器很多时，用户需要在手机上进行浏览和不断的选择，这样的操作繁琐，容易让用户产生排斥心理。技术实现要素：针对上述问题，本发明提供了一种新的基于光标签的信息设备交互方法及系统，使得用户能随时随地操控视野中的设备，并且对于设备的交互操作所见即所得。本发明的目的是通过以下技术方案实现的：一方面，本发明提供了一种基于光标签的信息设备交互的方法，该方法包括：s1)通过用户携带的终端设备对处于信息设备相对固定位置处的光标签进行图像采集来确定终端设备相对于光标签的初始位置和姿态；s2)基于所确定的终端设备的位置和预先标定好的各个信息设备相对于光标签的位置来确定终端设备与各个信息设备之间的相对位置；s3)根据所确定的终端设备的姿态及其与各个信息设备之间的相对位置计算各信息设备在所述终端设备的显示屏幕上的成像位置；s4)将各信息设备的交互接口分别呈现于其在显示屏幕上的成像位置处，以用于与各个信息设备进行交互操作。在上述方法中，还可包括：响应于终端设备的位置和/或姿态的变化，调整各信息设备在所述终端设备的显示屏幕上的成像位置。在上述方法中，还可包括：识别用户对于信息设备的交互接口的操作；以及将所识别的操作转换为相应的操作指令，并通过网络将其发送给该信息设备。在上述方法中，用户对于信息设备的交互接口的操作可以为下列中的至少一个：屏幕输入、键盘输入、语音输入或手势输入。又一方面，本发明还提供了一种基于光标签的信息设备交互的系统，该系统包括一个或多个信息设备、处于信息设备相对固定位置处的光标签、用于存储与信息设备和光标签有关信息的服务器、带有成像装置的终端设备；其中终端设备被配置为：对处于要访问的信息设备相对固定位置处的光标签进行图像采集来确定终端设备相对于光标签的初始位置和姿态；基于所确定的终端设备的位置和从服务器获取的预先标定好的各个信息设备相对于光标签的位置来确定终端设备与各个信息设备之间的相对位置；根据所确定的终端设备的姿态及其与各个信息设备之间的相对位置计算各信息设备在所述终端设备的显示屏幕上的成像位置；将各信息设备的交互接口分别呈现于其在显示屏幕上的成像位置处，以用于与各个信息设备进行交互操作。在上述系统中，所述终端设备还可被配置为：响应于终端设备的位置和/或姿态的变化，调整各信息设备在所述终端设备的显示屏幕上的成像位置。在上述系统中，所述终端设备还可被配置为：识别用户对于信息设备的交互接口的操作；以及将所识别的操作转换为相应的操作指令，并通过网络将其发送给该信息设备。在上述系统中，用户对于信息设备的交互接口的操作可以为下列中的至少一个：屏幕输入、键盘输入、语音输入或手势输入。附图说明以下参照附图对本发明实施例作进一步说明，其中：图1为三角定位方法的基本原理示意图；图2为采集光标签时成像设备的成像过程的原理示意图；以及图3为物坐标系与像坐标系之间的简化关系示意图；图4为根据本发明实施例的基于光标签的信息设备交互方法的流程示意图。具体实施方式为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。条形码和二维码已经被广泛采用来对信息进行编码。当用特定设备或软件扫描这些条形码和二维码时，相应的信息就会被识别出来。然而，条形码和二维码的识别距离很受限制。例如，对于二维码而言，当用手机摄像头对其进行扫描时，该手机通常必须置于一个比较近的距离内，该距离通常只是二维码的宽度的15倍左右。因此，对于远距离识别(例如相当于二维码宽度的200倍的距离)，条形码和二维码通常不能实现，或者必须定制非常大的条形码和二维码，但这会带来成本的提升，并且在许多情形下由于其他各种限制是不可能实现的。而光标签通过发出不同的光来传递信息，其具有远距、可见光条件要求宽松、指向性强、可定位的优势，并且光标签所传递的信息可以随时间迅速变化，从而可以提供更大的信息容量(例如在中国专利公开cn104168060a、cn105740936a等中所描述的光通信装置)。相比于传统的二维码，光标签具有更强的信息交互能力，从而可以为用户和商家提供巨大的便利性。在本发明的实施例中，光标签可以是能够通过发出不同的光来传输不同的信息的任一光通信装置。在一个实施例中，光标签可包括至少一个光源和控制器，控制器用于控制所述光源发出的不同的光来传递不同的信息。例如，控制器可以通过改变光源发出的光的属性来使得光源发出不同的光。光的属性可以是光学成像器件(例如cmos成像器件)能够感知的任何属性；例如其可以是光的强度、颜色、波长等人眼可感知的属性，也可以是人眼不可感知的其他属性，例如在人眼可见范围外的电磁波长的强度、颜色或波长改变，或者是上述属性的任一组合。因此，光的属性变化可以是单个属性发生变化，也可以是两个或更多个属性的组合发生变化。当选择光的强度作为属性时，可以简单地通过选择开启或关闭光源来实现。在下文中为了简单起见，以开启或关闭光源来改变光的属性，但本领域技术人员可以理解，用于改变光的属性的其他方式也是可行的。在该光标签中可以使用各种形式的光源，只要其某一可被光学成像器件感知的属性能够以不同频率进行变化即可。光源中可以包括各种常见的光学器件，例如导光板、柔光板、漫射器等。例如，光源可以是一个led灯、由多个led灯构成的阵列、显示屏幕或者其中的一部分，甚至光的照射区域(例如光在墙壁上的照射区域)也可以作为光源。该光源的形状可以是各种形状，例如圆形、正方形、矩形、条状、l状等。在一个实施例中，该光标签的控制器可以控制每个光源发出的光的属性，以便传递信息。例如，可以通过控制每个光源的开启和关闭来表示二进制数字信息的“0”或“1”，从而该光标签中多个光源可以用于表示一个二进制数字信息序列。如本领域技术人员可以理解的，每个光源不仅可以用于表示一个二进制数，还可以用于表示三进制或更大进制的数据。例如，可以通过将光源所发出的光的强度设置为从三种或更多种水平中进行选择，或者通过将光源所发出的光的颜色设置为从三种或更多种颜色中进行选择，甚至通过采用强度与颜色的组合，来使得每个光源能表示三进制或更大进制的数据。因此，相比于传统二维码，本发明的光标签可以显著提高数据编码密度。在又一实施例中，该光标签的控制器可以控制光源以一定频率改变其所发出的光的属性，因此，本发明的光标签可以在不同的时间表示不同的数据信息，例如，不同的二进制数字信息序列。如此，当使用光学成像设备对本发明的光标签进行连续拍摄时(例如，以30帧/秒的速率)，其每一帧图像都可以用于表示一组信息序列，从而相比于传统的静态二维码，可以进一步显著地提高其数据编码密度。在本申请的实施例中，可以使用本领域常见的光学成像设备或图像采集设备对光标签进行成像，从每帧图像确定所传递的信息，例如二进制数据1或数据0信息序列，从而实现光标签向光学成像器件的信息传递。光学成像设备或图像采集设备可以包括图像采集元件、处理器和存储器等。光学成像设备或图像采集设备例如可以是具有拍摄功能的移动终端，包括手机、平板电脑、智能眼镜等，其可以包括图像采集装置和图像处理模块。用户在距离光标签视距范围内通过肉眼发现光标签，通过使移动终端成像传感器朝向光标签，扫描该光标签并进行信息捕获与判读处理。当光标签的控制器控制光源以一定频率改变其所发出的光的属性时，移动终端的图像采集频率可以被设置为大于或等于光源的属性变换频率的2倍。通过对所采集的图像帧进行解码操作，可以完成识别解码的过程。在一个实施例中，为了避免图像帧的重复、遗漏等，可以在光标签所传递的信息中包括序列号、校验位、时间戳等。根据需要，可以在多个图像帧中给出起始帧或结束帧，或者二者兼有，用于指示多个图像帧的一个完整周期的开始或结束位置，该起始帧或结束帧可以被设定为显示某个特殊的数据组合，例如：全0或全1，或者任何不会与实际可能显示的信息相同的特殊组合。以cmos成像器件为例，当通过cmos成像器件拍摄光源的连续的多帧图像时，可以通过控制器进行控制，使得光源的工作模式之间的切换时间间隔等于cmos成像器件一个完整帧成像的时间长度，从而实现光源与成像器件的帧同步。假定每个光源每帧传输1比特的信息，那么对于30帧/每秒的拍摄速度，每个光源每秒钟可以传递30比特的信息，编码空间达到230，该信息可以包括例如，起始帧标记(帧头)、光标签的id、口令、验证码、网址信息、地址信息、时间戳或其不同的组合等等。可以按照结构化方法，设定上述各种信息的顺序关系，形成数据包结构。每接收到一个完整的该数据包结构，视为获得一组完整数据(一个数据包)，进而可以对其进行数据读取和校验分析。表1给出根据本发明的一个实施例的示例数据包结构：表1帧头属性字段(可选)数据字段校验位帧尾相比于传统的二维码，上述光标签通过发出不同的光来传递信息，其具有远距、可见光条件要求宽松、指向性强、可定位的优势，并且光标签所传递的信息可以随时间迅速变化，从而可以提供大的信息容量。因此，光标签具有更强的信息交互能力，从而可以为用户和商家提供巨大的便利性。为了基于光标签向用户和商家提供对应的服务，每个光标签都分配有唯一标识符(id)，该标识符用以由光标签的制造者、管理者及使用者等唯一地识别或标识光标签。通常，可由光标签发布其标识符，而使用者可以使用例如手机上内置的图像采集设备或成像装置对光标签进行图像采集来获得该光标签传递的信息(例如标识符)，从而可以访问基于该光标签提供的服务。在本发明的实施例中还可以基于前述光标签对于扫描该光标签的成像设备进行精确定位(也可以称为反向定位)。例如，可以预先在例如服务器上注册光标签的地理位置信息。光标签在工作过程中可以传递其标识信息(例如id信息)，成像设备可以通过对光标签进行扫描来获得该id信息，当成像设备获得了光标签的id信息后，使用id信息查询服务器，就可以获得光标签所对应的地理位置，从而进行反向定位以确定成像设备的具体位置。可选地，还可以预先在服务器上注册光标签的其他相关信息，例如物理尺寸信息和/或朝向信息。可以使用各种可行的反向定位方法来确定用户(实际是用户的成像设备)与光标签之间的相对位置关系。例如，可以通过确定成像设备与光标签的相对距离(例如通过光标签的成像大小，或者通过手机上任何具有测距功能的应用)，并使用两个或更多个光标签通过三角定位来确定成像设备与任一光标签之间的相对位置关系。也可以通过确定成像设备与光标签的相对距离并通过分析光标签在成像设备上成像的透视畸变来确定成像设备与光标签之间的相对位置关系。在确定成像设备与光标签之间的相对位置关系时，可以进一步使用光标签的物理尺寸信息和/或朝向信息等。该物理尺寸信息和/或朝向信息可以与光标签的标识信息相关联地存储于服务器。例如，在一个实施例中，可使用至少两个光标签来进行定位。可针对每一个光标签执行如下步骤：步骤一：使用成像设备采集光标签的id信息。步骤二：通过该id信息查询获得光标签的物理尺寸信息和地理位置信息。步骤三：采用成像设备的默认焦距对光标签进行拍照，以获得光标签的图像。由于采用的是成像设备的默认焦距，因此拍摄到的光标签图像可能会比较模糊。步骤四：调节并优化成像设备的焦距，以获得光标签的清晰图像。例如，可以基于默认焦距，首先尝试增大焦距，如果光标签图像变清晰，就继续增大焦距，如果光标签图像变得模糊，就反方向调节，即减小焦距；反之亦然。在焦距调节过程中，为了确定光标签图像的清晰度，可以对光标签图像进行纹理特征提取，光标签图像越清晰，所对应的纹理信息越简单，纹理的密度越小，因此，可以根据光标签图像的纹理的密度来确定最优的焦距参数，当经过多次迭代后不能获得更小的纹理密度时，可以认为具有最小的纹理密度的图像是清晰的图像，并将与所获得的最小的纹理密度对应的焦距参数作为最优的焦距参数。步骤五：基于最优的焦距参数，拍摄光标签的清晰图像，然后，利用简单的透镜物象公式和物像关系，根据光标签的清晰图像的尺寸、光标签的物理尺寸和最优的焦距参数计算成像设备与光标签的相对距离。在获得了成像设备与至少两个光标签中的每一个的相对距离后，可以利用三角定位法确定成像设备的具体位置信息，也即成像设备在物理世界坐标系中的具体坐标。图1为三角定位方法的示意图，其中使用了两个光标签(光标签1和光标签2)进行三角定位。另外，当使用两个光标签进行三角定位时，通常会获得两个候选位置。在这种情况下，可能需要从这两个候选位置中进行选择。在一个实施方式中，可以结合成像设备(例如，手机)本身的定位信息(例如，gps信息)来选择其中一个候选位置。例如，可以选择与gps信息更为接近的一个候选位置。在另一个实施方式中，可以进一步考虑各个光标签的朝向信息，该朝向信息实际上限定了可以观察到光标签的区域，因此，可以基于该朝向信息来选择其中一个候选位置。光标签的朝向信息同样可以存储于服务器，并可以通过光标签的id信息来查询获得。在上述实施例中以两个光标签为例进行了说明，但本领域技术人员可以理解，上述基于三角定位的方法同样可以适用于三个或更多个光标签的情形。实际上，使用三个或更多个光标签可以实现更为精确的定位，并且通常不会出现多个候选点。在又一个实施例中，还可以采用下面的反向定位方法，该实施例并不需要使用至少两个光标签，而是可以使用一个光标签进行反向定位。该实施例的方法包括如下步骤：步骤一：使用成像设备采集光标签的id信息。步骤二：通过该id信息查询获得光标签的地理位置信息以及其上的多个点的相关信息。该相关信息例如是这些点在光标签上的位置信息以及它们的坐标信息。步骤三：采用成像设备的默认焦距对光标签进行拍照，以获得光标签的图像。例如上文介绍的可以根据光标签图像的纹理的密度来确定最优的焦距参数，当经过多次迭代后不能获得更小的纹理密度时，可以认为具有最小的纹理密度的图像是清晰的图像，并将与所获得的最小的纹理密度对应的焦距参数作为最优的焦距参数。步骤五：基于最优的焦距参数，拍摄光标签的清晰图像，实现如下文所介绍的反向定位：参见图2，图2为光标签在成像设备上的成像过程示意图。以光标签的质心为原点建立物坐标系(x，y，z)，以成像设备所在的位置fc为原点建立像坐标系(x，y，z)，物坐标系也称物理世界坐标系，像坐标系也称为相机坐标系。另外，以成像设备所采集的光标签的图像左上角的点为坐标原点，在光标签的像平面内建立二维坐标系(u，v)，称为像平面坐标系，该像平面与光轴(即z轴)的交点为主点，(cx，cy)为主点在像平面坐标系中的坐标。光标签上的任意一点p在物坐标系中的坐标为(x,y,z)，所对应的像点为q，其在像坐标系中的坐标为(x，y，z)，在像平面坐标系中的坐标为(u，v)。在成像过程中，像坐标系相对于物坐标系不只有位移的改变，还有角度的旋转，物坐标系(x，y，z)和像坐标系(x，y，z)之间的关系可以表示为：定义变量：x′＝x/z，y′＝y/z；那么，像平面坐标系中的坐标：u＝fx*x′+cx且v＝fy*y′+cy(2)；其中，fx和fy分别为成像设备在x轴和y轴方向的焦距，cx，cy为主点在像平面坐标系中的坐标，fx、fy、cx、cy都为成像设备内部的参数，可以提前测知。旋转矩阵r和位移矢量t分别表示物坐标系相对于像坐标系的姿态信息(即成像设备相对于光标签的姿态，就是成像设备的中轴线相比光标签的偏向，也称为成像设备相对于光标签的朝向，例如，当成像设备正对光标签时，r＝0)和位移信息(即成像设备与光标签之间的位移)。在三维空间中，旋转可以分解为绕各自坐标轴的二维旋转，如果依次绕x,y,z轴旋转角度ψ，和θ，那么总的旋转矩阵r是三个矩阵rx(ψ)，rz(θ)的乘积，即：其中，为了简单起见，并因为是本领域公知的，在此不再展开计算，仅简单地将旋转矩阵写成如下形式：而位移矢量t可以简单地写成如下形式，即于是得到如下关系式：其中，s为物像转换因子，等于像平面的大小与成像设备分辨率的比值，也是已知的。根据在步骤二获得的在光标签上的多个点(例如至少四个点a、b、c和d)的相关信息(例如，这些点在光标签上的位置信息)确定这些点在光标签图像中的像点，例如a’、b’、c’和d’。这四个点a、b、c和d例如可以分别光标签的左右两侧，或者可以是位于光标签的四个角的四个单独的点光源等等。该四个点的坐标信息(xa，ya，za)、(xb，yb，zb)、(xc，yc，zc)和(xd，yd，zd)也在上述步骤二中被获得。通过测量对应的四个像点a’、b’、c’和d’在像平面坐标系中的坐标(ua’，va’)、(ub’，vb’)、(uc’，vc’)和(ud’，vd’)，代入上述关系式(3)，求解得到旋转矩阵r和位移矢量t，于是就得到了物坐标系(x，y，z)和像坐标系(x，y，z)之间的关系。基于该关系，就可以得到成像设备相对于光标签的姿态信息和位移信息，从而实现对成像设备的定位。图3简化示出了物坐标系与像坐标系之间的关系。然后，根据在上述步骤二中获得的光标签的地理位置信息，借由旋转矩阵r和位移矢量t，就可以计算出成像设备的实际具体位置和姿态，通过位移矢量t确定成像设备的具体位置，旋转矩阵r确定成像设备相对于光标签的姿态。在本发明的一个实施例中，还提供了基于光标签的信息设备交互控制系统。在该系统中的信息设备是指能通过网络对其进行交互控制的任意计算装置，包括但不限于信息家电设备或家居设备。每个信息设备可以关联有一个或多个光标签，而每个光标签可以关联一个或多个信息设备。光标签可以设置在该信息设备上，或者可以处于与该信息设备相对固定位置处。光标签的物理位置以及信息设备相对于光标签的位置等都预先进行了标定。光标签及其关联的信息设备的有关信息可以保存在服务器上以供查询。与光标签相关的信息例如可包括光标签的id信息、光标签的物理世界坐标、物理尺寸、朝向、该光标签关联的信息设备标识符、在光标签上的多个点在光标签上的位置信息及其物坐标等信息。与信息设备相关的信息例如可包括该信息设备的标识符、该信息设备在以与其关联的光标签的质心为原点所建立的物坐标系中的坐标、该信息设备与其所关联的光标签的相对位置信息、该信息设备的操作接口、该信息设备的描述信息、尺寸、朝向等等。当用户希望与其视野中的某个信息设备交互时，可以使用其随身携带的终端设备(例如手机等)的成像装置对与该信息设备关联的光标签进行图像采集来获取该光标签的id信息。接着终端设备可根据该光标签id信息从服务器获取与光标签关联的信息设备有关的信息，并可以将该信息设备的交互接口呈现于该信息设备在终端设备的显示屏幕中所处的位置处。这样，用户就可以通过叠加在该信息设备上或其附近的交互接口来对该信息设备进行相关交互控制操作。优选地，可以在将信息设备的交互接口呈现于该信息设备在终端设备屏幕上当前显示的位置处之前，先当判断任一与该光标签关联的信息设备是否会出现于终端设备的显示屏幕上，并在判断结果为出现的情况下再进一步确定该信息设备在显示屏幕上的成像位置，例如确定其屏幕成像时的二维的像平面坐标。为了实现上述目的，首先可以使用上文提及的反向定位方法来确定用户携带的终端设备与光标签之间的初始相对位置关系，从而确定用户的终端设备的初始位置和初始朝向。进一步地，由于已经预先对光标签的物理位置以及各个信息设备相对于光标签的位置进行了标定，因此，可以基于终端设备的初始位置以及预先存储的标定信息，来确定用户的终端设备与各个信息设备之间的初始相对位置关系。基于用户的终端设备与各个信息设备之间的初始相对位置关系以及终端设备的初始朝向，可以确定出当前任一与该光标签关联的信息设备是否会出现于终端设备的显示屏幕上，并在判断结果为出现的情况下进一步确定该信息设备在显示屏幕上的成像位置。如果用户希望控制的信息设备不会出现在当前的显示屏幕中，用户可以从所述初始位置移动终端设备以使得该信息设备能够出现在显示屏幕中，例如，用户可以平移或旋转终端设备以使得其摄像头最终朝向该信息设备。当终端设备从所述初始位置发生移动时，可以通过现有的多种方式来检测终端设备位置和姿态的变化(例如通过终端设备上内置的加速度传感器、陀螺仪等传感器来监测)，从而确定移动后的终端设备的位置信息和朝向信息，基于该位置信息和朝向信息，可以确定当前哪些信息设备会出现于终端设备的显示屏幕上以及它们各自的呈现位置。进而，可以将这些信息设备的交互接口分别叠加到它们在显示屏幕上的成像位置处，以实现对于各个信息设备的所见即所得的交互操作。在一个实施例中，如上文介绍的，当使用成像设备对光标签进行图像采集时，以光标签的质心为原点建立的物理世界物坐标系(x，y，z)和以成像设备所在的位置为原点建立相机坐标系(x，y，z)之间存在一定的变换关系(例如公式(1))，可以旋转矩阵r和位移矢量t来描述。而相机坐标系与在相机屏幕上所采集的光标签的图像左上角的点为坐标原点的二维像平面坐标系(u，v)之间也存在一定的变换关系(例如公式(2))，其由成像设备内部的参数来决定。由此，在确定了旋转矩阵r和位移矢量t以及成像设备内部参数之后，物理世界坐标与像平面坐标之间的变换关系(例如公式(3))也会随之确定，该变换关系也称为投影关系，可以用来确定处于物理世界坐标系某个位置处的实际物体在成像平面中的投影位置。如上文结合反向定位方法及公式(1)-(3)所介绍的，在根据成像装置采集的光标签图像以及从服务器获取的与光标签有关的信息来确定成像设备相对于光标签的具体位置和朝向的过程中，公式(3)中旋转矩阵r和位移矢量t以及成像设备内部参数已经确定，由此可以通过来该公式确定每个信息设备的像平面坐标。由于光标签的物理位置以及光标签与信息设备之间的相对位置是提前设定的，因此可以通过光标签与信息设备之间的相对位置确定每个信息设备在物理世界坐标系中的物坐标，将其代入公式(3)就可以得到该信息设备在成像平面中的像平面坐标，接着可基于信息设备的像平面坐标在终端设备屏幕上呈现该信息设备的交互接口以供用户使用。在又一个实施例中，也可以在终端设备屏幕上将该信息设备的图标叠加信息设备之上以供用户进行选择，当用户点击图标来选中要操作的信息设备时将该信息设备的交互接口呈现在终端设备屏幕上以供用户操作和控制该信息设备。如果图标之间出现互相遮挡的情况，可以将前方图标半透明化，或者在最前面图标附近使用数字提示的方式来指示该位置处重叠有多个图标。在该系统中，随着用户携带终端设备的移动，终端设备的成像位置在物理世界中相对于光标签和信息设备的位置和朝向都会发生变化，在终端设备成像平面上出现的信息设备的位置也会发生变化。因此需要实时检测终端设备的位置和姿态，以及时调整对上述的旋转矩阵r和位移矢量t来确保获取信息设备准确的像平面坐标。终端设备可以通过多种方式来监测自身位置和姿态的变化。例如，终端设备可以光标签为参照点，将当前成像装置捕获的图像与之前的图像进行对比，识别计算图像中的差异，从而形成特征点，并使用这些特征点计算自身位置和姿态的改变。又例如，诸如手机之类的终端设备可通过内置的加速度传感器、陀螺仪等惯性测量传感器测量的值来估算其摄像头随着时间推移，在现实世界中位置和朝向的变化。接着，基于终端设备当前的位置和朝向对旋转矩阵r和位移矢量t进行调整，然后重新获取信息设备当前的像平面坐标以在屏幕上呈现相关图标或接口。当用户选中了需要进行操作的信息设备之后，可以通过多种方式来与信息设备进行交互。例如，用户可以通过终端设备的屏幕显示的交互接口进行配置和操作信息设备。又例如，可以预先定义信息设备的操作方式，例如语音控制或手势控制。在信息设备的操作方式被配置为语音控制的情况下，当用户选择该信息设备后，终端设备检测语音输入并进行语音识别，将收到的语音转换为操作指令，通过网络将控制指令发送给信息设备以对其进行操作。在信息设备的操作方式被配置为手持控制时，可以通过终端设备的成像装置或者安装在用户周围环境中的摄像装置来捕获用户的手势，在终端设备上进行手势识别以将其转换为相应的操作指令，并通过网络发送该操作指令以控制相关信息设备。与每个信息设备操作相关的手势可预先定义，例如与操作灯相关的手势可包括手掌开为开灯，握拳为关灯，手指上划为增强亮度，手指下划为减弱亮度。图4给出了在本发明的一个实施例的基于光标签的信息设备交互方法的流程示意图。在步骤s1)通过用户携带的终端设备对处于信息设备相对固定位置处的光标签进行图像采集来确定终端设备相对于光标签的初始位置和姿态。例如，采用上文介绍的多种反向定位方法，通过对光标签进行图像采集可获取进行图像采集的成像装置与光标签之间的初始相对位置关系，从而确定该终端设备的初始位置和初始朝向。在步骤s2)基于该终端设备的初始位置以及如上文提及的预先标定的各个信息设备相对于光标签的位置，确定终端设备与各个信息设备之间的相对位置，并接着在步骤s3)确定各信息设备在显示屏幕上的成像位置。在如上文结合反向定位方法及公式(1)-(3)所介绍的，光标签的物理位置以及光标签与信息设备之间的相对位置是提前设定的，在根据成像装置采集的光标签图像以及从服务器获取的与光标签有关的信息来确定成像设备相对于光标签的具体位置和姿态的过程中，公式(3)中旋转矩阵r和位移矢量t以及成像设备内部参数已经确定，由此可以通过来该公式确定每个信息设备的像平面坐标。因此可以通过光标签与信息设备之间的相对位置确定每个信息设备在物理世界坐标系中的物坐标，将其代入公式(3)就可以得到该信息设备在成像平面中的像平面坐标。然后在步骤s4)可以将各信息设备的交互接口分别叠加到其在显示屏幕上的成像位置处，以用于与各个信息设备进行交互操作。在又一个实施例中，如果用户希望控制的信息设备不在当前的显示屏幕中，用户可以从所述初始位置移动终端设备以使得该信息设备能够出现在显示屏幕中，例如，用户可以平移或旋转终端设备以使得其摄像头最终朝向该信息设备。当终端设备从所述初始位置发生移动时，检测终端设备位置和姿态的变化，从而确定移动后的终端设备的位置信息和姿态信息，基于该位置信息和姿态信息，可以确定当前哪些信息设备会出现于终端设备的显示屏幕上以及它们各自的呈现位置。进而，可以将这些信息设备的交互接口分别叠加到它们在显示屏幕上的呈现位置处，以实现对于各个信息设备的所见即所得的交互操作。其中终端设备可以通过多种方式来监测自身位置和姿态的变化。例如，终端设备可以光标签为参照点，将当前成像装置捕获的图像与之前的图像进行对比，识别计算图像中的差异，从而形成特征点，并使用这些特征点计算自身位置和姿态的改变。又例如，诸如手机之类的终端设备可通过内置的加速度传感器、陀螺仪等惯性测量传感器测量的值来估算其摄像头随着时间推移，在现实世界中位置和朝向的变化。接着，基于终端设备当前的位置和朝向对旋转矩阵r和位移矢量t进行调整，然后重新获取信息设备当前的像平面坐标以在屏幕上呈现相关图标或接口。在又一个实施例中，该方法还可包括识别用户对于信息设备的交互接口的操作，将该操作转换为相应的操作指令，并通过网络将其发送给信息设备。信息设备可响应于收到的相关操作指令来执行相应的操作。用户可以通过多种方式来与信息设备进行交互。例如，用户可以通过终端设备的屏幕显示的交互接口进行配置和操作信息设备，例如可利用触摸屏输入或者利用键盘输入。又例如，可以预先定义信息设备的操作方式，例如语音控制或手势控制。在信息设备的操作方式被配置为语音控制的情况下，当用户选择该信息设备后，终端设备检测语音输入并进行语音识别，将收到的语音转换为操作指令，通过网络将控制指令发送给信息设备以对其进行操作。在信息设备的操作方式被配置为手持控制时，可以通过终端设备的成像装置或者安装在用户周围环境中的摄像装置来捕获用户的手势，在终端设备上进行手势识别以将其转换为相应的操作指令，并通过网络发送该操作指令以控制相关信息设备。与每个信息设备操作相关的手势可预先定义，例如与操作灯相关的手势可包括手掌开为开灯，握拳为关灯，手指上划为增强亮度，手指下划为减弱亮度。在本发明的实施例中，可以使用任何能够用于传递信息的光标签(或光源)。例如，本发明的方法可以适用于基于cmos的滚动快门效应而通过不同的条纹来传递信息的光源(例如在中国专利公开cn104168060a中所描述的光通信装置)，也可以使用于如专利cn105740936a中所描述的光标签，也可以适用于各种能通过ccd感光器件来识别所传递的信息的光标签，或者也可以适用于光标签(或光源)的阵列。本说明书中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个说明书中各地方的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是非逻辑性的或不能工作。在本申请中为了清楚说明，以一定的顺序描述了一些示意性的操作步骤，但本领域技术人员可以理解，这些操作步骤中的每一个并非是必不可少的，其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行，相反，这些操作步骤中的一些可以根据实际需要以不同的顺序执行，或者并行执行，只要新的执行方式不是非逻辑性的或不能工作。虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。当前第1页12