一种AR遥控装置、智能家居遥控系统及方法与流程

本发明涉及遥控装置领域，尤其涉及一种基于ar技术的遥控装置、基于ar技术的智能家居遥控系统及遥控实施方法。

背景技术

电子/智能家居的遥控，一般通过红外线遥控器来完成，对于不同的电子/智能家居需要不同的遥控器，经常会出现拿着空调遥控器对电视进行操作的情况，或者一时找不到想要的遥控器而抓狂的现象。

现有技术中有通过智慧音箱进行统一控制，但缺点是，用户的口头指令，与具体电子/智能家居的控制指令未必匹配，比如用户指令的模棱两可或者含糊不清，因此，要求智慧音箱有ai芯片的神经网络检索技术，进行深一步的语言语义分析，才能还原用户的操作指令，而ai芯片的引入无疑会加大产品的成本。

另外，有视觉和意识，但没有语言能力的使用者，就无法通过智慧音箱进行智能家居的操作。

申请号为201810050821.4的发明，提供一种近眼可透视头显光学系统，包括第一透镜、第二透镜和一个微型图像显示器，第一透镜与第二透镜皆与微型图像显示器贴合，且第一透镜与第二透镜皆为均厚的自由曲面透镜。藉由本发明所提供的近眼可透视头显光学系统架构，除了可以减少光在此光学系统架构中折射的次数外，还可以消除微型图像显示器所发出的光在各个方向的像差，使其在各个方向与角度看影像不会造成像差。

申请号为201821172477.8的实用新型，在上述光学系统的基础上提供一ar显示设备，其中所述ar显示设备包括至少一个显示/投影器和至少一个光学装置，实像通过所述光学装置构建，虚像通过所述显示/投影器在所述光学装置中构建，所述实像和虚像结合出现在同一视场中，其中所述光学装置包括至少一个主透镜以及至少一个自由曲面透镜，所述自由曲面透镜，用于反射所述显示/投影器投射出的影像；所述主透镜，用于再次反射所述显示/投影器投射出的影像。该ar设备能够做到大视角、小体积、轻重量，佩戴使用者能够有沉浸式ar的体验感。

申请号为201810994555.0的发明，进一步在前述ar显示设备的基础上提供了一头戴式虚实交互装置和虚实交互方法，其中所述头戴式虚实交互装置包括头戴ar显示设备，用于通过在所述头戴ar显示设备的视场中至少显示3d虚拟影像；和虚实交互器，用于获取穿戴所述头戴ar显示设备者的行为动作或者控制指令，并根据所述行为动作或者控制指令而改变或者控制所述3d虚拟影像的内容。

技术实现要素：

可在上述引用专利的透光式ar技术或者影像式ar技术的基础之上，本发明提供一种ar遥控装置、智能家居遥控系统及方法，目的在于提供一种新的遥控装置和遥控方式，让用户在基于ar技术的基础上，更方便、快捷地使用遥控器，且适合的人群较广泛。

本发明提供的技术方案如下：

一种ar遥控装置，包括：ar显示设备，用于捕捉智能家居/智慧家电的影像；指令控制设备，用于接受控制指令，并且根据所述控制指令向所述智能家居发送控制指令编码信号。

在上述技术方案中，将指令控制设备和ar显示设备结合制成ar遥控装置，可视化的遥控装置，可驱动家中任何智能家居，使用方便。

进一步，所述指令控制设备包括：指令发生模块，用于接收所述控制指令；通信模块，用于根据所述控制指令向所述智能家居发送控制指令编码信号。

进一步，所述指令发生模块包括：手势交互部件、头瞄部件(头盔瞄准器)、眼动跟踪部件(眼动跟踪摄像头)、智慧手套、智慧戒指、控制手柄和/或语控部件；所述手势交互部件，用于当检测到用户做出的手势动作与预设手势相同时，则认为接收到用户输入的控制指令；语控部件，用于接收语音输入的控制指令。

在上述技术方案中，ar遥控装置上的控制方式有多种，极大地丰富了ar遥控装置的实现可能，以及应用范围。

进一步，所述手势交互部件，用于当检测到用户做出的手势动作与预设手势相同时具体为：所述手势交互部件，用于当检测到用户做出的第一手势动作与预设手势中的预设第一手势相同、用户做出的第二手势动作与预设手势中的预设第二手势相同、且所述第一手势动作和所述第二手势动作之间的时间差在预设时间范围内，则认为检测到用户做出的手势动作与预设手势相同。

在上述技术方案中，联动手势作为控制指令的输入，精确度高。

进一步，所述控制指令包括手势指令、语音指令、头瞄指令、眼动指令和/或菜单指令。

进一步，ar遥控器中的摄像头进一步包括：深度摄像头、rgb摄像头、tof摄像头、鱼眼摄像头和/或广角摄像头。ar遥控装置还包括：图像识别模块，用于获取环境中的所述智能家居的影像或者识别码；图像比对模块，用于根据所述智能家居的影像或者识别码对比确定所述智能家居的种类、品牌和型号。

进一步，ar遥控装置还包括：存储模块，用于预存储确定种类、品牌和型号的所述智能家居的影像或识别码(智能家居主体外壳上贴附的条形码、二维码、ar识别触发标志等)，供所述图像比对模块对比时调用；所述存储模块，还用于预存储确定种类、品牌和型号的所述智能家居的控制指令编码信号，供所述指令控制设备向具体的所述智能家居发送所述控制指令编码信号。

在上述技术方案中，ar遥控装置中存储有各种智能家居的数据，使智能家居的控制更人性化、更方便化。

进一步，ar遥控装置还包括：网络搜索器，用于搜索确定种类、品牌和型号的所述智能家居的影像或识别码，供所述图像比对模块对比时调用；所述网络搜索器，还用于搜索确定种类、品牌和型号的所述智能家居的所述控制指令编码信号，供所述指令控制设备向具体的所述智能家居发送所述控制指令编码信号。

在上述技术方案中，若本地未存储，可自行联网下载，智能化程度更高，用户体验更好。

进一步，ar遥控装置还包括：虚拟对象生成模块，用于辅助所述指令控制设备明晰所述控制指令。

进一步，所述虚拟对象生成模块生成的虚拟对象包括：虚拟控制指令菜单、虚拟中介物、3d虚拟空间环境或3d地图影像。

在上述技术方案中，虚拟对象生成模块进一步辅助使用者明确控制指令，控制更精确化、方便化、多样化。

本发明还提供一种智能家居遥控系统，包括：智能家居和ar遥控装置，所述ar遥控装置，用于对所述智能家居发出控制指令编码信号。

进一步，智能家居遥控系统还包括：辅助摄像模块，用于获取远距离的所述智能家居的影像，并发送给所述ar遥控装置。

进一步，所述辅助摄像模块进一步包括：网络摄像头、无人机机载摄像头或者无人车车载摄像头。

进一步，所述ar遥控装置包括指令控制设备，用于接受所述控制指令，并且根据所述控制指令向所述智能家居发送控制指令编码信号。

进一步，所述控制指令包括手势指令、语音指令、头瞄指令、眼动指令和/或菜单指令。

进一步，所述指令控制设备包括：指令发生模块，用于接收所述控制指令；通信模块，用于根据所述控制指令向所述智能家居发送控制指令编码信号。

进一步，所述指令发生模块包括：手势交互部件、头瞄部件、眼动跟踪部件、智慧手套、智慧戒指、控制手柄和/或语控部件，所述语控部件，用于接收语音输入的控制指令；ar遥控装置还包括所述语义识别模块，进一步用于当检测到用户的行为符合预设触发条件时，发出询问信息；以及，接收用户根据所述询问信息语音输入的对象确认指令。

所述手势交互部件，用于当检测到用户做出的手势动作与预设手势相同时，则认为接收到用户输入的控制指令。

进一步，智能家居遥控系统还包括：图像识别模块，用于获取环境中的所述智能家居的影像或者识别码；图像比对模块，用于根据所述智能家居的影像或者识别码对比确定所述智能家居的种类、品牌和型号。

进一步，所述智能家居遥控系统包括：存储模块和/或网络搜索器；所述存储模块，用于预存储确定种类、品牌和型号的所述智能家居的影像或识别码，供所述图像比对模块对比时调用；所述存储模块，还用于预存储确定种类、品牌和型号的所述智能家居的控制指令编码信号，供所述指令控制设备向具体的所述智能家居发送所述控制指令编码信号；所述网络搜索器，用于搜索确定种类、品牌和型号的所述智能家居的影像或识别码，供所述图像比对模块对比时调用；所述网络搜索器，还用于搜索确定种类、品牌和型号的所述智能家居的所述控制指令编码信号，供所述指令控制设备向具体的所述智能家居发送所述控制指令编码信号。

本发明还提供一种智能家居的遥控方法，包括：s100：获取并显示智能家居的影像；s300：根据对具体指向的所述智能家居，显示所述智能家居的影像中的待控制对象(即当接收到(用户)输入的智能家居确认指令时，根据所述智能家居确认指令，确认显示的所述智能家居的影像中的待控制智能家居，即待控制对象)；s500：根据对所述待控制对象的控制指令生成对应的控制指令编码信号(即当接收到根据所述待控制智能家居下达的事件控制指令时，根据所述事件控制指令生成对应的控制指令编码信号)；s600：将所述控制指令编码信号发送给所述待控制对象，使所述待控制对象根据所述控制信号执行相应的操作。

进一步，所述s300步骤之前还包括：s200：当检测到用户做出的手势动作与预设手势相同时，则确定所述智能家居的影像中具体指向的所述智能家居(认为接收到用户输入的智能家居确认指令)。

进一步，所述s200步骤具体为：s210：当检测到(用户做出的)第一手势动作与预设手势中的预设第一手势相同、(用户做出的)第二手势动作与预设手势中的预设第二手势相同、且所述第一手势动作和所述第二手势动作之间的时间差在预设时间范围内，则认为检测到用户做出的手势动作与预设手势相同。

进一步，所述s300步骤包括：s310：根据对具体指向的所述智能家居的语音指令，显示所述智能家居的影像中的待控制对象(即当接收到语音输入的智能家居确认指令时，根据所述智能家居确认指令确认显示的所述智能家居的影像中的待控制智能家居)。

进一步，所述s100步骤之后还包括：s150：当检测到行为符合预设触发条件时，发出询问信息；所述s300步骤包括：s330：根据对所述智能家居的所述语音指令，显示所述影像中的待控制对象(即当接收到根据所述询问信息语音输入的智能家居确认指令时，根据所述智能家居确认指令确认显示的所述影像中的待控制智能家居)。

进一步，所述s100步骤中获取智能家居的影像包括：s110：通过摄像头获取ar遥控装置视场周围的所述智能家居的影像；或，s120：通过接收辅助摄像模块发送的所述辅助摄像模块视场周围的所述影像。

进一步，所述s300步骤和所述s500步骤之间还包括：s470：在预设数据库中查找待控制对象的种类、品牌和型号(即所述待控制智能家居的虚拟控制指令菜单)，并显示所述虚拟控制指令菜单；所述s500步骤具体为：s510：根据对所述待控制对象的虚拟控制指令菜单下达的所述控制指令，生成对应的所述控制指令编码信号(即当接收到用户根据显示的所述待控制智能家居的虚拟控制指令菜单下达的事件控制指令时，根据所述事件控制指令生成对应的所述控制指令编码信号)。

进一步，所述s470步骤之前还包括：s410：当在预设数据库中未找到待控制对象的所述种类、品牌和型号时，扫描所述待控制对象的标识信息(即未找到所述待控制智能家居的虚拟控制指令菜单时，扫描所述待控制智能家居的标识信息)；s430：根据所述标识信息联网下载所述待控制对象的控制指令编码信号和/或虚拟控制指令菜单至所述预设数据库。

进一步，所述s100步骤包括：s180：根据语音指令，显示所述语音指令相关的3d虚拟空间环境或3d地图影像(即当接收到用户下达的语音控制指令时，获取并显示所述语音控制指令相关的3d虚拟空间环境或3d地图影像)；所述s300步骤包括：s350：根据对具体指向的所述智能家居，显示所述3d虚拟空间环境或3d地图影像中的待控制对象(即当接收到用户根据所述3d虚拟空间环境或3d地图影像输入的智能家居确认指令时，根据所述智能家居确认指令确认显示的所述3d虚拟空间环境或3d地图影像中的待控制智能家居)。

与现有技术相比，本发明的ar遥控装置、智能家居遥控系统及方法的技术效果或者有益效果在于：可视化地遥控各种智能电器/智能家居，克服了现有单一语音遥控器或者红外单一遥控器直接遥控的先天不足，一个ar遥控器可以驱动家中任何智慧电器/智能家居的开/关、运行以及调节。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种ar遥控装置、智能家居遥控系统及方法的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明ar遥控装置结构示意图；

图2是本发明带有手势交互部件的影像式ar头戴显示器的结构示意图；

图3是本发明带有手势交互部件的透光式ar头戴显示器的结构示意图；

图4是本发明手势交互部件感应指尖的结构示意图；

图5是本发明智能家居遥控系统第一实施例示意图；

图6为本发明智能家居遥控方法第一实施例的流程图；

图7是本发明智能家居遥控方法第一实施例的变形的流程图；

图8是本发明智能家居遥控系统第二实施例的示意图；

图9是本发明公寓某空间平视视场中影像的示意图；

图10是本发明智能家居遥控方法第二实施例的流程图；

图11是本发明智能家居遥控系统第三实施例的示意图；

图12是本发明智能家居遥控方法第三实施例的流程图；

图13是本发明智能家居遥控方法第三实施例变形的流程图；

图14是本发明虚拟公寓空间的三维俯视场景示意图。

附图标号说明：

100.ar遥控装置/器，1.ar显示设备，2.指令控制设备，21.指令发生模块，22.通信模块，3.图像识别模块，4.图像比对模块，5.存储模块，6.网络搜索器，7.虚拟对象生成模块，8.手势交互部件，200.智能家居/智慧家电，300.辅助摄像模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

实施例一

根据本发明的一个装置实施例中，如图1所示，一种ar遥控装置(遥控器)100，包括：ar显示设备1，用于捕捉智能家居/智慧家电的影像；指令控制设备2，与ar显示设备1通信连接，用于接受控制指令，并且根据所述控制指令向所述智能家居发送控制指令编码信号。

具体的，ar(augmentedreality，增强现实)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3d模型的技术，这种技术的目标是在屏幕上把虚拟世界“套”在现实世界并进行互动。

ar显示设备1包括：沉浸式头盔式显示设备、ar一体机、数码玻璃镜面、数码玻璃桌面、显示器、智能移动设备(智能手机、智能平板等)，或者，可连接所述智能移动设备的ar头盔；所述沉浸式头盔式显示设备包括影像式头戴显示器、透射式头戴显示器，或者，影像透射组合式头戴显示器；可穿戴智能设备，例如：ar眼镜、ar头盔等。

指令控制设备可接受用户(语音/手势)输入的控制指令，控制指令按内容分有：智能家居确认指令、控制指令和事件控制指令等。

智能家居确认指令/控制指令确定用户想控制哪个智能家居，事件控制指令是控制智能家居做什么事件，例如：打开/关闭电视、音响、照明灯、空调、加湿器、电扇、空气净化器、智能窗帘、扫地机器人、网络摄像头、智能通风、门禁等等。

指令控制设备会根据接收到的控制指令和待控制智能家居(即某个具体指定的智能家居)生成对应的控制指令编码信号，并发送给它，控制其执行相应的操作。

可选地，指令控制设备2包括：指令发生模块21，用于接收所述控制指令；通信模块22，用于根据所述控制指令向所述智能家居发送控制指令编码信号。

具体的，通信模块包括：红外发射部件、nfc(nearfieldcommunication，近场通信)、wi-fi、蓝牙、zigbee、li-fi、z-wave等通信标准的芯片。

li-fi--lightfidelity可见光无线通信，灯光上网，即光照上网--以led照明灯发出的光当作网络信号的传输工具，是利用快速的光脉冲无线传输信息。也就是说无需wi-fi信号，点一盏led灯就能上网。其原理是根据不同速率在光中编码信息，例如led开表示1，关表示0，通过快速高频开关就能传输信息。led光学网络通过可见光来传输网络信号，可以直接利用手电筒、照明灯、路灯、室内照明以及公共照明等已有的能耗输出来完成双重任务。灯光上网的特点是低辐射、低能耗，低碳环保。

指令发生模块21包括：手势交互部件、头瞄部件、眼动跟踪部件、智慧手套、智慧戒指、控制手柄和/或语控部件。不同部件，使控制指令按输入方式分为：手势指令、语音指令、头瞄指令、眼动指令和/或菜单指令。

当头瞄部件应用于ar眼镜或ar头盔时，要依赖ar眼镜或ar头盔中的陀螺仪等imu传感器来确定方位。

指令发生模块中的各部件主要是实现鼠标的定位和操作功能。

手势交互部件，用于当检测到用户做出的手势动作与预设手势相同时，则认为接收到用户输入的控制指令；具体的，手势交互部件即关于手势的体感传感器，例如：leapmotion、usensfingo等。

语控部件，用于接收语音输入的控制指令。语控部件包括：麦克风和语义语音判断子模块。

优选地，手势交互部件8，用于当检测到用户做出的手势动作与预设手势相同时具体为：所述手势交互部件，用于当检测到用户做出的第一手势动作与预设手势中的预设第一手势相同、用户做出的第二手势动作与预设手势中的预设第二手势相同、且所述第一手势动作和所述第二手势动作之间的时间差在预设时间范围内，则认为检测到用户做出的手势动作与预设手势相同。

ar遥控装置100还包括：图像识别模块3，用于获取环境中的所述智能家居的影像或者识别码(识别码可以为条形码、二维码、ar识别触发标志等)；图像比对模块4，与图像识别模块3电连接，用于根据所述智能家居的影像或者识别码对比确定所述智能家居的种类、品牌和型号。

存储模块5，与图像比对模块4和指令控制设备电连接，用于预存储确定种类、品牌和型号的所述智能家居的影像或识别码，供所述图像比对模块对比时调用；所述存储模块，还用于预存储确定种类、品牌和型号的所述智能家居的控制指令编码信号(和虚拟控制指令菜单)，供所述指令控制设备向具体的所述智能家居发送所述控制指令编码信号。

具体的，以leapmotion作为手势交互部件8的工作原理进行解释和说明：以leapmotion为例，它是一款微米级3d手动交互设备，可以追踪到小至0.01毫米的动作，拥有150度的视角，可以跟踪1个人的10个手指的动作，最大频率是每秒290帧。leapmotion营造的空间中捕捉手势，显示手和手臂骨架，人的一只手，有29块骨头、29个关节、123根韧带、48条神经和30条动脉。leapmotion控制器也几乎完全掌握这一技术，也就是说它不可能检测出非人手能及的手势动作。

leapmotion空间叠加入ar三维展示空间，手势与ar三维展示空间中的物体进行互动/反馈，leapmotion控制器都能精确追踪。从技术上说，这是一个8立方英尺的可交互式3d空间。leapmotion控制器可追踪全部人的10只手指，精度高达1/100毫米。它远比现有的运动控制技术更为精确。150°超宽幅的空间视场，可以像在真实世界一样随意在3d的空间移动双手。leapmotion控制器以超过每秒200帧的速度追踪用户的手部移动，实现完美同步。

被识别对象包括拇指(thumbfinger)、食指(indexfinger)、中指(middlefinger)、无名指(ringfinger)、小拇指(pinkyfinger)，每个手指可以获取其初始位置start(x,y,z)，终止位置end(x,y,z)和方向direction(pitch,roll,yaw)。

图2为带有手势交互部件的ar头戴显示器(影像式hmd)，以及，图3为另一个带有手势交互部件的ar头戴显示器(透光式hmd)。

利用手势交互部件8识别控制指令的具体例子如下：

1.利用unity3d引擎，搭建一个3d的虚拟场景空间，在该虚拟场景空间创建某3d虚拟物体，比如虚拟控制指令菜单、虚拟控制指令菜单。

2.接入高通制作的六自由度的sdk(软件开发工具包(外语首字母缩写:sdk、外语全称:softwaredevelopmentkit)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。)。通过设备上的陀螺仪定位数据，计算设备在虚拟场景中的位置，同时映射到unity3d创建的虚拟场景空间中，从而实现能够在3d空间中旋转以及行走的6dof效果。

3.接入leapmotion提供的识别手势(空间参数)的sdk，在虚拟场景空间中加入手模型(包括手部和手臂)。这里需要leapmotion的驱动以及硬件设备支持。leapsdk能够把驱动检测到的手势信息参数传递到unity3d.映射这些信息到手模型上，即可实现将真实的手模拟成虚拟手，并呈现到虚拟的3d场景空间中。

4.在unity3d引擎中将手势的信息进行分析计算，得到一些特定的手势形状，比如手上食指手指的“指中”的动作，以及中指与拇指的“打响指”的动作，“指中”表示类似用鼠标选中，“打响指”表示用鼠标单击。

分析得到“指中”动作的开始和结束。开始和结束时依照食指指尖或者手指尖的延长线(如图4所示)的指向智能家居或虚拟控制指令菜单的空间位置。当食指指尖距离智能电器或虚拟控制指令菜单的空间距离小于某个阈值即为进入“指中”的状态，等待数秒后食指指尖距离智能电器或虚拟控制指令菜单的距离大于某个阈值，即为离开“指中”的状态，上述一整个流程即识别到“指中”动作。

值得一提的是，如果“指”的对象比较远，具体智能家居影像不够清楚的话，可以通过ar设备上的广角摄像头，拉近放大显示较远处的智能家居。然后再进行“指中”操作。

5.能够识别“指中”动作之后，分析“打响指”动作的开始和结束，开始和结束时依照中指指尖与拇指指尖(如图4所示)的距离，当两指尖间的距离小于某个阈值即为进入“打响指”的状态，大于某个阈值，即为离开“打响指”的状态。“指中”和“打响指”是个联合操作，后一个的动作完成与前一个动作的完成有间隔时间要求，超过设定的时间，这2个动作即便先后完成，也不会引发任何操作。当然，“确定”的动作可以自由设定，并不限于上述的手势。

若在间隔时间内识别到“指中”、“打响指”的动作，则认为接收到手势指令，根据“指中”指向的智能居、虚拟控制指令菜单，确定待控制智能家居和要待控制智能家居做什么事。

6.通过unity3d引擎发布成对应硬件使用平台(包括安卓、ios、psp、xbox和pc等)的应用程序。

ar显示设备显示的虚拟控制指令菜单，从具体的待控制智能家居中引出，即从ar显示设备显示中看到虚拟物与实体物相互结合的场景，虚拟控制指令菜单的呈现方式可以是文字按钮式、图标按钮式、也可以是一段动画或视频影像播放。优选地，ar遥控装置也包括扬声器，有声音或音响的反馈，加强使用者在与虚拟控制指令菜单、虚拟控制指令菜单互动时的体验效果。

除了头瞄(头盔瞄准器)、眼动跟踪、智慧手套等控制技术外，ar眼镜可以结合另2种控制技术，一个是(徒手)手势控制(需体感传感器硬件的配合)、另一个是声音控制(需体麦克风和语音、语义判断模块等硬件的配合)。本实施例的ar遥控器根据用户输入的控制指令，控制相应的智能家居，代替了原有的遥控器，且用户可以使用不同方式发送控制指令，给予了多种选择，提高了适用人群的范围。

根据本产品发明的第一个系统实施例，如图5所示，包括：智能家居200(即图5中的各智慧家电1-n)和ar遥控装置100(即图5中的ar遥控器)，ar遥控装置100，用于对所述智能家居发出控制指令编码信号。

本实施例中的ar遥控装置为上述实施例中的ar遥控装置，相同的部分在此不再赘述。智能家居/智慧家电包括但不限于：电视、音响、照明灯、空调、洗衣机、冰箱、加湿器、电扇、空气净化器、智能窗帘、扫地机器人、网络摄像头、智能通/排风机构、门禁、微波炉、电饭煲、烤炉、脱排油烟机、打蛋器、面包机、破壁机、电脑、pad、手机、插座(排)、闹钟、烟感、空气开关等等。

ar遥控装置100包括指令控制设备，用于接受所述控制指令，并且根据所述控制指令向所述智能家居发送控制指令编码信号。控制指令包括手势指令、语音指令、头瞄指令、眼动指令和/或菜单指令。

指令控制设备包括：指令发生模块，用于接收所述控制指令；通信模块，用于根据所述控制指令向所述智能家居发送控制指令编码信号。

可选地，指令发生模块包括：手势交互部件、头瞄部件(头盔瞄准器)、眼动跟踪部件、智慧手套、智慧戒指、控制手柄和/或语控部件，所述语控部件，用于接收语音输入的控制指令；手势交互部件，用于当检测到用户做出的手势动作与预设手势相同时，则认为接收到用户输入的控制指令。

智能家居遥控系统还包括：图像识别模块，用于获取环境中的所述智能家居的影像或者识别码；图像比对模块，用于根据所述智能家居的影像或者识别码对比确定所述智能家居的种类、品牌和型号；

以及，存储模块，用于预存储确定种类、品牌和型号的所述智能家居的影像或识别码，供所述图像比对模块对比时调用；存储模块，还用于预存储确定种类、品牌和型号的所述智能家居的控制指令编码信号，供所述指令控制设备向具体的所述智能家居发送所述控制指令编码信号；

以及，网络搜索器，用于搜索确定种类、品牌和型号的所述智能家居的影像或识别码，供所述图像比对模块对比时调用；

所述网络搜索器，还用于搜索确定种类、品牌和型号的所述智能家居的所述控制指令编码信号，供所述指令控制设备向具体的所述智能家居发送所述控制指令编码信号；

以及，虚拟对象生成模块，用于辅助所述指令控制设备明晰所述控制指令；虚拟对象生成模块包括：虚拟控制指令菜单。

在其他实施例中，智能家居遥控系统可仅包括一个存储模块或网络搜索器。

本实施例中的ar遥控装置与上述装置实施例中的ar遥控装置相同的部分在此不再赘述。智能家居200和ar遥控装置100通信连接。

本实施例的智能家居遥控系统可利用ar遥控装置对智能家居进行控制，适用范围广泛，使用方便，大大提高了用户的使用体验。

根据本发明的第一个方法实施例，应用于上述系统实施例的智能家居200和ar遥控装置100，如图6所示，该方法包括：

s100：获取并显示智能家居的影像；当智能家居的影像较小(较远)时，通过广角摄像头，可以拉近放大智能家居的影像；

s200：当检测到手势动作与预设手势相同时，则认为接收到用户输入的智能家居确认指令/控制指令；

s300：当接收到输入的智能家居确认指令/控制指令时，根据所述智能家居确认指令/控制指令，确认显示的所述智能家居的影像中的待控制对象(选中的待控制智能家居)；

s410：当在预设数据库(本地库)中未找到所述待控制智能家居的虚拟控制指令菜单时，扫描所述待控制智能家居的标识信息；s430：根据所述标识信息联网下载所述待控制智能家居的虚拟控制指令菜单至所述预设数据库；

s470：在预设数据库中查找所述待控制智能家居的虚拟控制指令菜单，并显示所述虚拟控制指令菜单；

s500：当接收到根据所述待控制智能家居下达的事件控制指令时，根据所述事件控制指令生成对应的控制指令编码信号。可选地，s500步骤具体为：s510：当接收到用户根据显示的所述待控制智能家居的虚拟控制指令菜单下达的事件控制指令时，根据所述事件控制指令生成对应的所述控制指令编码信号(事件控制指令的输入方式可以为语音、手势等方式，根据ar遥控器所支持的方式决定)；

s600：将所述控制指令编码信号发送给所述待控制智能家居，使待控制智能家居根据控制指令编码信号执行相应的操作。

优选地，s200步骤具体为：

s210：当检测到第一手势动作与预设手势中的预设第一手势相同、第二手势动作与预设手势中的预设第二手势相同、且所述第一手势动作和所述第二手势动作之间的时间差在预设时间范围内，则认为检测到手势动作与预设手势相同。

详细具体地说明，以ar眼镜作为ar显示设备、手势交互部件为例：

使用者通过ar眼镜/头盔上的(深度或广角)摄像头对准某智能电器，用户通过手势方式输入智能家居确认指令/控制指令。例如：指中选中冰箱，打响指表示确认选择这个冰箱，一整个操作表示智能家居确认指令/控制指令，确认冰箱作为待控制智能家居。

通过对比ar眼镜上的存储器中的智能电器数据库(即先是本地预设数据库)和摄像头传来的待控制智能家居的图形图像/识别码，确定具体智能家居；如需，可以进一步得到对应的虚拟控制指令菜单，菜单显示较为详细的操作指令和/或操作说明，使用者再通过手势交互部件进入该智能家居的虚拟控制指令菜单，进行查询、开/关或调节等事件控制指令的输入，生成对应的控制指令编码信号后，ar眼镜上的短距离通信芯片(即指令发出方)把控制指令编码信号发送给智能家居，智能家居上也有对应的短距离通信芯片(指令接受方)，接受控制指令编码信号后的智能电器进行相关操作，得以反馈使用者的控制指令。

当ar眼镜无法在智能电器数据库中查到对应的虚拟控制指令菜单、控制指令编码信号时，可根据待控制智能家居的图形图像/识别码下载控制指令编码信号和虚拟控制指令菜单。

在其他实施例中，可没有本地的预设数据库，直接网络搜索；或者仅有本地的预设数据库，没有网络搜索的功能。

需要注意的是，如图7是本发明智能家居遥控方法第一实施例的变形的流程图所示，本实施例的s200和s300可由s310补充或代替，s310：当接收到语音输入的智能家居确认指令/控制指令时，根据所述智能家居确认指令/控制指令确认显示的所述智能家居的影像中的待控制智能家居。

本实施例中的基本的智能家居的遥控是可视化遥控智能电器，克服了语音遥控或者遥控器直接遥控的先天不足，一个ar遥控器可以驱动家中任何智慧电器的开关、运行以及调整。基于ar技术的遥控器，不论短距离还是局域网和广域网，遥控效果更直观、高效。

具体的，本实施例的一个变形，使用者也可通过语音的方式输入智能家居确认指令/控制指令，同理，(事件)控制指令也可采用语音的方式输入。因为ar眼镜/头盔中已经有虚拟选择菜单的显示或提示，所以声音控制的辅助更加方便，比如“翻页”、“下一行”、“向左/右”、“确定”，也就是说，如果使用者对这套系统的具体语言控制命令比较陌生，可以通过在虚拟菜单的显示下，再进行简单语言操作，使整个操作过程更加流畅，对某些用户而言是更加高效的。

ar遥控装置中或者网络中都存储有各种智能家居的图像图形数据库、控制指令编码信号和用户使用记录等，这些都为了进一步开发和改善用户体验，让电器控制更人性化，更方便化，提供了有力的后台支撑。

本实施例的ar遥控装置、智能家居遥控系统及方法的技术效果或者有益效果在于：短距离的智慧电器遥控，通用性强，纳入到遥控系统的智慧电器，只需通过一个ar遥控器就可实现遥控，虚拟菜单功能方便了遥控实施，语音辅助功能丰富了遥控手段。

基于ar技术的虚(虚拟选择菜单)实(具体智慧电器)结合，让任何遥控器的使用者，都感觉简洁和方便，尤其是对(暂时)丧失语言能力或肌肉控制能力的病患，是福音神器，再辅助以语言语义识别技术，更让老人和儿童用户感觉温馨。

实施例二

根据本发明的上述实施例，包括装置、系统实施例和方法实施例的改进，除相同的部分外，如图1和图8所示，智能家居遥控系统，还包括：辅助摄像模块300，与所述ar遥控装置100通信连接，用于获取远距离的所述智能家居/智慧家电的影像，并发送给所述ar遥控装置100。对于不在近前的智能电器对象进行控制，就需要引入网络技术，在家中可以使用wifi信号作为控制指令的载体；

辅助摄像模块300进一步包括：网络摄像头、无人机机载摄像头或者无人车车载摄像头。在办公室遥控家中的智能电器需要用的广域网或者iot技术。如图9所示。在家中的网络摄像头，需配合ar眼镜进行操控，即ar眼镜先通过局域网或者广域网连接如该房间中的网络摄像头，通过网络摄像头查看具体的智能电器并显示该智能电器的虚拟选择菜单，然后进行头瞄、语音或者手势等操作，家中的路由器成了命令转发的控制中心，各联网的智慧电器接受到来自路由器的指令信号。

通过互联网环境，可识别的智慧电器对象将大大拓展，也可接入各大品牌厂商的云数据库，寻找最新的遥控操作指令，进行物联网络(lora或者nb-iot)的远程操作，当然各智慧电器中都已经内嵌了物联网通信芯片，以便接受来自物联网的指令信号。

各种智慧电器都有自己logo，通过ar设备对logo的识别，更容易锁定品牌厂商，也更容易接入品牌厂商的云端数据库，确定具体的智慧电器的型号或款式。

一种智能家居遥控方法，如图10示，包括：s100步骤中获取智能家居的影像包括：s110：通过摄像头获取ar遥控装置视场周围的所述智能家居的影像；或，s120：通过接受转发的所述辅助摄像模块视场周围的所述智能家居的影像。

具体的，以无人机机载摄像头或者无人车车载摄像头与ar遥控器通信连接为例：机载摄像头可在用户的控制下移动，并将获取的影像发送给ar遥控器，因此，佩戴ar遥控器的用户可远程控制智能家居，实现了用户在空间/房间a遥控空间/房间b中的智能家居。

另，相较于固定一处的网络摄像头，智能的移动小机器人则灵活许多，它身上带有室内定位的传感器，驱动它可以进入家中的任何房间，然后通过它的眼睛(摄像头)进行搜索观察，如图9，可以对智慧家居/电器进行ar“捕捉”，然后实现远程遥控。

智能移动终端(手机或者pad)还可通过短信、微信、彩信、app或者蜂窝移动通信方式发出智能电器的无线遥控指令信号。

ar遥控装置上的遥控方式也是多种多样，包括头瞄(头盔瞄准器)、眼动跟踪、声音、智慧手套、控制手柄、徒手手势，以及与虚拟管家的互动方式进行遥控，都极大地丰富了ar遥控装置的实现可能，以及应用范围。

本实施例的ar遥控装置、智能家居遥控系统及方法的技术效果或者有益效果在于：本实施例中，长距离基于互联网或者物联网的遥控，通过辅助摄像模块来实现，对于家中任何空间中的任何智能家居/智慧电器，都能进行可视化遥控操作，精确、准确、具体、直观。基于ar技术的遥控器，不论短距离还是局域网和广域网，遥控效果更直观、高效。

ar设备中或者网络中都存储有各种智慧电器的图像图形数据库、遥控指令数据库和用户使用记录等，这些都为了进一步开发和改善用户体验，让电器控制更人性化，更方便化，提供了有力的后台支撑。

实施例三

根据本发明上述二个装置/系统实施例，基于第一个ar遥控装置100的改进，除与其相同的部分外，虚拟对象生成模块还包括：虚拟控制指令菜单、虚拟中介物、3d虚拟空间环境和/或3d地图影像。

语控部件，用于接收用户语音输入的控制指令；以及，当检测到用户的行为符合预设触发条件时，发出询问信息；以及，接收用户根据询问信息语音输入的控制指令。

基于第一个系统实施例的改进，除与其相同的部分外，如图11所示，智能家居遥控系统中的虚拟对象生成模块还包括：虚拟中介物、3d虚拟空间环境和/或3d地图影像；以及，语控部件，用于接收用户语音输入的控制指令；以及，当检测到用户的行为符合预设触发条件时，发出询问信息；以及，接收用户根据询问信息语音输入的控制指令。

根据上述方法实施例，基于第一个方法实施例的改进，一种智能家居的遥控方法，基于虚拟中介物进行控制，如图12所示，包括：

s100步骤之后还包括：s150：当检测到行为符合预设触发条件(例如：用户的手势动作和预设手势相同、用户盯着同一个地方看了一定时间、环境光线低于一定时等)时，(虚拟中介物会)发出询问信息。

s300步骤包括：s330：当接收到根据询问信息语音输入的智能家居确认指令/控制指令时，根据所述智能家居确认指令/控制指令确认显示的所述影像中的待控制智能家居或者其虚拟影像。

需要注意的是，ss410、s430和s470为可选步骤。

具体的，以ar头盔作为ar显示设备的ar遥控器为例：

使用者佩戴ar头盔，ar头盔显示其周围可捕捉到的智能家居影像，当虚拟中介物(例如：管家精灵)通过眼动跟踪摄像头检测到使用者盯着空调看的持续时间达到预设时间(例如：5秒)，则认为使用者的行为符合预设触发条件，管家精灵发出询问信息“主人，你需要打开空调的虚拟控制指令菜单吗？”；使用者可通过手势、语音等不同方式输入智能家居确认指令，比如使用者回答：“是”，即这里的智能家居确认指令为空调的虚拟控制指令菜单，会在预设数据库或网上搜索到相应的虚拟控制指令菜单显示给使用者看，使用者根据虚拟控制指令菜单下达事件控制指令。

再比如：在窗框处的光度传感器感应到光强度弱到一定值时，管家精灵发出询问信息“主人，天暗了，我是否把所有房间的窗帘都拉起来”，在得到确认后，管家精灵给所有房间的所有智慧窗帘下达拉窗帘的指令，在这里智能家居确认指令对应的待控制智能家居为所有房间的智慧窗帘；事件控制指令为拉窗帘。

需要注意的是，本实施例中的s100、s150、s330可由下述s180和s350代替。

如图13所示，s180：当接收到用户下达的语音控制指令时，获取并显示所述语音控制指令相关的3d虚拟空间环境或3d地图影像；s350：当接收到用户根据所述3d虚拟空间环境或3d地图影像输入的智能家居确认指令时，根据所述智能家居确认指令确认显示的所述3d虚拟空间环境或3d地图影像中的待控制智能家居。

具体的，在某些情况下，用户下达的语音控制指令不够清楚，比如用户说：“管家精灵，请把空调打开，制冷模式，26摄氏度。”ar头盔中会出现管家精灵和图14公寓的平面或者3维场景，管家精灵会指着某个房间(比如该用户家是间3居室的公寓)说：“主人，你说的是这个房间的空调吗？”在获得用户的否认后，管家精灵会指着另一个房间继续询问。在获得用户的确认后，确定待控制智能家居，管家精灵按照之前的事件控制指令，把该间房间的空调打开，并确定制冷模式，以及26摄氏度。

管家精灵与公寓的3维场景(如图14所示)结合出现，或者如图9某空间场景视场所示。本实施例中在ar遥控装置上，生成虚拟管理中介——管家精灵，很好地与遥控器的用户进行良性互动，明确和明晰用户的指令对象、具体指令和指令程度，这样大大简化了技术的实现，智能化程度更强，可靠性高、应用范围广。

本实施例的ar遥控装置、智能家居遥控系统及方法的技术效果或者有益效果在于：在ar设备上，包括ar一体机、ar眼镜、智能手机或者pad，生成虚拟管理中介——管家精灵，很好地与遥控器的用户进行良性互动，明确和明晰用户的指令对象、具体指令和指令程度，这样大大简化了技术的实现，智能化程度更强，可靠性高、应用范围广。

ar设备上的遥控方式也是多种多样，包括头瞄(头盔瞄准器)、眼动跟踪、声音、智慧手套、控制手柄、徒手手势，以及与虚拟管家的互动方式进行遥控，都极大地丰富了ar遥控设备的实现可能，以及应用范围。

需要注意的是，本专利说明书中各流程图中的步骤标识符，没有顺序限制，可以合理条件下调整先后顺序。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。