智能家居的实现方法、系统、机器视觉装置和用户设备与流程

本文涉及智能家居领域，尤指一种智能家居的实现方法、系统、机器视觉装置、用户设备和计算机可读存储介质。

背景技术：

在智能家居领域，通常在易用性和安全性之间难以兼顾，相关的解决方案中大多app采用的是列出用户环境的智能设备清单提供用户操作，用户需要手动的在智能设备清单中选择设备，然后操作对应设备，当用户环境存在多个同类设备时，用户还需手动添加标定对应的设备，比如厨房的门磁，入户门磁，厨房的灯，走廊的灯，非常的不方便，不直观。

一种方法是直接通过摄像头实时传输用户环境中的图像，用户可以直接对图像中的智能设备进行操作，但这又涉及到用户的隐私安全性问题。

技术实现要素：

本申请提供了一种智能家居的实现方法、系统、机器视觉装置、用户设备和计算机可读存储介质，以兼顾用户隐私安全以及易用性。

本申请实施例提供了一种智能家居系统，包括：本地机器视觉装置、视觉传感器和智能家居应用，其中

所述视觉传感器用于对目标对象进行监测，将监测数据发送至所述本地机器视觉装置；

所述本地机器视觉装置用于根据所述监测数据提取所述目标对象的状态信息，将所述状态信息发送至智能家居应用；

所述智能家居应用用于根据所述视觉传感器和本地图像的对应关系，将所述状态信息与所述本地图像进行合成并展示。

在一实施例中，所述目标对象的状态信息为非敏感信息，包括所述目标对象的标识信息、位置信息和状态参数。

在一实施例中，所述智能家居应用还用于预先获取所述本地图像，将所述本地图像存储在所述智能家居应用和本地机器视觉装置中。

在一实施例中，所述本地图像包括用户环境的3d图像和整体平面2d图像。

在一实施例中，所述智能家居应用还用于根据所述本地图像中视觉传感器的位置以及所述视觉传感器的实际位置，确定所述视觉传感器和本地图像的对应关系。

在一实施例中，所述智能家居应用用于根据所述视觉传感器和本地图像的对应关系，确定所述目标对象在所述本地图像中位置信息，将所述位置信息和状态信息与所述本地图像进行合成并展示。

在一实施例中，在所述目标对象为人时，所述智能家居应用还用于从本地照片库中找到与所述目标对象匹配的图像，与所述本地图像进行合成并展示。

在一实施例中，所述智能家居系统还包括：云端系统，其中

所述云端系统用于为所述智能家居应用和本地机器视觉装置提供云端的视觉识别模型和视觉识别算法。

在一实施例中，所述智能家居系统还包括：控制装置，其中

所述智能家居应用还用于接收控制指令，发送至所述控制装置；

所述控制装置用于根据所述控制指令，控制相应的目标对象。

本申请实施例还提供一种智能家居的实现方法，包括：

视觉传感器对目标对象进行监测，将监测数据发送至本地机器视觉装置；

所述本地机器视觉装置根据所述监测数据提取所述目标对象的状态信息，将所述状态信息发送至智能家居应用；

所述智能家居应用根据所述视觉传感器和本地图像的对应关系，将所述状态信息与所述本地图像进行合成并展示。

在一实施例中，所述方法还包括：

所述智能家居应用预先获取所述本地图像，将所述本地图像存储在所述智能家居应用和本地机器视觉装置中。

在一实施例中，所述方法还包括：

所述智能家居应用根据所述本地图像中视觉传感器的位置以及所述视觉传感器的实际位置，确定所述视觉传感器和本地图像的对应关系。

在一实施例中，所述智能家居应用根据所述视觉传感器和本地图像的对应关系，将所述状态信息与所述本地图像进行合成并展示，包括：

所述智能家居应用根据所述视觉传感器和本地图像的对应关系，确定所述目标对象在所述本地图像中位置信息，将所述位置信息和状态信息与所述本地图像进行合成并展示。

在一实施例中，在所述目标对象为人时，所述方法还包括：

所述智能家居应用从本地照片库中找到与所述目标对象匹配的图像，与所述本地图像进行合成并展示。

本申请实施例还提供一种智能家居的实现方法，包括：

本地机器视觉装置获取视觉传感器对目标对象进行监测得到监测数据；

所述本地机器视觉装置根据所述监测数据提取所述目标对象的状态信息，将所述状态信息发送至智能家居应用，以使所述智能家居应用将所述状态信息与本地图像进行合成并展示。

本申请实施例还提供一种智能家居的实现方法，包括：

智能家居应用获取本地机器视觉装置发送的目标对象的状态信息；

智能家居应用根据视觉传感器和本地图像的对应关系，将所述状态信息与所述本地图像进行合成并展示。

本申请实施例还提供一种机器视觉装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述智能家居的实现方法。

本申请实施例还提供一种用户设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述智能家居的实现方法。

本申请实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行所述智能家居的实现方法。

与相关技术相比，本申请实施例的智能家居系统，包括：本地机器视觉装置、视觉传感器和智能家居应用，所述视觉传感器用于对目标对象进行监测，将监测数据发送至所述本地机器视觉装置；所述本地机器视觉装置用于根据所述监测数据提取所述目标对象的状态信息，将所述状态信息发送至智能家居应用；所述智能家居应用用于根据所述视觉传感器和本地图像的对应关系，将所述状态信息与所述本地图像进行合成并展示。通过本申请实施例，可以兼顾用户的隐私安全并且也提供更优化的智能家居使用体验。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1是本申请实施例的智能家居系统的组成示意图；

图2是本申请实施例的智能家居的实现方法的流程图(应用于智能家居系统)；

图3是本申请另一实施例的智能家居的实现方法的流程图；

图4是本申请实施例的智能家居的实现方法的流程图(应用于本地机器视觉装置)；

图5是本申请实施例的智能家居的实现方法的流程图(应用于智能家居应用)；

图6是本申请应用实例的示意图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

如图1所示，本申请实施例的智能家居系统，包括：本地机器视觉装置、视觉传感器和智能家居应用。

其中，所述本地机器视觉装置和视觉传感器设置在用户环境中。所述视觉传感器可以包括摄像头。

本地机器视觉装置既可以部署成一个独立的装置、部署在家庭网关、路由器等家庭设备中，或者同视觉传感器部署在一起形成一个独立的视觉传感器设备。

智能家居应用设置在用户设备中。

所述智能家居系统还可以包括云端系统，所述云端系统用于为所述智能家居应用和本地机器视觉装置提供云端的视觉识别模型和视觉识别算法。

部署在云端的云端系统提供训练、评估和推理完整的机器视觉功能、部署在本地的机器视觉装置完成本地监测对象(即目标对象)的识别以及状态判定。

所述智能家居系统还可以包括控制装置，所述控制装置用于接收来自智能家居应用的控制指令，根据所述控制指令，控制相应的目标对象。

如图2所示，本申请实施例的智能家居的实现方法，包括：

步骤201，视觉传感器对目标对象进行监测，将监测数据发送至本地机器视觉装置。

其中，所述目标对象可以包括但不限于人、门、窗、窗帘、床、座椅、沙发、光照等。

所示监测数据可以是视觉传感器拍摄的图片。

在一实施例中，步骤201之前，所述方法还包括：

所述智能家居应用预先获取所述本地图像，将所述本地图像存储在所述智能家居应用和本地机器视觉装置中。

所述本地图像可以包括用户环境的3d图像和整体平面2d图像。所述本地图像以离线文件的方式存储在用户设备以及用户家庭环境，比如存储在本地机器视觉装置中，由于用户环境的3d图像和2d图像是敏感信息，只存储在用户设备以及在用户家庭环境中，保证了用户的隐私。

在一实施例中，步骤201之前，所述方法还包括：

所述智能家居应用根据所述本地图像中视觉传感器的位置以及所述视觉传感器的实际位置，确定所述视觉传感器和本地图像的对应关系。

其中，所述对应关系可以是指换算关系，用户设备中的智能家居应用根据本地图像中摄像头的位置计算出每一个摄像头坐标与该本地图像坐标的换算关系，得到坐标转换矩阵mcamera-n。

步骤202，所述本地机器视觉装置根据所述监测数据提取所述目标对象的状态信息，将所述状态信息发送至智能家居应用。

所述目标对象的状态信息为非敏感信息，其中，敏感信息可以是指用户个人信息和用户环境信息，例如，用户姓名、电话、家庭地址、个人照片、家庭内部照片和家庭外部照片等，所述非敏感信息可以是指除用户个人信息和用户环境信息之外的信息，本申请实施例中所述目标对象的状态信息可以包括所述目标对象的标识信息、位置信息和状态参数。

在目标对象是人时，目标对象的状态信息还可以包括特征值。

例如：对象：门，位置：**，状态：门开30度；对象：人，特征值：**，位置：**，状态：躺倒。

所述本地机器视觉装置可以根据云端系统提供的模型和算法对监控数据进行识别，提取目标对象的状态信息。

本地机器视觉装置可以通过互联网将状态信息发送至用户设备中的智能家居应用。

步骤203，所述智能家居应用根据所述视觉传感器和本地图像的对应关系，将所述状态信息与所述本地图像进行合成并展示。

在一实施例中，所述智能家居应用根据所述视觉传感器和本地图像的对应关系，确定所述目标对象在所述本地图像中位置信息，将所述位置信息和状态信息与所述本地图像进行合成并展示。

其中，智能家居应用可以根据各摄像头坐标同该本地图像坐标的换算关系mcamera-n，得到目标对象在本地图像中的坐标信息，将坐标信息以及目标对象的状态信息复合到本地图像中，并生成图像展现给用户。

在一实施例中，在所述目标对象为人时，所述智能家居应用从本地照片库中找到与所述目标对象匹配的图像，与所述本地图像进行合成并展示。

如图3所示，在一实施例中，步骤203之后，还包括：

步骤301，所述智能家居应用接收控制指令，发送至所述控制装置。

其中，用户可以根据智能家居应用展示的图像，查看目标对象的状态，并且可以直接发出控制指令进行操作，比如开关窗、开关插座等。

所述智能家居应用将用户的控制指令，发送至控制控制装置。

步骤302，所述控制装置根据所述控制指令，控制相应的目标对象。

其中，每个目标对象上均可设置有控制装置，在接收到控制指令后，按照控制指令执行相应的动作。

通过本申请实施例，可以兼顾用户的隐私安全并且也提供更优化的智能家居使用体验。

如图4所示，对于本地机器视觉装置，智能家居的实现方法，包括：

步骤401，本地机器视觉装置获取视觉传感器对目标对象进行监测得到监测数据。

其中，所述目标对象可以包括但不限于人、门、窗、窗帘、床、座椅、沙发、光照等。

所示监测数据可以是视觉传感器拍摄的图片。

步骤402，所述本地机器视觉装置根据所述监测数据提取所述目标对象的状态信息，将所述状态信息发送至智能家居应用，以使所述智能家居应用将所述状态信息与本地图像进行合成并展示。

所述目标对象的状态信息为非敏感信息，可以包括所述目标对象的标识信息、位置信息和状态参数。

在目标对象是人时，目标对象的状态信息还可以包括特征值。

所述本地机器视觉装置可以根据云端系统提供的模型和算法对监控数据进行识别，提取目标对象的状态信息。

本地机器视觉装置可以通过互联网将状态信息发送至用户设备中的智能家居应用。

如图5所示，对于智能家居应用，智能家居的实现方法，包括：

步骤501，智能家居应用获取本地机器视觉装置发送的目标对象的状态信息。

在一实施例中，步骤501之前，所述方法还包括：

所述智能家居应用预先获取所述本地图像，将所述本地图像存储在所述智能家居应用和本地机器视觉装置中。

所述本地图像可以包括用户环境的3d图像和整体平面2d图像。所述本地图像以离线文件的方式存储在用户设备以及用户家庭环境，比如存储在本地机器视觉装置中，由于用户环境的3d图像和2d图像是敏感信息，只存储在用户设备以及在用户家庭环境中，保证了用户的隐私。

在一实施例中，步骤501之前，所述方法还包括：

所述智能家居应用根据所述本地图像中视觉传感器的位置以及所述视觉传感器的实际位置，确定所述视觉传感器和本地图像的对应关系。

其中，所述对应关系可以是指换算关系，用户设备中的智能家居应用根据本地图像中摄像头的位置计算出每一个摄像头坐标与该本地图像坐标的换算关系，得到坐标转换矩阵mcamera-n。

步骤502，智能家居应用根据视觉传感器和本地图像的对应关系，将所述状态信息与所述本地图像进行合成并展示。

在一实施例中，所述智能家居应用根据所述视觉传感器和本地图像的对应关系，确定所述目标对象在所述本地图像中位置信息，将所述位置信息和状态信息与所述本地图像进行合成并展示。

其中，智能家居应用可以根据各摄像头坐标同该本地图像坐标的换算关系mcamera-n，得到目标对象在本地图像中的坐标信息，将坐标信息以及目标对象的状态信息复合到本地图像中，并生成图像展现给用户。

在一实施例中，在所述目标对象为人时，所述智能家居应用从本地照片库中找到与所述目标对象匹配的图像，与所述本地图像进行合成并展示。

在一实施例中，步骤502之后，还包括：

所述智能家居应用接收控制指令，发送至所述控制装置。

其中，用户可以根据智能家居应用展示的图像，查看目标对象的状态，并且可以直接发出控制指令进行操作，比如开关窗、开关插座等。

所述智能家居应用将用户的控制指令，发送至控制控制装置。

下面以一个应用实例进行说明。

1、使用手机应用，无人机或者其他摄像设备提前获取到用户环境的3d图像和整体2d图像，以离线文件的方式存储在用户设备以及用户家庭环境，比如存储在本地机器视觉系统中，由于用户环境的3d图像是敏感信息，只存储在用户设备以及在用户家庭环境中，保证了用户的隐私。

2、用户设备中的智能家居应用根据图像中摄像头的位置计算出每一个摄像头坐标同该室内3d图像坐标的换算关系，得到坐标转换矩阵mcamera-n。

3、部署在用户环境的摄像头以及本地机器视觉装置监测出目标对象，包括但不限于人、门、窗、窗帘、床、座椅、沙发、光照等以及对应的位置坐标、状态。比如对象：门，位置：**，状态：门开30度；对象：人，特征值：**，位置：**，状态：躺倒。

4、将本地机器视觉装置检测到的目标对象的标识、特征、位置、状态等非敏感信息通过互联网发送到用户设备。

5、用户设备中的智能家居应用根据各摄像头坐标同该室内3d图像坐标的换算关系m，得到目标对象在3d图像中的坐标信息，将坐标信息以及在第3步得到的目标对象的状态信息复合到3d图像中，并生成图像展现给用户。

当目标对象是人时，用户设备中的智能家居应用可以从本地照片库中找到与之特征值匹配的人的图像，进一步参与图像合成，方便浏览，比如在人体信息上叠加对应的人头像。

如图6所示，在用户设备上呈现3d图像或2d图像，并且叠加上相应的智能设备的实时状态信息，以及实时亮度信息，叠加相应的人头像。用户可以浏览3d图像或2d图像，查看相应的状态，并且可以直接进行操作，比如开关窗、开关插座等。

相应地，本发明实施例的一种智能家居系统，包括：本地机器视觉装置、视觉传感器和智能家居应用，其中

所述视觉传感器用于对目标对象进行监测，将监测数据发送至所述本地机器视觉装置；

所述本地机器视觉装置用于根据所述监测数据提取所述目标对象的状态信息，将所述状态信息发送至智能家居应用；

所述智能家居应用用于根据所述视觉传感器和本地图像的对应关系，将所述状态信息与所述本地图像进行合成并展示。

在一实施例中，所述目标对象的状态信息为非敏感信息，包括所述目标对象的标识信息、位置信息和状态参数。

在一实施例中，所述智能家居应用还用于预先获取所述本地图像，将所述本地图像存储在所述智能家居应用和本地机器视觉装置中。

在一实施例中，所述本地图像包括用户环境的3d图像和整体平面2d图像。

在一实施例中，所述智能家居应用还用于根据所述本地图像中视觉传感器的位置以及所述视觉传感器的实际位置，确定所述视觉传感器和本地图像的对应关系。

在一实施例中，所述智能家居应用用于根据所述视觉传感器和本地图像的对应关系，确定所述目标对象在所述本地图像中位置信息，将所述位置信息和状态信息与所述本地图像进行合成并展示。

在一实施例中，在所述目标对象为人时，所述智能家居应用还用于从本地照片库中找到与所述目标对象匹配的图像，与所述本地图像进行合成并展示。

在一实施例中，所述智能家居系统，还包括：云端系统，其中

所述云端系统用于为所述智能家居应用和本地机器视觉装置提供云端的视觉识别模型和视觉识别算法。

在一实施例中，所述智能家居系统，还包括：控制装置，其中

所述智能家居应用还用于接收控制指令，发送至所述控制装置；

所述控制装置用于根据所述控制指令，控制相应的目标对象。

本发明实施例还提供一种机器视觉装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述智能家居的实现方法。

本发明实施例还提供一种用户设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如所述智能家居的实现方法。

本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行所述智能家居的实现方法。

在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。