智能系统及其控制分屏的方法与流程

本发明涉及电子设备技术领域，特别是涉及一种智能系统及其控制。

背景技术：

在移动终端诸如手机、电脑、平板等的显示屏进行分屏显示可以增加显示内容，给用户带来更加优质的体验。目前分屏功能逐渐普及，利用鼠标、键盘或者触控等方式均能实现移动终端的分屏功能。

对于目前的移动终端只能通过触控操作来分屏，且目前普及的智能大屏电视，在仅用遥控器的操控下很难实现分屏功能，给用户操作带来不便，而利用触摸分屏则受到成本、看电视的距离、屏幕大小的限制导致不太现实。

因此，需要提供一种智能系统及其控制分屏的方法，以解决上述问题。

技术实现要素：

本发明主要解决的技术问题是提供一种智能系统及其控制分屏的方法，能够通过隔空手势进行分屏操作。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种控制分屏的方法，该方法包括：获取操作者的特征部位的至少一张第一深度图像；根据至少一张第一深度图像识别特征部位的动作；判断特征部位的动作是否为预设触发动作；在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域。

其中，获取操作者的特征部位的至少一张第一深度图像包括：获取操作者和操作者所在环境的至少一张第二深度图像；从至少第二深度图像中分割出操作者的至少一张第三深度图像；从至少一张第三深度图像中分割出操作者的特征部位的至少一张第一深度图像。

其中，判断特征部位的动作是否为预设触发动作包括：判断特征部位的动作是否为沿预定方向移动的动作；在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域包括：在特征部位的动作为沿预定方向移动的动作时，执行将当前显示器的显示区域分为两个依次沿预定方向设置的子显示区域。

其中，特征部位为手部、头部或者脚部。

其中，判断特征部位的动作是否为预设触发动作包括：判断特征部位的动作是否为呈现第一形状将显示器的光标移动到显示区域的边界线上时呈现第二形状并保持第二形状朝着预定方向移动到目的位置后呈现第一形状，其中目的位置与子显示区域之间的分界线的位置对应；在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域包括：以分界线为界将显示区域分为两个子显示区域。

其中，特征部位为手部，第一形状为手部手掌形状，第二形状为手部拳头形状。

其中，特征部位包括第一子部位和第二子部位，预设触发动作包括与第一子部位对应的第一子动作和第二子动作，判断特征部位的动作是否为预设触发动作包括：判断第一子部位的动作是否为第一子动作，判断第二子部位的动作是否为第二子动作；在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域包括：在第一子部位的动作为第一子动作，且第二子部位的动作为第二子动作时，将当前显示器的显示区域分为三个子显示区域。

其中，第一子部位为操作者的右手，第二子部位为操作者的左手。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种智能系统，智能系统包括图像采集器和智能设备，智能设备包括处理器和显示器，图像采集器和处理器用于获取操作者的特征部位的至少一张第一深度图像；处理器用于根据至少一张第一深度图像识别特征部位的动作，判断特征部位的动作是否为预设触发动作，且在特征部位的动作为预设触发动作时，执行将显示器的显示区域分为至少两个子显示区域。

其中，图像采集器用于获取操作者和操作者所在环境的至少一张第二深度图像；处理器用于从至少第二深度图像中分割出操作者的至少一张第三深度图像，并从至少一张第三深度图像中分割出操作者的特征部位的至少一张第一深度图像。

本发明的有益效果是：区别于现有技术的情况，本发明通过获取操作者的特征部位的至少一张第一深度图像，根据至少一张第一深度图像识别特征部位的动作，判断特征部位的动作是否为预设触发动作，在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域，从而能够用空中手势实现对显示屏的分屏操作。

附图说明

图1是本发明控制分屏的方法的流程图；

图2为左右分为两个子显示区域的示意图；

图3为显示区域分为三个子显示区域的示意图；

图4是以任意比例分屏为子显示区域的示意图；

图5为显示区域以任意比例分为三个子显示区域的示意图；

图6是本发明智能系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的说明。

请参阅图1，图1是本发明控制分屏的方法的流程图。在本实施例中，控制分屏的方法包括以下步骤：

步骤S11：获取操作者的特征部位的至少一张第一深度图像。

在步骤S11中，获取操作者的特征部位的至少一张第一深度图像可以是获取一张第一深度图像也可以是获取连续的多张第一深度图像，连续的多张第一深度图像显示特征部位的运动过程。特征部位可以为手部、头部或者脚部，当然在其他实施例中也可以是操作者的其他部位。

在步骤S11中，获取操作者的特征部位的至少一张第一深度图像的具体步骤可以包括：获取操作者和操作者所在环境的至少一张第二深度图像；从至少第二深度图像中分割出操作者的至少一张第三深度图像；从至少一张第三深度图像中分割出操作者的特征部位的至少一张第一深度图像。第二深度图像中包括操作者和操作者所在的环境，第三深度图像仅包括操作者，第一深度图像仅包括操作者的特征部位。第二深度图像由图像采集器采集，第三深度图像由处理器从对应的第二深度图像分割出来，第一深度图像由处理器从对应的第三深度图像分割出来。图像采集器优选为深度相机，具体可以为基于结构光技术、TOF技术或者双目视觉技术的深度相机。

在步骤S11中，从至少第二深度图像中分割出操作者的至少一张第三深度图像的分割方法有多种，一种是背景差分法，考虑到目标空间除了操作者之外都是操作者所在的环境，因此先获取操作者所在的环境的图像，再将含操作者和操作者所在的环境图像做差分就得到操作者的深度图像，即为第三深度图像。还有一种是基于模板的方法，利用操作者头部的圆形特征，建立头部模板并与深度图像进行搜索，找到人的头部位置后利用区域生长算法找到整个操作者的人体区域，从含操作者和操作者所在的环境图像分离出来得到操作者的深度图像，即为第三深度图像。其他方法在此处不一一例举。从至少一张第三深度图像中分割出操作者的特征部位的至少一张第一深度图像，即特征部位的分割方法同样有多种，可以基于模板的匹配；也可以利用特征部位相对于人体的相对位置进行定位并分割；还可以根据特征部位一般在人体的某个方位(例如手部在人体的前方)这一信息进行定位并分割。其他方法在此处不一一例举。显示器用于在接收到处理器发出的分屏指令后，执行分屏任务，即将当前显示区域分成两个以上排列的子区域。

步骤S12：根据至少一张第一深度图像识别特征部位的动作。

在步骤S12中，根据分割出的特征部位的至少一张第一深度图像识别特征部位的动作。对特征部位的动作进行识别分为静态动作的识别以及动态动作的识别，比如手部握拳属于静态动作的识别，手部的移动属于动态动作的识别。静态动作的识别算法一般包括特征提取、动作识别的过程，具体地是首先提取特征部位动作的特征，比如手部的轮廓、凹凸等特征，然后将特征代入经训练的分类器进行分类识别，静态手势分类器有基于神经网络的分类器、基于支持向量机的分类器等。动态的特征部位动作识别过程与静态特征部位的动作识别类似，不同是特征提取部分需要增加特征部位的运动轨迹，另外分类器也不相同，在本实施例中优选为利用的是基于隐马尔可夫(HMM)或动态时间规整(DTW)等识别算法。

步骤S13：判断特征部位的动作是否为预设触发动作。

在步骤S13中，根据识别的特征部位的动作与预设触发动作进行匹配，若匹配结果为一致则特征部位的动作为预设的触发动作，若匹配结果为不一致则特征部位的动作不为预设的触发动作。

步骤S14：在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域。

在步骤S14中，当前显示器的显示区域可以为已经过分屏后的显示区域即仅为显示器的整个显示画面的一部分，或者可以为未经过分屏的整个显示器的显示区域。

在步骤S13和步骤S14中，在第一种实施例中，判断特征部位的动作是否为预设触发动作包括：判断特征部位的动作是否为沿预定方向移动的动作；在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域包括：在特征部位的动作为沿预定方向移动的动作时，执行将当前显示器的显示区域分为两个依次沿预定方向设置的子显示区域。例如预定方向可以为显示器的长度方向或者宽度方向。请参阅图2，图2为左右分为两个子显示区域的示意图。这种情况下，预定方向为显示器的长度方向AA即为图中的横向AA，在特征部位的动作为向左或者向右移动时，显示器的显示区域10被分为的两个子显示区域为第一子显示区域11和第二子显示区域12，优选地，第一子显示区域11和第二子显示区域12的面积相等，在其他实施例中也可以为不等，例如第一子显示区域11和第二子显示区域12的面积比为2:1或者其他比例。例如，显示器的显示区域10原本显示的是第一应用界面，在特征部位的动作为沿向右移动的动作时，在分屏后第一子显示区域11显示第二应用界面，而第二显示区域12显示第一应用界面。上下分屏与左右分屏类似，此处不再赘述。优选地，第一应用界面为视频播放界面，第二应用界面为聊天软件界面或者系统主界面，当然，在其他实施例中，也可以第一应用界面和第二应用界面也可以为其他应用界面。

在步骤S13和步骤S14中，在第二种实施例中，特征部位包括第一子部位和第二子部位，预设触发动作包括与第一子部位对应的第一子动作和第二子动作，判断特征部位的动作是否为预设触发动作包括：判断第一子部位的动作是否为第一子动作，判断第二子部位的动作是否为第二子动作；在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域包括：在第一子部位的动作为第一子动作，且第二子部位的动作为第二子动作时，将当前显示器的显示区域分为三个子显示区域。例如，第一子动作为沿第一预定方向移动的动作，第二子动作为沿第二预定方向移动的动作，判断特征部位的动作是否为预设触发动作包括：判断第一子部位的动作是否为沿第一预定方向移动的动作，以及判断第二子部位的动作是否为沿第二预定方向移动的动作；在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域包括：在第一子部位的动作为沿第一预定方向移动的动作以及第二子部位的动作为沿第二预定方向移动的动作时，执行将当前显示器的显示区域分为三个子显示区域。如图3所示，图3为显示区域分为三个子显示区域的示意图。例如，执行将当前显示器的显示区域分为三个子显示区域可以为：将显示区域分为依次沿第一预定方向AA设置的第一子显示区域21和第二子显示区域22，将第二子显示区域22(或者第一子显示区域)分为依次沿第二预定方向BB设置的第三子显示区域23和第四子显示区域24。那么，最终得到的三个子显示区域为第一子显示区域21(或者第二子显示区域)、第三子显示区域23、第四子显示区域24，三者的面积比为2:1:1，当然在其他实施例中也可以为其他比例。第一预定方向AA优选为显示器的长度方向AA，第二预定方向BB优选为显示器的宽度方向BB。优选地，第一子部位为操作者的右手，第二子部位为操作者的左手，在其他实施例中，也可以是第一子部位为操作者的左手，第二子部位为操作者的右手。第一子部位和第二子部位也可以为操作者的其他部位。在分屏前，显示器的显示区域20显示第一应用界面，分屏后显示器的第一子显示区域21显示第一应用界面，第三子显示区域23和第四显示区域24其中一者显示第二应用界面另一者显示第三应用界面，优选地，第一应用界面为视频播放界面，第二应用界面为聊天软件界面，第三应用界面为系统主界面。

在步骤S13和步骤S14中，在第三种实施例中，请参阅图4，图4是以任意比例分屏为子显示区域的示意图。判断特征部位的动作是否为预设触发动作包括：判断特征部位的动作是否为呈现第一形状将显示器的光标移动到显示区域的边界线34上时呈现第二形状并保持第二形状朝着预定方向AA移动到目的位置后呈现第一形状，其中目的位置与子显示区域31和32之间的分界线35的位置对应；在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域包括：以分界线35为界将显示区域30分为两个子显示区域31和32。优选地，特征部位为手部，第一形状为手部手掌形状，第二形状为手部拳头形状，在其他实施例中，也可以是第一形状为手部拳头形状，第二形状为手部手掌形状。本实施例的两个子显示区域的面积大小可以自由控制，显示的应用界面与第一种实施例中的类似，此处不再赘述。

在步骤S13和步骤S14中，在第四种实施例中，如图5所示，图5为显示区域以任意比例分为三个子显示区域的示意图。特征部位包括第一子部位和第二子部位，判断特征部位的动作是否为预设触发动作包括：判断第一子部位的动作是否为呈现第一形状将显示器的光标移动到显示区域40的第一边界线45上时呈现第二形状并保持第二形状朝着第一预定方向AA移动到第一目的位置后呈现第一形状，以及判断第二子部位的动作是否为呈现第一形状将显示器的光标移动到显示区域的第二边界线46上时呈现第二形状并保持第二形状朝着第二预定方向BB移动到第二目的位置后呈现第一形状，其中第一目的位置和第二目的位置与子显示区域之间的第一分界线47和第二分界线48的位置对应。在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域包括：以第一分界线和第二分界线为界将显示区域分为三个子显示区域。三个子显示区域分别为第一子显示区域41、第二子显示区域43、第三子显示区域44。本实施例的三个子显示区域的面积大小可以自由控制，显示的应用界面与第二种实施例中的类似，此处不再赘述。

可以理解，在步骤S13和S14中，判断特征部位的动作是否为预设触发动作；在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域，不限于以上实施例所述的几种方式，也可以设置成双手分屏手势，用双手做为扩展的动作，即表明分屏开始，对于向左分屏，可以将左手固定不动，右手移动分界线来进行分屏，这一设置免去了单手分屏时需要找当前显示区域边缘的过程，操作更加简单。取消分屏最直接的方式可以通过将其中某一显示子区域最大化即可，也可以通过移动分界线的方式或者通过设定取消分屏的手势，当执行该手势时，当前显示区域充满整个显示器的整个显示区域从而达到取消分屏的效果。

请参阅图6，图6是本发明智能系统的结构示意图。智能系统包括图像采集器51和智能设备50，智能设备50包括处理器54、显示器53、壳体52，显示器53安装在壳体52内，处理器54安装在壳体内部(从外部看不可见，因此用虚线表示)，图像采集器51集成安装在智能设备50的壳体52上，且显示器53与图像采集器51与处理器54电连接。在其他实施例中，图像采集器51可以是独立的部件通过支架可拆卸地安装在壳体52上，且与处理器54电连接，可以理解，图像采集器51也可以包括处理器，智能设备50的处理器54实现的内容，可以由图像采集器51的处理器实现。

图像采集器51和处理器54用于获取操作者的特征部位的至少一张第一深度图像；处理器54用于根据至少一张第一深度图像识别特征部位的动作，判断特征部位的动作是否为预设触发动作，且在特征部位的动作为预设触发动作时，执行将显示器的显示区域分为至少两个子显示区域。具体请参阅前文所述的方法实施例，此处不做赘述。

具体而言，图像采集器51用于获取操作者和操作者所在环境的至少一张第二深度图像；处理器54用于从至少第二深度图像中分割出操作者的至少一张第三深度图像，并从至少一张第三深度图像中分割出操作者的特征部位的至少一张第一深度图像。具体请参阅前文所述的方法实施例，此处不做赘述。

本发明通过获取操作者的特征部位的至少一张第一深度图像，根据至少一张第一深度图像识别特征部位的动作，判断特征部位的动作是否为预设触发动作，在特征部位的动作为预设触发动作时，执行将当前显示器的显示区域分为至少两个子显示区域，从而能够用空中手势实现对显示屏的分屏操作。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。