一种智能猫眼信息交互方法、系统及电子设备与流程

1.本发明实施例涉及智能猫眼技术领域，尤其涉及一种智能猫眼信息交互方法、系统及电子设备。


背景技术：

2.随着人们日益增长的物质生活，设备的智能化成为了生活中不可或缺的一部分，而智能猫眼就是其中之一。
3.目前，为了用户方便查看智能猫眼所扫描的内容，通常通过遥控来实现，并且所查看的智能猫眼的内容大都为智能猫眼扫描的门外固定区域的内容，或者旋转180度、360度进行门外区域的扫描，相对被动，且用户交互体验差。


技术实现要素：

4.鉴于此，为解决目前查看智能猫眼所扫描的内容存在着相对被动且用户交互体验差的技术问题，本发明实施例提供一种智能猫眼信息交互方法及系统。
5.第一方面，本发明实施例提供一种智能猫眼信息交互方法，包括：
6.获取用户肢体动作信息；
7.根据所述用户肢体动作信息控制智能猫眼扫描目标区域，并获取所述目标区域的扫描结果；
8.采用增强现实方式展示所述扫描结果。
9.在一个可选的实施方式中，所述根据所述用户肢体动作信息控制智能猫眼扫描目标区域，具体包括：
10.根据所述用户肢体动作信息，确定用户目标肢体动作；
11.根据所述用户目标肢体动作，确定所述智能猫眼的目标操作；
12.根据所述目标操作控制所述智能猫眼扫描所述目标区域。
13.在一个可选的实施方式中，所述确定所述智能猫眼的目标操作，具体包括：
14.将所述用户目标肢体动作与机器学习模型进行匹配，根据匹配结果确定所述智能猫眼的所述目标操作；所述机器学习模型为用户肢体动作与所述智能猫眼的操作之间的关系模型。
15.在一个可选的实施方式中，根据匹配结果确定所述智能猫眼的所述目标操作，具体包括：
16.当所述用户目标肢体动作与所述机器学习模型中的所述用户肢体动作匹配成功时，基于所述机器学习模型中与所述用户肢体动作相对应的所述智能猫眼的操作，确定所述智能猫眼的所述目标操作；
17.当所述用户目标肢体动作与所述机器学习模型中的所述用户肢体动作匹配失败时，则根据所述用户目标肢体动作训练所述机器学习模型。
18.在一个可选的实施方式中，在所述获取用户肢体动作信息之前，还包括：
19.获取用户特征信息，并确定用户目标特征；
20.将所述用户目标特征与预设用户特征进行匹配，当匹配成功后，获取所述用户肢体动作信息。
21.在一个可选的实施方式中，所述采用增强现实方式展示所述扫描结果之后，还包括：
22.若获取到停止展示控制指令时，则控制所述智能猫眼扫描初始区域。
23.在一个可选的实施方式中，所述用户肢体动作信息和所述用户特征信息由所述智能猫眼或终端进行采集。
24.第二方面，本发明实施例还提供一种智能猫眼信息交互系统，包括：
25.肢体动作采集模块，用于采集用户肢体动作信息：
26.信息处理模块，用于根据获取到的所述用户肢体动作信息控制智能猫眼扫描目标区域，并获取所述目标区域的扫描结果；
27.增强现实展示模块，用于采用增强现实方式展示所述扫描结果。
28.在一个可选的实施方式中，所述肢体动作采集模块设于所述智能猫眼和/或终端内。
29.第三方面，本发明实施例还提供一种电子设备，电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的智能猫眼信息交互方法。
30.本发明实施例提供的智能猫眼信息交互方法，包括：获取用户肢体动作信息，根据用户肢体动作信息控制智能猫眼扫描目标区域，并获取目标区域的扫描结果，采用增强现实方式展示扫描结果。通过上述的智能猫眼信息交互方法，使得智能猫眼能够根据用户肢体动作智能转动，扫描用户想要观察的角度，提高了智能猫眼的转动利用率，并且通过增强现实技术展示智能猫眼根据用户肢体动作所扫描的内容，提高了用户交互体验。
附图说明
31.图1为本发明实施例所提供的一个智能猫眼信息交互方法的流程图；
32.图2为本发明实施例所提供的另一个智能猫眼信息交互方法的流程图；
33.图3为本发明实施例所提供的一个智能猫眼信息交互系统的结构示意图；
34.图4为本发明实施例所提供的一个智能猫眼信息交互系统的控制流程图；
35.图5为本发明实施例提供的一种的电子设备的结构示意图；
36.以上附图中：
37.10、智能猫眼；20、终端；21、信息处理模块；22、增强现实展示模块；30、肢体动作采集模块；40、输入设备；
38.400、电子设备；401、处理器；402、存储器；4021、操作系统；4022、应用程序；403、用户接口；404、网络接口；405、总线系统。
具体实施方式
39.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.为解决现有技术中目前查看智能猫眼所扫描的内容存在着相对被动且用户交互体验差的技术问题，本发明实施例提供一种智能猫眼信息交互方法，使得智能猫眼能够根据用户肢体动作智能转动，扫描用户想要观察的角度，提高了智能猫眼的转动利用率，并且通过增强现实技术展示智能猫眼根据用户肢体动作所扫描的内容，提高了用户交互体验。
41.为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
42.参考图1，图1为本发明实施例所提供的一种智能猫眼信息交互方法的流程图，智能猫眼信息交互方法包括如下步骤：
43.s1：获取用户肢体动作信息。
44.其中，用户肢体动作信息可由智能猫眼10采集或终端20采集，终端20为一交互终端，终端20至少包括下述之一：
45.手机终端20、平板终端20、电脑终端20、显示屏终端20及ar终端20。
46.需要说明的是，交互终端可根据实际需要进行选择，本实施例中不做具体的限定。
47.具体地说，上述的用户肢体动作信息既可以为通过摄像模块采集得到，也可通过体感模块采集得到，当然也可通过语音模块采集得到。其中，不论是摄像模块、体感模块还是语音模块均可设于智能猫眼10和/或终端20内。
48.当使用摄像模块采集用户肢体动作信息时，其用户肢体动作信息为摄像模块通过拍摄与用户动作变化的图像而获得的；
49.当使用体感模块采集用户肢体动作信息时，其用户肢体动作信息为体感模块通过采集用户深度图像数据而获得的；
50.当使用语音模块采集用户肢体动作信息时，其用户肢体动作信息为语音模块通过采集用户声纹信息而获得的。
51.当然，本实施例中的用户肢体动作信息也可通过输入设备40采集得到，其中，输入设备40中设有惯性传感模块，通过输入设备40中的惯性传感模块以获得用户肢体动作信息。输入设备40既可以为空间鼠标，又可以为遥控手柄，输入设备40的具体形式可根据实际需要进行限定，本实施例对此不做具体的限定。
52.其中，当使用空间鼠标采集用户肢体动作信息时，其用户肢体动作信息为空间鼠标通过采集空间坐标数据而获得的；
53.当使用遥控手柄采集用户肢体动作信息时，其用户肢体动作信息为遥控手柄通过采集方向信息、位置信息和力度信息等而获得的。
54.上述中，需要说明的是，本实施例中，智能猫眼10、终端20及输入设备40既可以同时设置，也可以仅仅只设置智能猫眼10和终端20，具体可根据实际需要进行设定，本实施例对此不做具体的限定。
55.上述中，还需要说明的是，智能猫眼10中的摄像模块既可以为一个也可以为多个。具体地说，当智能猫眼10内只设有一个摄像模块，且此摄像模块用于用户肢体动作信息的采集，并且还用于扫描门外区域的内容时，此摄像模块为智能猫眼10中本身自设的摄像模块，且此摄像模块为一360摄像头，当需要采集屋内用户的用户肢体动作信息时，旋转摄像
模块以采集用户肢体动作信息，当需扫描门外区域的内容时，再旋转摄像头以扫描门外区域的内容。
56.同样的，智能猫眼10内还可以设有两个摄像模块，其中一个摄像模块设于门内，可用于对屋内用户的用户肢体动作信息的采集，另一个摄像模块可为智能猫眼10中本身自设的摄像模块，以用于扫描门外的目标区域；当智能猫眼10内设有的摄像模块的数量多于两个时，其中可选择一个或多个摄像模块采集用户肢体动作信息，也可选择一个或多个摄像模块(其中包括智能猫眼10中本身自设的摄像模块)扫描门外的目标区域，以为了更加精确的获取用户肢体动作信息和扫描门外的目标区域。本实施例中摄像模块的数量的具体选择可根据实际需要进行选择，本实施例中不做具体地限定。
57.本实施例基于智能猫眼10和/或终端20，通过采用多种方式以采集用户肢体动作信息，保证了信息获取方式的多样性，能够更好的提高用户的体验感。
58.s2：根据用户肢体动作信息控制智能猫眼10扫描目标区域，并获取目标区域的扫描结果。
59.本实施例中，参考图2，s2步骤中所述根据用户肢体动作信息控制智能猫眼10扫描目标区域，具体包括：
60.s21：根据用户肢体动作信息，确定用户目标肢体动作；
61.s22：根据用户目标肢体动作，确定智能猫眼10的目标操作；
62.s23：根据目标操作控制智能猫眼10扫描所述目标区域。
63.本实施例中，用户目标肢体动作具体可指：用户的后退动作、用户的前进动作、用户的仰视动作、用户的俯视动作及用户的摇头动作等。智能猫眼10的目标操作具体可指：智能猫眼10的旋转角度和智能猫眼10的缩放程度等。
64.本实施例中，若获取到摄像模块所拍摄的图片时，对所获取到的图片进行一系列的处理后而得到用户动作变化，用户的动作变化即为用户目标肢体动作。同样的，若获取到语音模块采集的用户的声纹信息或获取到体感模块采集的用户深度图像数据时，对声纹信息或用户深度图像数据进行处理而得到用户目标肢体动作。
65.本实施例中，s22步骤中确定智能猫眼10的目标操作，具体包括：
66.将用户目标肢体动作与机器学习模型进行匹配，根据匹配结果确定智能猫眼10的所述目标操作；机器学习模型为用户肢体动作与智能猫眼10的操作之间的关模型。
67.其中，具体地说，根据匹配结果确定智能猫眼10的所述目标操作，具体包括：
68.当用户目标肢体动作与机器学习模型中的用户肢体动作匹配成功时，基于机器学习模型中与用户肢体动作相对应的智能猫眼10的操作，确定智能猫眼10的目标操作；
69.当用户目标肢体动作与机器学习模型中的用户肢体动作匹配失败时，则根据用户目标肢体动作训练机器学习模型。
70.上述中，需要说明的是，例如当用户肢体动作为用户头部往左偏移30度，则智能猫眼10的操作为智能猫眼10的视角往左30度旋转；当用户肢体动作为用户的手部抬高45度，则智能猫眼10的操作为智能猫眼10的视角为向上45度旋转；当用户肢体动作为用户的脚部前进一段距离，则智能猫眼10的操作为智能猫眼10的视角按照前进距离的大小放大一定的程度等。
71.本实施例中通过将确定的用户目标肢体动作与机器学习模型进行匹配，在匹配成
功时，基于机器学习模型直接确定智能猫眼10的目标操作，而在匹配失败时，则基于用户目标肢体动作继续训练机器学习模型，节省了根据用户肢体动作信息确定智能猫眼10的目标操作的时间，进一步提高了用户的体验感。
72.s3：采用增强现实方式显示扫描结果。
73.其中，增强现实(augmented reality，ar)方式是一种将虚拟信息与真实世界相融合的技术，实现对真实世界的增强。本实施例中通过用户肢体动作信息以获取智能猫眼10所扫描的目标区域，并以目标区域的扫描结果作为增强现实内容以展示给用户，提高了用户和智能猫眼10的交互体验感。
74.本实施例中的智能猫眼10信息交互方法，还包括：
75.s0：获取用户特征信息，并确定用户目标特征；将用户目标特征与预设用户特征进行匹配，当匹配成功后，获取用户肢体动作信息。
76.上述中，需要说明的是，当用户与智能猫眼10交互以查看智能猫眼10所扫描的目标区域的内容时，可首先对用户进行身份验证。其中，可通过身份采集模块实现用户身份的采集，其中，身份采集模块既可以为摄像模块，又可以为语音模块，当智能猫眼10或终端20中已存在摄像模块或语音模块时，无需再额外安装摄像模块或语音模块，以使成本增加，否则的话，可选择在智能猫眼10或终端20中设置摄像模块或语音模块进行用户身份验证。
77.具体地说，用户特征信息具体指用户面部特征或用户声纹特征。首先将获取到用户图像，根据用户图像以提取用户面部特征，并将用户面部特征与预设面部特征进行匹配，若面部特征之间匹配成功，则允许用户登录，以获取用户肢体动作信息；若面部特征之间匹配失败，则不允许用户登录；或将获取到的用户声纹特征与预设声纹特征进行匹配，若声纹特征之间匹配成功，则允许用户登录，以获取用户肢体动作信息；若声纹特征之间匹配失败，则不允许用户登录。当然，除了以上判断是否允许用户登录以获取用户肢体动作信息方式外，还可以通过密码比对方式判断是否允许用户登录。用户登录的具体方式可根据实际需要进行选择，本实施例对此不做具体的限定。本实施例中通过对用户进行身份验证，保证了安全性和可靠性。
78.本实施例中的智能猫眼10信息交互方法，还包括：
79.s4：若获取到停止展示控制指令时，则控制智能猫眼10扫描初始区域。
80.上述中，需要说明的是，初始区域为用户安装智能猫眼10时的固定角度所扫描的区域。
81.本实施例通过在获取到停止展示控制指令时，控制智能猫眼10回归初始区域，以便于下一次能准确确定用户目标肢体动作。
82.本实施例提供的一种智能猫眼10信息交互方法，使得智能猫眼10能够根据用户肢体动作智能转动，扫描用户想要观察的角度，提高了智能猫眼10的转动利用率，并且通过增强现实方式展示智能猫眼10根据用户肢体动作所扫描的内容，提高了用户交互体验。
83.本发明实施例还提供一种智能猫眼信息交互系统，参考图3，智能猫眼信息交互系统包括：肢体动作采集模块30、信息处理模块21和增强现实展示模块22，其中，肢体动作采集模块30与信息处理模块21连接，信息处理模块21还与增强现实展示模块22连接，肢体动作采集模块30设于智能猫眼10和/或终端20内，肢体动作采集模块30既可以为摄像模块，也可以为体感模块，当然也可以为语音模块，肢体动作采集模块30的具体形式本实施例不做
具体的限定。信息处理模块21和增强现实展示模块22均设置于终端20内。
84.本实施例中，需要说明的是，肢体动作采集模块30还可以设于输入设备40中，输入设备40既可以为空间鼠标，又可以为遥控手柄，输入设备40的具体形式可根据实际需要进行限定，本实施例对此不做具体的限定。此时，肢体动作采集模块30可为惯性传感模块。
85.本实施例中，参考图4，图4为本发明实施例所提供的一个智能猫眼信息交互系统的控制流程图。其中，肢体动作采集模块30，用于采集用户肢体动作信息：信息处理模块21，用于根据获取到的用户肢体动作信息控制智能猫眼10扫描目标区域，并获取目标区域的扫描结果；增强现实展示模块22，用于采用增强现实方式展示扫描结果。
86.本实施例中，信息处理模块21还用于：根据用户肢体动作信息，确定用户目标肢体动作；根据用户目标肢体动作，确定智能猫眼10的目标操作；根据目标操作控制智能猫眼10扫描所述目标区域。
87.本实施例中，信息处理模块21还用于：将用户目标肢体动作与机器学习模型进行匹配，根据匹配结果确定智能猫眼10的所述目标操作；机器学习模型为用户肢体动作与智能猫眼10的操作之间的模型。
88.本实施例中，信息处理模块21还用于：当用户目标肢体动作与机器学习模型中的用户肢体动作匹配成功时，基于机器学习模型中与用户肢体动作相对应的智能猫眼10的操作，确定智能猫眼10的目标操作；
89.当用户目标肢体动作与机器学习模型中的用户肢体动作匹配失败时，则根据用户目标肢体动作训练机器学习模型。
90.本实施例中通过将确定的用户目标肢体动作与机器学习模型进行匹配，在匹配成功时，基于机器学习模型直接确定智能猫眼10的目标操作，而在匹配失败时，则基于用户目标肢体动作继续训练机器学习模型，节省了根据用户肢体动作信息确定智能猫眼10的目标操作的时间，进一步提高了用户的体验感。
91.本实施例中，信息处理模块21还用于：获取用户特征信息，并确定用户目标特征；将用户目标特征与预设用户特征进行匹配，当匹配成功后，获取用户肢体动作信息。
92.本实施例中通过对用户进行身份验证，保证了安全性和可靠性。
93.本实施例中，信息处理模块21还用于：若获取到停止展示控制指令时，则控制智能猫眼10扫描初始区域。
94.本实施例通过在获取到停止展示控制指令时，控制智能猫眼10继续扫描初始区域，以便于下一次能准确确定用户目标肢体动作。
95.本发明实施例提供的智能猫眼信息交互系统，通过上述的智能猫眼10信息交互方法，使得智能猫眼10能够根据用户肢体动作智能转动，扫描用户想要观察的角度，提高了智能猫眼10的转动利用率，并且通过增强现实技术展示智能猫眼10根据用户肢体动作所扫描的内容，提高了用户交互体验。
96.图5为本发明实施例提供的一种的电子设备的结构示意图，图5所示的电子设备400包括：至少一个处理器401、存储器402、至少一个网络接口404和其他用户接口403。移动终端400中的各个组件通过总线系统405耦合在一起。可理解，总线系统405用于实现这些组件之间的连接通信。总线系统405除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统405。
97.其中，用户接口403可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
98.可以理解，本发明实施例中的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，sram)、动态随机存取存储器(dynamicram，dram)、同步动态随机存取存储器(synchronousdram，sdram)、双倍数据速率同步动态随机存取存储器(doubledatarate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlinkdram，sldram)和直接内存总线随机存取存储器(directrambusram，drram)。本文描述的存储器402旨在包括但不限于这些和任意其它适合类型的存储器。
99.在一些实施方式中，存储器402存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统4021和应用程序4022。
100.其中，操作系统4021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序4022，包含各种应用程序，例如媒体播放器(mediaplayer)、浏览器(browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序4022中。
101.在本发明实施例中，通过调用存储器402存储的程序或指令，具体的，可以是应用程序4022中存储的程序或指令，处理器401用于执行各方法实施例所提供的方法步骤，例如包括：获取用户肢体动作信息；根据用户肢体动作信息控制智能猫眼扫描目标区域，并获取目标区域的扫描结果；采用增强现实方式展示扫描结果。
102.可选地，根据用户肢体动作信息，确定用户目标肢体动作；根据用户目标肢体动作，确定智能猫眼的目标操作；根据目标操作控制智能猫眼扫描所述目标区域。
103.可选地，将用户目标肢体动作与机器学习模型进行匹配，根据匹配结果确定智能猫眼的所述目标操作；机器学习模型为用户肢体动作与智能猫眼的操作之间的模型。
104.可选地，当用户目标肢体动作与机器学习模型中的用户肢体动作匹配成功时，基于机器学习模型中与用户肢体动作相对应的智能猫眼的操作，确定智能猫眼的所述目标操作；
105.当用户目标肢体动作与机器学习模型中的用户肢体动作匹配失败时，则根据用户目标肢体动作训练机器学习模型。
106.可选地，获取用户特征信息，并确定用户目标特征；将用户目标特征与预设用户特征进行匹配，当匹配成功后，获取用户肢体动作信息。
107.可选地，若获取到停止展示控制指令时，则控制智能猫眼扫描初始区域。
108.上述本发明实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理
器401可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecific integratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成上述方法的步骤。
109.可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(applicationspecificintegratedcircuits，asic)、数字信号处理器(digitalsignalprocessing，dsp)、数字信号处理设备(dspdevice，dspd)、可编程逻辑设备(programmablelogicdevice，pld)、现场可编程门阵列(field-programmablegatearray，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
110.对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
111.本实施例提供的电子设备可以是如图5中所示的电子设备，可执行如图1-2中智能猫眼信息交互方法的步骤，进而实现图1-2所示智能猫眼信息交互方法的技术效果，具体请参照图1-2相关描述，为简洁描述，在此不作赘述。
112.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、电路、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、电路、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、电路、物品或者设备中还存在另外的相同要素。
113.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。
114.因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。