智能机器人控制方法、装置、服务器、机器人和存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种智能机器人控制方法、装置、服务器、机器人和存储介质。


背景技术：

2.随着科技的发展，越来越多的工作由人工转换为智能机器人来完成。智能机器人的种类繁多，能够提供的功能服务多种多样。目前比较常见的智能机器人例如是智能音箱，当用户向智能音箱发出语音指令时，智能音箱可以识别用户的意图，并执行与用户的意图相匹配的任务。比如说，用户让智能音箱播放某歌曲a，智能音箱在接收到指令之后，通过网络获取歌曲a的音频数据，然后播放该音频数据。相关技术中的智能机器人能够实现的与用户之间的交互较为单一，交互灵活性、多样性有待提高。


技术实现要素：

3.本发明实施例提供一种智能机器人控制方法、装置、服务器、机器人和存储介质，用以提高智能机器人与用户之间的交互的灵活性、多样性。
4.第一方面，本发明实施例提供一种智能机器人控制方法，该方法应用于服务器，所述方法包括：
5.接收智能机器人上传的传感数据以及触控操作数据，其中，所述传感数据为所述智能机器人中设置的不同类型的传感器采集的，所述触控操作数据为通过所述智能机器人中设置的柔性屏检测用户的触控操作生成的，所述柔性屏形成所述智能机器人的全部或者部分外壳体；
6.基于所述传感数据以及所述触控操作数据，确定所述智能机器人对应的多模态反应行为数据，其中，所述多模态反应行为数据至少包括动作数据、语音输出数据、显示数据中的任一项，所述显示数据通过所述柔性屏进行显示；
7.将所述多模态反应行为数据下发至所述智能机器人，以使得所述智能机器人基于所述多模态反应行为数据进行反应输出。
8.可选地，所述基于所述传感数据以及所述触控操作数据，确定所述智能机器人对应的多模态反应行为数据，包括：
9.对所述传感数据进行预处理；
10.将预处理后的传感数据以及所述触控操作数据输入到预先训练的神经网络模型，得到所述智能机器人对应的多模态反应行为数据。
11.可选地，所述传感数据包括通过图像拍摄装置拍摄得到的图像数据和/或通过语音拾取装置拾取的语音接收数据；
12.所述对所述传感数据进行预处理，包括：
13.对所述图像数据进行语义提取；和/或，
14.将所述语音接收数据转换为文本数据。
15.可选地，在将预处理后的传感数据以及所述触控操作数据输入到预先训练的神经网络模型，得到所述智能机器人对应的多模态反应行为数据之后，所述方法还包括：
16.基于预设规则，确定与所述预处理后的传感数据以及所述触控操作数据对应的参考反应行为数据以及行为约束条件；
17.比较所述参考反应行为数据以及所述多模态反应行为数据，根据比较结果对所述多模态反应行为数据进行补充；
18.将所述多模态反应行为数据中不符合所述行为约束条件的数据进行剔除。
19.可选地，在将预处理后的传感数据以及所述触控操作数据输入到预先训练的神经网络模型，得到所述智能机器人对应的多模态反应行为数据之后，所述方法还包括：
20.获取所述智能机器人当前正在执行的业务逻辑；
21.基于所述业务逻辑，调整所述多模态反应行为数据。
22.第二方面，本发明实施例提供一种智能机器人控制方法，所述方法应用于智能机器人，所述智能机器人包括不同类型的传感器、以及作为所述智能机器人的全部或者部分外壳体的柔性屏，所述方法包括：
23.通过所述不同类型的传感器采集传感数据，以及通过所述柔性屏检测到的用户的触控操作生成触控操作数据；
24.将所述传感数据以及所述触控操作数据上传至服务器；
25.接收所述服务器下发的与所述传感数据以及所述触控操作数据对应的多模态反应行为数据，其中，所述多模态反应行为数据至少包括动作数据、语音输出数据、显示数据中的任一项，所述显示数据通过所述柔性屏进行显示；
26.基于所述多模态反应行为数据进行反应输出。
27.可选地，所述传感器包括图像拍摄装置和/或语音拾取装置，所述传感数据包括通过所述图像拍摄装置拍摄得到的图像数据和/或通过所述语音拾取装置拾取的语音接收数据；
28.在通过所述不同类型的传感器采集传感数据之后，所述方法还包括：
29.对所述图像数据进行语义提取；和/或，
30.将所述语音接收数据转换为文本数据。
31.可选地，所述显示数据包括二维显示数据或者三维显示数据。
32.可选地，所述智能机器人包括一整块所述柔性屏或者多块所述柔性屏。
33.可选地，当所述智能机器人包括多块所述柔性屏时，所述基于所述多模态反应行为数据进行反应输出，包括：
34.基于各柔性屏当前所处的位置，确定所述各柔性屏分别对应的所述显示数据中的子显示数据；
35.控制所述各柔性屏显示各自对应的子显示数据。
36.可选地，所述方法还包括：
37.检测所述用户通过所述柔性屏在主显示区域中划分子显示区域的划分操作；
38.响应于所述划分操作，在所述主显示区域中划分出所述子显示区域，并通过所述主显示区域以及所述子显示区域分别显示不同的显示数据。
39.第三方面，本发明实施例提供一种智能机器人控制装置，所述装置应用于服务器，
所述装置包括：
40.接收模块，用于接收智能机器人上传的传感数据以及触控操作数据，其中，所述传感数据为所述智能机器人中设置的不同类型的传感器采集的，所述触控操作数据为通过所述智能机器人中设置的柔性屏检测用户的触控操作生成的，所述柔性屏形成所述智能机器人的全部或者部分外壳体；
41.确定模块，用于基于所述传感数据以及所述触控操作数据，确定所述智能机器人对应的多模态反应行为数据，其中，所述多模态反应行为数据至少包括动作数据、语音输出数据、显示数据中的任一项，所述显示数据通过所述柔性屏进行显示；
42.发送模块，用于将所述多模态反应行为数据下发至所述智能机器人，以使得所述智能机器人基于所述多模态反应行为数据进行反应输出。
43.可选地，所述确定模块，用于：
44.对所述传感数据进行预处理；
45.将预处理后的传感数据以及所述触控操作数据输入到预先训练的神经网络模型，得到所述智能机器人对应的多模态反应行为数据。
46.可选地，所述传感数据包括通过图像拍摄装置拍摄得到的图像数据和/或通过语音拾取装置拾取的语音接收数据；
47.所述确定模块，用于：
48.对所述图像数据进行语义提取；和/或，
49.将所述语音接收数据转换为文本数据。
50.可选地，所述装置还包括优化模块，所述优化模块，用于：
51.基于预设规则，确定与所述预处理后的传感数据以及所述触控操作数据对应的参考反应行为数据以及行为约束条件；
52.比较所述参考反应行为数据以及所述多模态反应行为数据，根据比较结果对所述多模态反应行为数据进行补充；
53.将所述多模态反应行为数据中不符合所述行为约束条件的数据进行剔除。
54.可选地，所述优化模块，还用于：
55.获取所述智能机器人当前正在执行的业务逻辑；
56.基于所述业务逻辑，调整所述多模态反应行为数据。
57.第四方面，本发明实施例提供一种智能机器人控制装置，所述装置应用于智能机器人，所述智能机器人包括不同类型的传感器、以及作为所述智能机器人的全部或者部分外壳体的柔性屏，所述装置包括：
58.采集模块，用于通过所述不同类型的传感器采集传感数据，以及通过所述柔性屏检测到的用户的触控操作生成触控操作数据；
59.发送模块，用于将所述传感数据以及所述触控操作数据上传至服务器；
60.接收模块，用于接收所述服务器下发的与所述传感数据以及所述触控操作数据对应的多模态反应行为数据，其中，所述多模态反应行为数据至少包括动作数据、语音输出数据、显示数据中的任一项，所述显示数据通过所述柔性屏进行显示；
61.输出模块，用于基于所述多模态反应行为数据进行反应输出。
62.可选地，所述传感器包括图像拍摄装置和/或语音拾取装置，所述传感数据包括通
过所述图像拍摄装置拍摄得到的图像数据和/或通过所述语音拾取装置拾取的语音接收数据；
63.所述装置还包括预处理模块，所述预处理模块，用于：
64.对所述图像数据进行语义提取；和/或，
65.将所述语音接收数据转换为文本数据。
66.可选地，所述显示数据包括二维显示数据或者三维显示数据。
67.可选地，所述智能机器人包括一整块所述柔性屏或者多块所述柔性屏。
68.可选地，当所述智能机器人包括多块所述柔性屏时，所述输出模块，用于：
69.基于各柔性屏当前所处的位置，确定所述各柔性屏分别对应的所述显示数据中的子显示数据；
70.控制所述各柔性屏显示各自对应的子显示数据。
71.可选地，所述装置还包括划分模块，所述划分模块，用于：
72.检测所述用户通过所述柔性屏在主显示区域中划分子显示区域的划分操作；
73.响应于所述划分操作，在所述主显示区域中划分出所述子显示区域，并通过所述主显示区域以及所述子显示区域分别显示不同的显示数据。
74.第五方面，本发明实施例提供一种服务器，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第一方面中的智能机器人控制方法。
75.第六方面，本发明实施例提供一种智能机器人，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第二方面中的智能机器人控制方法。
76.第七方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被服务器的处理器执行时，使所述处理器至少可以实现第一方面中的智能机器人控制方法。
77.第八方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被智能机器人的处理器执行时，使所述处理器至少可以实现第二方面中的智能机器人控制方法。
78.采用本发明，可以获取由不同传感器采集的传感数据，以及可以通过柔性屏检测用户的触控操作并生成触控操作数据。将传感数据以及触控操作数据作为多模态输入数据，可以丰富与智能机器人交互的交互方式，并不限制于单一的交互方式，提高了交互的灵活性、多样性。通过对多模态输入数据的处理，可以相应输出多模态反应行为数据，智能机器人可以基于多模态反应行为数据输出多模态的反应行为，例如，智能机器人可以通过柔性屏显示多模态反应行为数据中的显示数据。采用这样的方式，可以丰富智能机器人的对外输出的表现形式，提高了智能机器人反应的灵活性。
附图说明
79.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的
附图。
80.图1为本发明实施例提供的一种智能机器人控制方法的流程示意图；
81.图2为本发明实施例提供的一种智能机器人显示示意图；
82.图3为本发明实施例提供的另一种智能机器人显示示意图；
83.图4为本发明实施例提供的另一种智能机器人显示示意图；
84.图5为本发明实施例提供的一种智能机器人控制方法的流程示意图；
85.图6为本发明实施例提供的一种智能机器人控制装置的结构示意图；
86.图7为本发明实施例提供的一种智能机器人控制装置的结构示意图；
87.图8为本发明实施例提供的一种服务器的结构示意图；
88.图9为本发明实施例提供的一种智能机器人的结构示意图。
具体实施方式
89.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
90.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
91.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
92.另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
93.本发明实施例提供一种智能机器人控制方法，该方法可以应用于智能机器人。在具体介绍方法流程之前，先简单介绍智能机器人的结构，以便于结合智能机器人的结构理解本发明实施例提供的方法流程。
94.智能机器人中可以设置有不同类型的传感器，不同类型的传感器分别用于采集不同类型的传感数据。其中，传感器可以包括但不限于环境传感器、视觉传感器、语音传感器、力觉传感器等。其中，环境传感器例如可以包括温度传感器、湿度传感器、碰撞传感器、跌落传感器、惯导传感器等。视觉传感器例如可以包括至少一组深度视觉传感器、单线或多线激光雷达、红外、超声等。语音传感器例如可以包括接收语音数据的麦克风或麦克风阵列等。力觉传感器例如可以包括智能机器人各个关节上的力矩传感器等。通过这些传感器，智能机器人可以感知周围的环境。
95.智能机器人的外壳体可以设置为柔性屏，柔性屏可以作为智能机器人的全部或者部分外壳体。基于此，柔性屏是可以全部或者部分包围住智能机器人的内部器件的。
96.可以理解的是，可以将柔性屏弯曲，这样柔性屏可以形成一定的形态以作为智能机器人的外壳体。在某些可选实施例中，仿人型的智能机器人可以由以下部件组成：头部(例如整个面部、后脑、头部的侧面等，其中，面部可以包括眼睛)、脖子关节、双臂(例如大
臂、小臂、肘关节等)、仿人形手(例如2-5指、每指中的2-3关节)、多自由度腰部、单腿、双腿、膝关节、双脚、各种形状的轮式底盘等。上述列举的智能机器人的部件的外壳体都可以设置为柔性屏，可以从其中选择部分部件将其外壳体设置为柔性屏，也可以将全部部件的外壳体设置为柔性屏。
97.出于方便维护等方面因素的考虑，智能机器人的一些传感器会设置在容易暴露给外部的位置，且通过盖体将传感器遮盖在智能机器人内部。其中，盖体可以设置在与壳体相对齐的位置上，或者设置在壳体凹陷进去的空间。这样在打开盖体之后，传感器可以暴露在外。在某些可选实施例中，由于柔性屏代替了原有的壳体，为了让柔性屏能够尽可能完整地铺盖在智能机器人的外表面，因此可以设置将柔性屏覆盖住原本靠外部安装的传感器。这样就可以避免对柔性屏的某小部分区域进行挖空处理，进行可以保持柔性屏的完整性。其中，原本靠外部安装的传感器可以包括麦克风(阵列)、各种视觉相机、避障相机、激光雷达、环境传感器、惯性导航、力矩传感器、碰撞传感器、跌落传感器等。
98.设置在智能机器人中的柔性屏可以作为输入部件也可以作为输出部件。当其作为输入部件时，柔性屏可以检测用户的触控操作。当其作为输出部件时，柔性屏可以显示显示数据。值得注意的是，柔性屏可以代替触觉传感器检测用户的触控操作。相比于触觉传感器，如果需要智能机器人能从自身多方位感知用户的触碰，则需要在多方位分别设置较多的触觉传感器。而往往是由于空间的限制、成本的限制等，智能机器人身上不会安装较多的触觉传感器，这就导致用户只能触碰智能机器人的某些结构部位，如果用户触碰了智能机器人未设置有触觉传感器的结构部位，智能机器人是无法感知用户的触碰的。采用本发明，可以在智能机器人表面大面积铺设柔性屏，通过柔性屏代替原有的触觉传感器，柔性屏作为可以检测用户的触控操作的部件，能够很好的解决智能机器人全身的触觉传感器的问题。只要用户触碰智能机器人设置有柔性屏的结构部位，智能机器人都能感知这种触碰。
99.同时，柔性屏能够接收的用户的触控操作更加灵活，不像触觉传感器那样只能接收比较单一的触控操作。柔性屏能够检测的触控操作可以包括单点触控、多点触控、单点滑动一定距离的触控、多点滑动一定距离的触控等。
100.图1为本发明实施例提供的一种智能机器人控制方法的流程图，如图1所示，该方法包括如下步骤：
101.101、通过不同类型的传感器采集传感数据，以及通过柔性屏检测到的用户的触控操作生成触控操作数据。
102.102、将传感数据以及触控操作数据上传至服务器。
103.103、接收服务器下发的与传感数据以及触控操作数据对应的多模态反应行为数据，其中，多模态反应行为数据至少包括动作数据、语音输出数据、显示数据中的任一项，显示数据通过柔性屏进行显示。
104.104、基于多模态反应行为数据进行反应输出。
105.实际应用中，可以通过不同类型的传感器采集不同类型的传感数据。比如说，当传感器为语音拾取装置(麦克风等)时，可以采集语音接收数据。当传感器为图像拍摄装置(至少一组深度视觉传感器等)时，可以拍摄图像数据。同时，还可以通过柔性屏检测用户的触控操作，基于触控操作生成触控操作数据。然后，可以将传感数据以及触控操作数据作为多模态输入数据。可以理解的是，这里的“多模态”可以解释为不同维度、不同类型。
106.需要说明的是，实际应用中并不是所有传感器都能同时采集到相应的传感数据，如果某个传感器没有采集到有效的传感数据，则可以不将该传感器能够采集的传感数据作为多模态输入数据。比如说，某个用户没有对智能机器人说话而仅仅是对智能机器人招了招手，那么智能机器人中的语音拾取装置就可能采集不到有效的语音接收数据，此时语音接收数据就不作为多模态输入数据中的一种。概括来说，多模态输入数据都包含哪些维度的数据是由实际应用场景中的具体使用情况决定的。
107.智能机器人通过自身安装的传感器以及柔性屏采集到传感数据、触控操作数据之后，可以将这些数据上传到服务器，由服务器进行处理。在实际应用场景中，假设某个用户通过自身的行为向智能机器人输入了多模态输入数据，那么智能机器人需要基于该用户的行为做出相应的反应。具体智能机器人需要做出什么样的反应是基于对用户的行为的分析结果得出的，这个分析逻辑可以设置在服务器中，由服务器给出智能机器人应该向用户输出的反应，该智能机器人应该向用户输出的反应可以由多模态行为反应数据表示。有关服务器如何基于多模态输入数据输出多模态行为反应数据的过程会在下一个实施例中详细介绍，在此暂不展开进行描述。
108.智能机器人可以接收服务器下发的多模态行为反应数据，并基于多模态反应行为数据进行反应输出。其中，多模态行为反应数据可以由动作数据、语音输出数据、显示数据中的一项或多项构成。基于此，智能机器人能够输出的反应可以是多样化的，并不限于单一维度的反应结果。基于此，采用本发明丰富了智能机器人反应输出的形式，提高了智能机器人反应输出的多样化。其中，显示数据可以通过柔性屏进行显示。
109.举例来说，假设在用户与智能机器人的对话过程中，智能机器人想要向用户表达它的内心的心情非常澎湃。此时，智能机器人可以通过语音播报的方式播报语音输出数据“我内心的心情非常澎湃呀”，同步地，智能机器人还可以在柔性屏中播放显示数据中的大海海浪翻滚的视频，以向用户生动地传达智能机器人想要表达的内容。
110.可选地，显示数据可以包括二维显示数据或者三维显示数据。如果通过柔性屏显示三维显示数据，则用户从智能机器人的各个角度都能看到立体的图像画面。
111.在某些可选实施例中，可以控制智能机器人同步或者异步地播报语音以及显示显示数据，其中，播报的语音输出数据与显示数据的具体内容可以相关也可以不相关。
112.在某些可选实施例中，也可以控制智能机器人有时间序列化地在做一些动作的同时，通过柔性屏显示显示数据。也可以认为智能机器人执行的动作与显示的显示数据是同步的。或者，也可以控制智能机器人有时间序列化地在做一些动作以及播报语音输出数据的同时，通过柔性屏显示显示数据。显示数据可与播报的语音输出数据、执行的动作数据相关或者不相关。
113.智能机器人在采集到传感数据后，可以直接将传感数据上传至服务器由服务器进行处理，也可以在本地初步对传感数据进行预处理，再将经过预处理的传感数据上传至服务器。因此，预处理的过程也可以在服务器中完成。可选地，智能机器人中设置的传感器可以包括图像拍摄装置和/或语音拾取装置，传感数据包括通过图像拍摄装置拍摄得到的图像数据和/或通过语音拾取装置拾取的语音接收数据。相应地，在通过不同类型的传感器采集传感数据之后，智能机器人还可以对图像数据进行语义提取；和/或，将语音接收数据转换为文本数据。
114.需要说明的是，由于在服务器中也可以执行预处理的过程，因此会在后面在服务器执行的方法流程中介绍预处理的过程，在此不再过多展开。
115.可选地，智能机器人中设置的柔性屏可以是一整块柔性屏，也可以是多块拼接的柔性屏。比如说，可以将智能机器人胸部较大的区域面积设置为一整块柔性屏。或者，可以将智能机器人的各个部件分别设置为一块柔性屏，例如可以将左右手臂、胸部、双腿分别设置为柔性屏，它们可以拼接在一起进行使用。当然，当智能机器人设置有多快柔性屏时，这些柔性屏可以拼接在一起作为整体进行使用，也可以单独进行使用。不同的柔性屏显示的图像画面可以相同也可以不同，也可以设置多个柔性屏中的某些柔性屏不显示任何图像画面。另外，还需要说明的是，对于一块柔性屏来说，其中显示的图像画面可以进行拉伸，拉伸的操作方式包括但不限于单向、双向、多向拉伸。
116.当多个柔性屏拼接在一起进行显示时，可选地，当智能机器人包括多块柔性屏时，基于多模态反应行为数据进行反应输出的过程可以实现为：基于各柔性屏当前所处的位置，确定各柔性屏分别对应的显示数据中的子显示数据；控制各柔性屏显示各自对应的子显示数据。
117.以图2所示示例来介绍多个柔性屏拼接在一起进行显示的过程，如图2所示，智能机器人的左右手臂、胸部、双腿分别设置为柔性屏，当智能机器人双臂下垂、竖直站立时，左右手臂、胸部、双腿对应的位置上分别设置的柔性屏可以拼接为多边形a。可以确定多边形a的外接矩形a’或者包围框，需要显示的显示数据就充满于该外接矩形a’。由于外接矩形a’中有些区域是覆盖有柔性屏的，而有些区域是未覆盖柔性屏的，对于覆盖有柔性屏的区域正常显示显示数据中对应的子显示数据，对于未覆盖有柔性屏的区域则可以不显示显示数据中对应的子显示数据。智能机器人的左右手臂、胸部、双腿对应的位置上设置的柔性屏可以各自显示显示数据中对应的子显示数据。
118.由于智能机器人在显示的同时还可能会做一些动作，当智能机器人做动作时，不同柔性屏所处的位置会随着设置的部件发生移位。当柔性屏发生移位后，可以重复执行上面的操作，以重新基于各柔性屏所处的位置，确定各柔性屏分别对应的显示数据中的子显示数据，并控制各柔性屏显示各自对应的子显示数据。
119.举例来说，如图3所示，智能机器人由双臂下垂、竖直站立的状态变换为向两侧水平打开双臂的状态，这样左右手臂、胸部、双腿对应的位置上分别设置的柔性屏就构成了一个“t”字。此时，左右手臂、胸部、双腿对应的位置上分别设置的柔性屏可以拼接为多边形b。可以确定多边形b的外接矩形b’或者包围框，需要显示的显示数据就充满于该外接矩形b’。由于外接矩形b’的面积小于外接矩形a’，为了让显示数据仍然能够充满外接矩形b’，就需要对外接矩形a’中的显示数据进行拉伸操作，以使得拉伸后的显示数据能够充满外接矩形b’。
120.由于外接矩形b’中有些区域是覆盖有柔性屏的，而有些区域是未覆盖柔性屏的，对于覆盖有柔性屏的区域正常显示显示数据中对应的子显示数据，对于未覆盖有柔性屏的区域则可以不显示显示数据中对应的子显示数据。
121.可以看出在智能机器人在此种状态下，外接矩形b’中存在较大的区域是未被柔性屏覆盖的，相应地显示数据中的一些信息无法被显示。如果未被显示的信息较多且较为重要，则可以控制智能机器人适当地运动，以让柔性屏可以分时覆盖外接矩形b’中的大部分
或者全部区域，以将更多的信息显示出来。比如说，如图4所示，可以让智能机器人的双臂进行上下移动，这样双臂扫过的区域可以围成扇形。当双臂扫过某个位置时，就可以显示该位置对应的子显示数据，这样就可以达到分时显示的效果。而当智能机器人的双臂移动的足够快时，人眼难以分辨双臂所在位置，此时从视觉效果上来说，用户同时能看到扇形区域中的所有内容，以此实现了动态显示的效果。
122.本发明实施例中提供的柔性屏还可以支持“画中画”的显示效果。可选地，检测用户通过柔性屏在主显示区域中划分子显示区域的划分操作；响应于划分操作，在主显示区域中划分出子显示区域，并通过主显示区域以及子显示区域分别显示不同的显示数据。
123.实际应用中，可以将柔性屏划分为主显示区域以及子显示区域，以实现“画中画”。子显示区域的位置、大小、形状等可以由用户通过触控操作指定，其中，设置子显示区域的触控操作可以包括但不限于多点、多线、画不规则图形。其中，多点的操作方式可以理解为通过在柔性屏中触碰多个点，通过多个点的位置唯一确定一个多边形。比如说，用户可以在柔性屏中触碰两个点，该两个点可以作为一个长方形的对角线上的两个点，因此可以基于该两个点唯一确定一个长方形。多线的操作方式可以理解为通过在柔性屏中画出多条线，该多条线可以围成一个多边形。画不规则的图形可以理解为用户可以自由的画出任意形状的封闭的区域。
124.另外，还需要说明的是，可以在单块柔性屏中设置“画中画”，也可以在多块柔性屏拼接后的整体设置“画中画”。
125.本发明另一实施例提供了一种智能机器人控制方法，该方法可以应用于服务器。图5为本发明实施例提供的一种智能机器人控制方法的流程图，如图5所示，该方法包括如下步骤：
126.501、接收智能机器人上传的传感数据以及触控操作数据，其中，传感数据为智能机器人中设置的不同类型的传感器采集的，触控操作数据为通过智能机器人中设置的柔性屏检测用户的触控操作生成的，柔性屏形成智能机器人的全部或者部分外壳体。
127.502、基于传感数据以及触控操作数据，确定智能机器人对应的多模态反应行为数据，其中，多模态反应行为数据至少包括动作数据、语音输出数据、显示数据中的任一项，显示数据通过柔性屏进行显示。
128.503、将多模态反应行为数据下发至智能机器人，以使得智能机器人基于多模态反应行为数据进行反应输出。
129.智能机器人可以通过不同类型的传感器采集传感数据，同时通过柔性屏检测用户的触控操作以生成触控操作数据。智能机器人可以将传感数据以及触控操作数据上传到服务器，服务器可以接收到这些数据。智能机器人采集传感数据以及获取触控操作数据的具体过程已在上一个实施例中详细进行介绍，在此不再赘述。
130.服务器基于智能机器人上传的传感数据以及触控操作数据，可以相应地输出多模态反应行为数据。可选地，确定多模态反应行为数据的过程可以实现为：获取预处理后的传感数据；将预处理后的传感数据以及触控操作数据输入到预先训练的神经网络模型，得到智能机器人对应的多模态反应行为数据。
131.其中，可以在智能机器人中对传感数据进行预处理，或者也可以在服务器本地对传感数据进行预处理，对此本发明实施例不做限定。
132.可选地，传感数据可以包括通过图像拍摄装置拍摄得到的图像数据和/或通过语音拾取装置拾取的语音接收数据。相应地，对传感数据进行预处理的过程可以实现为：对图像数据进行语义提取；和/或，将语音接收数据转换为文本数据。
133.其中，图像数据中包含的信息较多，有些信息对理解智能机器人周围的环境是有帮助的，有些信息则干扰理解智能机器人周围的环境的过程。基于此，可以对图像数据进行语义提取，将图像数据中关注的、重要的信息提取出来。且在另一方面，对于神经网络模型来说，它更能有效地利用图像数据的语义提取结果。如果将原始的图像数据直接输入到神经网络模型中，神经网络模型可能并不能够高效地提取到图像数据的有用特征。与图像数据类似的，对于神经网络模型来说，它更能有效地利用基于语音接收数据转换的文本数据。基于此，可以在将图像数据以及语音接收数据输入到神经网络模型之前，先对这些数据进行预处理，以让神经网络模型能够更高效地利用输入的信息。
134.在对传感数据进行预处理后，可以认为能够得到高维向量组成的序列。然后可以将该高维向量组成的序列输入到神经网络模型中，神经网络模型可以输出智能机器人对环境做出反应需要的多模态反应行为数据。
135.其中，神经网络模型可以采用以下原理方法构建：简单操作融合办法、基于注意力机制的融合办法、基于双线性池化的融合办法等。
136.神经网络模型输出的可以是显示数据的标识。在服务器中还可以设置有多媒体资源库，可以基于显示数据的标识在多媒体资源库中查找相应的显示数据，将显示数据下发给智能机器人。多媒体资源库中可以存储有语音、文本、图像、音视频等不同类型的数据。
137.比如说，想要让智能机器人表达内心的心情澎湃的场景，可以通过在柔性屏中播放大海海浪翻滚的视频来实现。首先神经网络模型可以输出大海海浪翻滚的视频的标识，然后基于该标识可以从多媒体资源库中查找出大海海浪翻滚的视频，将大海海浪翻滚的视频下发给智能机器人。
138.可选地，为了使得智能机器人能够更好地对环境做出合适的反应，在得到智能机器人对应的多模态反应行为数据之后，还可以基于预设规则，确定与预处理后的传感数据以及触控操作数据对应的参考反应行为数据以及行为约束条件；比较参考反应行为数据以及多模态反应行为数据，根据比较结果对多模态反应行为数据进行补充；将多模态反应行为数据中不符合行为约束条件的数据进行剔除。
139.实际应用中，可以基于知识库、设定的规则等，确定与预处理后的传感数据以及触控操作数据对应的参考反应行为数据以及行为约束条件。其中，参考反应行为数据可以作为多模态反应行为数据的补充，行为约束条件可以作为行为的约束。
140.比如说，智能机器人在看到某个儿童之后，可以对他打招呼。一般来说，如果智能机器人面对的是一个成年人，则正常的对他打招呼即可。而如果此时面对的是一个儿童，则在打招呼之前可以先执行弯腰的动作，这样可以尽可能地与儿童的视线保持同一水平，这样显得更为亲和。其中，弯腰的动作即为参考反应行为数据中作为多模态反应行为数据的补充数据。
141.再比如说，在智能机器人打招呼过后，如果面对的是一个成年人，它接下来要执行的业务逻辑可能是向该成年人推荐业务产品，比如某个理财产品。但是如果智能机器人面对的是一个儿童，则它接下来可能就不能执行上述业务逻辑，它可能转而执行其他的逻辑，
比如询问小朋友想要看什么动画片吗。其中，不向儿童推荐业务产品即为对多模态反应行为数据的约束。
142.可选地，为了更进一步使得智能机器人能够更好地对环境做出合适的反应，在得到智能机器人对应的多模态反应行为数据之后，还可以获取智能机器人当前正在执行的业务逻辑；基于业务逻辑，调整多模态反应行为数据。
143.举例来说，假设智能机器人当前正在执行给用户a倒咖啡的业务逻辑，且该业务逻辑的优先级较高。在执行业务逻辑的过程中，假设智能机器人在去往操作倒咖啡的工作台的途中又遇到了用户b。此时智能机器人可以短暂地暂停给用户a倒咖啡的任务，智能机器人可以先向用户b打招呼，然后再继续执行给用户a倒咖啡的任务。而如果智能机器人当前没有主要执行的业务逻辑，例如当前没有执行给用户a倒咖啡的任务，在智能机器人遇到用户b时，除了可以向用户b打招呼以外，还可以询问用户b是否需要哪些帮助等。由此可见，智能机器人当前正在执行的业务逻辑也可以影响到最终的反应行为。
144.除了可以根据业务逻辑来调整多模态反应行为数据以外，还可以根据后台人员给出的控制指令来调整多模态反应行为数据。值得注意的是，知识库、设定的规则、业务逻辑、后台人员给出的控制指令这几者之间可以形成嵌套的控制逻辑，来最终调整多模态反应行为数据。
145.采用本发明，可以获取由不同传感器采集的传感数据，以及可以通过柔性屏检测用户的触控操作并生成触控操作数据。将传感数据以及触控操作数据作为多模态输入数据，可以丰富与智能机器人交互的交互方式，并不限制于单一的交互方式，提高了交互的灵活性、多样性。通过对多模态输入数据的处理，可以相应输出多模态反应行为数据，智能机器人可以基于多模态反应行为数据输出多模态的反应行为，例如，智能机器人可以通过柔性屏显示多模态反应行为数据中的显示数据。采用这样的方式，可以丰富智能机器人的对外输出的表现形式，提高了智能机器人反应的灵活性。
146.以下将详细描述本发明的一个或多个实施例的智能机器人控制装置。本领域技术人员可以理解，这些智能机器人控制装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
147.图6为本发明实施例提供的一种智能机器人控制装置的结构示意图，所述装置应用于服务器，如图6所示，该装置包括：
148.接收模块61，用于接收智能机器人上传的传感数据以及触控操作数据，其中，所述传感数据为所述智能机器人中设置的不同类型的传感器采集的，所述触控操作数据为通过所述智能机器人中设置的柔性屏检测用户的触控操作生成的，所述柔性屏形成所述智能机器人的全部或者部分外壳体；
149.确定模块62，用于基于所述传感数据以及所述触控操作数据，确定所述智能机器人对应的多模态反应行为数据，其中，所述多模态反应行为数据至少包括动作数据、语音输出数据、显示数据中的任一项，所述显示数据通过所述柔性屏进行显示；
150.发送模块63，用于将所述多模态反应行为数据下发至所述智能机器人，以使得所述智能机器人基于所述多模态反应行为数据进行反应输出。
151.可选地，所述确定模块62，用于：
152.对所述传感数据进行预处理；
153.将预处理后的传感数据以及所述触控操作数据输入到预先训练的神经网络模型，得到所述智能机器人对应的多模态反应行为数据。
154.可选地，所述传感数据包括通过图像拍摄装置拍摄得到的图像数据和/或通过语音拾取装置拾取的语音接收数据；
155.所述确定模块62，用于：
156.对所述图像数据进行语义提取；和/或，
157.将所述语音接收数据转换为文本数据。
158.可选地，所述装置还包括优化模块，所述优化模块，用于：
159.基于预设规则，确定与所述预处理后的传感数据以及所述触控操作数据对应的参考反应行为数据以及行为约束条件；
160.比较所述参考反应行为数据以及所述多模态反应行为数据，根据比较结果对所述多模态反应行为数据进行补充；
161.将所述多模态反应行为数据中不符合所述行为约束条件的数据进行剔除。
162.可选地，所述优化模块，还用于：
163.获取所述智能机器人当前正在执行的业务逻辑；
164.基于所述业务逻辑，调整所述多模态反应行为数据。
165.图7为本发明实施例提供的一种智能机器人控制装置的结构示意图，所述装置应用于智能机器人，所述智能机器人包括不同类型的传感器、以及作为所述智能机器人的全部或者部分外壳体的柔性屏。如图7所示，该装置包括：
166.采集模块71，用于通过所述不同类型的传感器采集传感数据，以及通过所述柔性屏检测到的用户的触控操作生成触控操作数据；
167.发送模块72，用于将所述传感数据以及所述触控操作数据上传至服务器；
168.接收模块73，用于接收所述服务器下发的与所述传感数据以及所述触控操作数据对应的多模态反应行为数据，其中，所述多模态反应行为数据至少包括动作数据、语音输出数据、显示数据中的任一项，所述显示数据通过所述柔性屏进行显示；
169.输出模块74，用于基于所述多模态反应行为数据进行反应输出。
170.可选地，所述传感器包括图像拍摄装置和/或语音拾取装置，所述传感数据包括通过所述图像拍摄装置拍摄得到的图像数据和/或通过所述语音拾取装置拾取的语音接收数据；
171.所述装置还包括预处理模块，所述预处理模块，用于：
172.对所述图像数据进行语义提取；和/或，
173.将所述语音接收数据转换为文本数据。
174.可选地，所述显示数据包括二维显示数据或者三维显示数据。
175.可选地，所述智能机器人包括一整块所述柔性屏或者多块所述柔性屏。
176.可选地，当所述智能机器人包括多块所述柔性屏时，所述输出模块74，用于：
177.基于各柔性屏当前所处的位置，确定所述各柔性屏分别对应的所述显示数据中的子显示数据；
178.控制所述各柔性屏显示各自对应的子显示数据。
179.可选地，所述装置还包括划分模块，所述划分模块，用于：
180.检测所述用户通过所述柔性屏在主显示区域中划分子显示区域的划分操作；
181.响应于所述划分操作，在所述主显示区域中划分出所述子显示区域，并通过所述主显示区域以及所述子显示区域分别显示不同的显示数据。
182.图6、7所示装置依次可以执行前述图5、图1至图4所示实施例中提供的智能机器人控制方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
183.在一个可能的设计中，上述图6所示智能机器人控制装置的结构可实现为一服务器，如图8所示，该服务器可以包括：处理器91、存储器92。其中，所述存储器92上存储有可执行代码，当所述可执行代码被所述处理器91执行时，使所述处理器91至少可以实现如前述图5所示实施例中提供的智能机器人控制方法。
184.可选地，该服务器中还可以包括通信接口93，用于与其他设备进行通信。
185.在一个可能的设计中，上述图7所示智能机器人控制装置的结构可实现为一智能机器人，如图9所示，该智能机器人可以包括：处理器91’、存储器92’。其中，所述存储器92’上存储有可执行代码，当所述可执行代码被所述处理器91’执行时，使所述处理器91’至少可以实现如前述图1至图4所示实施例中提供的智能机器人控制方法。
186.可选地，该智能机器人中还可以包括通信接口93’，用于与其他设备进行通信。
187.另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被智能机器人的处理器执行时，使所述处理器至少可以实现如前述图1至图4所示实施例中提供的智能机器人控制方法。
188.本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被服务器的处理器执行时，使所述处理器至少可以实现如前述图5所示实施例中提供的智能机器人控制方法。
189.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
190.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
191.本发明实施例提供的智能机器人控制方法可以由某种程序/软件来执行，该程序/软件可以由网络侧提供，前述实施例中提及的服务器可以将该程序/软件下载到本地的非易失性存储介质中，并在其需要执行前述智能机器人控制方法时，通过cpu将该程序/软件读取到内存中，进而由cpu执行该程序/软件以实现前述实施例中所提供的智能机器人控制方法，执行过程可以参见前述图1至图4中的示意。
192.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。