电子设备及其控制方法与流程

1.本公开涉及机器人真空吸尘器及其控制方法。更具体地，本公开涉及一种用于设置机器人真空吸尘器的行进路径的机器人真空吸尘器及其驱动方法。


背景技术：

2.机器人真空吸尘器可以是在无需用户操作的情况下通过在自行驱动待清洁区域时吸入异物来自动清洁待清洁区域的设备。
3.机器人真空吸尘器配备有各种传感器，以准确且有效地检测在驱动方向上分散的障碍物。设置在机器人真空吸尘器中的传感器检测障碍物的位置和距离，并且机器人真空吸尘器使用感测的结果确定移动方向。
4.仅对识别家中各种类型的障碍物的方法进行了研究，并且对识别障碍物并使用其来设置机器人真空吸尘器的行进路径的特定方法的研究是不够的。
5.特别地，需要识别障碍物并考虑障碍物的形状来设定机器人真空吸尘器的优化行进路径。
6.上述信息仅作为背景信息呈现，以帮助理解本公开。关于上述内容中的任何内容是否可作为关于本公开的现有技术适用，没有做出确定，也没有做出断言。


技术实现要素：

7.技术问题
8.本公开的各方面在于至少解决上述问题和/或缺点，并且至少提供下面描述的优点。因此，本公开的一个方面在于提供一种识别障碍物并设置机器人真空吸尘器的行进路径的机器人真空吸尘器及其控制方法。
9.技术方案
10.另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可通过实践所呈现的实施例来学习。
11.根据本公开的一个方面，提供了一种机器人真空吸尘器。机器人真空吸尘器包括：相机；存储器，被配置为存储被训练为从输入图像识别图像的人工智能模型和与多个物体中的每一个物体相应的形状信息；以及处理器，被配置为通过连接到所述相机和所述存储器来控制所述电子设备，其中，所述处理器被配置为将由相机获得的图像输入到人工智能模型以识别包括在所述图像中的物体，获得存储在所述存储器中的多个形状信息中的与识别的物体相应的形状信息，以及基于与物体相关的形状信息和尺寸信息来设置所述机器人真空吸尘器的行进路径。
12.所述存储器可被配置为还存储每个形状信息的尺寸信息，其中，所述处理器被配置为基于所述图像获得与形状信息相应的尺寸信息，或者基于存储在所述存储器中的尺寸信息获得与形状信息相应的尺寸信息。
13.所述处理器可被配置为基于所述物体的形状信息识别与所述物体相应的平面形
状，并且基于所述物体的平面形状设置用于避开所述物体的行进路径。
14.所述机器人真空吸尘器还可包括障碍物检测传感器，其中，所述处理器被配置为：基于未能获得与所述物体相应的平面图，基于所述障碍物检测传感器的感测数据来设置用于避开所述物体的行进路径。
15.所述存储器可被配置为还针对多个物体中的每一个物体存储关于是否存在要避开的物体的信息，其中，所述处理器被配置为：基于根据关于是否存在要避开的物体的信息将所述物体识别为不避开的物体，将行进路径设置为攀爬物体。
16.所述处理器可被配置为在攀爬物体时停止所述机器人真空吸尘器的抽吸操作。
17.所述存储器可被配置为还存储每个物体与第一区域相应的第一权重值信息和每个物体与第二区域相应的第二权重值信息，其中，所述处理器被配置为：基于从由所述相机获得的图像中识别出多个物体，将第一权重值信息应用于多个物体中的每个物体以获得第一区域预测信息，将第二权重值信息应用于所述多个物体中的每个物体以获得第二区域预测信息，以及基于第一区域预测信息和第二区域预测信息将所述机器人真空吸尘器所位于的区域识别为第一区域或第二区域中的任一个。
18.所述机器人真空吸尘器还可包括通信接口，其中，所述处理器被配置为：基于所述机器人真空清洁器所位于的区域被识别为第一区域或第二区域中的任一个，控制所述通信接口将关于识别的区域的识别信息、识别的区域的平面图、多个物体中的与位于识别的区域中的每一个物体相应的平面形状发送到外部服务器。
19.所述处理器可被配置为：基于指示物体被接收的用户命令，在从所述图像识别的物体中识别与用户命令相应的物体，并且基于关于所述机器人真空吸尘器所位于的区域的平面图和关于位于所述区域中的至少一个物体的平面形状驱动所述机器人真空吸尘器，使得所述吸尘器移动到识别的物体的位置。
20.所述处理器可被配置为：获得存储在所述存储器中的形状信息中的与识别的物体相应的形状信息，并且基于与所述物体相关的形状信息和尺寸信息来设置用于清洁所述物体的周围环境的行进路径。
21.根据本公开的另一方面，提供了一种控制机器人真空吸尘器的方法。机器人真空吸尘器包括被训练为从输入图像识别物体的人工智能模型，所述方法包括：将由相机获得的图像输入到人工智能模型以识别包括在所述图像中的物体，获得多个形状信息中的与识别的物体相应的形状信息，以及基于形状信息和与所述物体相关的尺寸信息来设置机器人真空吸尘器的行进路径。
22.机器人真空吸尘器可被配置为还包括每个形状信息的尺寸信息，并且其中获得形状信息的步骤包括基于所述图像获得与形状信息相应的尺寸信息，或者基于存储在所述存储器中的尺寸信息获得与形状信息相应的尺寸信息。
23.设置行进路径的步骤可包括：基于物体的形状信息识别与物体相应的平面形状，以及基于物体的平面形状设置用于避开物体的行进路径。
24.设置行进路径的步骤可包括：基于未能获得与所述物体相应的平面图，基于障碍物检测传感器的感测数据来设置用于避开物体的行进路径。
25.所述机器人真空吸尘器可被配置为还包括针对多个物体中的每一个物体的关于是否存在要避开的物体的信息，其中，设置行进路径的步骤包括：基于根据关于是否存在要
避开的物体的信息识别出不避开物体，将行进路径设置为攀爬物体。
26.所述方法还可包括在攀爬物体时停止所述机器人真空吸尘器的抽吸操作。
27.所述机器人真空吸尘器可被配置为还存储每个物体与第一区域相应的第一权重值信息和每个物体与第二区域相应的第二权重值信息，其中，机器人真空吸尘器还包括：基于从由相机获得的图像中识别出多个物体，将第一权重值信息应用于多个物体中的每个物体以获得第一区域预测信息，将第二权重值信息应用于多个物体中的每个物体以获得第二区域预测信息，以及基于第一区域预测信息和第二区域预测信息将机器人真空吸尘器所位于的区域识别为第一区域或第二区域中的任一个。
28.所述方法还可包括：基于机器人真空吸尘器所位于的区域被识别为第一区域或第二区域中的任一个，将关于识别的区域的识别信息、识别的区域的平面图、多个物体中的与位于识别的区域中的每一个物体相应的平面形状发送到外部服务器。
29.所述方法还可包括：基于指示物体被接收的用户命令，识别从所述图像识别的物体中的与用户命令相应的物体，并且基于关于所述机器人真空吸尘器所位于的区域的平面图和关于位于所述区域中的至少一个物体的平面形状驱动所述机器人真空吸尘器，使得所述机器人真空吸尘器移动到识别的物体的位置。
30.所述方法还可包括：获得存储在所述存储器中的形状信息中的与识别的物体相应的形状信息，以及基于与所述物体相关的形状信息和尺寸信息来设置用于清洁所述物体的周围环境的行进路径。
31.根据以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
32.有益效果
33.本公开的一个方面在于提供一种识别障碍物并设置机器人真空吸尘器的行进路径的机器人真空吸尘器及其控制方法。
附图说明
34.通过以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将更加明显，其中：
35.图1是示出根据本公开的实施例的机器人真空吸尘器的视图；
36.图2是示出根据本公开的实施例的机器人真空吸尘器的配置的框图；
37.图3是示出根据本公开的实施例的机器人的行进路径的视图；
38.图4是示出根据本公开的实施例的与物体相应的形状信息的视图；
39.图5是示出根据本公开的实施例的每个物体的形状信息和关于是否存在要避开的物体的信息的视图；
40.图6是示出根据本公开的另一实施例的机器人真空吸尘器的行进路径的视图；
41.图7是示出根据本公开的另一实施例的机器人真空吸尘器的行进路径的视图；
42.图8是示出根据本公开的实施例的获得机器人真空吸尘器所位于的空间的平面图的方法的视图；
43.图9是示出根据本公开的实施例的获取关于机器人真空吸尘器所位于的空间的信息的方法的视图；
44.图10是示出根据本公开的实施例的机器人真空吸尘器移动到特定物体的位置的视图；
45.图11是根据本公开的实施例的机器人真空吸尘器的详细框图；
46.图12是示出根据本公开的实施例的与外部服务器通信的机器人真空吸尘器的视图；以及
47.图13是示出根据本公开的实施例的控制机器人真空吸尘器的方法的流程图。
48.在整个附图中，相同的附图标记将被理解为指代相同的部件、组件和结构。
具体实施方式
49.提供参照附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但是这些细节仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文描述的各种实施例进行各种改变和修改。此外，为了清楚和简明，可省略对众所周知的功能和结构的描述。
50.在以下描述和权利要求书中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚且一致地理解本公开。对于本领域技术人员显而易见的是，提供本公开的各种实施例的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
51.应当理解，除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”包括复数指示物。因此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。
52.在本公开的实施例中使用的术语“具有”、“可具有”、“包括”和“可包括”指示相应特征(例如，诸如数值、功能、操作或部件的元素)的存在，并且不排除附加特征的存在。
53.在说明书中，术语“a或/和b中的至少一个”应理解为表示“a”或“b”或“a和b”。
54.本文使用的表述“1”、“2”、“第一”或“第二”可修饰各种元件，而不管其顺序和/或重要性如何，并且仅用于将一个元件与另一个元件区分开。因此，不限制相应的元件。
55.当元件(例如，第一元件)与另一元件(例如，第二元件)“可操作地或通信地耦接/“可操作地或通信地耦接到”或“连接到”另一元件(例如，第二元件)时，元件可与另一元件直接耦接或者可通过另一元件(例如，第三元件)耦接。
56.除非上下文另有明确说明，否则单数形式旨在包括复数形式。本说明书的术语“包括”、“包含”、“被配置为”等用于指示存在特征、数字、操作、元件、部件或其组合，并且它们不应排除组合或添加一个或更多个特征、数字、操作、元件、部件或其组合的可能性。
57.在本公开中，“模块”或“单元”执行至少一个功能或操作，并且可通过硬件或软件或硬件和软件的组合来实现。另外，多个“模块”或多个“单元”可集成到至少一个模块中，并且可以是除了应当在特定硬件中实现的“模块”或“单元”之外的至少一个处理器。
58.此外，术语“用户”可指使用电子装置的人或使用电子装置的装置(例如，人工智能(ai)电子装置)。
59.在下文中，将参照附图更详细地描述实施例。
60.图1是示出根据本公开的实施例的机器人真空吸尘器的视图。
61.参照图1，机器人真空吸尘器100是指由电力驱动并自动抽吸异物的设备。在图1
中，假设机器人真空吸尘器100以与地面紧密接触的扁平形状实现，以便吸取地面上的异物，但这仅是实施例，并且机器人真空吸尘器100可以以各种形状和尺寸实现。
62.参照图1，根据本公开的实施例的机器人真空吸尘器100可包括相机110，以检测位于机器人真空吸尘器100附近的物体。例如，机器人真空吸尘器100可通过相机110获得机器人真空吸尘器100的前方图像，并且基于所获得的图像识别位于机器人真空吸尘器100的驱动方向上的物体。物体可指在驱动期间可能干扰机器人真空吸尘器100的驱动或者导致机器人真空吸尘器100的停止、损坏或故障的各种物体或情况。例如，当机器人真空吸尘器100在家中被驱动时，物体可以是各种物体，诸如家具、电器、地毯、衣服、墙壁、楼梯、门槛等。
63.根据本公开的实施例的机器人真空吸尘器100可基于关于识别的物体的信息来设置机器人真空吸尘器100的行进路径或移动路径。关于识别的物体的信息可包括物体的形状(或形式)信息和与物体相关的尺寸信息。
64.根据实施例的机器人真空吸尘器100可基于关于识别的物体的信息来设置在机器人真空吸尘器100的驱动时避开相应物体的行进路径、用于攀爬相应物体(例如，攀爬过物体)的行进路径等。
65.在下文中，将描述机器人真空吸尘器100设置行进路径的本公开的各种实施例。
66.图2是示出根据本公开的实施例的机器人真空吸尘器的配置的框图。
67.参照图2，根据本公开的实施例的机器人真空吸尘器100包括相机110、存储器120和处理器130。
68.相机110是用于获取机器人真空吸尘器100的周围环境的一个或更多个图像的组件。相机110可被实现为红/绿/蓝(rgb)相机、3维(3d)相机等。
69.此外，除了相机110之外，根据本公开的实施例的机器人真空吸尘器100还可包括检测传感器(未示出)，并且机器人真空吸尘器100可基于检测传感器的感测数据来识别物体。例如，检测传感器可实现为超声波传感器、红外传感器等。根据实施例，当检测传感器被实施为超声波传感器时，机器人真空吸尘器100可控制超声波传感器发射超声波脉冲。随后，当从物体反射的反射波被发送到超声脉冲时，机器人真空吸尘器100可通过测量物体和机器人真空吸尘器100之间的经过时间来测量物体和机器人真空吸尘器100之间的距离。另外，超声波传感器可以以各种方式实施，包括超声波接近传感器。红外传感器是检测物体所拥有的红外光信息的装置。机器人真空吸尘器100可基于通过红外传感器获得的红外光信息来识别物体。
70.此外，本公开不限于此，并且检测传感器可用各种类型的传感器来实现。机器人真空吸尘器100可基于检测传感器的感测数据来分析存在或不存在物体、物体的位置、到物体的距离等，并且可基于分析的结果来设置机器人真空吸尘器100的行进路径。例如，当识别出前方存在物体时，机器人真空吸尘器100可向右或向左旋转机器人真空吸尘器100自身，或者向后移动。
71.存储器120可存储各种数据，诸如驱动机器人真空吸尘器100的o/s软件模块和应用。
72.特别地，人工智能模型可存储在存储器120中。具体地，根据本公开的实施例的存储器120可存储被训练为识别输入图像中的物体的人工智能模型。人工智能模型可以是使用包括各种物体的多个样本图像训练的模型。识别物体可被理解为获取关于物体的信息，
诸如物体的名称和类型。在这种情况下，关于物体的信息可以是由识别相应物体的人工智能模型输出的关于识别的物体的信息。
73.根据实施例的人工智能模型是基于人工智能算法基于多个图像训练的确定模型，并且可以是基于神经网络的模型。训练后的确定模型可被设计为在计算机上模拟人脑结构，并且可包括具有模拟人类神经网络的神经元的权重的多个网络节点。所述多个网络节点可分别形成连接关系，以便模拟通过突触发送和接收信号的神经元的突触活动。另外，训练后的判断模型可包括例如机器学习模型、神经网络模型或从神经网络模型开发的深度学习模型。深度学习模型中的多个网络节点可在位于不同深度(或层)处时根据卷积连接关系交换数据。
74.作为示例，人工智能模型可以是基于图像学习的卷积神经网络(cnn)模型。cnn是具有被设计用于语音处理、图像处理等的特殊连接结构的多层神经网络。此外，人工智能模型不限于cnn。例如，人工智能模型可利用递归神经网络(rnn)、长短期记忆网络(lstm)、门控递归单元(gru)或生成对抗网络(gan)中的至少一个深度神经网络(dnn)模型来实现。
75.存储在存储器120中的人工智能模型可通过各种学习算法(诸如机器人真空吸尘器100或单独的服务器/系统)来学习。学习算法是使用多个学习数据训练预定目标装置(例如，机器人)以使预定目标装置能够自行做出决定或预测的方法。学习算法的示例是监督学习、无监督学习、半监督学习或强化学习，并且除了被指定之外，本公开中的学习算法不限于此。
76.另外，根据本公开的实施例，可将与多个物体中的每一个相应的形状信息存储在存储器120中。
77.形状信息可包括相应物体的代表性图像、关于物体与典型物体还是非典型物体相应的信息、以及从物体的多个角度观看的图像。
78.从多个角度观看的图像可包括从物体的前方观看的图像(例如，前视图)、从侧面观看的图像(例如，侧视图)、从物体的上方观看的图像(例如，俯视图)等。然而，这是实施例并且不限于此。物体的代表性图像可指从多个角度观看的多个图像中的任何一个，并且可指通过网络抓取关于物体的图像而获得的多个图像中的任何一个。
79.关于物体与典型物体还是非典型物体相应的信息可表示物体与具有典型形状的物体还是具有物体的形状不变的固定形状(或恒定形状)的物体相应，或者物体与物体的形状不固定的物体相应。例如，杯子、碗等可与具有固定形状的典型物体相应，并且液体、线缆等可与没有固定形状的非典型物体相应。将在图5中另外描述与多个物体中的每一个相应的形状信息的详细描述。
80.处理器130控制机器人真空吸尘器100的整体操作。
81.根据实施例，处理器130可被实现为处理数字图像信号的数字信号处理器(dsp)、微处理器、人工智能(ai)处理器或定时控制器(t-con)。然而，不限于此，并且处理器可包括中央处理单元(cpu)、微控制器单元(mcu)、微处理单元(mpu)、控制器和应用处理器(ap)、通信处理器(cp)或arm处理器中的一个或更多个，或者可以以相应的术语定义。另外，处理器130可在具有内置处理算法的片上系统(soc)、大规模集成(lsi)或现场可编程门阵列(fpga)中实现。
82.根据本公开实施例的处理器130可将通过相机110获得的图像输入到人工智能模
型中，以识别包括在图像中的物体。处理器130可获得与存储在存储器120中的多个物体中的每一个相应的形状信息中的与识别的物体相应的形状信息。处理器130可基于获得的与物体相关的形状信息和尺寸信息来设置机器人真空吸尘器100的行进路径。将参照图3对此进行详细描述。
83.图3是示出根据本公开的实施例的机器人的行进路径的视图。
84.参照图3，根据本公开的实施例的机器人真空吸尘器100可在家中操作。设置在机器人真空吸尘器100中的相机110可通过在机器人真空吸尘器100行进时拍摄前方(或预定方向)来获得图像。处理器130可将获得的图像输入到人工智能模型中以识别包括在图像中的物体，例如，位于机器人真空吸尘器100前方的物体。作为示例，处理器130可使用人工智能模型识别包括在图像中的花盆10-1。处理器130可从多个形状信息中获得与花盆10-1相应的形状信息。
85.与物体相应的形状信息可包括相应物体的代表性图像、关于物体与典型物体还是非典型物体相应的信息。例如，与花盆10-1相应的形状信息可包括花盆10-1的代表性图像，并且花盆10-1可包括形状与典型物体相应的信息。
86.处理器130可基于包括在由相机110获得的图像中的物体图像来识别物体的尺寸信息。例如，处理器130可识别物体的宽度和高度信息。参照图3，处理器130可基于包括在由相机110获得的图像中的花盆10-1的图像来识别花盆10-1的宽度和高度信息。
87.处理器130可基于与识别的物体相应的形状信息和与物体相关的尺寸信息来预测物体的实际形状。例如，如果识别的物体是形状物体，则处理器130可识别与物体相应的平面形状。处理器130可基于物体的平面形状和物体的尺寸信息来预测物体的实际形状和尺寸，并且可基于预测的形状和尺寸来设置机器人真空吸尘器100的行进路径。物体的平面形状可指从物体的多个角度观察的多个图像中的从上方观察的图像(例如，俯视图)。将参照图4对此进行详细描述。
88.图4是示出根据本公开的实施例的与物体相应的形状信息的视图。
89.参照图4，处理器130可基于通过相机110获得的图像来识别物体。例如，处理器130可识别安置在家中的卧室中的床10-2。
90.处理器130可获得与识别的物体相应的形状信息。参照图4，处理器130可从存储在存储器120中的多个形状信息中获得与床10-2相应的形状信息。具体地，处理器130可基于形状信息识别物体，例如，与床10-2相应的平面形状。与床10-2相应的平面形状可指从多个角度观察的多个图像中的从床10-2的上方观察的图像(例如，俯视图)。
91.根据实施例的处理器130可获得与物体相应的尺寸信息。例如，处理器130可基于存储在存储器120中的每个形状信息的尺寸信息来获得与识别的物体相应的尺寸信息。例如，存储器120可存储与床10-2相应的每个形状信息的多个尺寸信息。处理器130可基于由相机110获得的图像来识别床10-2的宽度、高度或长度中的至少一个，并且基于包括在床10-2的形状信息中的多个尺寸信息中的识别的宽度、高度或长度中的至少一个来获得床10-2的尺寸信息。
92.此外，这是实施例，并且处理器130可基于由相机110获得的图像来获得床10-2的尺寸信息，诸如床10-2的宽度、高度和长度。
93.处理器130可基于与物体相应的形状信息来识别平面形状，并且基于物体的识别
的平面形状和尺寸信息来预测实际物体的平面形状。参照图4，处理器130可基于与床10-2相应的形状信息来识别床10-2的平面形状(例如，正方形)，并且基于床10-2的识别的平面形状和尺寸信息来预测(或获得)床10-2的平面形状(或俯视图)以便接近实际床10-2的平面形状(例如，实际床10-2的宽度、高度和长度)。
94.处理器130可基于物体的平面形状来设置用于避开相应物体的行进路径。例如，处理器130可基于床10-2的预测的平面形状来设置用于通过避开床10-2来清洁和驱动空间的行进路径。
95.根据实施例，机器人真空吸尘器100可在不具有用于检测物体的单独传感器的情况下基于通过相机110获得的图像来预测物体的平面形状接近实际平面形状，并且基于预测的平面形状设置最佳行进路径。
96.此外，除了基于关于识别的物体的信息避开相应物体的行进路径之外，根据本公开的实施例的机器人真空吸尘器100还可设置用于攀爬(例如，攀爬过相应物体)相应物体的行进路径。将参照图5对此进行详细描述。
97.图5是示出根据本公开的实施例的每个物体的形状信息和关于是否存在要避开的物体的信息的视图。
98.参照图5，根据本公开的实施例的存储器120可存储每个物体的形状信息和关于是否存在要避开的物体的信息。
99.例如，存储器120可存储关于物体10的类型、每个物体10的代表性图像、每个物体10是否引起污染以及每个物体10是否可能攀爬的信息。图5仅是物体的形状信息的示例，并且物体的形状信息可以以各种形式实现。另外，可从外部服务器接收与多个物体中的每一个物体相应的形状信息并将其存储在存储器120中。
100.参照图5，处理器130可基于由相机110获得的图像来识别物体10，并且获得与识别的物体10相应的形状信息。例如，如果识别的物体10是地毯，则处理器130可获得与地毯相应的形状信息。与地毯相应的形状信息可包括关于地毯的代表性图像的信息、关于地毯与典型物体还是非典型物体相应、地毯是否可能被污染以及机器人是否可攀爬地毯的信息。
101.包括在形状信息中的关于是否可攀爬的信息可包括：当机器人真空吸尘器正在行进时，关于相应物体是否与要避开的物体相应或者相应物体是否与要攀爬的物体(例如，可攀爬过的物体)相应的信息。
102.参照图5，由于与地毯相应的形状信息指示地毯与可攀爬的物体相应，因此如果识别的物体是地毯，则处理器130可设置行进路径以攀爬地毯，而不是避开它。
103.作为另一示例，如果识别的物体是杯子，则与杯子相应的形状信息指示杯子不与要攀爬的物体相应，因此处理器130可将机器人真空吸尘器100的行进路径设置为避开杯子。
104.此外，如果识别的物体与可被物体攀爬的物体相应(或者与将不避开的物体相应)，则根据本公开的实施例的处理器130可在攀爬相应物体时改变机器人真空吸尘器100的清洁模式。
105.例如，机器人真空吸尘器100的一般清洁模式可执行抽吸操作以抽吸地面上的异物和污染物。如果在机器人真空吸尘器100攀爬识别的物体时由于抽吸操作而将物体抽吸到机器人真空吸尘器100中，则可能导致机器人真空吸尘器100的行进停止、损坏或故障。因
此，处理器130可在机器人真空吸尘器100攀爬物体时基于识别的物体来改变机器人真空吸尘器100的清洁模式。例如，处理器130可在攀爬识别的物体时停止机器人真空吸尘器100的抽吸操作。作为另一示例，处理器130可在攀爬物体时降低机器人真空吸尘器100的抽吸功率的程度。
106.图6是示出根据本公开的另一实施例的机器人真空吸尘器的行进路径的视图。
107.参照图6，根据本公开的实施例的机器人真空吸尘器100还可包括障碍物检测传感器。根据实施例，如果未能获得与物体相应的平面形状，则处理器130可基于障碍物检测传感器的感测数据来设置用于避开物体的行进路径。
108.例如，处理器130可将由相机110获得的图像输入到人工智能模型中以识别包括在图像中的物体。处理器130可获得每个物体的多个形状信息中的与识别的物体相应的形状信息。获得的形状信息可包括关于识别的物体与典型物体相应还是与非典型物体相应的信息。
109.根据实施例，如果识别的物体与非典型物体相应，则处理器130可基于障碍物检测传感器的感测数据来设置用于避开物体的行进路径。
110.换句话说，由于非典型物体是指物体的形状不固定的物体，因此如果识别的物体是非典型物体，则处理器130可能无法获得识别的物体的平面形状(即，俯视图)。在这种情况下，处理器130可基于障碍物检测传感器的感测数据来设置用于避开识别的物体的行进路径。
111.参照图6，线缆10-3是非典型物体的示例。当识别出线缆10-3时，除了由相机110获得的图像之外，处理器130还可考虑由障碍物检测传感器获得的感测数据来设置用于避开线缆10-3的行进路径。然而，这不限于此。例如，如果识别的物体被识别为与非典型物体相应，则处理器130可基于图像获得相应物体的宽度、高度或长度中的至少一个以预测最大尺寸。处理器130可基于物体的预测的尺寸来设置行进路径。
112.图7是示出根据本公开的另一实施例的机器人真空吸尘器的行进路径的视图。
113.参照图7，根据本公开实施例的处理器130可基于与识别的物体相应的形状信息来识别相应物体是否与可能引起污染的物体相应。
114.返回参照图5，存储器120可存储关于物体10的类型、每个物体10的代表性图像、每个物体10是否引起污染以及每个物体10是否可攀爬的信息。
115.每个物体10是否引起污染不与相应物体是否是要避开的目标相应，而是可指当机器人真空吸尘器100攀爬相应物体时是否存在污染区域可能延伸的可能性。
116.例如，参照图7，由于泼洒液体10-4不是要避开的物体，因此处理器130可控制机器人真空吸尘器100攀爬并行进泼洒液体10-4。在这种情况下，存在由于泼洒液体10-4引起的污染的范围可能由于位于机器人真空吸尘器100的底部处的驱动器(例如，轮子等)、抽吸单元等而在空间中延伸的问题。作为另一个示例，宠物的排泄物不是要避开的物体，而可能是关注引起污染的物体。
117.当基于物体的形状信息将物体识别为引起污染的物体时，处理器130可设置用于避开物体的行进路径。
118.图8是示出根据本公开的实施例的获得机器人真空吸尘器所位于的空间的平面图的方法的视图。
119.参照图8，机器人真空吸尘器100可在行进地图上的区域时拍摄各种图像，并且将拍摄的图像输入到多个人工智能模型以识别位于该区域内的物体。
120.另外，机器人真空吸尘器100可将空间划分为多个区域。例如，机器人真空吸尘器100可基于由相机110获得的图像来识别地面上存在分界线或门槛的点、可移动宽度变窄的点、存在墙壁的点、墙壁开始的点、墙壁结束的点、存在门的点等。处理器130可通过将识别的点用作区域之间的边界来将空间(例如，家庭)划分为多个区域(例如，起居室、卧室、卫生间、厨房等)。在下文中，为了便于描述，假设区域是指下位概念，而空间是指上位概念，即，区域的集合。
121.此外，根据本公开的实施例的处理器130可使用关于位于区域内的物体的信息，以便获得与多个区域中的每一个区域相应的区域信息。区域信息可指用于识别多个区域中的每个区域的信息。区域信息可由指示多个区域中的每一个的标识名称、标识号等组成。另外，区域信息可包括关于多个区域中的每个区域的使用的信息。例如，可通过区域信息将多个区域定义为起居室、卫生间、卧室等。另外，关于物体的信息可包括物体的名称、类型等。
122.将参照图9描述详细描述。
123.图9是示出根据本公开的实施例的获取关于机器人真空吸尘器所位于的空间的信息的方法的视图。
124.参照图9，根据本公开的实施例的处理器130可基于在区域内识别的物体来获得与相应区域相应的区域信息。区域信息可包括关于区域的目的、区域的名称等的信息。
125.例如，当在第一区域中仅识别出书架时，处理器130可将第一区域识别为书房。作为另一示例，当在第二区域中识别出床和书柜时，处理器130可将第二区域识别为卧室。然而，这些仅是示例。此外，根据另一示例，当在第三区域中仅识别出电视(tv)时，第三区域可以是书房或起居室，因此仅使用如图9所示的表获得区域信息在某种程度上不太可靠或不清楚。
126.因此，根据本公开实施例的处理器130可通过使用每个区域的权重信息来获得与相应区域相应的预测信息。
127.根据实施例的存储器120可存储每个物体与第一区域相应的第一权重信息和每个物体与第二区域相应的第二权重信息。权重信息可被定义为下面的表1。
128.表1
129.[0130][0131]
根据本公开实施例的处理器130可通过对区域中识别的物体使用表1和下面的等式1来获得多个区域中的每个区域的区域预测信息。
[0132]
等式1
[0133][0134]
find_area(j)＝max(area(j))，0≤j＜n
[0135]
作为示例，当在由相机获得的图像中识别出多个物体时，即，当在特定区域内识别出多个物体时，处理器130可将第一权重信息应用于多个物体中的每一个物体，并获得第一空间预测信息。处理器130可将第二权重信息应用于多个物体中的每一个物体，并且获得第二空间预测信息。
[0136]
例如，可假设在特定区域中识别出tv和沙发。在这种情况下，处理器130可基于表1和等式1获得与如下表2所示的多个区域中的每个区域相应的区域预测信息。
[0137]
表2
[0138][0139]
由于tv和沙发相对于其他区域通常位于起居室区域中，因此与起居室相应的第一权重信息可为tv和沙发赋予高权重，并且为洗衣机赋予小权重。
[0140]
处理器130可基于第一区域预测信息和第二区域预测信息将机器人真空吸尘器100所位于的区域识别为第一区域或第二区域。
[0141]
参考表2，当在特定区域中识别出tv和沙发时，处理器130可获得2作为起居室区域
中的区域预测信息，并且获得0.2作为卫生间区域中的区域预测信息。处理器130可将特定区域识别为起居室区域。
[0142]
图10是示出根据本公开的实施例的机器人真空吸尘器移动到特定物体的位置的视图。
[0143]
参照图10，根据本公开的实施例的处理器130可将区域信息分配给包括在空间中的多个区域中的每一个区域。例如，识别出tv和沙发的第一区域可被识别为起居室，并且识别出盆的第二区域可被识别为卫生间。作为另一示例，其中识别出梳妆台和床的第三区域可被识别为卧室。
[0144]
图10所示的区域的平面图和多个物体的平面图可被称为空间的地图信息。根据实施例的机器人真空吸尘器100可将空间的地图信息发送到服务器或者将其发送到外部装置(例如，用户终端装置)以将空间的地图信息提供给用户。
[0145]
此外，根据本公开的实施例的机器人真空吸尘器100可接收用户命令。作为示例，用户命令可以是指示特定物体的命令。用户命令可以是语音命令、文本命令或从远程控制装置或外部装置接收的控制命令。作为另一示例，用户终端装置可显示空间的地图信息，并且机器人真空吸尘器100可通过用户终端装置接收指示特定物体的用户命令。
[0146]
例如，当接收到指示特定物体的用户命令(例如，“清洁tv的周围环境”)时，处理器130可基于空间的地图信息来识别与用户命令相应的物体的位置。例如，处理器130可通过对用户命令执行语音识别来识别包括在“清洁tv的周围环境”中的tv 10-5。处理器130可基于区域的平面图和位于该区域中的至少一个物体的平面形状来获得tv 10-5在空间中的位置信息。处理器130可基于获得的tv 10-5的位置信息将机器人真空吸尘器100移动到tv 10-5。
[0147]
具体地，处理器130可根据用户命令控制机器人真空吸尘器100改变tv 10-5的周围环境。
[0148]
此外，根据本公开的实施例的处理器130可将机器人真空吸尘器100移动到与用户命令相应的物体的位置，并且基于物体的形状信息执行清洁操作。例如，处理器130可基于与用户命令相应的物体的形状信息来设置用于避开相应物体的最佳行进路径，并且基于设置的行进路径(即，通过避开物体)移动机器人真空吸尘器100以清洁相应物体的周围环境而不与相应物体碰撞。
[0149]
例如，处理器130可根据用户命令从多个物体中的每一个物体的形状信息获得与tv 10-5相应的形状信息，并且基于与tv 10-5相应的形状信息获得用于避开tv 10-5的行进路径。处理器130可控制机器人真空吸尘器100避开tv 10-5并有效地清洁tv 10-5的周围环境。
[0150]
图11是根据本公开的实施例的机器人真空吸尘器的详细框图。
[0151]
参照图11，根据本公开的实施例的机器人真空吸尘器100可包括相机110、存储器120、处理器130、显示器140、通信接口150和用户界面160。
[0152]
相机110可被实现为rgb相机、3d相机等。3d相机可被实现为包括飞行时间(tof)传感器和红外光的tof相机。3d相机可包括红外(ir)立体传感器。相机传感器可以是使用电荷耦合器件(ccd)、互补金属氧化物半导体(cmos)等的相机传感器，但不限于此。当相机110包括ccd时，ccd可实现为红/绿/蓝(rgb)ccd、红外(ir)ccd等。
[0153]
存储器120可存储被学习以识别输入图像中的物体的人工智能模型。
[0154]
此外，存储器120可包括rom、ram(例如动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram))等，并且可与处理器130一起实现。
[0155]
通过处理器130和存储器120来操作根据本公开的与人工智能相关的功能。处理器130可由一个或更多个处理器组成。在这种情况下，一个或更多个处理器可以是通用处理器(诸如cpu、ap、数字信号处理器(dsp)等)、或者仅图形处理器(诸如gpu、视觉处理单元(vpu))、或者仅人工智能处理器(诸如npu)。一个或更多个处理器控制以根据存储在存储器120中的预定义操作规则或人工智能模型来处理输入数据。可选地，当一个或更多个处理器是仅人工智能处理器时，仅人工智能处理器可设计有专门用于处理特定人工智能模型的硬件结构。
[0156]
预定义运动规则或人工智能模型的特征在于通过学习生成。通过学习生成意味着通过学习算法使用多个学习数据来学习基本人工智能模型，使得生成被设置为执行期望特性(或目的)的预定义运动规则或人工智能模型。这种学习可在执行根据本公开的人工智能的装置本身中执行，或者可通过单独的服务器和/或系统执行。学习算法的示例包括监督学习、无监督学习、半监督学习或强化学习，但不限于上述示例。
[0157]
人工智能模型可由多个神经网络层组成。所述多个神经网络层中的每一个神经网络层具有多个权重值，并且通过前一层的运算结果与多个权重值之间的运算来执行神经网络运算。可通过人工智能模型的学习结果来优化多个神经网络层的多个权重值。例如，可更新多个权重值以减少或最小化在学习过程期间从人工智能模型获得的损失值或成本值。人工神经网络可包括深度神经网络(dnn)，例如，卷积神经网络(cnn)、深度神经网络(dnn)、递归神经网络(rnn)、受限玻尔兹曼机(rbm)、深度信念网络(dbn)、双向递归深度神经网络(brdnn)或深度q网络等，但不限于此。
[0158]
显示器140可被实现为包括自发光元件的显示器或包括不发光元件和背光的显示器。例如，显示器可被实现为各种类型的显示器，诸如液晶显示器(lcd)、有机发光二极管(oled)显示器、发光二极管(led)、微型led、迷你led、等离子体显示面板(pdp)、量子点(qd)显示器、量子点发光二极管(qled)等。显示器140可包括可以以诸如a-si tft、低温多晶硅(ltps)tft、有机tft(otft)等形式实现的驱动电路、背光单元等。此外，显示器140可被实现为与触摸传感器组合的触摸屏、柔性显示器、可滚动显示器、3d显示器、多个显示模块物理连接的显示器等。处理器130可控制显示器140输出根据上述各种实施例获得的机器人真空吸尘器100的状态信息。状态信息可包括与机器人真空吸尘器100的驱动有关的各种信息，诸如机器人真空吸尘器100的清洁模式、与电池有关的信息、关于是否返回到对接站200的信息等。
[0159]
通信接口150是机器人真空吸尘器100与至少一个外部装置通信以交换信号/数据的组件。为此，通信接口150可包括电路。
[0160]
通信接口150可包括无线通信模块、有线通信模块等。
[0161]
无线通信模块可包括wi-fi通信模块、蓝牙模块、红外数据协会(irda)模块、第三代(3g)移动通信模块、第四代(4g)移动通信模块、4g长期演进(lte)通信模块中的至少一个。
[0162]
有线通信模块可被实现为有线端口，诸如thunderbolt端口、usb端口等。
[0163]
用户接口160可包括一个或更多个按钮、键盘、鼠标等。另外，用户接口160可包括与显示器(未示出)一起实现的触摸面板或单独的触摸板(未示出)。
[0164]
用户接口160可包括麦克风以通过语音接收用户的命令或信息，或者可与相机110一起实现以识别运动形式的用户的命令或信息。
[0165]
图12是示出根据本公开的实施例的与外部服务器通信的机器人真空吸尘器的视图。
[0166]
参照图12，机器人真空吸尘器100可与可以是智能电话的外部装置300-1和300-2以及服务器装置500通信。在这种情况下，机器人真空吸尘器100可通过配置有路由器等的中继装置400与外部装置300-1、300-2和500通信。
[0167]
例如，当机器人真空吸尘器100所位于的区域被识别为第一区域或第二区域时，处理器130可控制通信接口150向外部服务器或外部装置300-1和300-2提供关于识别的区域的识别信息(例如，区域信息)、识别的区域的平面图以及多个物体中的与位于识别的区域中的每一个物体相应的平面形状。
[0168]
另外，机器人真空吸尘器100可根据从外部装置300-1(外部装置300-1可以是智能电话)或外部装置300-2接收的控制信号移动到包括在机器人真空吸尘器100所位于的空间中的多个区域中的任何一个区域，或者移动到所述空间中的多个物体中的任何一个物体。
[0169]
图13是示出根据本公开的实施例的控制机器人真空吸尘器的方法的流程图。
[0170]
参照图13，在操作s1310，控制机器人真空吸尘器的方法首先将由相机获得的图像输入到人工智能模型，并且识别包括在图像中的物体，其中，该机器人真空吸尘器包括被训练为识别输入图像中的物体人工智能模型和与多个物体中的每一个物体相应的形状信息。
[0171]
在操作s1320，从多个形状信息中获得与识别的物体相应的形状信息。
[0172]
在操作s1330，基于与物体相关的形状信息和尺寸信息来设置机器人真空吸尘器的行进路径。
[0173]
机器人真空吸尘器还可包括每个形状信息的尺寸信息。根据实施例，获得形状信息的操作s1320可包括基于图像获得与形状信息相应的尺寸信息，或者基于存储在存储器中的尺寸信息获得与形状信息相应的尺寸信息。
[0174]
设置行进路径的操作s1330包括基于物体的形状信息识别与物体相应的平面形状，并且基于物体的平面形状设置用于避开物体的行进路径。
[0175]
另外，设置行进路径的操作s1330可包括：如果未能获得与物体相应的平面形状，则基于障碍物检测传感器的感测数据来设置用于避开物体的行进路径。
[0176]
另外，机器人真空吸尘器还可包括关于多个物体中是否存在要避开的物体的信息，并且根据实施例的设置行进路径的操作s1330可包括：如果基于关于是否存在要避开的物体的信息识别出物体不是要避开的目标，则将行进路径设置为攀爬物体。
[0177]
根据实施例的控制方法还可包括在攀爬物体时停止机器人真空吸尘器的抽吸操作。
[0178]
另外，机器人真空吸尘器还可存储每个物体与第一区域相应的第一权重信息和每个物体与第二区域相应的第二权重信息，并且根据实施例的控制方法还可包括：通过将第一权重值信息应用于多个物体中的每个物体来获得第一区域预测信息，通过将第二权重信息应用于多个物体中的每个物体来获得第二区域预测信息，以及基于第一区域预测信息和
第二区域预测信息将机器人真空吸尘器所位于的区域识别为第一区域或第二区域。
[0179]
当机器人真空吸尘器所位于的区域被识别为第一区域或第二区域时，根据实施例的控制方法可包括将关于识别的区域的识别信息、识别的区域的平面图以及多个物体中的与位于识别的区域中的每一个物体相应的平面形状发送到外部服务器。
[0180]
另外，当接收到指示物体的用户命令时，根据实施例的控制方法可包括：识别图像中识别的物体中的与用户命令相应的物体，并且基于机器人真空吸尘器所位于的区域的平面图和至少一个物体的平面形状驱动机器人真空吸尘器，使得机器人真空吸尘器移动到识别的物体的位置。
[0181]
根据实施例的控制方法还可包括：获得多个形状信息中的与识别的物体相应的形状信息，以及基于与物体相关的形状信息和尺寸信息来设置用于清洁物体的周围环境的行进路径。
[0182]
然而，本公开的各种实施例不仅可应用于机器人真空吸尘器，而且可应用于所有可移动电子装置。
[0183]
上述各种实施例可实现在可由计算机或与计算机类似的设备通过使用软件、硬件或其组合来读取的记录介质中。在一些情况下，本文描述的实施例可由处理器本身实现。在软件配置中，说明书中描述的各种实施例(诸如过程和功能)可实现为单独的软件模块。软件模块可分别执行说明书中描述的一个或更多个功能和操作。
[0184]
此外，用于执行根据上述本公开的各种实施例的机器人真空吸尘器的处理操作的计算机指令可存储在非暂时性计算机可读介质中。当存储在非暂时性计算机可读介质中的计算机指令由特定装置的处理器执行时，允许特定装置在根据上述各种实施例的机器人真空吸尘器100中执行处理操作。
[0185]
非暂时性计算机可读记录介质是指存储数据并且可由装置读取的介质。例如，非暂时性计算机可读介质可以是cd、dvd、硬盘、蓝光盘、usb、存储卡、rom等。
[0186]
虽然已经参照本公开的各种实施例描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可在其中进行形式和细节上的各种改变。