通过扭曲图像识别对象的电子装置及其控制方法与流程

1.本公开涉及对象识别，更具体地，涉及一种电子装置及其控制方法，其中，根据距离信息来校正经由相机获取的图像中的包括平坦对象的对象区域，并且通过使用经校正对象区域来执行对象识别。


背景技术：

2.执行对象识别的电子装置通常通过将经由相机拍摄的图像输入到人工智能模型中来识别图像中的对象。
3.然而，在相关技术中存在的问题是：根据电子装置中提供的相机拍摄周围对象的角度、相机和周围对象之间的距离等，对象识别率或精确度不是恒定的。
4.特别地，对于在相距相机的较远距离处拍摄的对象，对象识别率或精确度相对较低。此外，当相机的位置相对较低时，例如机器人清洁器中包括的相机，对于放置在地面和平面上的对象，对象识别率或精确度相对较低。
5.为了解决这样的问题，已经使用了诸如使用能够拍摄高分辨率图像的相机，或者将所拍摄的图像划分成多个区域并且针对多个区域中的每一个顺序地识别对象的方法，但是这些方法的缺点在于：计算量增加并且计算速率降低，而对象识别的效果没有显著改善。


技术实现要素：

6.技术问题
7.各种实施例提供了一种电子装置及其控制方法，该电子装置能够以高的对象识别率执行对象识别，而不管经由相机拍摄的对象的视角或拍摄角度。
8.更具体地，实施例提供了一种电子装置及其控制方法，该电子装置即使对于放置在地上的平坦对象(或具有相对低的高度的对象)也能够以高的对象识别率执行对象识别。
9.技术方案
10.根据本公开的方面，提供了一种电子装置，其包括：传感器；相机；存储器；以及处理器，其中存储器包括训练成识别对象的人工智能模型，并且处理器配置成：通过感测从传感器接收的感测数据来检测对象，识别所检测对象是否是电子装置能够跨越或爬升的地面对象；基于所检测对象被识别为地面对象，基于经由相机获取的图像中的包括所检测对象的对象区域的距离信息扭曲对象区域，并通过将扭曲后的对象区域输入到人工智能模型中来识别所检测对象。
11.根据实施例的方面，提供了一种电子装置，包括：传感器；相机；存储器；以及处理器，其中存储器包括训练成识别对象的人工智能模型，并且处理器配置成：通过从传感器接收的感测数据来检测对象，识别所检测对象是否是电子装置能够跨越或爬过的地面对象，基于所检测对象被识别为地面对象，基于图像中的多个区域的距离信息对通过相机获取的图像进行扭曲，并通过将扭曲后的图像输入到人工智能模型中来识别所检测对象。
12.根据本公开的方面，提供了一种电子装置，其包括：传感器；相机；存储器；以及处
理器，其配置成连接到传感器、相机和存储器以控制电子装置，其中存储器包括训练成识别电子装置能够跨越或爬过的地面对象的多个人工智能模型，多个人工智能模型基于在不同距离处拍摄的地面对象的图像被训练，并且处理器配置成：通过从传感器接收的感测数据来检测对象，识别所检测对象是否为地面对象，基于所检测对象被识别为地面对象，基于对象区域的距离信息对通过相机获取的图像的包括所检测对象的区域进行扭曲，在多个人工智能模型之中识别基于与对象区域的距离信息对应的图像训练的人工智能模型，以及通过将扭曲后的对象区域输入到识别出的人工智能模型中来识别所检测对象。
13.根据本公开的方面，提供了一种电子装置的控制方法，电子装置包括存储器，在存储器中存储有训练成识别对象的人工智能模型，控制方法包括：通过从传感器接收的感测数据来检测对象；识别所检测对象是否为电子装置能够越过或爬过的地面对象；基于所检测对象被识别为地面对象，基于经由相机获取的图像的包括所检测对象的对象区域的距离信息对对象区域进行扭曲；通过将扭曲后的对象区域输入到人工智能模型中来识别所检测对象。
14.根据本公开的方面，提供了一种电子装置，其包括：传感器；相机；存储器；以及处理器，其配置成连接到传感器、相机和存储器，其中存储器包括训练成识别至少一个对象的人工智能模型，并且其中处理器还配置成：基于从传感器接收的感测数据来检测对象；基于所检测对象被识别为具有小于预定阈值的高度，基于经由相机获取的图像中的包括所检测对象的对象区域的距离信息扭曲对象区域；通过将扭曲后的对象区域输入到人工智能模型中来识别所检测对象。
15.根据本公开的方面，提供了一种电子装置，其包括：传感器；相机；存储器；以及处理器，其配置成连接到传感器、相机和存储器，其中存储器包括训练成识别至少一个对象的多个人工智能模型，其中基于在不同距离处拍摄的至少一个对象的图像来训练多个人工智能模型，并且其中处理器还配置成：基于从传感器接收的感测数据来检测对象；基于所检测对象被识别为具有小于预定阈值的高度，基于经由相机获取的图像中的包括所检测对象的对象区域的距离信息来扭曲对象区域；在多个人工智能模型之中识别基于与对象区域的距离信息对应的图像而训练的人工模型；通过将扭曲后的对象区域输入到识别出的人工智能模型中来识别所检测对象。
16.根据本公开的方面，提供了一种控制电子装置的方法，电子装置包括存储器，在存储器中存储有训练成识别对象的人工智能模型，该方法包括：基于从传感器接收的感测数据来检测对象；识别当电子装置被驱动以移动时所检测对象是可由电子装置越过或爬过；基于所检测对象被识别为可由电子装置越过或爬过，基于经由相机获取的图像中的包括所检测对象的对象区域的距离信息对对象区域进行扭曲；以及通过将扭曲后的对象区域输入到人工智能模型中来识别所检测对象。
17.有益效果
18.根据本公开的电子装置和控制方法具有这样的效果：不管对象的高度和设置在电子装置中的相机的角度如何，都可以准确地识别电子装置周围的对象。
19.特别地，根据实施例的电子装置具有以下优点：即使通过低位置的相机拍摄的平坦对象也可以以高精度被识别。
附图说明
20.从以下结合附图的描述中，本公开的某些实施例的上述和其它方面、特征和优点将变得更加明显，其中：
21.图1是示出在根据实施例的电子装置中校正包括对象的对象区域以识别对象的示例的图；
22.图2a是示出根据实施例的电子装置的配置的框图；
23.图2b是示出根据实施例的电子装置的功能配置的框图；
24.图2c是示出根据实施例的电子装置的功能配置的框图；
25.图2d是示出根据实施例的电子装置的功能配置的框图；
26.图3a是示出在根据实施例的电子装置中通过使用传感器来检测对象的示例的图；
27.图3b是示出在根据实施例的电子装置中识别所检测对象相对于地面的高度的示例的图；
28.图3c是示出在根据实施例的电子装置中从经由相机获取的图像中识别对象区域的示例的图；
29.图3d是示出在根据实施例的电子装置中通过根据对象是否是地面对象而选择性地扭曲对象区域来识别对象的示例的图；
30.图4是示出在根据实施例的电子装置中根据参考距离对图像进行扭曲的方法的图；
31.图5a和图5b是示出根据实施例的示例的图，其中扭曲程度根据对象区域中的最近像素的距离和最远像素的距离之间的差而改变；
32.图6是示出根据实施例的其中像素的位置变换根据参考距离和每个像素的距离之间的差而变化的示例的图；
33.图7a是示出根据实施例的使用训练成识别地面对象的人工智能模型的电子装置的配置的框图；
34.图7b是示出图7a的电子装置的功能配置的示例的框图；
35.图8是示出在根据实施例的电子装置中根据所检测对象是否是地面对象而使用人工智能模型的示例的图；
36.图9a是示出在根据实施例的电子装置中使用训练成针对拍摄地面对象的每个距离来识别地面对象的多个人工智能模型的示例的框图；
37.图9b是示出图9a的电子装置的功能配置的示例的框图；
38.图10是示出存储在图9a的电子装置中的多个人工智能模型的训练过程的图；
39.图11是示出在根据实施例的电子装置中根据对象是否是地面对象和地面对象的距离信息来使用人工智能模型的示例的图；
40.图12是示出根据各种实施例的电子装置的详细配置的框图；
41.图13a是示出根据实施例的包括多个处理器的电子装置的配置的框图；
42.图13b是示出图13a的电子装置的更详细配置的示例的框图；
43.图14是示出根据实施例的控制电子装置的方法的流程图；
44.图15是示出在根据实施例的控制电子装置的方法中根据是否检测到地面对象来扭曲对象区域和识别对象的示例的流程图；
45.图16是示出在根据实施例的控制电子装置的方法中根据是否检测到地面对象来使用人工智能模型的示例的流程图；以及
46.图17是示出根据实施例的基于是否检测到地面对象和对象识别结果来控制电子装置的方法的示例的流程图。
具体实施方式
47.在说明书和权利要求书中使用的术语已经考虑到各种实施例中的功能而选择了通用术语。然而，这些术语可以根据本领域技术人员的意图、法律或技术解释以及新技术的出现而变化。此外，一些术语由申请人任意选择。这些术语可以被解释为在说明书中定义的含义，并且也可以基于说明书的一般内容和本领域中的普通技术知识而不是特定的术语定义来解释。
48.此外，在与说明书一起附上的附图中，相同的附图标记或符号表示执行基本相同的功能的部件或组件。为了便于解释和理解，将使用相同的附图标记或符号来描述不同的实施例。也就是说，尽管在附图中示出了所有组件具有相同的附图标记，但是附图并不意味着一个实施例。
49.此外，在说明书和权利要求书中，包括诸如“第一”和“第二”的序数的术语可用于区分组件。这些序数用于将相同或相似的组件彼此区分开，而不应将术语的含义解释为受这些序数的使用的限制。作为示例，联接到序号的组件不应被解释为使用顺序、布局顺序等受限于该序号。必要时，可互换地使用相应的序号。
50.在本说明书中，单数表达包括复数表达，除非上下文另外清楚地指出。还应当理解，在本技术中使用的术语“包括”或“构成”列举了在说明书中提及的特征、数字、步骤、操作、组件、部分或其组合的存在，但是不排除一个或更多其它特征、数字、步骤、操作、组件、部分或其组合的存在或添加。
51.在实施例中，术语“模块”、“单元”、“部分”等是用于指执行至少一个功能或操作的组件的术语，并且这种组件可以用硬件或软件或者硬件和软件的组合来实现。此外，可以将多个“模块”、“单元”、“组件”等集成到至少一个模块或芯片中，并且可以在至少一个处理器中实现，除了需要在各个特定硬件中实现它们中的每一个的情况之外。
52.此外，在实施例中，应当理解，当元件被称为“连接到”另一个元件时，这不仅包括直接连接，还包括通过另一个介质的间接连接。此外，除非另外明确描述，否则“包含”任何组分将被理解为暗示包括其它组分，但不排除任何其它组分。
53.表述，例如“至少一个”，当在元素列表之前时，修饰整个元素列表，而不是修饰列表中的单独元素。例如，表述“a、b或c中的至少一个”表示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、全部的a、b和c、或其变体。
54.根据实施例，与人工智能(ai)相关的功能可以经由处理器和存储器来操作。处理器可以包括一个或多个处理器。一个或多个处理器可包括通用处理器，例如中央处理单元(cpu)、应用处理器(ap)、数字信号处理器(dsp)、例如图形处理单元(gpu)或视觉处理单元(vpu)的专用图形处理器、例如神经处理单元(npu)等的专用ai处理器，但不限于此。一个或多个处理器可以根据存储在存储器中的预定操作规则或ai模型来控制要处理的输入数据。当一个或多个处理器是专用ai处理器时，专用ai处理器可以被设计成具有专门用于处理特
定ai模型的硬件结构。
55.预定义的操作规则或ai模型可以通过训练过程来创建。预定义的操作规则或ai模型可以例如设置为执行通过利用大量训练数据的学习算法训练基本ai模型而创建的期望特性(或目的)。训练过程可以由用于执行ai的装置或单独的服务器和/或系统来执行。学习算法的示例可以包括但不限于监督学习、无监督学习、半监督学习和强化学习，但是本公开的实施例不限于此。
56.ai模型可以包括多个神经网络层。神经网络层中的每一个可以具有多个权重值，并且可以经由对前一层中的计算结果和当前层中的多个权重值的算术运算来执行各种神经网络计算。可以通过训练ai模型的结果来优化每一个神经网络层中的多个权重。例如，可以更新多个权重以减少或最小化在训练过程期间由ai模型获取的损失或成本值。人工神经网络可以包括例如但不限于深度神经网络(dnn)，并且可以包括例如但不限于，卷积神经网络(cnn)、dnn、递归神经网络(rnn)、受限boltzmann机器(rbm)、深度置信网络(dbn)、双向递归dnn(brdnn)、深q-网络(dqn)等，但不限于此。
57.图1是示出根据实施例的在电子装置中校正(或缩放)包括对象的对象区域以识别对象的示例的图。
58.参照图1，电子装置10可以在移动并且通过使用例如包括在电子装置10中的相机来拍摄电子装置周围的区域(例如，前方区域)的过程中，通过传感器检测周围对象。例如，电子装置10可以实现为机器人清洁器。在图1中，为了说明的目的，假定电子装置10在被驱动的过程中检测前方区域中的对象1。
59.电子装置10可以通过将经由相机拍摄的图像11的至少一部分输入到用于对象识别的人工智能模型中来将对象1识别为排便垫(defecation pad)1'。
60.然而，参考图1，对象1根据实现为机器人清洁器的电子装置10的高度以非常低的角度被拍摄，并且因此，图像11中的对象1可能以具有非常窄的垂直长度的失真形式出现在图像11上。
61.也就是说，当电子装置10将图像11输入到人工智能模型中以进行对象识别时，由于图像11中的对象1的失真形式，很可能无法识别“排便垫”。
62.为了解决这个问题，图1的电子装置10可以识别通过传感器检测出的对象1的高度，并且基于所识别的对象1的高度，电子装置10可以识别对象1是具有相对较低高度的对象，即，对象1对应于放置在电子装置10可以穿过或爬过的地面(以下称为“地面对象”)上的对象。尽管术语“地面对象”包括“地面”，但是应当理解，该术语仅用于描述本公开和简化描述，而不表示或暗示所提及的元件必须与“地面”具有特定的位置关系(例如，与地面接触)，因此该术语不应解释为限制本公开。术语“地面对象”旨在包括对象的图像中的、由于对象以低角度被拍摄而具有失真形式或形状的任何对象。
63.在这种情况下，电子装置10可以识别经由相机获取的图像11的、与检测出的对象1对应的对象区域21，然后扭曲对象区域21，使得对象区域21总体上被放大并且使得获得如图1所示的扭曲后的对象区域21'。结果，参考图1中的被扭曲的扭曲后的对象区域21'，图像中的排便垫1'的形状被恢复为类似于排便垫的实际形状。
64.此外，电子装置10可以通过将扭曲后的对象区域21'输入到用于对象识别的人工智能模型中来将对象1识别为排便垫1'。
65.这样，因为根据实施例的电子装置10校正包括地面对象的对象区域，然后基于经校正对象区域来识别地面对象，所以即使以相对较低的角度拍摄地面对象，也可以提高对象识别的准确性。
66.在下文中，将参考附图更详细地描述根据各个实施例的电子装置的配置和操作。
67.图2a是示出根据实施例的电子装置的配置的框图。
68.参照图2a，电子装置100可以包括传感器110、相机120、存储器130和处理器140。电子装置100可以实现为一个或更多各种终端装置，例如机器人清洁器、健康护理机器人、智能电话、平板个人计算机(pc)和可穿戴装置，但不限于此。
69.根据实施例的处理器140可以通过传感器110检测电子装置100周围的对象。处理器140可以使用传感器110的感测数据来识别所检测对象的高度。
70.在这种情况下，处理器140可以确定所检测对象是否是特定类型的对象(例如，地面对象)。在实施例中，电子装置100可以是位于特定位置(例如，地面)上的终端装置，如在机器人清洁器的示例中那样。在该实施例中，处理器140可以识别从电子装置100所处的地面到所检测对象的高度，并且可以在所识别的高度小于预定阈值时将所检测对象识别为地面对象。
71.地面对象包括放置在地面上的对象，并且可以指距离地面的高度小于阈值的对象。地面可以是指其上放置电子装置100的地的表面。例如，地面可以是平坦表面。地面不需要是完全平坦的，并且如果地面中的曲化程度小于阈值数值，则可以由电子装置100识别为地面。
72.地面中的曲化程度可以指基于其上放置电子装置100的地的、包括两个或更多点的平面的变形或失真程度，并且例如，地的凹陷或部分突出的部分可以被识别为不是地面，这取决于地的该部分的曲化程度。
73.具体地，地的特定部分的曲化程度可以对应于特定部分距其上放置电子装置100的地面的、包括两个或更多点的平面的距离，并且当地的特定部分与其上放置电子装置100的地面的包括两个或更多点的平面之间的距离是阈值数值或更大时，地的相应部分可以被识别为不是地面。
74.根据实施例的地面对象不是包括简单地放置在地面上的任何对象，而是指不仅放置在地面上而且离地面的高度小于预定阈值的对象。例如，高度小于某一值的排便垫、地毯、垫子、门槛等可以对应于地面对象。
75.上述阈值(其是用于确定所检测对象是否是地面对象的参考)可以基于对象的最大高度来预设，电子装置100可以通过使用电子装置100中提供的运动器件来越过或爬过该对象。例如，可以基于构成电子装置100的运动器件的轮的直径的长度来确定阈值。此外，可以基于与上述地面中的曲化程度相关的阈值数值来确定阈值。
76.处理器140可以通过相机120获取包括所检测对象的图像。这里，处理器140可以控制相机120以预定的时间间隔拍摄周围环境的图像，和/或可以控制相机120以仅当传感器110检测到对象时才拍摄所检测对象所在的方向上的图像。
77.处理器140可以通过使用感测数据、拍摄图像的相机120的角度/视角、拍摄图像的时间点等来识别图像中的包括所检测对象的对象区域。在实施例中，处理器140可以使用训练成从图像中检测对象区域的至少一个人工智能模型。
78.如果所检测对象被识别为地面对象，则处理器140可以基于对象区域的距离信息来扭曲图像中的对象区域。
79.距离信息是指由图像(或对象区域)中的每个像素表示的对象的特定部分与电子装置100和/或相机120之间的距离。处理器140可以通过传感器110获取距离信息。在实施例中，传感器110可以实现为三维(3d)传感器、光检测和测距(lidar)传感器、超声波传感器等。
80.扭曲可以指通过沿x轴和/或y轴旋转图像或使用缩放等来校正图像的操作。当执行扭曲时，可以通过使用预定的位置变换函数等来变换图像中的每个像素的位置。
81.具体地，处理器140可以获取构成包括地面对象的对象区域的多个像素中的每一个的距离信息，并且可以基于所获取的距离信息来变换多个像素的位置。
82.结果，在包括在对象区域中的多个区域之中，相较于参考距离而言相距电子装置100和/或相机120更远的区域可以被放大，而相较于参考距离而言相距电子装置100和/或相机120更近的区域可以被缩小。稍后将参考图4等来描述更详细的描述。
83.处理器140可以识别包括在扭曲后的对象区域中的对象。在实施例中，处理器140可以通过将扭曲后的对象区域输入到存储在存储器130中的人工智能模型135中来识别对象。人工智能模型135可以是被训练成当输入图像(例如，图像中的对象区域)时识别包括在图像中的对象的模型。
84.具体地，处理器140可以通过将存储在存储器130中的人工智能模型135加载到包括在处理器140中或连接到处理器140的易失性存储器中并将扭曲后的对象区域输入到所加载的人工智能模型135中，来获取与包括在对象区域中的地面对象有关的信息。
85.传感器110可以检测电子装置100的周围对象。处理器140可以基于由传感器110生成的感测数据来检测电子装置100的周围对象。
86.相机120可以获取电子装置100周围的一个或更多图像。相机120可以实现为红、绿和蓝(rgb)相机、深度相机等。
87.与电子装置100的功能相关的各种信息可以存储在存储器130中。存储器130可以包括只读存储器(rom)、随机存取存储器(ram)、硬盘、固态驱动器(ssd)、闪存等。
88.训练成识别对象的人工智能模型135可以存储在存储器130中。当图像被输入到人工智能模型135时，人工智能模型135可以从所输入的图像获取与对象有关的信息(例如，名称、类型、产品名称、人名等)。
89.具体地，当与包括对象的对象区域对应的图像被输入到人工智能模型135时，人工智能模型135可以作为分类器来操作，该分类器选择性地输出由人工智能模型135输出的信息之中的、与包括在对象区域中的对象对应的信息。
90.处理器140可以连接到传感器110、相机120和存储器130以控制电子装置100。
91.图2b是示出根据实施例的电子装置的功能配置的框图。
92.参照图2b，电子装置100可以包括对象检测模块210、对象区域检测模块220、扭曲模块230和对象识别模块240。这些模块210-240中的一个或更多可以实现为以软件形式存储在存储器130上并由处理器140执行，或者以包括电路的硬件的形式由处理器140控制。此外，模块210-240可以以由处理器140执行和/或控制的软件和硬件的组合来实现。电子装置100的配置不限于上述组件，并且可以根据需要添加、省略或合并一些组件。例如，参考图
2d，电子装置100可以不包括上述模块210-240中的对象区域检测模块220。
93.在下文中，将描述每个模块和处理器140的操作。
94.处理器140可以通过对象检测模块210检测电子装置100周围的对象。对象检测模块210可以通过使用从传感器110接收的感测数据来检测对象。
95.作为示例，对象检测模块210可以通过使用来自例如lidar传感器、超声波传感器、3d传感器、红外传感器等的传感器110的感测数据来识别地面，并且可以检测离地面具有一定距离或深度的对象。
96.这里，对象检测模块210可以识别所检测对象相对于电子装置100的方向和位置。此外，对象检测模块210还可以通过使用感测数据来识别所检测对象的尺寸或高度。
97.对象检测模块210可以使用算法或一个或更多人工智能模型来基于传感器110的感测数据分别检测地面、障碍物(例如，墙壁、对象等)。
98.对象区域检测模块220可以检测通过相机120获取的图像之中的、包括所检测对象的对象区域。
99.具体地，对象区域检测模块220可以在图像内识别与基于来自传感器110的感测数据而检测出的对象的方向、位置和尺寸相匹配的对象区域(例如，像素)。
100.为此，对象区域检测模块220可以使用相机120和传感器110的相对位置、相机120在拍摄图像的时间点的角度/视角等。
101.扭曲模块230是用于根据对象区域或图像的距离信息来扭曲至少一个对象区域或图像的组件。
102.扭曲模块230可以基于包括在对象区域或图像中的每个像素的距离信息来变换对象区域中的每个像素的位置。具体地，扭曲模块230可以变换对象区域中的每个像素的位置，使得对象区域中的每个像素的距离信息与参考距离匹配。
103.结果，包括在对象区域中或包括在图像中的多个区域中的每一个可以根据多个区域中的每一个的距离信息单独地按比例放大或按比例缩小。
104.对象识别模块240是用于识别包括在对象区域中的对象的组件。具体地，当存储在存储器130中的人工智能模型135被加载到处理器140的易失性存储器上时，对象区域可以被输入到所加载的人工智能模型135以识别对象。
105.处理器140可以根据对象区域的距离信息将包括被识别为地面对象的对象区域扭曲并且将扭曲后的对象区域输入到人工智能模型135中，并且可以将包括被识别为不是地面对象的对象的对象区域输入到人工智能模型135中而不根据其距离信息执行扭曲。
106.然而，尽管处理器140可以不对包括被识别为不是地面对象的对象的对象区域执行“扭曲”，但是处理器140可以执行用于将包括被识别为不是地面对象的对象的对象区域输入到人工智能模型135中的最小预处理(例如，全尺寸缩放)。
107.另一方面，参考图2c，可以彼此独立地执行对象检测模块210和对象区域检测模块220的操作。
108.在这种情况下，对象检测模块210可以使用通过传感器110接收的感测数据来检测对象，并且识别所检测对象是否是地面对象。在实施例中，对象检测模块210可以使用通过包括在传感器110中的3d传感器等获取的深度图像来检测对象。在这种情况下，对象检测模块210可以使用训练成从深度图像检测对象的人工智能模型。
109.在实施例中，对象检测模块210可以识别通过包括在传感器110中的超声传感器等检测的对象的高度，并且基于所识别的高度来识别对象是否是地面对象。
110.对象区域检测模块220可以从通过相机120获取的图像中识别包括对象的对象区域。在这种情况下，相机120可以实现为rgb相机，并且对象区域检测模块220可以使用训练成从rgb图像识别对象区域的人工智能模型。
111.扭曲模块230可以识别通过对象检测模块210检测的对象之中的、与通过对象区域检测模块220识别的对象区域相匹配的对象。
112.作为示例，扭曲模块230可以通过将通过传感器110(例如，3d传感器)获取的深度图像之中的、包括所检测对象的深度图像与通过相机120获取的rgb图像进行比较来识别与所识别的对象区域相匹配的对象，但不限于此。
113.此外，如果与对象区域匹配的对象被识别为地面对象，则扭曲模块230可以根据对象区域的距离信息扭曲对象区域。
114.对象识别模块240可以识别包括在扭曲后的对象区域中的对象(例如，对象的类型)。
115.参照图2d，电子装置100可以不包括对象区域检测模块220。
116.这里，如果所检测对象被识别为地面对象，则处理器140可以使用扭曲模块230根据距离信息扭曲包括地面对象的整个图像。此外，处理器140可以将扭曲后的图像输入到对象识别模块240中，以识别图像中的地面对象。
117.另一方面，当所检测对象被识别为不是地面对象时，处理器140可以将未扭曲的图像输入到对象识别模块240中，以识别图像中的对象。
118.在下文中，将参考图3a、图3b、图3c和图3d详细描述使用上述图2a的模块操作的电子装置的实施例。
119.图3a是示出根据实施例的电子装置通过传感器检测对象的示例的图。
120.参照图3a，实现为机器人清洁器的电子装置100可以在特定的空间300中被驱动。参照图3a，排便垫301、书本302和花盆303位于空间300上。
121.在驱动过程中，电子装置100可以通过实现为例如超声波传感器、lidar传感器等的传感器110来检测电子装置100周围的地面或障碍。图3a的图像300'示出了根据传感器110的感测数据由电子装置100检测的、电子装置100的周围的图像。
122.参考图3a，电子装置100可以通过基于感测数据识别位于平面(诸如电子装置100放置在其上的地)上的点来检测地面305。
123.此外，电子装置100可以分别检测相距地面305不同的距离或深度的对象301、302和303。电子装置100还可以检测对应于墙壁的点。
124.对象检测模块210可以使用从传感器110接收的感测数据来识别所检测对象的位置、尺寸、高度和/或近似形状。特别地，对象检测模块210可以检测对象301、302和303中的每一个距地面305的高度。
125.为此，传感器110可以包括以预定间隔布置在电子装置100上的多个lidar传感器和/或多个超声波传感器。
126.参照图3b，对象检测模块210可以基于感测数据识别对象301、302和303中的每一个相距地面的高度311、312和313。
127.这里，处理器140可以将对象301、302和303之中的、其高度小于阈值的对象301识别为地面对象，并且可以将其高度等于或大于阈值的对象302和303识别为不是地面对象。
128.阈值可以是电子装置100可以通过使用运动器件而越过或爬过的高度。例如，在电子装置100是机器人清洁器并且作为电子装置100的运动器件的轮的直径是4cm的实施例中，阈值可以设置为4cm，或者，例如考虑到对象的识别高度中的可能误差，可以设置为比轮的直径稍大的值(例如，6cm)。
129.参照图3c，对象区域检测模块220可以分别根据所检测对象301、302和303中的每一个的位置、尺寸和近似形状从通过相机120获取的图像350中提取对象区域351、352和353。
130.此外，参考图3d，扭曲模块230可以根据对象区域351的距离信息扭曲包括对象301、302和303之中的、被识别为地面对象的对象301的对象区域351。
131.另一方面，扭曲模块230可以不扭曲对象302和303的对象区域352、353。
132.参照图3d，与扭曲前相比，扭曲后的对象区域351'中的排便垫的形状总体上被放大，并且排便垫可见的可见角度被校正，因此，可以实现高的对象识别率和/或高的对象识别精度。稍后将参考图4、图5a、图5b和图6描述根据实施例的扭曲方法。
133.参照图3d，对象识别模块240可以分别识别包括在扭曲后的对象区域351'和对象区域352和353中的对象。
134.这里，对象识别模块240可以分别将对象区域351'、352和353输入到人工智能模型135中，以识别包括在对象区域351'、352、353中的每一个中的排便垫301、书本302和花盆303。
135.当电子装置100不包括如图2d所示的对象区域检测模块220时，处理器140可以不执行如图3c和图3d所示的对象区域351的提取。
136.在这种情况下，处理器140可以使用扭曲模块230根据图像350的距离信息来扭曲包括地面对象的图像350本身。此外，处理器140可以将扭曲的图像输入到对象识别模块240中，以识别图像350中的地面对象。
137.在下文中，将参考图4、图5a、图5b和图6描述扭曲模块230根据距离信息扭曲地面对象的对象区域的示例性方法。
138.在扭曲对象区域时，处理器140可以根据参考距离来变换包括在对象区域中的像素的位置。
139.具体地，处理器140可以获取构成对象区域的多个像素中的每一个的距离信息，并且可以基于所获取的距离信息来变换多个像素的位置。
140.结果，在包括在对象区域中的多个区域中，相距电子装置100和/或相机120比参考距离更远的区域可以被放大，并且相距电子装置100和/或相机120比参考距离更近的区域可以被缩小。
141.参考距离可以由电子装置100的制造商或用户预先确定。在这种情况下，可以在存储在存储器130中的人工智能模型135可以识别对象的距离范围内预先确定参考距离，并且可以通过实验确定参考距离。例如，如果当在距对象大约1m和3m之间的距离处拍摄的对象的图像被输入时人工智能模型135的对象识别率相对较高，则参考距离可以被预先确定为2m，2m是通过对1m和3m的距离范围的最小值和最大值求平均而获得的。
142.或者，参考距离可以与对应于焦点的区域的距离相对应。也就是说，处理器140可以将包括对象区域的图像中的、相机120的焦点所处的区域的距离设置为参考距离。在实施例中，处理器140和相机120的至少一部分可以以与一般自动聚焦相机相同的方式来实现。
143.或者，参考距离可以设置为在构成对象区域的多个像素中离电子装置100和/或相机120具有最近距离的像素的距离。在这种情况下，将具有最近距离的相应像素设置为参考像素，结果，可以整体地扩大对象区域。
144.图4是示出根据实施例的电子装置中根据参考距离对图像(例如，地面对象的对象区域)进行扭曲的方法的图。
145.处理器140可以在构成对象区域的多个像素之中识别与参考距离对应的参考像素，并且可以在多个像素之中识别具有比参考距离更远的距离的第一像素和具有比参考距离更近的距离的第二像素。
146.此外，处理器140可以变换第一像素的位置使得第一像素和参考像素之间的距离增大，并且可以变换第二像素的位置使得第二像素和参考像素之间的距离减小。
147.参照图4，作为处理器140使对象区域410进行扭曲的结果，获得扭曲后的对象区域420。在扭曲之前，对象区域410包括相对于参考线410-1的上部和下部，参考线410-1包括对应于参考距离的参考像素。对象区域410的上部中的像素可以远离参考线410-1，并且对象区域410的下部中的像素可以靠近参考线410-1。作为扭曲的结果，对象区域410的上部和下部可以按比例放大或缩小，并且因此，可以改善对象区域410中包括的对象可视的角度(例如，增加对象的观察角度)。
148.参考线410-1可以是平分图像同时包括对应于参考距离的至少一个像素的直线，或者是仅由对应于参考距离的像素构成的线。
149.为了便于理解，可以从概念上解释，在扭曲后的对象区域420中，参考线410-1上方的上部旋转成看起来更接近，而参考线410-1下方的下部旋转成看起来更远离。
150.在包括在对象区域410的上部中的像素之中，距参考线410-1具有大距离差的像素以更大的程度旋转成看起来更接近，并且在包括在对象区域的下部中的像素之中，距参考线410-1具有大距离差的像素以更大的程度旋转成进一步远离。
151.为此，处理器140可以变换第一像素的位置，使得在变换之后参考像素和第一像素之间的间隔的增加程度随着参考距离和第一像素的距离之间的差增大而变大。
152.此外，处理器140可以变换第二像素的位置，使得在变换之后参考像素和第二像素之间的间隔的减小程度随着参考距离和第二像素的距离之间的差增大而变大。
153.结果，对象区域410中的多个区域中的每一个被放大或缩小的程度可以与多个区域中的每一个与参考线410-1之间的距离成比例。
154.这样，作为调整对象区域410中的多个区域的视角的结果，扭曲后的对象区域420中的多个区域可以被提供为平坦的并且看起来是位于相同的距离(或彼此几乎相似的距离)处。
155.在图4的实施例中，为了便于理解，参考线410-1被示为直线，但是参考线410-1也可以具有不同的形式，例如曲线。当参考线410-1是曲线时，优选地，参考线的曲线具有一个极值点(例如，凹曲线或凸曲线)。在这种情况下，即使在扭曲之前将扭曲后的对象区域逆变换回对象区域，也可以将扭曲后的对象区域原样恢复到现有的对象区域。
156.特别地，在一起提供基于扭曲后的对象区域的对象识别结果以及包括先前未扭曲的对象区域的图像的实施例中，对象区域需要被恢复，并且因此，参考线410-1需要是直线或具有一个极值点的曲线。
157.在实施例中，根据对象区域中的最近像素的距离和最远像素的距离之间的差，图像中的多个区域作为扭曲的结果而被放大或缩小的程度可以变化。
158.图5a和图5b是示出对象区域中的多个区域通过扭曲而被放大或缩小的程度可以根据对象区域中的最近像素的距离和最远像素的距离之间的差而变化的图。图5a示出了对象区域中最近像素的距离与最远像素的距离之间的差相对较大的情况，而图5b示出了对象区域中最近像素的距离与最远像素的距离之间的差相对较小的情况。
159.在图5a的情况中，因为电子装置100将具有大视角的现有对象区域510校正为平面图像520，所以作为扭曲变化的结果对象区域510中的像素之间的间隔的增加或减小程度(例如，对象区域510中的多个区域被放大或缩小的程度，与h1的长度成比例)相对较大。
160.另一方面，在图5b的情况下，由于电子装置100将具有小视角的现有对象区域530校正为平面图像540，所以作为扭曲变化的结果对象区域530中的像素之间的间隔增加或减小程度(例如，对象区域530中的多个区域被放大或缩小的程度，与h2的长度成比例)相对较小。
161.图6是示出使图3d中的包括被识别为地面对象的对象301的对象区域351扭曲的示例的图。参照图6，与包括对应于参考距离的像素的参考线610相比，显示对象301的像素对应于具有相对较长距离的像素，因此，对象区域351中的对象301的尺寸通常通过扭曲来扩大。
162.参照图6，在扭曲之前对象区域351中的像素601和602之间的第一间隔等于像素602和603之间的第二间隔。对象区域351中的像素601、602和603分别对应于扭曲后的对象区域351'上的像素601'、602'和603'。
163.在图6中，参考扭曲后的对象区域351'，通过扭曲分别增大了第一间隔和第二间隔。
164.此外，由于像素与参考距离具有大的差异，像素和参考线之间的间隔的增加程度增加，因此，参考图6，在扭曲后的对象区域351'中，像素602'和像素603'之间的第二间隔大于像素601'和像素602'之间的第一间隔。
165.在地面对象相对远离电子装置100(例如图3a的排便垫301)的情况下，在相关技术中存在这样的问题：地面对象的识别率低，因为地面对象的高度低。另一方面，在根据实施例的电子装置100中，可以通过使用上述扭曲方法执行对象识别来提高地面对象的识别率。
166.人工智能模型135可以被训练成输出与包括在对象区域中的对象有关的信息(例如，对象的名称或类型，对象诸如为排便垫、书本、花盆等)。人工智能模型135还可以将输出信息的可靠性值(例如，排便垫存在于地面上的概率)输出。
167.在这种情况下，处理器140可以将扭曲后的对象区域输入到人工智能模型135中，以获取与包括在扭曲后的对象区域中的对象有关的信息和与对象有关的信息的可靠性值。
168.如果所获取的可靠性值小于阈值，则处理器140可以将未扭曲的对象区域输入到人工智能模型135中以识别所检测对象。
169.也就是说，处理器140可以使用通过将扭曲后的对象区域和未扭曲的对象区域之
中的、从人工智能模型135输出的具有更高信息可靠性的对象区域输入到人工智能模型135中而获得的结果来识别地面对象。
170.在实施例中，当基于感测数据而检测的对象被识别为地面对象时，处理器140还可以使用单独的人工智能模型来执行对象识别。
171.图7a是示出根据实施例的使用训练成识别地面对象的人工智能模型的电子装置的配置的框图。
172.参照图7a，训练成识别对象的多个人工智能模型135-1和135-2可以存储在存储器130中。
173.具体而言，第一人工智能模型135-1可以是训练成基于包括对象的图像而不是地面对象来识别对象的模型，并且第二人工智能模型135-2可以是训练成基于包括地面对象的多个图像来识别地面对象的人工智能模型。
174.第二人工智能模型135-2可以是训练成基于通过以相对低的角度拍摄地面对象而获得的多个图像来识别地面对象的人工智能模型。
175.图7b是示出图7a的电子装置的功能配置的示例的框图。参照图7b，对象检测模块210、对象区域检测模块220和对象识别模块240可以在处理器140的控制下执行操作。
176.首先，对象检测模块210可以基于感测数据来检测对象。
177.此外，对象区域检测模块220可以从通过相机120获取的图像中识别包括所检测对象的对象区域。
178.对象识别模块240可以包括用于识别不是地面对象的对象的一般对象识别模块710以及用于识别地面对象的地面对象识别模块720。
179.如果识别出所检测对象不是地面对象，则对象识别模块240可以通过使用一般对象识别模块710来识别对象区域中的对象。处理器140可仅将第一人工智能模型135-1和第二人工智能模型135-2之中的第一人工智能模型135-1加载到处理器140的易失性存储器上，并将对象区域输入到所加载的第一人工智能模型135-1中。
180.另一方面，如果识别出所检测对象被识别为地面对象，则对象识别模块240可以通过使用地面对象识别模块720来识别对象区域中的对象。处理器140可仅将第一人工智能模型135-2和第二人工智能模型135-2中的第二人工智能模型135-2加载到处理器140的易失性存储器上，并将对象区域输入到所加载的第二人工智能模型135-2中。
181.图8是示出根据实施例的电子装置根据对象是否被识别为地面对象而使用人工智能模型的示例的图。
182.参照图8，处理器140可以根据地面对象是否包括在其中来不同地处理图3c的对象区域351、352和353。
183.具体地，处理器140可以通过使用地面对象识别模块720对包括地面对象301的对象区域351执行对象识别，并且可以通过使用一般对象识别模块710对分别包括不是地面对象的对象302和303的对象区域352和353执行对象识别。
184.电子装置100还可以使用训练成针对拍摄地面对象的每个距离来识别地面对象的多个人工智能模型来识别地面对象。
185.图9a是示出根据实施例的电子装置使用训练成针对拍摄地面对象的每个距离识别地面对象的多个人工智能模型的示例的框图。
186.参照图9a，存储在存储器130中的第二人工智能模型135-2可以包括多个人工智能模型，例如模型a 910、模型b 920和模型c 930。模型910、920、930可以是基于在不同距离处拍摄的地面对象而训练的模型。
187.图9b是示出图9a的电子装置的功能配置的示例的框图。
188.参照图9b，对象检测模块210、对象区域检测模块220、扭曲模块230以及包括一般对象识别模块710和地面对象识别模块720的对象识别模块240可以在处理器140的控制下执行操作。
189.具体地，处理器140可以通过使用对象检测模块210来检测对象。此外，处理器140可以通过使用对象区域检测模块220从通过相机120获取的图像中提取包括所检测对象的对象区域。
190.如果所检测对象被识别为不是地面对象，则处理器140可以通过使用一般对象识别模块710来识别对象区域中的对象。一般对象识别模块710可以使用第一人工智能模型135-1来识别对象。
191.另一方面，如果所检测对象被识别为地面对象，则处理器140可以通过使用扭曲模块230来扭曲对象区域。此外，处理器140可以将扭曲后的对象区域输入到地面对象识别模块720中。
192.地面对象识别模块720可以包括用于识别不同距离的地面对象的模块，诸如第一距离模块721和第二距离模块722。具体而言，第一距离模块721可以是用于识别在第一距离拍摄的地面对象的模块，并且第二距离模块722可以是用于识别在不同于第一距离的第二距离处拍摄的地面对象的模块。
193.第一距离模块721可以使用模型a 910来识别对象，并且第二距离模块722可以使用模型b 920来识别对象。
194.处理器140可以通过选择性地使用包括在地面对象识别模块720中的用于识别不同距离的地面对象的模块之中的、用于识别与对象区域在扭曲之前的距离信息对应的距离的地面对象的模块来识别对象区域中的地面对象。
195.对象区域在扭曲之前的距离信息可以是包括在对象区域中的多个像素的距离(例如，由多个像素中的每一个所表示的对象与电子装置和/或相机之间的距离)的平均值，但不限于此。
196.图10示出了存储在图9a的电子装置中的多个人工智能模型的训练过程。
197.参照图10，模型910可以是训练成基于在相对远的第一距离处所拍摄的地面对象(例如，排便垫)的图像1010来识别地面对象的模型。
198.结果，模型a 910可以更有效地识别第一距离处的地面对象。
199.模型b 920可以是训练成基于在比第一距离更近的第二距离处所拍摄的地面对象(例如，排便垫)的图像1020来识别地面对象的模型。
200.此外，模型c 930可以是训练成基于在比第二距离更近的第三距离处所拍摄的地面对象(例如，排便垫)的图像1030来识别地面对象的模型。
201.图像1010、1020和1030可以是通过在不同角度拍摄地面对象而获得的图像。可以根据电子装置100中的相机120的地面参考高度来确定角度。
202.例如，当电子装置100是机器人清洁器并且相机120距地面的高度是5cm时，图像
1010可以是通过在高度5cm处拍摄第一距离的地面对象而获得的图像，图像1020可以是通过在高度5cm处拍摄第二距离的地面对象而获得的图像，并且图像1010可以是通过在高度5cm处拍摄第三距离的地面对象而获得的图像。
203.图11是示出根据实施例的电子装置选择性地使用如图10所示地训练的模型的示例的图。
204.参照图11，处理器140可以使用扭曲模块230扭曲包括地面对象的对象区域351，并且可以通过使用地面对象识别模块720来识别扭曲后的对象区域351中的对象。
205.在这种情况下，如果在扭曲之前的对象区域351对应于第一距离，则处理器140可以通过使用地面对象识别模块720的第一距离模块721来识别对象区域351中的对象。
206.处理器140可以选择性地将存储在存储器130中的多个人工智能模型之中的模型910加载到处理器140的易失性存储器上，模型910可以是训练成基于在第一距离处所拍摄的地面对象的图像来识别地面对象的模型。
207.在对象区域352和353不包括地面对象的情况下，可以通过使用一般对象识别模块710来执行对象识别，而不执行扭曲。
208.图12是示出根据实施例的电子装置的详细配置的框图。
209.参照图12，除了传感器110、相机120、存储器130和处理器140之外，电子装置100还可以包括通信器150、用户输入接口160、驱动器170等。
210.传感器110可以包括lidar传感器111、超声波传感器112、3d传感器113、加速度传感器114、地磁传感器115等。
211.3d传感器133可以实现为深度相机。深度相机可以实现为包括tof传感器和红外光的飞行时间(tof)相机。深度相机可以使用利用多个相机获取的图像的视差来测量深度，并且在这种情况下，可以包括ir立体传感器。或者，可以将深度相机实现为用于通过拍摄由具有相机的投影仪投影的光图案来测量深度的结构化光方法。
212.处理器140可以通过lidar传感器111、超声波传感器112和3d传感器113检测周围对象。此外，处理器140可以通过使用加速度传感器114和地磁传感器115来检测电子装置100的移动方向、速度和位置。
213.除了图9所示的传感器之外，传感器110还可以包括各种传感器。
214.相机120可以包括rgb相机。
215.相机120可以包括传感器，例如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)，但不限于此。当相机120包括ccd时，ccd可以实现为红/绿/蓝(rgb)ccd、红外(ir)ccd等。
216.如参考图2a和图7a所描述的那样，一个或更多人工智能模型(例如，人工智能模型135、135-1和135-2)可以存储在存储器130中。具体地说，一个或更多人工智能模型可以存储在存储器130的诸如硬盘或ssd的存储空间中。
217.所存储的人工智能模型的功能可以基于处理器140和存储器130的操作来执行。
218.为此，处理器140可以包括一个或多个处理器。这里，一个或多个处理器可以是诸如cpu、ap等的通用处理器，诸如gpu、vpu等的图形专用处理器，或者诸如npu的人工智能专用处理器。
219.一个或多个处理器执行控制以根据存储在存储器130中的预定操作规则或人工智
能模型来处理输入数据。预定义的操作规则或人工智能模型的特征在于通过训练来创建。
220.这里，通过训练创建的预定操作规则或人工智能模型是指具有通过将训练算法应用于大量训练数据而创建的期望特性的预定操作规则或人工智能模型。这种训练可以在其中执行根据实施例的人工智能的装置本身中执行，或者也可以通过单独的服务器/系统执行。
221.人工智能模型可以包括多个神经网络层。每一层具有多个权重值，并且通过计算前一层和多个权重值的计算结果来执行层计算。神经网络的示例包括卷积神经网络(cnn)、深度神经网络(dnn)、递归神经网络(rnn)、受限玻尔兹曼机(rbm)、深度信念网络(dbn)、双向递归深度神经网络(brdnn)和深q网络，并且本公开中的神经网络不限于上述示例，除非另有说明。
222.学习算法可用于使用大量学习数据来训练预定目标装置(例如，机器人)，使得预定目标装置可做出决定或预测其自身。学习算法的示例包括监督学习、无监督学习、半监督学习或强化学习，并且本公开中的学习算法不限于上述示例，除非另有说明。
223.处理器140可以通过运行/控制对象检测模块210、对象区域检测模块220、扭曲模块230、对象识别模块240和驱动控制模块250来执行各种操作。每个模块可以存储在存储器130的rom上和/或以电路形式实现。
224.通信器150是电子装置100的用于与至少一个外部装置通信以交换信号/数据的组件。为此，通信器150可以包括电路。
225.通信器150可以包括无线通信模块、有线通信模块等。
226.为了从外部服务器或外部装置接收数据(例如，内容)，无线通信模块可以包括wi-fi通信模块、蓝牙模块、红外数据关联(irda)模块、第三代(3g)移动通信模块、第四代(4g)移动通信模块或第四代长期演进(lte)通信模块中的至少一者。
227.有线通信模块可以实现为有线端口，例如雷电端口或通用串行总线(usb)端口。
228.处理器140可以经由通信器150将通过使用对象识别模块240获得的对象识别结果发送到诸如服务器装置的外部装置。
229.此外，存储在存储器130中的至少一些人工智能模型可以由电子装置100通过通信器150从外部装置(例如服务器装置)接收。
230.根据通过用户输入接口160接收的用户输入，处理器140可以控制驱动器170移动电子装置100，并且可以在电子装置100移动时执行对象识别。
231.用户输入接口160可以包括一个或更多按钮、键盘、鼠标等。此外，用户输入接口160可以包括利用显示器(未示出)或单独的触摸板(未示出)实现的触摸面板。
232.用户输入接口160还可以包括麦克风以通过语音接收用户的命令或信息，并且可以与相机120一起实现以识别用户的运动形式的命令或信息。
233.驱动器170是用于移动电子装置100的组件。驱动器170可以包括用例如一个或更多轮实现的运动器件、用于驱动运动器件的致动器等。
234.处理器140可以通过驱动控制模块250控制驱动器170。驱动控制模块250可以基于包括在传感器110中的加速度传感器114和地磁传感器115的感测数据来识别电子装置100的移动速度、移动方向、位置，并且可以基于所识别的电子装置100的移动速度、移动方向和位置来控制驱动器170。
235.驱动控制模块250可以根据所检测对象是否被识别为地面对象以及根据对象识别结果来控制驱动器170。
236.如果所检测对象被识别为不是电子装置100可以通过使用驱动器170越过或爬过的地面对象，则驱动控制模块250可以控制驱动器170移动，同时避开所检测对象。
237.如果所检测对象被识别为地面对象，则驱动控制模块250可以根据对象识别结果来不同地控制驱动器170。
238.具体地，如果检测到的地面对象是地毯或门槛，则驱动控制模块250可以控制驱动器170移动同时爬过或越过所检测对象。另一方面，如果检测到的地面对象是排便垫或线，则驱动控制模块250可以控制驱动器170移动，同时避开所检测对象。
239.图13a是示出根据实施例的包括多个处理器的电子装置的配置的框图。
240.参照图13a，电子装置100可以包括第一处理器140-1和第二处理器140-2。
241.第一处理器140-1可以实现为用于通过连接到传感器110、相机120等来控制电子装置100的整体操作的主处理器。第一处理器140-1可以实现为例如cpu或ap的通用处理器或者例如gup或vpu的图形专用处理器。
242.第二处理器140-2可以实现为用于通过存储在存储器130中的人工智能模型来执行对象识别的单独处理器。第二处理器140-2可以实现为有利于学习和/或计算人工智能模型的npu。
243.第二处理器140-2可在识别对象时将至少一个人工智能模型加载到易失性存储器145-2上，并将对象区域输入到所加载的人工智能模型中。
244.当上述的第一人工智能模型135-1和第二人工智能模型135-2被包括在存储器130中时，第二处理器140-2可以从第一处理器140-1接收关于所检测对象是否是地板对象的信息。此外，当所检测对象被识别为不是地板对象时，第二处理器140-2可以将第一人工智能模型135-1加载到易失性存储器145-2上，并且当所检测对象被识别为地板对象时，可以将第二人工智能模型135-2加载到易失性存储器145-2上。
245.图13b是示出图13a的电子装置的更详细配置的示例的框图。
246.参照图13b，对象检测模块210、对象区域检测模块220、扭曲模块230和驱动控制模块250由第一处理器140-1执行/控制，而对象识别模块240可以由第二处理器140-2执行。
247.在实施例中，作为对象识别模块240可以由第一处理器140-1执行的结果，第二处理器140-2可以在第一处理器140-1的控制下执行对象识别，因此，电子装置100的配置不限于图13b的配置。
248.此外，与图13b不同，当对象检测模块210使用训练成基于感测数据检测对象的至少一个人工智能模型时，对象检测模块210可以由第二处理器140-2或由第一和第二处理器140-1和140-2操作。
249.在下文中，将参考图14、图15、图16和图17描述根据实施例的电子装置的控制方法。
250.图14是示出根据实施例的包括存储器的电子装置的控制方法的流程图，存储器存储有训练成识别对象的人工智能模型。
251.参照图14，在根据实施例的电子装置的控制方法中，可以基于从传感器接收的感测数据来检测对象(s1410)。
252.此外，可以识别所检测对象是否是地面对象(s1420)。地面对象可以是放置在电子装置所处的地面上的对象，并且可以指距离地面的高度小于预定阈值的对象。
253.具体地，可以识别从地面检测的对象的高度，并且当所识别的高度小于预定阈值时，可以将所检测对象识别为地面对象。
254.此外，如果所检测对象被识别为地面对象，则可以扭曲经由相机获取的图像的至少一部分(s1430)。具体地，可以基于对象区域的距离信息来扭曲图像中的包括所检测对象的对象区域。
255.通过扭曲，可以使用位置变换函数来变换像素的位置，使得对象区域中的多个像素的距离信息对应于参考距离。结果，在包括在对象区域中的多个区域中，比参考距离更远的区域可以被放大，并且比参考距离更近的区域可以被缩小。
256.距离信息是指由对象区域中的多个像素中的每一个所表示的对象的特定部分与电子装置或相机之间的距离。
257.具体地，在根据实施例的电子装置的控制方法中，可以获取构成对象区域的多个像素中的每一个的距离信息，并且可以基于所获取的距离信息来变换多个像素的位置。
258.可以基于所获取的距离信息来识别包括在对象区域中的多个像素之中的、与参考距离对应的参考像素，并且可以识别多个像素中具有比参考距离更远的距离的第一像素和具有比参考距离更近的距离的第二像素。
259.此外，可以对第一像素的位置进行变换，使得第一像素和参考像素之间的距离增大，并且可以对第二像素的位置进行变换，使得第二像素和参考像素之间的距离减小。
260.在这种情况下，可以对第一像素的位置进行变换，使得在变换之后参考像素和第一像素之间的间隔的增加程度随着参考距离和第一像素的距离之间的差的增大而变大。此外，可以对第二像素的位置进行变换，使得在变换之后参考像素和第二像素之间的间隔的减小程度随着参考距离和第二像素的距离之间的差增大而变大。
261.相机的焦点位于所获取的图像中的区域的距离可以设置为参考距离。或者，可以在人工智能模型可以识别对象的距离范围内设置参考距离。
262.或者，可以将对象区域中的多个像素之中的、与最近距离对应的至少一个像素识别为参考像素。也就是说，可以将相应像素的距离设置为参考距离。
263.这里，第一区域可以被按比例放大，使得第一区域被放大的程度随着第一区域的距离和参考距离之间的差增大而变大，并且第二区域可以被按比例缩小，使得第二区域被减小的程度随着第二区域的距离和参考距离之间的差增大而变大。
264.如果所检测对象被识别为不是地面对象，则可以不执行s1430中的扭曲。
265.此外，在根据实施例的电子装置的控制方法中，可以通过将对象区域输入到人工智能模型中来识别所检测对象(s1440)。具体地，如果所检测对象被识别为地面对象，则将根据s1430进行了扭曲的对象区域输入到人工智能模型，并且如果所检测对象被识别为不是地面对象，则可以将未经历s1430的对象区域输入到人工智能模式。
266.在根据实施例的电子装置的控制方法中，可以将扭曲后的对象区域输入到人工智能模型中以获取与包括在扭曲后的对象区域中的对象有关的信息以及与对象有关的信息的可靠性值。
267.在实施例中，如果所获取的可靠性值小于阈值，则可以通过将图像的包括所检测
对象的对象区域输入到人工智能模型中来识别所检测对象。也就是说，可以通过将未扭曲的对象区域输入到人工智能模型中来识别对象。
268.图15是示出根据实施例的控制方法中根据是否检测到地面对象来扭曲对象区域和识别对象的示例的算法。
269.参照图15，在根据实施例的电子装置的控制方法中，可以基于感测数据来检测对象(s1510)。此外，如果检测到对象，则可以获取通过拍摄所检测对象所在的方向而获取的图像(s1520)。
270.在根据实施例的电子装置的控制方法中，可以识别基于感测数据所检测的对象的高度(s1530)。如果所识别的高度小于阈值(s1540中的“是”)，则可以将相应的对象识别为地面对象。
271.此外，可以识别先前获取的图像的包括对象的对象区域(s1550)，并且可以根据距离信息扭曲所识别的对象区域(s1560)。
272.此外，可以通过将扭曲后的对象区域输入到人工智能模型中来识别对象(s1570)。
273.另一方面，如果所识别的高度是阈值或更高(s1540中的“否”)，则可以将相应的对象识别为不是地面对象。在这种情况下，可以在图像中识别对象区域(s1580)，并且可以通过将所识别的对象区域输入到人工智能模型中来识别对象(s1570)。在这种情况下，可以执行在将对象区域输入到人工智能模型中之前所需的预处理，诸如缩放对象区域的整个尺寸，但是可以跳过s1560中的识别对象区域以及s1560中的根据距离信息对对象区域的扭曲。
274.存储器还可以存储单独的人工智能模型，该人工智能模型训练成基于包括地面对象的多个图像来识别地面对象。在这种情况下，在根据实施例的电子装置的控制方法中，如果所检测对象被识别为地面对象，则可以通过将图像的包括所检测对象的对象区域输入到上述单独的人工智能模型中来识别所检测对象。
275.图16是示出根据实施例的控制方法中根据是否检测到地面对象而使用人工智能模型的示例的算法。
276.参照图16，在根据实施例的电子装置的控制方法中，可以基于感测数据来检测对象(s1610)。此外，如果检测到对象，则可以获取所检测对象的图像(s1620)。
277.在根据实施例的电子装置的控制方法中，可以识别基于感测数据所检测的对象的高度(s1630)。如果所识别的高度被识别为阈值或更大(s1640中的否)，则可以识别图像中的对象区域(s1650)，并且可以使用所识别的对象区域和一般对象识别模块来识别对象(s1660)。一般对象识别模块可以将对象区域输入到人工智能模型中，该人工智能模型训练成识别不是地面对象的对象。
278.另一方面，如果所识别的高度小于阈值(s1640中的是)，则可以识别对象区域(s1670)，并且可以使用所识别的对象区域和地面对象识别模块来识别对象(s1680)。地面对象识别模块可以将对象区域输入到训练成识别地面对象的人工智能模型中。
279.在这种情况下，训练成识别地面对象的人工智能模型可以被分类成多个人工智能模型。多个人工智能模型可以是基于在不同距离处拍摄的地面对象的图像而训练的人工智能模型。
280.在根据实施例的电子装置的控制方法中，可以将对象区域输入到多个人工智能模
型之中的、基于与对象区域的距离信息对应的图像进行了训练的人工智能模型。
281.在电子装置包括驱动器的情况下，在根据实施例的电子装置的控制方法中，可以根据所检测对象是否是地面对象以及根据对象识别结果来控制电子装置的驱动。
282.图17是示出在根据实施例的控制方法中反映是否检测到地面对象和对象识别结果来驱动的示例的流程图。
283.参照图17，在根据实施例的电子装置的控制方法中，可以控制电子装置以开始驱动(s1710)。此外，可以使用在驱动时通过传感器接收的感测数据来检测电子装置周围的对象(s1720)。具体地，可以检测位于电子装置的驱动方向上的各种障碍物。
284.如果检测到对象，则可以识别所检测对象是否是地面对象(s1730)。具体地，可以根据所检测对象的高度是否小于阈值来确定所检测对象是否是地面对象。
285.此外，如果所检测对象被确定为地面对象(s1730中的是)，则可以识别经由相机获取的图像的包括对象的对象区域(s1740)，并且可以根据距离信息扭曲所识别的对象区域(s1750)。
286.此外，可以通过扭曲后的对象区域来识别对象(s1760)。
287.如果所识别的对象是预定对象，例如地毯或门槛(s1770中的是)，则可以控制电子装置在相应的对象上驱动或爬过相应的对象(s1780)。另一方面，如果所识别的对象不是预定对象(s1770中的否)，则可以控制电子装置驱动，同时避开相应的对象(s1790)。
288.如果所检测对象被识别为不是地面对象(s1730中的否)，则可以控制电子装置驱动，同时避开所检测对象(s1790)。
289.参照图14至图17描述的控制方法可以通过参照图2a、图7a、图9a、图12和图13a示出和描述的电子装置100来实现。
290.或者，参考图14至图17描述的控制方法也可以通过包括电子装置100和一个或更多外部装置的系统来实现。
291.上述实施例可以在计算机或使用软件、硬件和/或其组合的类似装置可读的记录介质中实现。
292.上述实施例可以在计算机或使用软件、硬件和/或其组合的类似装置可读的记录介质中实现。
293.根据硬件实施方案，可使用用于执行其它功能的专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器或电子单元中的至少一者来实施本发明中所描述的实施例。
294.在一些情况下，本说明书中描述的实施例可以由处理器本身来实现。根据软件实现，在本公开中描述的诸如过程和功能的实施例可以实现为单独的软件模块。上述软件模块中的每一个可以执行说明书中描述的一个或更多功能和操作。
295.用于执行根据上述各种实施例的电子装置100的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。存储在非暂时性计算机可读介质中的计算机指令在由特定装置的处理器执行时允许特定装置执行根据上述各种实施例的电子装置100的处理操作。
296.非暂时性计算机可读介质指的是半永久地存储数据并由装置读取的介质，而不是在短时间内存储数据的介质，例如寄存器、高速缓存、存储器等。非暂时性计算机可读介质
的示例可以包括光盘(cd)、数字通用盘(dvd)、硬盘、蓝光盘、通用串行总线(usb)、存储卡、只读存储器(rom)等。
297.尽管已经示出和描述了几个实施例，但是本领域的技术人员应当理解，在不脱离本公开的原理和精神的情况下，可以对实施例进行改变，本公开的范围在权利要求及其等同物中限定。