利用深度编码器的用于对象检测器的可解释主动学习方法与利用该方法的主动学习设备与流程

利用深度编码器的用于对象检测器的可解释主动学习方法与利用该方法的主动学习设备
1.相关申请交叉引用
2.本技术要求2020年5月5日递交的、申请号为第63/020,106号的美国专利申请与2021年3月24日递交的、申请号为第17/211,123号的美国专利申请的优先权，其公开内容通过引用全部结合在本技术中。
技术领域
3.本发明涉及一种用于对象检测的主动学习方法及利用其的主动学习设备，更具体地，涉及一种利用深度自动编码器(deep autoencoder)的用于对象检测器的可解释主动学习(explainable active learning)方法与利用其的主动学习设备，所述对象检测器反映特定类型的对象是否出现在图像的信息，以此可确认被主动学习选择新图像的理由，并且由此可以采样特定类型的图像。


背景技术：

4.近年来，正在进行针对利用机器学习来执行物体识别等方法的研究。
5.深度学习(deep learning)是一种利用输入层和输出层之间具有多个隐藏层的神经网络的机器学习，其具有很高的识别性能。
6.另外，利用深度学习的神经网络通常通过利用损失的反向传播进行学习。
7.为了训练这种深度学习网络，现有技术根据数据收集策略收集原始数据，人类标注者对收集的原始数据进行标注以生成新的训练数据。然后，利用新的训练数据和现有训练数据训练深度学习网络后，人类工程师参考性能分析结果，对用于训练深度学习网络的训练算法进行修改和改进。另外，参考分析结果改变数据收集策略，重新检测是否有错误的标注并进行修改。
8.但是，随着深度学习网络性能提高，对训练有用的困难样本(hard example)变得稀少，因此使用新的训练数据提高深度学习网络性能的效果降低，并且随着标注图像数据库变大，深度学习网络性能提高效果降低，随之经人类标注者的数据标注投资回报下降。
9.另一方面，为了解决上述问题，现有技术中并不对收集的所有未标注图像进行标注，而是利用主动学习技术，即，仅选择目前情况下预期效果较大的未标注图像进行标注，例如，存储标注图像的数据库大小或欲训练的模型性能等。
10.特别地，在获取的未标注图像有用的前提下，现有主动学习通过将特征空间(feature space)划分为子空间(subspaces or partitions)并在存储标注图像的数据库中选择属于保有量较少的子空间的未标注图像而将其获取为稀有样本(rare sample)。
11.但是，现有的主动学习技术因分类问题而受限。
12.即，现有主动学习技术将给定的h*w大小的图像整体映射到特征空间，以使整体上相似的场景属于同一个子空间。
13.但是，现有主动学习技术在对象检测问题上难以辨别稀有图像。
14.例如，在相似的街头场景中，应根据是否有行人而映射到彼此不同的子空间，但是现有主动学习技术存在将其分类到同一个子空间的问题。
15.另外，现有主动学习技术存在一个缺点，即，在有停车标志的图像中，无法通过整体图像中极小的区域而映射到不同的子空间。
16.即，在1920*1080大小的图像中，有停车标志的区域大小仅为极小的50*50、100*100，因而当选择有停车标志的图像时，应忽略除相应区域之外的所有其它部分，但现有主动学习技术存在无法实现上述过程的缺点。


技术实现要素：

17.技术问题
18.本发明的目的是解决上述所有问题。
19.本发明的另一目的是在主动学习中容易地获取根据对象类型的稀有样本。
20.本发明的又一目的是在主动学习中反映特定类型的对象是否出现和整体场景特性而获取稀有样本。
21.本发明的又一目的是容易地确认主动学习中选择稀有样本的原因。
22.本发明的又一目的是从主动学习获取的稀有样本中容易地仅选择特定类型的未标注图像。
23.技术方案
24.根据本发明提供用于对象检测器的可解释主动学习方法，其利用深度自动编码器，其中，包括以下步骤：a)测试图像被获取后，主动学习设备将所述测试图像输入到对象检测器，以使所述对象检测器从每个所述测试图像中检测出测试用对象，以输出对应于所述测试用对象的测试用边界框；通过在每个所述测试图像中剪裁对应于所述测试用边界框的区域，生成测试用第1剪裁图像至测试用第n剪裁图像；通过将所述测试图像以及所述测试用第1剪裁图像至所述测试用第n剪裁图像以相同大小进行大小调整，生成测试用第1大小调整图像至测试用第n+1大小调整图像；通过将所述测试用第1大小调整图像至所述测试用第n+1大小调整图像输入到深度自动编码器的数据编码器，以使所述数据编码器编码所述测试用第1大小调整图像至所述测试用第n+1大小调整图像而输出对应于所述测试用第1大小调整图像至所述测试用第n+1大小调整图像的测试用第1数据代码至测试用第n+1数据代码，其中，所述n为大于或等于1的整数；以及b)所述主动学习设备参考数据码本确认与小于或等于计数器阈值的大小调整图像数量对应的参考数据代码；从所述测试用第1数据代码至所述测试用第n+1数据代码中提取与所述参考数据代码匹配的测试用特定数据代码；将所述测试图像中对应于所述测试用特定数据代码的测试用特定图像选定为用于重新训练所述对象检测器的稀有样本；参考对应于所述稀有样本的所述测试用特定数据代码更新所述数据码本，其中，所述数据码本通过先前用于训练所述对象检测器时的先前学习用图像而生成或更新，所述数据码本列出所述先前学习用图像中的每个数据代码的大小调整图像数量。
25.所述方法可以进一步包括以下步骤：c)所述主动学习设备利用先前学习用图像和所述稀有样本重新训练所述对象检测器。
26.在所述a)步骤中，所述主动学习设备能够将所述测试用边界框中检测错误的测试
用边界框映射到背景数据代码。
27.在所述b)步骤中，所述计数器阈值可以是预设的大小调整图像数量，或者是与所述数据码本中按照大小调整图像数量递减顺序排列时的第q个阈值数据代码对应的大小调整图像数量，其中，所述q为大于或等于1的整数。
28.在所述a)步骤中，所述主动学习设备可以将所述对象检测器的检测阈值设置为比训练所述对象检测器时更低。
29.在所述a)步骤之前可以进一步包括以下步骤，a01)所述主动学习设备从每个训练图像中剪裁训练用对象区域以生成训练用第1剪裁对象图像至训练用第t剪裁对象图像；从所述每个训练图像中剪裁背景区域以生成训练用第1剪裁背景图像至训练用第u剪裁背景图像；对所述训练图像、对应于每个所述训练图像的所述训练用第1剪裁对象图像至所述训练用第t剪裁对象图像、以及对应于所述每个训练图像的所述训练用第1剪裁背景图像至所述训练用第u剪裁背景图像以相同大小进行大小调整，以此生成训练用第1大小调整对象图像至训练用第t+1大小调整对象图像以及训练用第1大小调整背景图像至训练用第u大小调整背景图像；将所述训练用第1大小调整对象图像至所述训练用第t+1大小调整对象图像以及所述训练用第1大小调整背景图像至所述训练用第u大小调整背景图像输入到所述深度自动编码器的所述数据编码器，以使所述数据编码器编码所述训练用第1大小调整对象图像至所述训练用第t+1大小调整对象图像以及所述训练用第1大小调整背景图像至所述训练用第u大小调整背景图像而输出对应于所述训练用第1大小调整对象图像至所述训练用第t+1大小调整对象图像的训练用第1对象数据代码至训练用第t+1对象数据代码以及对应于所述训练用第1大小调整背景图像至所述训练用第u大小调整背景图像的训练用第1背景数据代码至训练用第u背景数据代码，其中，所述每个训练图像从用于训练所述对象检测器的训练图像数据库中进行采样，所述t和u为大于或等于1的整数；以及a02)所述主动学习设备将所述训练用第1对象数据代码至所述训练用第t+1对象数据代码输入到所述深度自动编码器的数据解码器，以使所述数据解码器解码每个所述训练用第1对象数据代码至所述训练用第t+1对象数据代码而输出训练用第1重键图像至训练用第t+1重键图像；利用参考所述训练用第1大小调整对象图像至所述训练用第t+1大小调整对象图像和所述训练用第1重键图像至所述训练用第t+1重键图像的第1对象损失至第t+1对象损失训练所述数据解码器和所述数据编码器；利用参考所述训练用第1背景数据代码至所述训练用第u背景数据代码的背景损失训练所述数据编码器。
30.所述方法可以进一步包括以下步骤：a03)所述主动学习设备在从所述训练图像数据库中采样的每个评估图像中剪裁评估用对象区域，以此生成评估用第1剪裁对象图像至评估用第v剪裁对象图像；将所述评估图像、对应于每个评估图像的所述评估用第1剪裁对象图像至所述评估用第v剪裁对象图像以相同大小进行大小调整，以此生成评估用第1大小调整对象图像至评估用第v+1大小调整对象图像；将所述评估用第1大小调整对象图像至所述评估用第v+1大小调整对象图像输入到所述数据编码器，以使所述数据编码器编码所述评估用第1大小调整对象图像至所述评估用第v+1大小调整对象图像而输出对应于所述评估用第1大小调整对象图像至所述评估用第v+1大小调整对象图像的评估用第1对象数据代码至评估用第v+1对象数据代码；以数据代码分类所述评估用第1对象数据代码至所述评估用第v+1对象数据代码，并对与每个数据代码对应的大小调整图像数量进行计数以生成所
述数据码本，其中，所述v为大于或等于1的整数。
31.在所述a01)步骤中，所述主动学习设备可以使从一张训练图像中生成的训练用剪裁背景图像数量成为训练用剪裁对象图像数量的一至三倍。
32.另外，根据本发明的另一实施例提供用于对象检测器的主动学习设备，其利用深度自动编码器执行可解释主动学习，其中，包括：存储器，其中存储指令，所述指令用于利用深度自动编码器执行可解释主动学习以对用于训练对象检测器的训练图像进行采样；以及处理器，其利用所述深度自动编码器执行所述可解释主动学习，以根据存储于所述存储器的所述指令对用于训练所述对象检测器的所述训练图像进行采样，其中：所述处理器执行以下过程：i)测试图像被获取后，将所述测试图像输入到所述对象检测器，以使所述对象检测器从每个所述测试图像中检测出测试用对象，以此输出对应于所述测试用对象的测试用边界框；通过在每个所述测试图像中剪裁对应于所述测试用边界框的区域，生成测试用第1剪裁图像至测试用第n剪裁图像；通过将所述测试图像以及所述测试用第1剪裁图像至所述测试用第n剪裁图像以相同大小进行大小调整，生成测试用第1大小调整图像至测试用第n+1大小调整图像；通过将所述测试用第1大小调整图像至所述测试用第n+1大小调整图像输入到深度自动编码器的数据编码器，以使所述数据编码器编码所述测试用第1大小调整图像至所述测试用第n+1大小调整图像而输出对应于所述测试用第1大小调整图像至所述测试用第n+1大小调整图像的测试用第1数据代码至测试用第n+1数据代码，其中，所述n为大于或等于1的整数；以及ii)参考数据码本确认与小于或等于计数器阈值的大小调整图像数量对应的参考数据代码；从所述测试用第1数据代码至所述测试用第n+1数据代码中提取与所述参考数据代码匹配的测试用特定数据代码；将所述测试图像中对应于所述测试用特定数据代码的测试用特定图像选定为用于重新训练所述对象检测器的稀有样本；参考对应于所述稀有样本的所述测试用特定数据代码更新所述数据码本，其中，所述数据码本通过先前用于训练所述对象检测器时的先前学习用图像而生成或更新，所述数据码本列出所述先前学习用图像中的每个数据代码的大小调整图像数量。
33.所述处理器可以进一步执行iii)利用先前学习用图像和所述稀有样本重新训练所述对象检测器的过程。
34.所述处理器在所述i)过程中，可以将所述测试用边界框中检测错误的测试用边界框映射到背景数据代码。
35.在所述ii)过程中，所述计数器阈值可以是预设的大小调整图像数量，或者是与所述数据码本中按照大小调整图像数量递减顺序排列时的第q个阈值数据代码对应的大小调整图像数量，其中，所述q为大于或等于1的整数。
36.所述处理器在所述i)过程中，可以将所述对象检测器的检测阈值设置为比训练所述对象检测器时更低。
37.所述处理器在所述i)过程之前可以进一步执行以下过程，i01)从每个训练图像中剪裁训练用对象区域以生成训练用第1剪裁对象图像至训练用第t剪裁对象图像；从所述每个训练图像中剪裁背景区域以生成训练用第1剪裁背景图像至训练用第u剪裁背景图像；对所述训练图像，对应于每个所述训练图像的所述训练用第1剪裁对象图像至所述训练用第t剪裁对象图像，以及对应于每个所述训练图像的所述训练用第1剪裁背景图像至所述训练用第u剪裁背景图像以相同大小进行大小调整，以此生成训练用第1大小调整对象图像至训
练用第t+1大小调整对象图像以及训练用第1大小调整背景图像至训练用第u大小调整背景图像；将所述训练用第1大小调整对象图像至所述训练用第t+1大小调整对象图像以及所述训练用第1大小调整背景图像至所述训练用第u大小调整背景图像输入到所述深度自动编码器的所述数据编码器，以使所述数据编码器编码所述训练用第1大小调整对象图像至所述训练用第t+1大小调整对象图像以及所述训练用第1大小调整背景图像至所述训练用第u大小调整背景图像而输出对应于所述训练用第1大小调整对象图像至所述训练用第t+1大小调整对象图像的训练用第1对象数据代码至训练用第t+1对象数据代码，以及对应于所述训练用第1大小调整背景图像至所述训练用第u大小调整背景图像的训练用第1背景数据代码至训练用第u背景数据代码，其中，所述训练图像从用于训练所述对象检测器的训练图像数据库中进行采样，所述t和u为大于或等于1的整数；以及i02)将所述训练用第1对象数据代码至所述训练用第t+1对象数据代码输入到所述深度自动编码器的数据解码器，以使所述数据解码器解码每个所述训练用第1对象数据代码至所述训练用第t+1对象数据代码而输出训练用第1重键图像至训练用第t+1重键图像；利用参考所述训练用第1大小调整对象图像至所述训练用第t+1大小调整对象图像和所述训练用第1重键图像至所述训练用第t+1重键图像的第1对象损失至第t+1对象损失训练所述数据解码器和所述数据编码器；利用参考所述训练用第1背景数据代码至所述训练用第u背景数据代码的背景损失训练所述数据编码器。
38.所述处理器可以进一步执行以下过程，i03)在从所述训练图像数据库中采样的每个评估图像中剪裁评估用对象区域，以此生成评估用第1剪裁对象图像至评估用第v剪裁对象图像；将所述评估图像、对应于每个评估图像的所述评估用第1剪裁对象图像至所述评估用第v剪裁对象图像以相同大小进行大小调整，以此生成评估用第1大小调整对象图像至评估用第v+1大小调整对象图像；将所述评估用第1大小调整对象图像至所述评估用第v+1大小调整对象图像输入到所述数据编码器，以使所述数据编码器编码所述评估用第1大小调整对象图像至所述评估用第v+1大小调整对象图像而输出对应于所述评估用第1大小调整对象图像至所述评估用第v+1大小调整对象图像的评估用第1对象数据代码至评估用第v+1对象数据代码；以数据代码分类所述评估用第1对象数据代码至所述评估用第v+1对象数据代码，并对与每个数据代码对应的大小调整图像数量进行计数以生成所述数据码本，其中，所述v为大于或等于1的整数。
39.所述处理器在所述i01)过程中，可以使从一张训练图像中生成的训练用剪裁背景图像数量成为训练用剪裁对象图像数量的一至三倍。
40.技术效果
41.在本发明中，通过在主动学习中一同利用对象检测器和深度自动编码器映射特征空间，可以容易地获取根据对象类型的稀有样本。
42.在本发明中，通过在主动学习中一同利用对象检测器和深度自动编码器映射特征空间，可以反应特定类型的对象是否出现和整体场景的特性而获取稀有样本。
43.在本发明中，通过在主动学习中一同利用对象检测器和深度自动编码器映射特征空间并进行代码化，可以容易地确认选择稀有样本的原因。
44.在本发明中，通过在主动学习中一同利用对象检测器和深度自动编码器映射特征空间并进行代码化，可以容易地仅选择特定类型的未标注图像。
附图说明
45.用于说明本发明实施例的以下附图仅仅是本发明实施例的一部分，本发明所属领域技术人员(以下简称“技术人员”)可以在不做出创造性工作的情况下，基于以下附图获得其它附图。
46.图1是示意性示出根据本发明一实施例的通过使用用于对象检测器的深度自动编码器执行可解释主动学习的主动学习设备的图。
47.图2是示意性示出根据本发明一实施例的通过使用用于对象检测器的深度自动编码器执行可解释主动学习方法的图。
48.图3是示意性示出在根据本发明一实施例的利用深度编码器的用于对象检测器的可解释主动学习方法中，利用码本选择用于训练对象检测器的训练图像过程的图。
49.图4是示意性示出在根据本发明一实施例的利用深度编码器的用于对象检测器的可解释主动学习方法中，描述根据码本选择训练图像原因的状态图。
50.图5是示意性示出在根据本发明一实施例的利用深度编码器的用于对象检测器的可解释主动学习方法中，训练深度自动编码器过程的图。
51.图6是示意性示出在根据本发明一实施例的利用深度编码器的用于对象检测器的可解释主动学习方法中，生成数据码本过程的图。
具体实施方式
52.以下，参考附图详细描述本发明的目的、技术方案以及优点，附图示例性示出能够实施本发明的特定实施例。以下将详细描述这些实施例，以使技术人员能够充分实施本发明。
53.另外，贯穿本发明的发明内容和权利要求，术语“包括”及其变换并不旨在排除其它技术特征、附加件、组件或步骤。对于技术人员来说，本发明的其它目的、优点以及部分特性将通过本说明书变得显而易见，另一部分则通过本发明的实施例变得显而易见。以下示例和附图仅作为实例，其并不旨在限制本发明。
54.另外，本发明涵盖本说明书中实施例的所有组合。应当理解，本发明的各种实施例虽然不同，但无需相互排斥。例如，在不脱离本发明的技术构思和范围的情况下，与本说明书中的一实施例有关的特定形状、结构以及特性可实施为其它实施例。另外，应当理解，在不脱离本发明技术构思和范围的情况下，可以变更每个公开实施例的各个组件的位置或配置。因此，以下的详细描述并不具有限制性意义，如果进行适当描述，本发明的范围仅由权利要求所述内容与其等同的所有范围以及权利要求所限定。附图中相似的参考编号在多个方面指代相同或相似的功能。
55.以下将参考附图详细描述本发明的优选实施例，以使本发明所属领域技术人员能够容易地实施本发明。
56.图1是根据本发明一实施例的通过使用用于对象检测器的深度自动编码器执行可解释主动学习的主动学习设备示意图。参考图1，主动学习设备1000可以包括存储器1001和处理器1002，存储器1001存储指令，所述指令用于利用深度自动编码器执行可解释主动学习以对用于训练对象检测器的训练图像进行采样，处理器1002利用深度自动编码器执行可解释主动学习，以根据存储于存储器1001的指令对用于训练对象检测器的训练图像进行采
样。
57.具体地，主动学习设备1000可以利用计算设备和计算机软件(即，能够使计算设备以特定方式发挥功能的指令)的组合实现所需的系统性能，例如，所述计算设备可以是包括计算机处理器、内存、存储器、输入设备和输出设备以及其它现有计算设备组件的设备；路由器、交换机等电子通信设备；网络附属存储(nas)和存储区域网络(san)等电子信息存储系统。
58.另外，计算设备的处理器可以包括mpu(micro processing unit)或cpu(central processing unit)，高速缓存(cache memory)、数据总线(data bus)等硬件配置。另外，计算设备可以进一步包括操作系统以及执行特定目的的应用程序的软件构成要素。
59.但是，并不排除计算设备不包括用于实施本发明的介质、处理器以及存储器集成的形式，即，集成处理器。
60.以下，参考图2描述利用如上所述配置的主动学习设备1000进行可解释主动学习的方法，所述方法利用用于对象检测器的深度自动编码器。
61.首先，测试图像被获取后，主动学习设备1000将测试图像输入到对象检测器200以使对象检测器200从每个测试图像中检测出测试用对象，以输出对应于测试用对象的测试用边界框。另外，对象检测器200可以输出对应于测试用对象的测试用类别信息以及与测试用对象相关的各种检测信息。
62.此时，主动学习设备1000可以将对象检测器200的检测阈值(detection threshold)设置为低，由此使对象检测器200还包括测试图像中前景(foreground)类别分数较低的边界框，以使对象检测器200检测出尽可能多的测试用边界框，例如，设置为比训练对象检测器200时的检测阈值更低。由此，能够最大限度地防止将实际出现的对象错误地判断为未出现的情况，尤其是能够检测出属于难以检测类型的对象。
63.另外，对象检测器200可以是已被预先训练的状态，以检测输入图像上的对象。
64.另外，测试图像可以是通过与安装了对象检测器200的设备链接的图像捕获设备获取的图像，或者是用于对象检测器200欲执行的任务而收集的图像，或者是为用作训练图像而未进行标注的未标注图像。
65.例如，测试图像可以是车辆行驶过程中通过相机、激光雷达、雷达等获取的驾驶图像。
66.然后，主动学习设备1000通过在每个测试图像中剪裁(crop)对应于测试用边界框的区域，可以生成测试用第1剪裁图像至测试用第n剪裁图像。所述n可以是大于或等于1的整数。
67.另外，主动学习设备1000通过将测试图像以及对应于测试图像的测试用第1剪裁图像至测试用第n剪裁图像以相同大小进行大小调整，可以生成测试用第1大小调整图像210_1至测试用第n+1大小调整图像210_n+1。
68.然后，主动学习设备1000通过将测试用第1大小调整图像210_1至测试用第n+1大小调整图像210_n+1输入到深度自动编码器的数据编码器310，可以使数据编码器310编码测试用第1大小调整图像210_1至测试用第n+1大小调整图像210_n+1而输出对应于测试用第1大小调整图像210_1至测试用第n+1大小调整图像210_n+1的测试用第1数据代码至测试用第n+1数据代码。
69.此时，主动学习设备1000通过将sigmoid等激活函数(activation function)适用于数据编码器310的输出，可以获取测试用第1数据代码至测试用第n+1数据代码。
70.另外，数据代码可通过d维度(dimension)的【0，1】范围(range)表示，并且可成为与每个大小调整图像相关的子空间。所述d可以是大于或等于1的整数。另外，对应背景区域的数据代码可由全零(all zero)表示。另外，与检测错误的测试用边界框对应的大小调整图像相关的数据代码可映射到背景代码，即，全零。
71.然后，参考图3，主动学习设备1000可以参考数据码本410确认与小于或等于计数器阈值的大小调整图像数量对应的参考数据代码；从测试用第1数据代码至测试用第n+1数据代码中，提取与参考数据代码匹配的测试用特定数据代码；将测试图像中对应于测试用特定数据代码的测试用特定图像选定为用于重新训练对象检测器200的稀有样本；参考对应于稀有样本的测试用特定数据代码更新数据码本410，其中，数据码本410通过先前用于训练对象检测器200时的先前学习用图像而生成或更新。所述数据码本410可以列出先前学习用图像中的每个数据代码的大小调整图像数量，生成数据码本410的过程将在后面描述。
72.此时，计数器阈值可以是预设的大小调整图像数量，或者是与数据码本410中按照大小调整图像数量递减顺序排列时的第q个阈值数据代码对应的大小调整图像数量。所述q可以是大于或等于1的整数。
73.即，与作为数据代码的子空间对应的图像数量越少，就可以将其确定为先前训练对象检测器200过程中未充分训练的稀有子空间，由此可以利用数据码本410将与先前训练对象检测器200过程中未充分训练的测试用特定数据代码对应的测试用特定图像作为稀有样本(即，稀有图像)而进行采样，并利用与已采样的测试用特定图像对应的测试用特定数据代码更新数据码本410以重新训练对象检测器200后用作从新测试图像中采样新稀有图像的标准。
74.另外，可以在每次重新训练对象检测器200时持续更新数据码本410。
75.然后参考图4，可通过由如上所述的方法形成的数据码本确认测试用特定图像被选为稀有样本的原因。
76.即，可通过数据码本利用场景层次和对象层次描述测试图像，并且可通过场景层次和对象层次确认被选为稀有样本的原因。
77.例如，可以证实当车辆在白天行驶在道路时，即，测试图像的场景为“白天道路(day road)”时，停车标志出现得较少。
78.另外，可以证实即使是相同的车辆，在“大雨(heavy rain)”场景中检测到的车辆也会因雨而出现斑迹和晕染，因此与在“白天公路(day highway)”的场景中检测到的车辆相比，在对象层次方面更稀有。
79.然后，主动学习设备1000利用先前学习用图像和稀有样本重新训练对象检测器200。
80.另一方面，对训练深度自动编码器的方法以及生成数据码本过程的描述如下。
81.首先，参考图5描述训练深度自动编码器的方法。
82.主动学习设备1000从训练图像数据库中采样用于训练深度自动编码器310、320的训练图像，所述训练图像数据库中存储用于训练目标模型(即，对象检测器)的训练图像。
83.另外，主动学习设备1000可以从每个训练图像中剪裁训练用对象区域以生成训练
用第1剪裁对象图像至训练用第t剪裁对象图像；从所述每个训练图像中剪裁背景区域以生成训练用第1剪裁背景图像至训练用第u剪裁背景图像，其中，所述每个训练图像从用于训练对象检测器的训练图像数据库中进行采样。所述t和u可以是大于或等于1的整数。
84.此时，可以随机裁剪背景区域，使得剪裁背景图像数量成为剪裁对象图像数量的一至三倍。
85.然后，主动学习设备1000通过对训练图像，对应于每个训练图像的训练用第1剪裁对象图像至训练用第t剪裁对象图像、以及对应于每个训练图像的训练用第1剪裁背景图像至训练用第u剪裁背景图像以相同大小进行大小调整，可以生成训练用第1大小调整对象图像20_1至训练用第t+1大小调整对象图像20_t+1，以及训练用第1大小调整背景图像30_1至训练用第u大小调整背景图像30_u。
86.然后，主动学习设备1000可以将训练用第1大小调整对象图像20_1至训练用第t+1大小调整对象图像20_t+1以及训练用第1大小调整背景图像30_1至训练用第u大小调整背景图像30_u输入到深度自动编码器的数据编码器310，以使数据编码器310编码每个训练用第1大小调整对象图像20_1至训练用第t+1大小调整对象图像20_t+1以及训练用第1大小调整背景图像30_1至训练用第u大小调整背景图像30_u而输出对应于训练用第1大小调整对象图像20_1至训练用第t+1大小调整对象图像20_t+1的训练用第1对象数据代码至训练用第t+1对象数据代码，以及对应于训练用第1大小调整背景图像30_1至训练用第u大小调整背景图像30_u的训练用第1背景数据代码至训练用第u背景数据代码。
87.然后，主动学习设备1000可以将训练用第1对象数据代码至训练用第t+1对象数据代码输入到深度自动编码器的数据解码器320，以使数据解码器320解码每个训练用第1对象数据代码至训练用第t+1对象数据代码而输出训练用第1重键(reconstructed)图像至训练用第t+1重键图像。
88.另外，主动学习设备1000可以利用参考训练用第1大小调整对象图像20_1至训练用第t+1大小调整对象图像20_t+1和训练用第1重键图像至训练用第t+1重键图像的第1对象损失至第t+1对象损失训练数据解码器320和数据编码器310；利用参考训练用第1背景数据代码至训练用第u背景数据代码的背景损失训练数据编码器310。
89.此时，对象损失可以如下表示。
[0090][0091]
其中，i可以是大小调整图像，r可以是重键图像。
[0092]
另外，背景损失可以如下表示。
[0093][0094]
即，主动学习设备1000将训练图像的所有图像和每个对象的剪裁对象图像反映到代码损失和重建(reconstruction)损失以用于训练数据解码器320和数据编码器310，并且将针对背景的剪裁背景图像仅反映到代码损失，使得输出的代码为全零以用于训练数据编码器310。
[0095]
另一方面，在上述内容中主动学习设备1000训练数据编码器310，但与此不同，也
可以通过另外的学习设备训练数据编码器310。
[0096]
然后，参考图6描述生成数据码本的方法。
[0097]
主动学习设备1000从训练图像数据库中采样用于生成数据码本的评估(evaluation)图像，所述训练图像数据库中存储用于训练目标模型(即，对象检测器)的训练图像。
[0098]
此时，主动学习设备1000可以从训练图像数据库中采样训练图像，并将已采样的训练图像划分为用于训练数据编码器310的训练图像和用于生成数据码本的评估图像。另外，可通过均匀随即采样(uniform random sampling)执行对训练图像和评估图像的划分，由此能够避免训练图像和评估图像的分布特性(即，子空间的稀有度)彼此不相同。
[0099]
另外，主动学习设备1000通过在从训练图像数据库中采样的每个评估图像中剪裁评估用对象区域，可以生成评估用第1剪裁对象图像至评估用第v剪裁对象图像；通过将评估图像以及对应于每个评估图像的评估用第1剪裁对象图像至评估用第v剪裁对象图像以相同大小进行大小调整，可以生成评估用第1大小调整对象图像40_1至评估用第(v+1)大小调整对象图像40_(v+1)。所述v可以是大于或等于1的整数。
[0100]
然后，主动学习设备1000可以将评估用第1大小调整对象图像40_1至评估用第(v+1)大小调整对象图像40_(v+1)输入到正进行训练的数据编码器310中，以使所述数据编码器310编码每个评估用第1大小调整对象图像40_1至评估用第(v+1)大小调整对象图像40_(v+1)而输出对应于每个评估用第1大小调整对象图像40_1至评估用第(v+1)大小调整对象图像40_(v+1)的评估用第1对象数据代码至评估用第(v+1)对象数据代码。此时，数据编码器310输出的数据代码的数量可以是(对象数量+1)/一张评估用图像。
[0101]
另外，主动学习设备1000能够以数据代码分类评估用第1对象数据代码至评估用第(v+1)对象数据代码，并对与每个数据代码对应的大小调整图像数量进行计数以生成数据码本410。即，可将每个数据代码的大小调整图像数量映射到每个数据代码，从而生成数据码本410。此时，图像id可以进一步映射到数据码本410。此时，数据码本410中的数据代码可成为子空间，对应于子空间的大小调整图像的数量越少，就能将其确定为稀有子空间，即，稀有样本。
[0102]
另一方面，以上描述主动学习设备1000生成数据码本410，但与此不同，也可以通过另外的学习设备或数据码本生成设备生成数据码本410。
[0103]
另外，如上所述的根据本发明的实施例能够以由各种计算机组件执行的程序命令形式实现并记录到计算机可读记录介质。所述计算机可读记录介质可以单独或组合包括程序命令、数据文件、数据结构等。记录到所述计算机可读记录介质的程序命令可以是专门为本发明设计或配置，或者是被计算机软件所属领域的技术人员已知并使用的程序命令。计算机可读记录介质的示例包括硬盘、软盘以及磁带等磁介质，cd-rom、dvd等光记录介质，光软盘(floptical disk)等磁光介质，以及rom、ram、闪存等以存储和执行程序命令而专门配置的硬件设备。程序命令的示例不仅包括诸如由编译器生成的机器语言代码，还包括计算机使用解释器等可执行的高级语言代码。所述硬件设备可以被配置为作为一个或多个软件模块来操作以执行根据本发明的处理，反之亦然。
[0104]
以上，通过具体组件等特定事项、限定的实施例以及附图描述了本发明，但这些是为了有助于对本发明更全面的理解，本发明并不限于所述实施例，本发明所属领域技术人
员可以根据这些描述来尝试各种修改和变化。
[0105]
因此，本发明的技术构思不应局限于如上所述的实施例，本发明的权利要求及其相等或等同变换的所有内容都属于本发明的技术构思。