自动图像合成装置与方法与流程

相关申请交叉引用

本申请要求于2019年2月28日提交的申请号为10-2019-0023543的韩国专利申请的优先权，出于所有目的通过引用将其全部并入本申请。

本发明的示例性实施例总体上涉及一种自动图像合成装置与方法，更具体地，涉及一种通过使用在图像中检测的事物(或对象)的分割掩模图像和先前安全的标准图像数据库进行图像合成而使得程式化事物(或对象)的各种数据集能够被保护的自动图像合成装置与方法。

背景技术：

通常，图像处理被称为图片处理，由于存储设备的快速发展，通过计算机进行的数字图像处理在许多应用领域中已经得到实际的使用，诸如空间观察、医学、摄影分析、设计以及各种类型的模式识别。电视(tv)摄像机、ccd摄像机等被用作图像输入设备，用于复制的硬件和软件的各种输出设备被采用，并且已经开发了一些使用计算机处理数字化图像的特殊技术。

最近，随着数码相机和智能手机相机的快速发展，智能手机用户通过编辑和重构图像生成他们自己的各种形式的内容。然而，所提供的相关图像编辑过程仅仅是简单地调整图像的亮度或饱和度或者是调整包括在图像中的对象的大小。目前，还没有一种系统提供对用户生成的图像进行深度分析以将图像重新创建或重构为新的创作的图像分析和编辑处理功能。

在相关技术中，利用图像处理和计算机视觉并通过在计算机上处理图像来进行图像处理。目前，图像改变软件或类似的工具可以改变图像，将图像另存为特定数据类型(jpg、png、gif、psd等)，并且仅在软件上使用该数据。可以使用其他软件以另一种类型处理该数据，但是所需数据不能被提取和重新处理。

背景技术中公开的上述信息仅用于理解本发明构思的背景，因此可能包含不构成现有技术的信息。

技术实现要素：

各个实施例旨在提供一种自动图像合成装置和方法，其通过使用在图像中检测的事物(或对象)的分割掩模图像和先前安全的标准图像数据库进行图像合成而使得程式化事物(或对象)的各种数据集能够被保护。

在一个实施例中，一种自动图像合成装置包括：图像搜索单元，配置为从车载摄像机输入的多个帧图像中搜索并提取具有待学习或待替换的对象的帧图像；实例对象检测单元，配置为从所提取的帧图像中检测待学习或待替换的实例对象；图像提取与对象类别信息检测单元，配置为从所提取的帧图像中提取被掩模分割的对象并形成数据结构；标准图像映射单元，配置为将所述被掩模分割的对象映射至与所述被掩模分割的对象的类别值匹配的标准图像；生成对抗网络(generativeadversarialnetwork,gan)网络单元，配置为接收所述标准图像和所述被掩模分割的对象，并学习替换图像或基于学习结果产生替换图像。

在本公开中，所述图像搜索单元搜索并提取帧图像，以用于：学习阶段，用于替换包括在所搜索到的帧图像中的特定对象图像；以及产生阶段，用于利用已学习的学习信息来生成待替换的对象图像。

在本公开中，所述实例对象检测单元以实例为单位对所提取的帧图像中的对象进行分类，并通过查找对应对象的每个像素和类别信息的分割来执行掩模分割。

在本公开中，所述标准图像被存储在标准图像数据库中。

在本公开中，所述标准图像数据库包括当从立方体的角度观看动态对象时除了底面之外的五个表面的图像的集合，并且在静态对象(例如标志和交通信号灯)的情况下，仅存储仅具有驾驶所需信息的前表面作为标准图像。

在本公开中，所述标准图像映射单元在学习阶段中映射至待学习的对象的标准图像，并在产生阶段中映射至待替换的对象的标准图像。

在本公开中，所述gan网络单元通过重复处理所述标准图像和所述掩模分割图像来进行学习直到将所述标准图像和所述掩模分割图像识别为基本相同的图像，并通过学习单元存储学习结果。

在另一实施例中，一种自动图像合成方法包括：图像搜索单元从通过车载摄像机输入的多个帧图像中搜索并提取具有待学习或待替换的对象的帧图像；实例对象检测单元从所提取的帧图像中检测待学习或待替换的实例对象；图像提取与对象类别信息检测单元从所提取的帧图像中提取被掩模分割的对象并形成数据结构；标准图像映射单元将所述被掩模分割的对象映射至与所述被掩模分割的对象的类别值匹配的标准图像；gan网络单元接收所述标准图像和所述被掩模分割的对象，并学习替换图像或基于学习结果产生替换图像。

在本公开中，在所述帧图像的搜索和提取中，所述图像搜索单元搜索并提取帧图像，以用于：学习阶段，用于替换包括在所搜索到的帧图像中的特定对象图像，以及产生阶段，用于利用已学习的学习信息生成待替换的对象图像。

在本公开中，在所述实例对象的检测中，所述实例对象检测单元以实例为单位对所提取的帧图像中的对象进行分类，并通过查找对应对象的每个像素和类别信息的分割来执行掩模分割。

在本公开中，在所述标准图像的映射中，所述标准图像映射单元在学习阶段中映射至待学习的对象的标准图像，并在产生阶段中映射至待替换的对象的标准图像。

在本公开中，在所述替换图像的学习或所述替换图像的产生中，所述gan网络单元通过重复处理所述标准图像和所述掩模分割图像来进行学习直到将所述标准图像和所述掩模分割图像识别为基本相同的图像，并通过学习单元存储学习结果。

根据本公开的一个方面，通过使用在图像中检测的事物(或对象)的分割掩模图像和先前安全的标准图像数据库进行图像合成，能够保护程式化事物(或对象)的各种数据集。

应当理解，前面的一般描述和下面的详细描述都是示例性和说明性的，并且旨在提供对如权利要求所述的本发明的进一步说明。

附图说明

附图被包括以提供对本发明的进一步理解，并被并入本说明书且构成本说明书的一部分，其示出本发明的示例性实施例，并与说明书一起用于说明本发明的构思。

图1是示出根据本公开一实施例的自动图像合成装置的示意性配置的示例图。

图2是用于说明根据本公开一实施例的自动图像合成方法的流程图。

图3是示出图1中对用于指定对象识别范围的类别进行分类的表格的示例图。

图4是用于说明图1中标准图像数据库的示例图。

图5是示出作为图1中待识别的静态对象的标志的示例图。

图6是示出作为图1中待识别的固定对象的交通信号灯的示例图。

具体实施方式

如相应领域中的传统一样，一些示例性实施例可以在附图中按照功能性的块、单元和/或模块示出。本领域普通技术人员将理解，这些块、单元和/或模块由诸如逻辑电路等电子电路(或光学电路)、分立器件、处理器、硬连线电路、存储器元件、布线连接物理地实现。当这些块、单元和/或模块由处理器或类似硬件实现时，可以使用软件(例如，代码)对它们进行编程和控制以执行本文讨论的各种功能。可替代地，每个块、单元和/或模块可以由专用硬件来实现或作为执行一些功能的专用硬件和执行其他功能的处理器(例如，一个或多个编程处理器和相关电路)的组合来实现。在不脱离本发明构思的范围的情况下，一些示例性实施例的每个块、单元和/或模块可以在物理上被分成两个或多个相互作用的离散的块、单元和/或模块。此外，一些示例性实施例的块、单元和/或模块可以在物理上组合为更复杂的块、单元和/或模块，而不脱离本发明构思的范围。

在下文中，将参照附图描述根据本公开的自动图像合成装置和方法的实施例。

应当注意的是，附图不是按照精确比例绘制，并且仅为了描述方便与清楚，可能夸大线条的粗细或部件的尺寸。此外，本文中使用的术语是通过考虑本公开中的功能来定义的，并且可以根据用户或操作者的习惯或意图来改变。因此，应根据本文阐述的全部公开内容对术语进行定义。

图1是示出根据本公开一实施例的自动图像合成装置的示意性配置的示例图。

如图1所示，根据本实施例的自动图像合成装置包括图像搜索单元110、实例对象检测单元120、图像提取与对象类别信息检测单元130、标准图像映射单元140、gan网络单元150以及替换图像输出单元170。

图像搜索单元110接收通过车载摄像机(例如，黑盒、前向监测摄像机等)(未示出)输入的多个图像(例如，多个帧图像)，搜索并提取具有待学习(或待替换)的对象的图像(例如，帧图像)。

图像搜索单元110搜索并提取待在学习阶段(即，用于替换包括在所搜索到的帧图像中的特定对象图像的学习阶段)和产生阶段(即，用于利用已学习的学习信息生成待替换的对象图像的阶段)使用的图像(即，从多个帧图像中选择的帧图像)。

实例对象检测单元120从所提取的图像(例如，帧图像)中检测实例对象(例如，待学习或待替换的对象)。

此外，实例对象检测单元120通过利用预先确定的技术(例如，maskrcnn技术)以实例为单位对所提取的图像(例如，帧图像)中的对象进行分类，并通过查对应对象的每个像素和类别信息(例如，指示一类对象，诸如公共汽车、自行车和卡车)的分割来执行掩模分割。

maskrcnn技术是2017年提出的技术，是用于识别图像中的实例对象的最佳算法之一，并且在图像中找到了与实例对象相对应的所有像素。

这里，图像(例如，帧图像)中存在待检测的各种对象，通过对其中具有基本相同属性的对象进行分组来定义类别。类别的类型根据将要应用的应用而不同。在这种情况下，根据类别的定义类型，对象可以是基本上相同的对象或不同的对象。

例如，当存在天空类别时，彼此隔离的两个或多个天空区域可能出现在图像(例如，帧图像)中，并且这些区域成为基本相同的对象。此外，在不同的对象，诸如蔬菜，由于模糊的边界而难以区分的情况下，仅定义类别而没有对象区分。然而，当定义诸如汽车、行人和自行车等类别时，由于对象之间的边界是清楚的，且对象是根据场合需要可区分地识别的重要信息，因此本质上每个对象都可以被区分(参见图3)。

在这种情况下，如上所述区分的每个对象称为实例对象。

作为参考，如图3所示，驾驶所需的主要事物还包括大类别和与对应对象相对应的所有详细类型。例如，汽车可以被分类为厢式轿车、掀背式汽车、suv等，大、中、小等，或a段、b段和c段作为中类别，或者可以被分类为一个国家(例如，韩国)中现有的所有车辆(例如lf/nf索纳塔、朗动等)作为小类别。

这里，图像中以像素为单位映射到预定义的类别称为分割，掩模分割是通过将针对相同的实例或类别分割的像素进行分组来成像。更精确地，本公开识别实例对象，并且实例掩模分割被缩写为掩模分割。

实例对象检测单元120在学习阶段和产生阶段中被相等地使用。

图像提取与对象类别信息检测单元130从所提取的图像(例如，帧图像)中提取被掩模分割的对象，并形成数据结构。

图像提取与对象类别信息检测单元130在学习阶段和产生阶段中被相等地使用。

标准图像映射单元140将被掩模分割的对象映射至与被掩模分割的对象的类别值(或id)匹配的标准图像。该标准图像存储在标准图像db(即，数据库database)中(如图4所示)。

即，与预定义标准图像db(数据库)连接的图像可以基于类别信息被找到。标准图像映射单元140在学习阶段和产生阶段中被相等地使用。然而，标准图像映射单元140在学习阶段中映射至待学习的对象的标准图像，在产生阶段中映射至待替换的对象的标准图像。

这种情况下，在本实施例中，如图4所示，标准图像是指从立方体的角度观看诸如车辆和两轮车辆的动态对象时，除了底面之外的五个表面的图像的集合，在诸如标志(如图5所示)和交通信号灯(如图6所示)的静态对象的情况下，标准图像仅指仅具有驾驶所需信息的前表面。

gan网络单元150链接所选择的标准图像和掩模分割图像至公知的gan网络(从公知的gan网络接收所选择的标准图像和掩模分割图像)，并处理所接收的图像。

作为参考，gan(生成对抗网络)网络是由iangoodfellow在2014年提出的技术，是允许生成器(generator,g)和辨别器(discriminator,d)之间的两个网络以对抗方式学习的无人监督的生成模型，其中生成器(g)学习接收由零均值高斯(zero-meangaussian)生成的值z以生成类似于真实数据的数据，辨别器(d)辨别真实数据与生成器(g)生成的假数据。

当标准图像和掩模分割图像都被放入gan网络单元150中时，gan网络单元150通过重复处理这两个图像(例如，矢量(即，大小、角度等)调整)来学习，直到这两个图像被识别为基本相同的图像。即，gan网络单元150重复处理这两个图像直到辨别器(d)识别这两个图像为基本相同的图像，并允许生成器(g)学习。

学习单元160存储gan网络单元150的学习结果(即，矢量信息学习结果)。此外，学习单元160可以重复学习图像搜索单元110的另一图像(例如，帧图像)以及所提取的特定图像(例如，帧图像)中的其他实例对象。

如上所述，当通过gan网络单元150完成对特定实例对象学习时，从标准图像映射单元140接收用于基于已学习的实例对象的学习结果(即，矢量信息学习结果)替换该特定实例对象(即，掩模分割图像)的标准图像。

即，gan网络单元150生成能够用新选择的标准图像替换掩模分割图像的替换图像。

替换图像输出单元170输出通过gan网络单元150生成的(即，从掩模分割图像替换而来的)替换图像。

图2是用于说明根据本公开一实施例的自动图像合成方法的流程图。

如图2所示，图像搜索单元110接收通过车载摄像机(例如，黑盒、前向监测摄像机等)(未示出)输入的多个图像(例如，多个帧图像)，搜索并提取具有待学习(或待替换)的对象的图像(例如，帧图像)(s101)。

当预设模式是学习模式(s102的学习)，实例对象检测单元120从所提取的图像(例如，帧图像)中检测实例对象(例如，待学习或待替换的对象)(s103)。

实例对象检测单元120通过利用预先确定的技术(例如，maskrcnn技术)以实例为单位对所提取的图像(例如，帧图像)中的对象进行分类，并通过查找对应对象的每个像素和类别信息(例如，指示一类对象，诸如公共汽车、自行车和卡车)的分割来执行掩模分割。

图像提取和对象类别信息检测单元130从所提取的图像(例如，帧图像)中提取被掩模分割的对象，并形成数据结构。

标准图像映射单元140将被掩模分割的对象映射至与被掩模分割的对象的类别值(或id)匹配的标准图像(s105)。

gan网络单元150链接所选择的标准图像和掩模分割图像至公知的gan网络(从公知的gan网络接收所选择的标准图像和掩模分割图像)，并处理所接收的图像(s106)。

当标准图像和掩模分割图像都被放入gan网络单元150中时，gan网络单元150通过重复处理这两个图像(例如，矢量(即，大小、角度等)调整)来学习，直到这两个图像被识别为基本相同的图像(s107)。

学习单元160存储gan网络单元150的学习结果(即，矢量信息学习结果)，并在产生(或生成)替换图像时向gan网络单元150提供学习结果(即，矢量信息学习结果)(s108)。

对于图像搜索单元110的另一图像(例如，帧图像)和所提取的特定图像(例如，帧图像)中的其他实例对象，可以重复执行学习阶段(s101至s108)。

当预设模式为产生(生成)模式(s102的产生)，实例对象检测单元120从所提取的图像(例如，帧图像)中检测实例对象(例如，待学习或待替换的对象)(s109＝s103)。

此外，图像提取与对象类别信息检测单元130从所提取的图像(例如，帧图像)中提取被掩模分割的对象，并形成数据结构。

此外，标准图像映射单元140将被掩模分割的对象映射至与被掩模分割的对象的类别值(或id)匹配的标准图像，并替换被掩模分割的对象(s111)。

gan网络单元150链接用于替换被掩模分割的对象的标准图像以及掩模分割图像至公知的gan网络(从公知的gan网络接收用于替换被掩模分割的对象的标准图像以及掩模分割图像)，并处理所接收的图像(s112)。

gan网络单元150通过使用掩模分割图像的学习结果(即，矢量信息学习结果)产生(或生成)替换图像(s113)。

如上所述，根据本实施例，通过使用在图像中检测的事物(或对象)的分割掩模图像和先前安全的标准图像数据库进行图像合成，能够保护程式化事物(或对象)的各种数据集。此外，根据本实施例，通过辨别学习阶段和产生阶段，并且重复学习各种对象和图像直到这些图像在gan(或gan网络)中被识别为基本相同图像(即，真实的)，能够更准确地保护各种类型的实例对象数据。

尽管已经参考附图中示出的实施例描述了本发明的构思，但是本公开的实施例仅用于说明目的，并且本领域技术人员将理解，各种修改和等同的其他实施例是可能的。因此，本公开的真正技术范围应由权利要求书限定。此外，例如可以用方法或过程、装置、软件程序以及数据流或信号来实现本说明书中描述的实施方式。尽管仅在上下文中讨论了单一形式的实施方式(例如，仅作为方法讨论)，但是所讨论的特征的实施方式也可以被实现为其他形式(例如，装置或程序)。该装置可以用适当的硬件、软件、固件等来实现。该方法可以在诸如处理器的装置中实现，处理器通常是指包括计算机、微处理器、集成电路或可编程逻辑设备的处理设备。处理器包括诸如计算机、蜂窝电话、便携式/个人数字助理(personaldigitalassistant,pda)等通信设备，以及有助于终端用户之间信息通信的其他设备。