专利名称：图像处理器、图像处理方法、学习设备、学习方法和程序的制作方法
技术领域：
本技术涉及图像处理器、图像处理方法、学习设备、学习方法和程序，更具体地，涉及能够将给定图像合并到输入图像的指定区域中的图像处理器等。
背景技术：
近年来已经显现出对于增强真实性的需要。几种方法可用于实现增强真实性。这些方法包括使用来自GPS (全球定位系统)的位置信息的方法和基于图像分析的方法。在这些方法之中的一个方法是使用特定对象识别技术将关于特定对象的姿势和位置的CG(计算机图形)合并在一起的增强真实性。例如，日本专利公开第2007-219764号描述了基于姿势和位置的估计结果的图像处理器。在确定增强真实性的质量的因素之中的首要因素是几何一致性(geometricconsistency).术语“几何一致性”指将CG合并到画面中而没有几何不适。术语“没有几何不适”指例如具体对象的姿势和位置的估计的准确性以及例如响应于感兴趣的区域的移动或者相机的移动的CG移动。为了简化描述，以下考虑其中图像被附加(attach)到CG的指定平面区域的情况。例如，考虑其中图像被附加到作为指定区域的室外广告板的情况。为了实现几何一致性，需要估计图像要被附加到的指定区域的位置。通常通过使用称为“标记(marker)”的特殊二维码或者任意图像来定义特定区域。在以下给出的描述中，指定的区域将被称为标记。用于识别标记和附加图像的算法通常使用将标记数据存储在程序中作为用于参考的图像(参考图像)或者表示其特征的字典的构架，针对输入图像检查参考图像并在输入图像中寻找标记。适于识 别标记位置的方法可以大致地分类为两组，(I)基于参考图像和输入图像之间的对比度的差别的精确估计的方法，以及(2)基于对参考图像的先前学习的其他方法。分类在组(I)下的方法在估计准确性方面是有利的，但是由于多个计算，不适合于实时处理。另一方面，被分类在组(2)下的那些方法在先前的学习中进行多个计算并分析参考图像。结果，仅要进行少量计算来识别在每个时间点时输入的图像。因此，这些方法有希望进行实时操作。图19例示能够合并捕捉的图像与合成图像的图像处理器400的配置示例。图像处理器400包括特征点提取部分401、匹配部分402、单应性(homography)计算部分403、合成图像坐标变换部分404、输出图像产生部分405和存储部分406。特征点提取部分401提取输入图像(捕捉的图像)的特征点。在此，术语“特征点”指在亮度级方面用作拐点(corner)的那些像素。匹配部分402通过进行匹配、即基于存储在存储部分406中的并且在先前学习中准备的参考图像的特征点字典而确定输入图像的特征点是否对应于参考图像的特征点的计算，来获取两个图像之间的对应的特征点。单应性计算部分403使用由匹配部分402得到的两个图像的对应点来计算单应性，即两个图像之间的变换。合成图像坐标变换部分404使用该单应性变换存储在存储部分406中的合成图像。输出图像产生部分405合并输入图像与变换的合成图像，由此获取输出图像。图20所示的流程图例示图19所示的图像处理器400的处理流程的例子。首先，图像处理器400在步骤STl开始一系列处理，然后在步骤ST2被提供了输入图像(捕捉的图像)，然后在步骤ST3继续该处理。图像处理器400在步骤ST3使用特征点提取部分401来提取输入图像的特征点。接下来，图像处理器400在步骤ST4基于存储在存储部分406中的参考图像的特征点字典以及由特征点提取部分401提取的输入图像的特征点，使用匹配部分402来匹配输入图像和参考图像之间的特征点。此匹配处理允许得到在输入图像和参考图像之间的对应的特征点。接下来，图像处理器400在步骤ST5中使用由匹配部分402得到的两个图像的对应点，使用单应性计算部分403来计算单应性矩阵、即两个图像之间的变换。然后，图像处理器在步骤ST6确定是否已经成功计算了单应性矩阵。当已经成功计算了单应性矩阵时，图像处理器400在步骤ST7基于在步骤ST5中计算的单应性矩阵来变换在存储部分406中存储的合成图像。然后，图像处理器在步骤ST8使用输出图像产生部分405通过合并输入图像与变换的合成图像来获取输出图像。接下来，图像处理器400在步骤ST9输出在步骤ST8中获取的输出图像，然后在步骤STlO终止该系列处理。另一方面，如果在步骤ST6中还未成功计算单应性矩阵，则图像处理器400在步骤STll以“按原样”方式输出输入图像，然后在步骤STlO终止该系列处理。在以上匹配处理 中技术上重要的是，是否可以按对于例如由于标记的旋转引起的标记姿势的改变而言强健的方式获得对应点。已经提出各种方法来以对于标记姿势的改变强健的方式来获取对应点。在对于标记姿势的改变强健的方法之中的是(I)在D.G.Lowe的 “Object recognition from local scale invariant features，，，Proc.0f IEEE
International 中描述的 SIFT 特征量，以及(2)在 M.0zuysal, Μ.Calonder, V.Lepetit, P.Fua Fast Keypoint Recognition using Random Ferns IEEETransactions on PatternAnalysis and Machine Intelligence, Vol.32，Nr.3，pp.448-461，2010 年 3 中描述的“Random Ferns，，。SIFT特征量通过使用在特征点周围的像素的倾斜方向描述特征点而允许以对标记旋转强健的方式的识别。另一方面，“Random Ferns”通过使用贝叶斯统计变换参考图像并预先学习参考图像而允许以对标记姿势的改变强健的方式的识别。
发明内容
过去的方法具有的问题之一是这些方法难以支持隔行输入图像并难以处理镜头失真。由于此问题导致的缺点是，需要将隔行输入图像转换为逐行图像并校正失真，作为特征点提取的预处理，因此导致计算的显著增加。此问题的原因如下。也就是，在基于先前学习的方法中，考虑要被识别的目标如何出现在图像上而进行学习。目标如何出现在图像上由三个因素确定，即要识别的目标的姿势的改变、相机的姿势的改变以及相机特性。但是，过去的方法未考虑相机的姿势的改变和相机特性。在这些因素之中，要识别的目标的姿势的改变和相机的姿势的改变是相关的，并且相机的姿势的改变可以由要识别的目标的姿势的改变来表示。因此，过去的方法具有的问题的原因可以总结为未考虑相机特性的事实。图21例示适于作为特征点提取的预处理将输入图像(隔行图像)转换为逐行图像(IP转换)并校正失真的图像处理器400A的配置例子。在图21中，与图19中相同的组件由相同的参考标记来表示，并且适当地省略其详细描述。图像处理器400A包括在特征点提取部分401的前级处的IP转换部分411和镜头失真校正部分412。IP转换部分411将隔行输入图像转换为逐行图像。另一方面，镜头失真校正部分412基于存储在存储部分406中的镜头失真数据校正转换的逐行输入图像的镜头失真。在此情况下，镜头失真数据表示捕捉输入图像的相机的镜头失真。该数据被预先测量并存储在存储部分406中。此外，图像处理器400A包括在输出图像产生部分405的后级处的镜头失真变换部分413和PI (逐行到隔行)转换部分414。镜头失真变换部分413基于存储在存储部分406中的镜头失真数据，以将镜头失真添加到输出图像产生部分405产生的输出图像的方式应用镜头失真变换。如上所述，镜头失真校正部分412确保输出图像产生部分405产生的输出图像没有镜头失真。镜头失真变换部分413添加回已经移除的镜头失真，因此恢复了拍摄者意欲的原始图像。PI转换部分414将经历了镜头失真变换的逐行输出图像转换为隔行图像，并输出该隔行图像。尽管未详细描述，但是图21所示的图像处理器400A在所有其他方面以与图19所示的图像处理器400相同的方式配置。图22所示的流程图例示了图21所示的图像处理器400A的处理流程。在图22中，与图20所示的步骤相似的步骤由相同的参考标记表示，并且适当时省略其详细描述。图像处理器400A在步骤STl开始一系列处理，然后在步骤ST2被提供输入图像，即隔行图像，并且然后在步骤ST21继续处理。在步骤ST21，图像处理器400A将隔行输入图像转换为逐行图像。 接下来，在步骤ST22，图像处理器400A基于存储在存储部分406中的镜头失真数据使用镜头失真校正部分412来校正转换的逐行输入图像的镜头失真。然后，在步骤ST3，图像处理器400A提取已经经历了镜头失真校正的转换的逐行输入图像的特征点。此外，在步骤ST8中的处理之后的步骤ST23，图像处理器400A基于存储在存储部分406中的镜头失真数据使用镜头失真变换部分413将镜头失真变换应用于获取的输出图像，因此向该输出图像添加镜头失真。接下来，在步骤ST24，图像处理器400A将已经经历了镜头失真变换的逐行输出图像转换为隔行图像。然后，在步骤ST9，图像处理器400A输出已经经历了镜头失真变换的转换的隔行输出图像。尽管未详细描述，但是图22所示的流程图的所有其他步骤与图20所示的流程图的步骤相同。期望允许以恰当的方式合并输入图像与合成图像。根据本技术的实施例，提供了图像处理器，包括:特征点提取部分，适配为提取作为由相机捕捉的图像的输入图像的特征点；对应性确定部分，适配为使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定由特征点提取部分提取的输入图像的特征点和参考图像的特征点之间的对应性；特征点坐标失真校正部分，适配为基于相机的镜头失真数据来校正由对应性确定部分确定的与参考图像的特征点对应的输入图像的特征点的坐标；投影关系计算部分，适配为根据对应性确定部分确定的对应性并基于参考图像的特征点的坐标和特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系；合成图像坐标变换部分，适配为基于投影关系计算部分计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及输出图像产生部分，适配为将输入图像与由合成图像坐标变换部分产生的要附加的合成图像合并，并获取输出图像。在本技术的实施例中，特征点提取部分提取输入图像的特征点。输入图像是例如直接从相机获取的或者从存储器读取的由相机捕捉的图像。对应性确定部分确定输入图像的提取的特征点和参考图像的特征点之间的对应性。即，对应性确定部分通过匹配输入图像和参考图像的特征点来获取对应的点。通过使用考虑相机的镜头失真而从参考图像产生的特征点字典进行对应性的确定。特征点坐标失真校正部分基于相机的镜头失真数据来校正由对应性确定部分确定与参考图像的特征点对应的输入图像的特征点的坐标。然后，投影关系计算部分根据所确定的对应性并基于参考图像的特征点的坐标和由特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系(单应性)。然后，合成图像坐标变换部分基于由投影关系计算部分计算的投影关系以及相机的镜头失真数据从合成图像产生要附加的合成图像。然后，输出图像产生部分通过合并输入图像与产生的要附加的合成图像而获取输出图像。如上所述，本技术的实施例使用考虑相机的镜头失真的参考图像的特征点字典来进行特征点的匹配，因此使得即使输入图像中存在镜头失真也能够正确地得到输入图像和参考图像的对应的特征点，并允许按正确的方式合并输入图像与合成图像。在此情况下，校正的不是输入图像的镜头失真，而是输入图像的特征点的坐标的镜头失真。这显著最小化
计算量。应该注意， 例如在本技术的实施例中，可以不仅考虑相机的镜头失真而且考虑隔行图像而产生特征点字典。在此情况下，使用考虑隔行图像的参考图像的特征点字典来匹配特征点。即使输入图像是隔行图像，也可以正确地得到输入图像和参考图像的对应的特征点，因此允许正确地合并输入图像与合成图像。在此情况下，隔行输入图像未被转换为逐行图像，显著最小化计算量。根据本技术的另一实施例，提供了图像处理方法，包括:提取作为由相机捕捉的图像的输入图像的特征点；使用考虑到相机的镜头失真而从参考图像产生的特征点字典来确定提取的输入图像的特征点和参考图像的特征点之间的对应性；基于相机的镜头失真数据来校正确定的与参考图像的特征点对应的输入图像的特征点的坐标；根据确定的对应性并基于参考图像的特征点的坐标和输入图像的特征点的校正的坐标来计算输入图像和参考图像之间的投影关系；基于计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及将输入图像与产生的要附加的合成图像合并，并获取输出图像。根据本技术的另一实施例，提供了允许计算机用作以下部分的程序:特征点提取部分，适配为提取作为由相机捕捉的图像的输入图像的特征点；对应性确定部分，适配为使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定由特征点提取部分提取的输入图像的特征点和参考图像的特征点之间的对应性；特征点坐标失真校正部分，适配为基于相机的镜头失真数据来校正由对应性确定部分确定的与参考图像的特征点对应的输入图像的特征点的坐标；投影关系计算部分，适配为根据对应性确定部分确定的对应性并基于参考图像的特征点的坐标和特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系；合成图像坐标变换部分，适配为基于投影关系计算部分计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及输出图像产生部分，适配为将输入图像与由合成图像坐标变换部分产生的要附加的合成图像合并，并获取输出图像。根据本技术的另一实施例，提供了学习设备，包括:图像变换部分，适配为向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及字典登记部分，适配为基于由图像变换部分变换的多个图像提取给定数量的特征点并将特征点登记在字典中。在本技术的实施例中，图像变换部分向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换。然后，字典登记部分基于多个变换的图像提取给定数量的特征点并将特征点登记在字典中。例如，字典登记部分可以包括:特征点计算单元，适配为得到图像变换部分变换的图像的特征点；特 征点坐标变换单元，适配为将特征点计算单元得到的特征点的坐标变换为参考图像的坐标；出现频率更新单元，适配为对于由图像变换部分变换的每个参考图像，基于由特征点坐标变换单元变换的特征点坐标来更新每个特征点的出现频率；以及特征点登记单元，适配为在出现频率已经被出现频率更新单元更新的所有特征点中，提取从最高的出现频率开始按出现频率的降序顺序的任意数量的特征点，并将这些特征点登记在字典中。如上所述，本技术的实施例基于经历了镜头失真变换的多个变换的图像提取给定数量的特征点并将特征点登记在字典中，因此使得能够以恰当的方式获取考虑相机的镜头失真的参考图像的特征点字典。应该注意，在本技术的实施例中，图像变换部分可以向参考图像应用几何变换和镜头失真变换，并且通过选择性地将逐行图像转换为隔行图像而产生多个变换的图像。这使得能够恰当地获取考虑相机的镜头失真以及逐行图像和隔行图像两者的特征点字典。此外，在本技术的实施例中，图像变换部分可以通过基于从多个镜头失真数据中随机地选择的镜头失真数据而应用镜头失真变换来产生多个变换的图像。这使得能够恰当地获取考虑多个相机的镜头失真的特征点字典。根据本技术的另一实施例，提供了学习方法，包括:向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及基于变换的多个图像提取给定数量的特征点并将特征点登记在字典中。根据本技术的另一实施例，提供了允许计算机用作以下部分的程序:图像变换部分，适配为向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及字典登记部分，适配为基于由图像变换部分变换的多个图像提取给定数量的特征点，并将特征点登记在字典中。本技术的实施例允许恰当地合并输入图像与合成图像。
图1是例示根据本技术的实施例的图像处理系统的配置示例的框图；图2是例示构成图像处理系统的图像处理器的配置例子的框图；图3是例示图像处理器的处理流程的示例的流程图；图4A和4B是例示输入和参考图像的例子的图；图5是例示输入和参考图像的特征点的匹配的例子的图；图6A和6B是例示合成和输出图像的例子的图；图7是例示构成图像处理系统的学习设备的配置例子的框图；图8是例示构成学习设备的特征点提取部分的配置例子的框图；图9是用于描述特征点的出现频率的图；图10是例示特征点提取部分的处理流程的例子的流程图；图11是例示构成学习设备的图像特征学习部分的配置例子的框图；图12是例示图像特征学习部分的处理流程的例子的流程图；图13是例示在包括确定逐行图像是否被转换为隔行图像的步骤的情况下特征点提取部分的处理流程的例子的流 程图；图14是例示在包括确定逐行图像是否被转换为隔行图像的步骤的情况下图像特征学习部分的处理流程的例子的流程图；图15是例示在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下特征点提取部分的处理流程的例子的流程图；图16是例示在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下图像特征学习部分的处理流程的例子的流程图；图17是例示在包括确定逐行图像是否被转换为隔行图像的步骤的情况下以及在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下特征点提取部分的处理流程的例子的流程图；图18是例示在包括确定逐行图像是否被转换为隔行图像的步骤的情况下以及在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下图像特征学习部分的处理流程的例子的流程图；图19是例示能够合并捕捉的图像与合成图像的图像处理器的配置例子的框图；图20是例示图像处理器的处理流程的例子的流程图；图21是例示能够合并捕捉的图像与合成图像的图像处理器的另一配置例子的框图；以及图22是例示根据另一配置例子的图像处理器的处理流程的例子的流程图。
具体实施例方式以下将给出用于实施本技术的模式(下文中称为实施例)的描述。将按以下顺序给出描述。1.实施例2.修改例子
〈1.实施例 >[图像处理系统的配置例子]图1例示作为实施例的图像处理系统10的配置例子。图像处理系统10包括图像处理器100和学习设备200。学习设备200通过提取参考图像的图像特征而产生特征点字典作为数据库。此时，学习设备200考虑要识别的目标的姿势的改变和相机特征而提取图像特征。如上所述，学习设备200对参考图像的分析允许对于要识别的目标的姿势改变强健的并且适合于相机特征的识别。学习设备的处理脱机地进行，并且不需要实时性。图像处理器100使用特征点字典检测要识别的目标在输入图像中的位置，并将合成图像叠加在该位置处，因此产生输出图像。图像处理器10的处理联机地进行，并且需要实时性。[图像处理器的详细描述]以下将给出图像处理器100的详细描述。首先将概述图像处理器100的处理。图像处理器的目标是将合成图像附加到输入图像内的要识别的目标(标记)以便产生输出图像。为了确定要如何附加合成图像，仅需要得到参考图像到输入图像中的要识别的目标的几何变换并变换合成图像。在本技术的实施例中，要识别的目标被当作平面。因此，以上几何变换由称为单应性的3乘3矩阵来表示。已知如果在输入图像内的要识别的目标中和参考图像中可获得四个或更多的对应点(一致的点)，则可以得到单应性。适合于搜索点之间的对应性的处理通常称为匹配。使用学习设备200获取的字典进行匹配。此外，在亮度级方面担当拐点的并且称为特征点的点被用作用于提供更高的匹配准确性的点。因此，需要提取输入图像和参考图像的特征点。在此，参考图像的特征点预先由学习设备200得到。接下来将给出图像处理器100的详细配置的描述。图2例示图像处理器100的配置例子。图像处理器100包括特 征点提取部分101、匹配部分102、特征点坐标失真校正部分103、单应性计算部分104、合成图像坐标变换部分105和输出图像产生部分106。应该注意，图像处理器100可以与诸如相机的图像输入设备或者诸如显示器的图像显示设备集成。特征点提取部分101提取输入图像(捕捉的图像)的特征点，由此获取特征点的坐标。在此情况下，特征点提取部分101从某个时间时的输入图像的帧提取特征点。已经提出了各种特征点提取技术，包括Harris Corner和SIFT (尺度不变特征变换)。在此，可以使用任意技术。匹配部分102基于存储在存储部分107中的并由学习设备在之前的学习中准备的参考图像的特征点字典进行匹配，即进行计算以确定输入图像的特征点是否对应于参考图像的特征点，因此获取两个图像之间的对应特征点。在此，已经不仅考虑相机镜头失真而且考虑隔行和逐行图像而产生特征点字典。已经提出了各种方法用于匹配。在此，例如使用基于公知的贝叶斯统计的方法。基于贝叶斯统计的此方法将满足以下所示的等式(I)的参考图像的特征点当作对应点。k = argmaxk Pdkf1, f2,...，fN)...(I)在此，假设I_k表示第k个特征点。f_l到f_N表示对特征点进行的测试。术语“测试”指进行以表示在特征点周围的纹理(texture)的操作。例如，使用特征点和在其周围的点之间的量值关系。N对中的每对的两个点、即特征点及f_l到f_N之一在量值(magnitude)方面相比较。各种其他方法也可用于测试,包括绝对差之和(SAD)和直方图比较。而且,在此,可以使用任意方法。等式(I)意味着对输入图像的某个特征点测试(在量值上比较)f_l到f_N的每个，并且作为其结果，概率分布P最大的参考图像的特征点I_k被确定为对应点。此时，分布P是必需的。由学习设备200预先得到该分布。分布P被称为字典。以“照原样”的方式使用等式(I)导致巨大量的字典数据。因此，通常对于P0(f_l)到P(f_N)作出统计独立或者按照该统计独立的假设，之后是使用例如同时分布的乘积的近似。在此，可以使用这样的近似。特征点坐标失真校正部分103基于存储在存储部分107中的相机镜头失真数据来校正输入图像的特征点的坐标失真，其中匹配部分102已经得到了该特征点的对应点。单应性计算部分104基于参考图像的特征点的坐标和输入图像的特征点的校正的坐标计算在匹配部分102得到的对应点处的输入图像和参考图像之间的单应性(投影关系)。已经提出了用于得到单应性的各种方法。在此，可以使用任意方法。合成图像坐标变换部分105基于单应性计算部分104计算的单应性以及存储在存储部分107中的相机镜头失真数据从存储在存储部分107中的合成图像产生要附加的合成图像。在此情况下，假设合成图像的三维坐标由Xg表示，单应性由H表示，并且镜头失真变换由TR表示，则在坐标变换之后的坐标X’ 8可以由以下示出的等式(2)表示。但是，应该注意，等式(2)中的TM由以下示出的等式(3)表示。
权利要求
1.一种图像处理器，包括: 特征点提取部分，适配为提取作为由相机捕捉的图像的输入图像的特征点； 对应性确定部分，适配为使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定由所述特征点提取部分提取的输入图像的特征点和参考图像的特征点之间的对应性； 特征点坐标失真校正部分，适配为基于相机的镜头失真数据来校正由所述对应性确定部分确定的与参考图像的特征点对应的输入图像的特征点的坐标； 投影关系计算部分，适配为根据所述对应性确定部分确定的对应性并基于参考图像的特征点的坐标和特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系； 合成图像坐标变换部分，适配为基于所述投影关系计算部分计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及 输出图像产生部分，适配为将输入图像与由所述合成图像坐标变换部分产生的要附加的合成图像合并，并获取输出图像。
2.如权利要求1所述的图像处理器，其中 不仅考虑相机的镜头失真而且考虑隔行图像而产生所述特征点字典。
3.一种图像处理方法，包括: 提取作为由相机捕捉的图像的输入图像的特征点； 使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定提取的输入图像的特征点和参考图像的特征点之间的对应性； 基于相机的镜头失真数据来校正确定的与参考图像的特征点对应的输入图像的特征点的坐标； 根据确定的对应性并基于参考图像的特征点的坐标和输入图像的特征点的校正的坐标来计算输入图像和参考图像之间的投影关系； 基于计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及 将输入图像与产生的要附加的合成图像合并，并获取输出图像。
4.一种允许计算机用作以下部分的程序: 特征点提取部分，适配为提取作为由相机捕捉的图像的输入图像的特征点； 对应性确定部分，适配为使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定由所述特征点提取部分提取的输入图像的特征点和参考图像的特征点之间的对应性； 特征点坐标失真校正部分，适配为基于相机的镜头失真数据来校正由所述对应性确定部分确定的与参考图像的特征点对应的输入图像的特征点的坐标； 投影关系计算部分，适配为根据所述对应性确定部分确定的对应性并基于参考图像的特征点的坐标和特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系； 合成图像坐标变换部分，适配为基于所述投影关系计算部分计算的投影关系以及相机的镜头失真数据而从合成图 像产生要附加的合成图像；以及输出图像产生部分，适配为将输入图像与由所述合成图像坐标变换部分产生的要附加的合成图像合并，并获取输出图像。
5.—种学习设备,包括: 图像变换部分，适配为向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及 字典登记部分，适配为基于由所述图像变换部分变换的多个图像提取给定数量的特征点，并将特征点登记在字典中。
6.如权利要求5所述的学习设备,其中 所述字典登记部分包括: 特征点计算单元，适配为得到图像变换部分变换的图像的特征点； 特征点坐标变换单元，适配为将所述特征点计算单元得到的特征点的坐标变换为参考图像的坐标； 出现频率更新单元，适配为对于由所述图像变换部分变换的每个参考图像，基于由所述特征点坐标变换单元变换的特征点坐标来更新每个特征点的出现频率；以及 特征点登记单元 ，适配为在出现频率已经被所述出现频率更新单元更新过的所有特征点中，提取从最高的出现频率开始按出现频率的降序顺序的任意数量的特征点，并将这些特征点登记在字典中。
7.如权利要求5所述的学习设备，其中 所述图像变换部分向参考图像应用几何变换和镜头失真变换，并通过选择性地将逐行图像转换为隔行图像而产生多个变换的图像。
8.如权利要求5所述的学习设备，其中 图像变换部分通过基于从多个镜头失真数据中随机选择的镜头失真数据应用镜头失真变换来产生多个变换的图像。
9.一种学习方法,包括: 向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及 基于多个变换的图像提取给定数量的特征点并将特征点登记在字典中。
10.一种允许计算机用作以下部分的程序: 图像变换部分，适配为向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及 字典登记部分，适配为基于由所述图像变换部分变换的多个图像提取给定数量的特征点，并将特征点登记在字典中。
全文摘要
在此公开了图像处理器，包括特征点提取部分，适配为提取输入图像的特征点；对应性确定部分，适配为使用特征点字典来确定输入图像的特征点和参考图像的特征点之间的对应性；特征点坐标失真校正部分，适配为校正与参考图像的特征点对应的输入图像的特征点的坐标；投影关系计算部分，适配为计算输入图像和参考图像之间的投影关系；合成图像坐标变换部分，适配为从合成图像产生要附加的合成图像；以及输出图像产生部分，适配为将输入图像与要附加的合成图像合并。
文档编号G06T3/00GK103226811SQ20131002267
公开日2013年7月31日 申请日期2013年1月22日 优先权日2012年1月27日
发明者滨田健宏 申请人:索尼公司