图像处理装置及其控制方法、记录介质和信息处理系统与流程

本发明通常涉及一种图像处理装置及其控制方法、记录介质和信息处理系统，尤其涉及一种执行正射校正(ortho-correction)的图像处理技术。

背景技术：

在传统的基础设施检查时，目视检查诸如结构裂缝等缺陷，并以正面图进行书写以制成表格。近年来，基于拍摄的图像创建表格。在这种情况下，从正对位置拍摄结构的壁表面，并且将拍摄的图像与正面图校准。然后，将缺陷直接写入与正面图对齐的拍摄图像中，从而形成表格。然而，由于地理因素等，并不总是从正对位置拍摄结构。

日本特许第4112077号(专利文献1)公开了一种将地图与拍摄的图像相关联、并将拍摄的图像转换为通过从正对地面的位置拍摄而获得的外观的技术。通过转换获得的图像被称为正射图像，并且用于获得正射图像的转换处理被称为正射校正处理。通过将专利文献1中的地图作为结构的正面图并使用正射校正处理，可以获得可用于基础设施检查的图像。

当结构表面是弯曲表面时，例如拱坝壁表面，通过上述正射校正处理获得的正射图像包括不期望的变形。在这种情况下，可以通过不对整个拍摄图像而是对拍摄图像中的部分区域应用正射校正处理，来获得无失真的图像。然而，需要针对相应部分区域重复执行正面图与拍摄图像之间的关联，处理变得麻烦。

技术实现要素：

根据本发明的一方面，一种图像处理装置，包括：第一指定单元，被配置为：针对通过根据预定坐标系绘制物体的构造而获得的第一图像，指定第一部分区域；第二指定单元，被配置为：针对包括通过拍摄物体获得的图像的第二图像，指定与第一部分区域对应的第二部分区域；及转换单元，被配置为：基于第一图像中的第一部分区域的坐标和第二图像中的第二部分区域的坐标，将第二部分区域的图像转换为符合预定坐标系的图像，其中，第一指定单元被配置为依次在第一图像中指定不同的第一部分区域，以及，第一指定单元基于在第k次指定的第一部分区域来指定第(k+1)次的第一部分区域，其中，k是大于0的整数。

根据本发明的又一方面，一种控制生成符合预定坐标系的图像的图像处理装置的方法，所述方法包括：针对通过根据预定坐标系绘制物体的构造而获得的第一图像，指定第一部分区域；针对包括通过拍摄物体获得的图像的第二图像，指定与第一部分区域对应的第二部分区域；基于第一图像中的第一部分区域的坐标和第二图像中的第二部分区域的坐标，将第二部分区域的图像转换为符合预定坐标系的图像，其中，在第一部分区域的指定中，依次在第一图像中指定不同的第一部分区域，以及，在第一部分区域的指定中，基于在第k次指定的第一部分区域来指定第(k+1)次的第一部分区域，其中，k是大于0的整数。

根据本发明的还一方面，一种存储促使计算机用作图像处理装置的程序的非暂时性计算机可读记录介质，所述图像处理装置包括：第一指定单元，被配置为：针对通过根据预定坐标系绘制物体的构造而获得的第一图像，指定第一部分区域；第二指定单元，被配置为：针对包括通过拍摄物体获得的图像的第二图像，指定与第一部分区域对应的第二部分区域；及转换单元，被配置为：基于第一图像中的第一部分区域的坐标和第二图像中的第二部分区域的坐标，将第二部分区域的图像转换为符合预定坐标系的图像，其中，第一指定单元被配置为依次在第一图像中指定不同的第一部分区域，以及，第一指定单元基于在第k次指定的第一部分区域来指定第(k+1)次的第一部分区域，其中，k是大于0的整数。

根据本发明的还一方面，一种检测结构的壁表面中产生的缺陷的信息处理系统，所述系统包括：第一指定单元，被配置为：针对通过根据预定坐标系绘制结构而获得的第一图像，指定第一部分区域；第二指定单元，被配置为：针对包括通过拍摄结构的壁表面而获得的拍摄图像的第二图像，指定与第一部分区域对应的第二部分区域；转换单元，被配置为：基于第一图像中的第一部分区域的坐标和第二图像中的第二部分区域的坐标，将第二部分区域的图像转换为符合预定坐标系的图像，以及检测单元，被配置为：从转换单元转换的图像中检测结构的壁表面中产生的缺陷，其中，第一指定单元被配置为依次在第一图像中指定不同的第一部分区域，以及，第一指定单元基于在第k次指定的第一部分区域来指定第(k+1)次的第一部分区域，其中，k是大于0的整数。

本发明使得能够通过更简单的操作指定用作处理目标区域的部分区域。

通过以下对示例性实施例的描述(参考附图)，本发明的其他特征将变得显而易见。

附图说明

附图结合在说明书中并构成说明书的一部分，示出了本发明的实施例，并且与说明书一起用于解释本发明的原理。

图1是示出根据第一实施例的图像处理装置的硬件构成的框图；

图2是示出在显示设备上显示的画面的图；

图3是示出根据第一实施例的图像处理装置的功能构成的框图；

图4a和图4b是用于说明对应的点滑动操作的图；

图5a至图5c是例示基准点表和对应点表的表；

图6是根据第一实施例的正射校正处理的流程图；

图7是对应点指定处理(步骤s602)的细节的流程图；

图8是对应点指定处理(步骤s602)的其他细节的流程图；

图9是用于说明辅助线的产生的图；

图10是示出根据第二实施例的图像处理装置的功能构成的框图；

图11是根据第二实施例的正射校正处理的流程图；

图12是示出根据第三实施例的图像处理装置的功能构成的框图；

图13是根据第三实施例的正射校正处理的流程图；以及

图14a至图14c是各自例示在显示设备上显示的画面的图。

具体实施方式

下面将参考附图详细描述本发明的实施例。注意，以下实施例不限制本发明的权利要求，并且实施例中阐述的特征的所有组合并不是本发明必不可少的。实施例中阐述的特征可以被任意组合。相同的附图标记表示相同或相似的部分，并且将省略对其重复描述。

(第一实施方式)

作为根据本发明的图像处理装置的第一实施例，下面将举例说明其中用作物体的构造的图和该结构的拍摄图像被输入并且基于拍摄图像生成正射图像的图像处理装置。当不能从正对位置拍摄结构时，以摄像装置的光轴相对于结构倾斜的状态来拍摄结构。这种拍摄方法有时被称为倾斜拍摄。将通过倾斜拍摄获得的被摄体图像转换为从正对位置拍摄被摄体时获得的外观的处理有时被称为倾斜校正。在本说明书中，“正射图像的生成(正射校正)”这一表述包括转换在摄像装置的光轴相对于被摄体倾斜的状态下拍摄的图像(不管具体转换方法为何)、并从正对被摄体的位置再现外观的所有处理。

<装置构成>

图1是示出根据第一实施例的图像处理装置的硬件构成的框图。

中央处理单元(cpu)101控制计算机系统。cpu101通过基于控制程序执行信息的计算和处理以及对各个硬件组件的控制，来实现各个功能构成和处理(稍后描述)。随机存取存储器(ram)102用作cpu101的主存储器以及用作加载执行程序并执行程序所需的工作存储器。只读存储器(rom)103记录定义cpu101的操作处理过程的控制程序。rom103包括记录用作执行计算机系统的设备控制的系统程序的操作系统(os)的程序rom以及记录操作该系统所需的信息等的数据rom。有时使用稍后描述的硬盘驱动器(hdd)107来代替rom103。

网络接口(netif)104对经由网络发送/接收的数据执行输入/输出控制。显示设备105是例如crt显示器或液晶显示器。输入设备106包括例如用于接受来自用户的操作指令的触摸面板、键盘和鼠标。hdd107是存储设备。hdd107用于保存诸如应用程序等数据。i/o总线108包括用于连接上述单元的总线(地址总线、数据总线和控制总线)。

图2是示出在显示设备上显示的画面的图。该画面是向用户提供信息并接受来自用户的输入的图形用户界面(gui)。

画面包括绘图读取按钮201、图像读取按钮202、绘图显示区域203、拍摄图像显示区域204、正射校正指定按钮207和应用结束按钮208。

绘图读取按钮201用于指定绘图的读取。该绘图是例如根据预定坐标系绘制的结构的设计图(例如，正面图)。该绘图可以是包括cad软件中使用的结构的尺寸信息的矢量图像数据。矢量图像数据是其中诸如线、圆或多边形等图形通过矢量信息表示图像的形式的图像数据。作为绘图，也可以使用光栅图像数据。光栅图像数据是其中图像由表示颜色或浓度的像素阵列来表示的形式的图像数据。所读取的绘图作为图像205显示在绘图显示区域203中。

图像读取按钮202用于指定所拍摄图像的读取。所拍摄图像例如是通过拍摄与上述绘图相对应的结构而获得的图像。所拍摄图像通常是光栅图像数据。所读取的拍摄图像作为图像206显示在拍摄图像显示区域204中。

图像205中由正方形(□)表示的基准点209至212是布置在绘图上的基准点。图像206中由正方形表示的基准点213至216是布置在拍摄图像上的基准点。在基准点209至212和基准点213至216中，正方形中具有相同数字的成对基准点指示结构上的相同位置。这样的一对基准点将被称为对应点对。更具体地说，图2示出了四个对应点对，即，基准点209和213、基准点210和214、基准点211和215以及基准点212和216。尽管正方形中的数字表示指示结构上的相同位置的绘图和所拍摄图像上的基准点，但也可以通过分配颜色或符号来表示对应点对。例如，当对于用户来说一个对很显而易见时，该对的对应关系可以不在gui上清楚地指示。

图3是示出根据第一实施例的图像处理装置的功能构成的框图。绘图输入单元301接受绘图的输入。绘图显示单元302在绘图显示区域203中显示由绘图输入单元301输入的绘图。拍摄图像输入单元303接受所拍摄图像的输入。拍摄图像显示单元304在拍摄图像显示区域204中显示由拍摄图像输入单元303输入的图像。

针对绘图显示区域203中显示的绘图和拍摄图像显示区域204中显示的拍摄图像，基准点输入单元305经由输入设备106接受基准点的坐标输入。基准点管理单元306保持基准点输入单元305输入的基准点。

当在绘图上输入基准点且输入的基准点落在以绘图中包括的特征点(诸如线段的交点等容易定位的部分)为中心的预定范围内时，可以用特征点的坐标替换输入的基准点的坐标。当显示在绘图上的诸如鼠标光标之类的指示器进入以特征点为中心的预定范围时，该指示器可以移动到特征点。特征点不限于线段的交点，也可以是绘图中包括的任意图形的轮廓、任意图形的轮廓的交点等。当基准点或指示器的坐标被校正时，可以通过向用户提供视觉、听觉或触觉反馈来明确地表示坐标的校正。当校正坐标时，例如，作为视觉反馈，基准点或指示器的颜色改变，基准点或指示器闪烁，或者基准点或指示器的大小可以改变。当校正坐标时，例如，可以输出声音作为听觉反馈。当校正坐标时，例如，可以使输入设备106振动作为触觉反馈。

正射校正单元307对拍摄的图像执行正射校正处理。在正射校正处理中，接收由基准点输入单元305指定的绘图和拍摄图像上的基准点，作为校正参数的输入。作为正射校正单元307的正射校正处理的结果，正射图像输出单元308输出图像。输出图像被存储在hdd107中。输出图像可以被显示在显示设备105上。

对应点滑动单元309针对由多个对应点对围绕的部分区域接受用户操作，并更新关注的部分区域(即，对应点对)。更具体地，基于用户操作来确定对应点对的移动方向和量，并且更新形成各个对应点对的基准点的信息。用户操作例如是通过键盘的方向键操作或鼠标的拖动操作来大致平移变换(translation)布置在绘图的图像205上的基准点组的操作。

图4a和图4b是用于说明对应点滑动操作的图。图4a和图4b例示了被接缝包围的六个矩形区域连续排列的情况。图4a是对应点滑动操作之前的图像视图，并且示出了四个对应点对。图4b是对应点滑动操作之后的图像视图，并且示出了四个更新的对应点对。基准点401至404形成基准点组，该基准点组限定了滑动操作之后的绘图中的部分区域。基准点405至408形成基准点组，该基准点组限定了滑动操作之后的拍摄图像中的部分区域。通过对应点滑动操作将图4a中的四个对应点对更新为图4b中四个对应点对的位置。在该实施例中，对由四个或更多个基准点形成的部分区域依次执行正射校正。在该处理中，基于在第k次处理中用户指定的四个或更多个基准点形成的部分区域来指定在第(k+1)次处理中使用的部分区域，其中k是1以上的整数。

图5a至图5c是例示基准点表和对应点表的表。图5a示出了存储绘图中的基准点的坐标的绘图基准点表。图5b示出了存储拍摄图像中的基准点的坐标的拍摄图像基准点表。图5a和图5b示出了针对绘图和拍摄图像中的每个存储四个基准点的示例。即，图5a和图5b示出了在绘图和拍摄图像的每一个中的关注的部分区域是四边形的示例。图5c示出了存储对应点对(绘图中的基准点和拍摄图像中的基准点的对)的对应点表。

例如，滑动操作之前的绘图基准点表将图4a所示的四个基准点209至212的坐标存储为id为“1”至“4”的四个基准点。滑动操作之前的拍摄图像基准点表将图4a所示的四个基准点213至216的坐标存储为id为“1”至“4”的四个基准点。滑动操作之前的对应点表将图4a中的正方形中数字相同的每个基准点的对存储为id为“1”至“4”的四个点的对应点对。

在图5a至5c中，四个id(“1”至“4”)被分配给关注的部分区域的对应点对。当要改变关注的部分区域时，更新四个id的基准点的坐标。当要改变关注的部分区域时，可以依次添加不同的id并将其存储在表中。例如，将id“1”至“4”分配给第一部分区域，将id“5”和“6”分配给第二部分区域。

<装置操作>

图6是根据第一实施例的正射校正处理的流程图。该处理例如在cpu101执行hdd107中存储的应用程序时开始。

在步骤s601中，绘图输入单元301和拍摄图像输入单元303分别接受绘图和拍摄图像的输入。绘图显示单元302和拍摄图像显示单元304分别显示绘图和拍摄的图像。

在步骤s602中，基准点输入单元305接受针对步骤s601中输入的绘图和拍摄图像的对应点对的输入。步骤s602的细节将在后面参照图7和图8进行描述。在步骤s603中，对应点滑动单元309确定是否已经输入了对对应点对的滑动操作。滑动操作旨在改变关注的部分区域。如果已经输入了滑动操作，则处理进入步骤s604。如果尚未输入滑动操作，则处理进入步骤s605。在步骤s604中，对应点滑动单元309使对应点对滑动。即，分别使绘图中的基准点组和拍摄图像中的基准点组滑动。

从输入设备106获取对应点对滑动的方向。例如，当键盘用作输入设备时，将输入箭头键方向设置为对应点对滑动的方向。以下计算对应点对滑动的移动量。首先，分别针对绘图中的基准点组(基准点209至211)和拍摄图像中的基准点组(基准点213至216)计算边界框(外接矩形)。如果滑动方向是垂直的，则将边界框的“高度”设置为滑动移动量。如果滑动方向是水平的，则将边界框的“宽度”设置为滑动移动量。即，将现在(在第k次处理中)与关注的部分区域相邻的区域设置为接下来(在第(k+1)次处理中)关注的部分区域。

在步骤s605中，基准点输入单元305确定是否针对步骤s602中输入或步骤s604中滑动的对应点对中包括的基准点接受了修改指令。这等同于以下情况：在滑动之后，包括在对应点对中的绘图中的基准点和拍摄图像中的基准点有偏移，并且用户手动修改了偏移。例如，通过拖动显示在绘图或拍摄图像上的基准点来接受基准点的修改指令。在步骤s605中，用户可以精细地修改步骤s604中滑动的对应点对中包括的各个基准点。如果指定了对包括在对应点对中的基准点的修改，则处理进入步骤s606。如果未指定修改，则处理进入步骤s607。在步骤s606中，如果修改了对应点对中包括的一个或多个基准点，则基准点管理单元306更新对应点表。

在步骤s607中，正射校正单元307确定是否已经输入了正射校正指令。如果已经输入了正射校正指令，则处理进入步骤s608。如果没有输入正射校正指令，则处理进入步骤s611。在步骤s608中，正射校正单元307计算用于从步骤s601中输入的拍摄图像中获得正射图像的坐标变换矩阵。这里，假设坐标变换矩阵是单应矩阵。单应矩阵是在给定平面映射到另一个平面的单应性变换中使用的矩阵。可以使用诸如dlt(直接线性变换)之类的已知算法来计算单应矩阵。注意，dlt需要四个或更多对应点对来计算单应矩阵。

在步骤s609中，正射校正单元307通过使用步骤s608中获得的单应矩阵，对在步骤s601中输入的拍摄图像执行转换处理。在步骤s610中，正射图像输出单元308输出步骤s609中转换的拍摄图像。在步骤s611中，cpu101确定是否已经输入应用结束指令。通过按下应用结束按钮208来输入应用程序结束指令。如果已经输入结束指令，则处理结束。如果还没有输入结束指令，则处理返回到步骤s603。通过上述处理生成的正射图像用于例如检测在结构的表面中产生的裂纹等缺陷的处理中。

在该实施例中，可以基于用户在第k次处理中的指定操作来指定在第(k+1)次处理中使用的基准点组和部分区域，并且可以接受用户对指定结果的修改。即使当细分广域的拍摄图像并重复进行正射校正时，在执行至少一次指定具体基准点的坐标的操作后，用户也仅执行简单的滑动操作以及必要时的修改。这减轻了用户的操作负担。

图7是对应点指定处理(步骤s602)的细节的流程图。将参照图7说明通过在绘图上指定四个或更多个基准点然后在拍摄图像上以相同数量指定对应基准点来输入四个对应点对的方法。

在步骤s701中，基准点输入单元305确定是否已在绘图上指定了基准点。如果已经指定了基准点，则处理进入步骤s702。如果还未指定基准点，则处理进入步骤s703。在步骤s702中，基准点输入单元305将指定的基准点添加到绘图基准点表(图5a)中。在步骤s703中，基准点输入单元305确定绘图基准点表中是否存储有四个或更多基准点。如果存在四个或更多个基准点，则处理进入步骤s704。如果不存在四个或更多个基准点，则处理返回到步骤s701。

在步骤s704中，基准点输入单元305确定拍摄图像上是否已经指定了基准点。如果已经指定了基准点，则处理进入步骤s705。如果还未指定基准点，则处理进入步骤s706。在步骤s705中，基准点输入单元305将指定的基准点添加到拍摄图像基准点表(图5b)中。在步骤s706中，基准点输入单元305确定拍摄图像基准点表中存储的基准点的数量是否与绘图基准点表中存储的基准点的数量相等。如果这些数量相等，则处理进入步骤s707。如果这些数量不同，则处理返回到步骤s704。

在步骤s707中，基准点输入单元305从存储在绘图基准点表和拍摄图像基准点表中的基准点中生成对应点对。更具体地，从两个表中获取具有相同id的基准点。所获取的基准点的对被作为对应点对添加到对应点表(图5c)。尽管图7中首先指定了绘图中的基准点，但是也可以首先指定拍摄图像中的基准点。

图8是对应点指定处理(步骤s602)的其他细节的流程图。将参照图8说明通过重复四次或更多次在绘图上指定基准点然后在拍摄图像上指定对应基准点的操作来输入四个对应点对的方法。

在步骤s801中，基准点输入单元305确定是否已在绘图上指定了基准点。如果已经指定了基准点，则处理进入步骤s802。如果还未指定基准点，则处理进入步骤s806。在步骤s802中，基准点输入单元305将步骤s801中指定的基准点添加到绘图基准点表(图5a)。在步骤s803中，基准点输入单元305确定是否已在拍摄图像上指定了基准点。如果已经指定了基准点，则处理进入步骤s804。如果还未指定基准点，则处理重复步骤s803。

在步骤s804中，基准点输入单元305将在步骤s803中指定的基准点添加到拍摄图像基准点表(图5b)。

在步骤s805中，基准点输入单元305从存储在绘图基准点表和拍摄图像基准点表中的基准点中生成对应点对。更具体地说，首先获取两个表末尾的基准点。然后，将所获取的基准点的对作为对应点对添加到对应点表中(图5c)。基于分配给每个基准点的序号(id)来执行图7的步骤s707和图8的步骤s805中的对应点配对，但是不限于此。例如，不管序号如何，在绘图和拍摄图像上以相同数量指定基准点的阶段，可以将基准点组中相对位置靠近的基准点配对。

如上所述，根据第一实施例，根据参考图6所描述的操作，通过步骤s603到s611的循环依次指定限定部分区域的多个(例如，四个)对应点对，并生成部分区域的正射图像。可以获得与拍摄图像的期望区域相对应的正射图像。根据第一实施例，通过滑动操作，可以容易地设置与新的部分区域相对应的多个对应点对，并且可以减少用户的工作。特别地，如图4a和4b所示，当由接缝包围的多个矩形区域连续排列时，可以大大减少用户在设置新的部分区域方面的工作。

下面将进一步说明步骤s610中的转换图像的输出处理。在该实施例中，在步骤s610中，将转换后的拍摄图像的数据保存在诸如ram102之类的存储区域中，显示在显示设备上，并呈现给用户。

图14a至图14c示出了图2所示的图形用户界面的一方面。与图2中的附图标记相同的附图标记表示与已经参照图2描述的组件相似的组件，并且将不重复其详细描述。

在图14a中，在拍摄图像显示区域204中显示图像1401。图像1401是要检查的混凝土壁表面的拍摄图像的一部分，并且表示由接缝包围的矩形区域连续排列的状态。在该实施例中，图像用于混凝土壁表面的检查，因此已经进行了诸如正射校正等图像处理的图像需要保持预定的高分辨率或更高的分辨率。为了以高分辨率拍摄大范围的混凝土壁表面，多次划分混凝土壁表面，以高分辨率拍摄各个划分的区域，并且通过拼接处理(stitchprocessing)生成合成图像。也就是说，图像1401可以是通过拼接使用电动遥摄云台(panhead)和摄像装置的划分拍摄而拍摄的混凝土壁表面的图像而获得的图像。

对应于图像1401的绘图数据作为图像1402显示在绘图显示区域203中。图14a是校正指令之前的图像视图。通过第一操作指定形成四个对应点对的基准点209至216(步骤s602)。如果用户指定正射校正(步骤s607中为“是”)，则转换图像(步骤s608和s609)。然后输出转换后的图像(步骤s610)。

图14b示出了新显示转换后的图像的图形用户界面的示例。在图14b中，尚未指定对应点对上的滑动操作。将拍摄图像显示区域204中由基准点213至216限定的部分的图像进行正射转换的结果叠加并显示在绘图显示区域203中由基准点209至212围绕的矩形区域上。用户可以从转换后的图像显示中确认转换结果。在确认结果之后，用户指定用于下一个处理的对应点的滑动操作。

图14c是在对应点的滑动操作之后的视图，并且示出了四个更新的对应点对。基准点1404至1407形成基准点组，该基准点组限定滑动操作之后绘图中的部分区域。基准点1408至1411形成基准点组，该基准点组定义了滑动操作之后所拍摄图像中的部分区域。在该实施例中，可以使用作为检测器的缺陷检测处理的目标图像而输入的转换图像来自动估计结构中广泛产生的缺陷(例如，裂纹)的位置和宽度。作为检测器，使用通过机器学习而学习的模型。通过将拍摄的结构图像用作输入数据，将由人确认为缺陷(例如，裂缝)的像素用作输出数据，将这些数据的对作为学习数据进行机器学习，并获得知识，从而生成学习模型。此时，可以将通过观察者修改检测结果而获得的数据作为训练数据再学习。可以通过例如神经网络模型来构建学习模型。

在该实施例中，通过神经网络检测裂缝。神经网络的输入是25像素×25像素×rgb。输出为1，并且是表示25像素×25像素中的中央像素出现裂缝的可能性的值(0(包含)至1(包含)的值)。神经网络是已知技术，因此将省略其详细描述。注意，缺陷检测处理由与上述正射校正处理相同的图像处理装置执行，或者由与图像处理装置一起构成缺陷检测系统的信息处理装置执行。

在第一实施例中，可以基于绘图显示区域203中的布局和从各个图像提取的特征点来组合针对由对应点对指定的各个部分图像进行坐标变换之后输出的图像。

(第二实施方式)

在第二实施例中，将描述这样一种形式：从诸如拍摄图像中拍到的接缝等特征线生成辅助线，并使用辅助线设置与新的部分区域对应的多个对应点对。

图9是用于说明辅助线的生成的图。图像900a例示了生成辅助线之前的拍摄图像。在与拍摄图像相对应的图像206中拍到接缝(结构的构件之间的间隙或裂缝)的特征线901。图像900b表示其中所生成的辅助线被叠加的拍摄图像。基于特征线901生成辅助线902。

<装置构成>

图10是示出根据第二实施例的图像处理装置的功能构成的框图。辅助线生成单元1001通过图像识别等从诸如在拍摄图像中拍到的接缝的特征线生成辅助线。注意，可以接受来自用户的辅助线的手动输入。如上所述，生成的辅助线用于滑动操作之后校正包括在对应点对中的基准点。

<装置操作>

图11是根据第二实施例的正射校正处理的流程图。步骤s601至s611与图6中的步骤相似，将省略重复的描述。

在步骤s1101中，辅助线生成单元1001提取诸如在拍摄图像中拍到的接缝等特征线，并生成辅助线。诸如接缝等特征线的提取可以使用用于边缘检测的canny法或用于诸如直线等特征的提取的霍夫变换。在步骤s1102中，基准点输入单元305基于辅助线或辅助线的交点来修改包括在通过滑动操作临时指定的新的对应点对中的基准点。例如，当包括在对应点对中的基准点落在以辅助线的交点为中心的预定范围内时，基准点的坐标被交点的坐标代替。当包括在对应点对中的基准点落在距辅助线预定范围内时，可以通过辅助线和从基准点到辅助线绘制的垂线的交点来修改基准点的坐标。

如上所述，根据第二实施例，当基于用户在第k次处理中的指定操作来设置在第(k+1)次处理中使用的基准点时，基于诸如在拍摄图像中拍到的接缝等特征线生成辅助线并使用辅助线。这可以在修改包括在对应点对中的绘图中的基准点与拍摄图像中的基准点之间的偏移时，减少用户的劳动。

(第三实施方式)

在第三实施例中，将描述这样一种形式：其中使用在对先前处理的部分区域的正射校正处理中使用的变换矩阵来计算新的部分区域中的多个对应点对。

<装置构成>

图12是示出根据第三实施例的图像处理装置的功能构成的框图。拍摄图像基准点计算单元1201基于与新的部分区域相对应的绘图中的基准点组来计算与新的部分区域相对应的拍摄图像中的基准点组。更具体地，通过使用在对先前处理的部分区域的正射校正处理中使用的变换矩阵，从绘图中的基准点组计算拍摄图像中的基准点组。

<装置操作>

图13是根据第三实施例的正射校正处理的流程图。步骤s601至s611与图6中的步骤相似，将省略重复的描述。

在步骤s1301中，对应点滑动单元309仅滑动绘图中的基准点组。滑动的方向和量可以与第一实施例中相同(步骤s604)。在步骤s1302中，对应点滑动单元309基于绘图中包括的线段的交点来校正步骤s1301中计算出的绘图中的基准点组。注意，不仅可以对线段的交点进行基准点的校正，还可以对绘图中包括的任意图形的轮廓或任意图形的轮廓的交点进行基准点的校正。

在步骤s1303中，拍摄图像基准点计算单元1201将步骤s608中计算出的针对先前部分区域(先前步骤s603至s611的循环)的变换矩阵应用于步骤s1301和s1302中获得的绘图中的基准点组。作为结果，获得拍摄图像中的基准点组。例如，令h(k)为步骤s608中针对先前处理(第k次循环)中的部分区域计算出的变换矩阵。另外，令pdn(k+1)为当前处理(第(k+1)次循环)中的部分区域的绘图中的基准点组。在这种情况下，在当前处理(第(k+1)次循环)中要在拍摄图像中重新设置的基准点组pin(k+1)由下式给出：

pin(k+1)＝h(k)^-1pdn(k+1)...(1)

其中n是id(n＝1，2，3，4)，h(k)^-1是h(k)的逆矩阵。

注意，可以使用第二实施例中描述的辅助线来进一步校正通过等式(1)获得的拍摄图像中的基准点组。

如上所述，根据第三实施例，使用在对先前处理的部分区域的正射校正处理中使用的变换矩阵来计算新的部分区域中的多个对应点对。可以更精确地得出与新的部分区域相对应的拍摄图像中的基准点组的坐标，并且可以减少用户在修改偏移方面的劳动。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。