基于图匹配的数据驱动图像外插方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，特别是涉及一种基于图匹配的数据驱动图像外插 方法及装置。
【背景技术】
[0002] 随着数字媒体技术的发展，越来越多的图像编辑技术致力于图像内容的扩充，带 来新的视觉体验。
[0003] 目前，已有一些工作者开始研究如何对图像的原始尺寸进行扩大，同时加入与原 图像一致的内容。例如，Kopf等人发明了一种基于图像块的合成方法，可以将边界不规则 的全景图像向外小规模填充，使之成为规则矩形，而这种方法也仅适用于图像向外小规模 的填充，对于大尺度地向外填充则会造成图像内容模糊不清或者杂乱。因此，Sivic等人发 明了一种数据驱动的图像漫游方法，该方法通过在上百万张图像库来模拟视点漫游，合成 新的图像。但是，使用该方法合成的图像，并不能保证图像外插边界的一致性。
【发明内容】
[0004] 针对现有技术中不能保证图像外插边界的一致性的缺陷，本发明提供了一种基于 图匹配的数据驱动图像外插方法及装置。
[0005] 本发明提供的一种基于图匹配的数据驱动图像外插方法，包括：
[0006] 获取待外插图像，对所述待外插图像进行区域划分，得到多个图像区域，将每一个 所述图像区域作为一个节点建立所述待外插图像的无向图；
[0007] 根据所述待外插图像的外插方向提取所述待外插图像的无向图的边界子图；
[0008] 将所述边界子图与图像库中的每一图像预先建立的无向图进行图匹配，得到符合 预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；
[0009] 对匹配得到的所述候选图像进行变形，使得所述候选图像的图像区域与所述待外 插图像的图像区域对应的图像区域边界曲线对齐；
[0010] 确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所 述待外插图像接缝处的颜色，进行图像融合。
[0011] 进一步地，所述对匹配得到的所述候选图像进行变形的步骤，包括：
[0012] 对匹配得到的所述候选图像进行全局变形，具体为：
[0013] 对所述候选图像在与外插方向平行和垂直的方向上平移n，以及对所述候选图像 进行缩放Φ，使的所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直 的方向上的累计误差最小，即：
[0014]
[0015] 其中，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向 上的坐标，Λ/(ηφ|(?)为所述候选图像中第t条图像区域边界曲线在与外插方向垂直的方向 上的坐标；
[0016] 对匹配得到的所述候选图像进行局部变形，具体为：
[0017] 采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。
[0018] 进一步地，所述确定所述候选图像与所述待外插图像色差最小的接缝，并改变所 述候选图像与所述待外插图像接缝处的颜色的步骤，包括：
[0019] 采用Graph-cut方法确定所述候选图像与所述待外插图像色差最小的接缝；
[0020] 采用泊松融合改变所述候选图像与所述待外插图像接缝处的颜色。
[0021] 进一步地，所述将所述边界子图与图像库中的图像的无向图进行图匹配的步骤， 包括：
[0022] 提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中每一 图像区域的特征向量；
[0023] 根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图 像的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
[0024] 选取所述图像库中包含了所有所述聚类类别对应的图像区域的图像，得到初始候 选图像集；
[0025] 提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑 关系一致的图像，得到中间候选图像集；
[0026] 根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对 所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应 的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为候选图像。
[0027] 进一步地，所述对所述待外插图像进行区域划分，得到多个图像区域，将所述图像 区域作为节点建立所述待外插图像的无向图的步骤，包括：
[0028] 采用层级图像分割法对所述待外插图像进行区域划分，得到不同粒度的图像区 域，针对每一粒度的所述图像区域建立一张无向图；
[0029] 所述图像库中的每一图像预先建立的无向图的过程，包括：
[0030] 采用层级图像分割法对所述图像库中的每一图像进行区域划分，得到不同粒度的 图像区域，针对每一粒度的所述图像区域建立一张无向图。
[0031] 进一步地，所述将所述边界子图与图像库中的图像的无向图进行图匹配的步骤， 包括：
[0032] 针对每一粒度所述待外插图像的无向图提取的边界子图，提取所述边界子图中每 一图像区域以及所述图像库中每一图像的所有粒度的无向图中每一个图像区域的特征向 量；
[0033] 根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图 像的所有粒度无向图的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚 类类别；
[0034] 选取所述图像库中每一图像的所有粒度无向图中包含了所有所述聚类类别对应 的图像区域的图像，得到初始候选图像集；
[0035] 提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑 关系一致图像，得到中间候选图像集；
[0036] 根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对 所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应 的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为备用候选图像；
[0037] 选取每一粒度所述待外插图像的无向图提取的边界子图对应的备用候选图像中 所述平均值最小的图像作为候选图像。
[0038] 另一方面，本发明还提供了一种基于图匹配的数据驱动图像外插装置，所述装置 包括：
[0039] 建立模块，用于获取待外插图像，对所述待外插图像进行区域划分，得到多个图像 区域，将每一个所述图像区域作为一个节点建立所述待外插图像的无向图；
[0040] 提取模块，用于根据所述待外插图像的外插方向提取所述待外插图像的无向图的 边界子图；
[0041] 匹配模块，用于将所述边界子图与图像库中的每一图像预先建立的无向图进行图 匹配，得到符合预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；
[0042] 变形模块，用于对匹配得到的所述候选图像进行变形，使得所述候选图像的图像 区域与所述待外插图像的图像区域对应的图像区域边界曲线对齐；
[0043] 融合模块，用于确定所述候选图像与所述待外插图像色差最小的接缝，并改变所 述候选图像与所述待外插图像接缝处的颜色，进行图像融合。
[0044] 进一步地，所述变形模块具体用于：
[0045] 对匹配得到的所述候选图像进行全局变形，具体为：
[0046] 对所述候选图像在与外插方向平行和垂直的方向上平