移η，以及对所述候选图像 进行缩放Φ，使的所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直 的方向上的累计误差最小，即：
[0047]
[0048] 其中，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向 上的坐标，为所述候选图像中第t条图像区域边界曲线在与外插方向垂直的方向 上的坐标；
[0049] 对匹配得到的所述候选图像进行局部变形，具体为：
[0050] 采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。
[0051] 进一步地，所述融合模块具体用于：
[0052] 采用Graph-cut方法确定所述候选图像与所述待外插图像色差最小的接缝；
[0053] 采用泊松融合改变所述候选图像与所述待外插图像接缝处的颜色。
[0054] 进一步地，所述匹配模块具体用于：
[0055] 提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中每一 图像区域的特征向量；
[0056] 根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图 像的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
[0057] 选取所述图像库中包含了所有所述聚类类别对应的图像区域的图像，得到初始候 选图像集；
[0058] 提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑 关系一致的图像，得到中间候选图像集；
[0059] 根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对 所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应 的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为候选图像。
[0060] 本发明提供的一种基于图匹配的数据驱动图像外插方法及装置，通过建立图想的 无向图，采用图像区域特征匹配和拓扑关系匹配的图匹配方法得到最优的外插候选图像， 进而对候选图像进行变形，并选取色差最小的接缝进行图像融合，实现了图像大尺寸的扩 大，并保证了外插边界的一致性。
【附图说明】
[0061] 通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理 解为对本发明进行任何限制，在附图中：
[0062] 图1是本发明一个实施例一种基于图匹配的数据驱动图像外插方法的流程示意 图；
[0063] 图2是本发明一个实施例拓扑关系匹配示意图；
[0064] 图3是本发明一个实施例一种基于图匹配的数据驱动图像外插装置的结构示意 图。
【具体实施方式】
[0065] 现结合附图和实施例对本发明技术方案作进一步详细阐述。
[0066] 图1示出了本发明一个实施例一种基于图匹配的数据驱动图像外插方法的流程 示意图，如图1所示，本实施例提供的一种基于图匹配的数据驱动图像外插方法包括：
[0067] S1，获取待外插图像，对所述待外插图像进行区域划分，得到多个图像区域，将每 一个所述图像区域作为一个节点建立所述待外插图像的无向图；
[0068] S2，根据所述待外插图像的外插方向提取所述待外插图像的无向图的边界子图；
[0069] 具体的，所述边界子图为由覆盖所述待外插图像的外插方向边缘的所有图像区域 构成的子图。
[0070] S3,将所述边界子图与图像库中的每一图像预先建立的无向图进行图匹配，得到 符合预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；、
[0071] S4,对匹配得到的所述候选图像进行变形，使得所述候选图像的图像区域与所述 待外插图像的图像区域对应的图像区域边界曲线对齐；
[0072] S5,确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像 与所述待外插图像接缝处的颜色，进行图像融合。
[0073] 优选地，所述步骤S3中将所述边界子图与图像库中的图像的无向图进行图匹配 的步骤，包括：
[0074] S31，提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中 每一图像区域的特征向量；
[0075] S32,根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每 一图像的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
[0076] S33,选取所述图像库中包含了所有所述聚类类别对应的图像区域的图像，得到初 始候选图像集；
[0077] S34,提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图 拓扑关系一致的图像，得到中间候选图像集；
[0078] S35,根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离， 针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中 对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为候选图像。
[0079] 举例来说，对每一个图像区域提取特征向量，其中包括：颜色特征为平均颜色 (RGB空间，HSV空间共6维）、色调直方图（5维）、饱和度直方图（4维）、色调熵（1维）和 饱和度熵（1维），共17维；纹理特征为纹理基元直方图，共256维；几何特征为图像区域中 心的X，y坐标，共2维；局部特征为基于SIFT特征的词袋直方图，共256维。将上述特征顺 序拼接，最终得到531维的图像区域特征向量。
[0080] 根据所述每一个图像区域的特征向量，对所有图像区域采用κ-means算法进行聚 类，根据需要可以设置聚类的数量。对包含了所述待外插图像的边界子图所包含的图像区 域的聚类分类添加标签。在下一步的匹配过程中，首先在图像库中选取那些包含了所有标 签聚类分类内的图像区域的图像；进而在这些图像中选取与所述边界子图具有相同拓扑关 系的图像，如图2所示；最后对于具有相同拓扑关系的图像，分别计算与所述边界子图对应 的图像区域的特征距离差值，得到整个图像的平均距离差值，选取平均距离差值最小的一 个图像作为候选图像。
[0081] 在本实施例中采用对于图像区域边界曲线作为对齐待外插图像与候选图像的标 准，即待外插图像与候选图像中相匹配的图像区域间存在图像区域边界曲线，通过对候选 图像进行变形来将图像区域边界曲线两两对齐。
[0082] 优选的，所述步骤S4中，采用两步变形发对候选图像进行变形：
[0083] S41，对匹配得到的所述候选图像进行全局变形，具体为：
[0084] 对所述候选图像在与外插方向平行和垂直的方向上平移η，以及对所述候选图像 进行缩放Φ，使的所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直 的方向上的累计误差最小，即：
[0085]
[0086] 其中，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向 上的坐标，为所述候选图像中第 t条图像区域边界曲线在与外插方向垂直的方向 上的坐标；
[0087] S42,对匹配得到的所述候选图像进行局部变形，具体为：
[0088] 采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。
[0089] 在对齐图像区域边界曲线后，可以对待外插图像与候选图像之间设置一定像素宽 度的重叠区，例如25-30个像素，然后采用Graph-cut方