选择了第k-z-1图像~第0图像作为假定紧前精简图像的情况下的精简区间评价值,所W, 设定--作为该些值即可。
[0123] 并且,反复进行S103的假定紧前精简图像的更新处理,在捜索了全部捜索区间的 情况下,也转移到S108。例如,该对应于选择假定精简图像的前一个图像~第0图像的全部 图像作为假定紧前精简图像而进行了处理的状态。并且,如果是为了削减计算量而将选择 为假定紧前精简图像的图像限定为a张的情况,则对应于选择从假定精简图像的前一个 图像起的a张图像作为假定紧前精简图像而进行了处理的状态。
[0124] 在转移到S108的阶段中,针对S102中选择出的假定精简图像,计算将1个或多个 假定紧前精简图像的各图像作为紧前的精简图像的情况下的累计评价值即假定累计评价 值。由此,决定给出该假定累计评价值中的最佳评价值(狭义地讲为最大评价值)的假定 紧前精简图像作为最佳紧前精简图像(S108),将此时的评价值作为该假定精简图像的累计 评价值(S109)。
[01巧]通过适当反复循环进行S103~S109的处理,能够求出S102中选择出的假定精 简图像的累计评价值。由此,在S109之后,返回S102,对假定精简图像进行更新,反复进行 S103~S109的处理,针对第0~第化1全部图像求出累计评价值即可。
[0126]在计算出第化1图像的累计评价值后,不存在S102中选择的图像,所W,转移到S110的精简图像列决定处理。具体而言,从第化1图像开始,针对处理对象图像的最佳紧前 精简图像,依次选择追寻到第0图像为止的路径即可。在本实施方式的处理中,由该路径上 的图像构成的图像列(其中,将作为假想图像的第0图像和第N+1图像除外)成为精简图 像列。
[0127] 2. 4处理的具体例
[0128] 使用图5(A)~图8炬)对本实施方式的具体处理的例子进行说明。该里,W输入 了由第1~第6图像构成的图像列的情况为例。附图下部的0~7的数字表示输入图像列 的结构图像,其下方的数字表示该图像的累计评价值。并且,附图上部的格子的各交点上标 注的值表示位于该交点的右下方和左下方的2个图像间的精简区间评价值。并且,较粗的 直线表示从假定精简图像经由最佳紧前精简图像到达第0图像的路线。
[0129] 首先,如图5(A)所示,设第0图像的累计评价值E(0)为0。
[0130] 然后,如图5炬)所示,将第1图像作为假定精简图像,将此前的图像作为假定紧前 精简图像。该里,将第0图像作为假定紧前精简图像,求出第0图像与第1图像之间的精简 区间评价值G(0, 1)。该情况下,由于其间不存在图像,所W不选择判定对象图像。由于不会 选择第0图像W外的图像作为假定紧前精简图像,所W,E(1) =E(0)+G(0,1) =0,最佳紧 前精简图像为第0图像。
[0131]接着,如图6(A)所示,将假定精简图像更新为第2图像。然后,将第1图像作为假 定紧前精简图像,求出G(l,2)。进而,将第0图像作为假定紧前精简图像,求出0(0, 2)。在 求出G(0, 2)的情况下,选择第1图像作为判定对象图像。
[0132] 然后,作为假定累计评价值,求出E(0)+G化2)和E(l)+G(l,2),将其中的最佳值 作为E(2),并且,将给出该值的假定紧前精简图像作为最佳紧前精简图像。该情况下,E(2) =1093,最佳紧前精简图像为第0图像。
[0133]W后同样,在将第3图像作为假定精简图像的情况下,依次选择第2~第0图像作 为假定紧前精简图像。然后,在假定精简图像与假定紧前精简图像之间存在1个或多个图 像的情况下,通过依次选择该些图像作为判定对象图像并求出覆盖率,计算精简区间评价 值G。由于求出与选择为假定紧前精简图像的图像张数对应的数量的假定累计评价值(如 果为图6炬)的情况,则为3个),所W,将其中的最佳值作为累计评价值E(3),将给出该值 的第0图像作为最佳紧前精简图像。
[0134] 图7(A)~图8(A)也是同样的。另外,在图7(A)中,在将假定紧前精简图像作为 第0图像的情况下,不可删除第1~第3图像中的任意一方(将任意一方作为判定对象图 像的情况下的覆盖率小于给定阔值),所W,G(0, 4)=--。并且,由于最佳紧前精简图像 不是第0图像,所W,在将最佳紧前精简图像作为对象的情况下,能够进一步考虑最佳紧前 精简图像。
[0135] 反复进行该处理,求出输入图像列的最后的图像的后方设定的假定图像的累计评 价值(在图8做中为E(7))。然后,由于第7图像的最佳紧前精简图像为第5图像、第5图 像的最佳紧前精简图像为第2图像、第2图像的最佳紧前精简图像为第0图像,所W,由此, 如图8炬)所示,求出从第0图像到第7图像的最佳路径作为0-2-5-7。鉴于第0、第7图像 为假想图像,所W,能够决定由第1~第6图像构成的输入图像列的最佳的精简图像列是由 第2图像和第5图像构成的图像列。
[0136] 2. 5变形例
[0137] 使用图4的流程图等说明的上述处理将作为图像精简处理的对象的图像列整体 设为输入图像列。但是,公知动态规划法的处理时间与处理区间长度(例如由路径长度决 定的值,如果是本实施方式,则由输入图像列中包含的图像张数决定)的平方成比例地增 加。目p,如本实施方式那样,在作为图像精简处理对象的图像列中包含的图像张数非常多的 情况下,认为即使使用动态规划法,可能也很难在现实的处理时间内求出最佳解。
[0138] 因此,为了缩短处理时间,可朗尋图像列分割为多个部分图像列,将各部分图像列 作为输入图像列来进行上述处理。该样,由于能够缩短上述处理区间长度,所W,整体能够 缩短处理时间。
[0139] 具体而言,例如,从图像列中检测场景转换,根据检测到的场景转换将图像列分割 为多个部分图像列即可。该里的场景转换能够通过各种方法求出,但是,例如在利用专利文 献2所记载的方法进行变形估计时,在能够准确记录的区域的面积(表示该区域的遮蔽图 像的像素数)为给定阔值W下的情况下,判定为变形估计失败,考虑将变形估计失败的相 邻图像间作为场景转换。
[0140] 该样,能够减少作为本实施方式的处理(特别是使用动态规划法的处理)的对象 的输入图像列中包含的图像张数,能够缩短处理时间。进而,通过在变形估计失败的图像间 设置部分图像列的边界,在处理中不需要使用该图像间的变形信息。即,由于能够将不准确 到判定为变形估计失败的程度的变形信息从处理中除外,所W,能够提高使用变形信息的 处理的精度(例如覆盖率的计算精度)。
[0141]例如,如图11 (A)、图11做所示,在图像列中检测到A1~A3该3个场景转换的情 况下,将该场景转换作为边界来设定B1~B4该4个部分图像列即可。
[0142] 另外,在根据场景转换而设定了多个部分图像列的情况下,不限于针对该多个部 分图像列一个一个依次进行处理的情况。在处理部100的结构适于并列处理(例如使用具 有多个核的CPU作为处理部100)的情况下、通过多个计算机构成本实施方式的图像处理装 置并利用各计算机进行分散处理的情况下等,也可W针对多个部分图像列并列进行上述图 像精简处理。该样,能够缩短图像精简处理所需要的时间等。
[0143] 在W上的本实施方式中,如图1(或图21)所示,图像处理装置包括:图像列取得 部200,其取得具有第1~第N(N为2W上(包含该值)的整数)图像作为构成图像的输 入图像列;W及处理部100,其进行删除图像列取得部200取得的输入图像列的第1~第N 图像的一部分而生成精简图像列的图像精简处理。而且,处理部100选择输入图像列的第 S(S为满足0兰S兰化1的整数)图像作为假定精简图像,选择输入图像列的第t(t为满足 0 ^t^S-1的整数)图像作为假定紧前精简图像,选择输入图像列的第u(u为满足t<u<s 的整数)图像作为判定对象图像。进而,处理部100根据假定精简图像与判定对象图像之 间的变形信息W及假定紧前精简图像与判定对象图像之间的变形信息求出判定对象图像 的删除评价值,根据第t+1~第S-1图像的删除评价值求出删除了第t+1~第S-1图像的 情况下的评价值即精简区间评价值G(t,S),根据精简区间评价值进行图像精简处理。
[0144] 由此,能够进行基于精简区间评价值的图像精简处理。精简区间评价值G(t,S)是 将第t图像和第S图像保留在精简图像列中、删除全部第t+1~第S-1图像的情况下的评 价值。即,假设在精简图像列中保留第a图像、第b图像、第C图像该3个图像的情况下,能 够根据G(a,b)和G(b,c)求出该精简图像列的评价值(如果假设第0、第化1图像作为假 定图像,则一并使用G(0,a)、G(c,化1))。由此,如果求出全部第1~第N图像中的任意2 张图像间的精简区间评价值,则能够求出根据输入图像列生成的任意的精简图像列的评价 值,能够从多个精简图像列的候选中捜索最佳的精简图像列。另外,可W针对从第1~第N 图像(或包含假想图像在内的第0~第化1图像)中选择2张图像的全部组合求出精简区 间评价值G,但是,从计算量削减的观点出发,也可W针对一部分G跳过计算处理。此时,由 于根据图像间的变形信息求出精简区间评价值,所W,能够控制由于删除图像而无法观察 的区域的产生程度等。
[0145] 并且,处理部100也可W根据精简区间评价值求出第1~第N图像的各图像的累 计评价值E(1)~E(脚,根据累计评价值进行图像精简处理。
[0146] 由此,能够进行基于累计评价值的图像精简处理。本实施方式的累计评价值E化) 表示假定了保留第0图像和第k图像的情况下的评价值中的最佳评价值(另外,未考虑第 k+1~第化1图像)。在保留第0图像和第k图像的情况下,针对第1~第k-1图像分别存 在保留或删除该两种可能性,所W,2^种情况下的最佳评价值(或判定为最佳的评价值) 成为E化)。目P,通过求出E化),能够针对保留第k图像的前提下的是否可W删除第1~ 第k-1图像,决定最佳组合。目P,如果作为假想图像的第化1图像求出E(化1),则能够针对 是否可W删除第1~第N图像决定最佳组合,该无非是求出大区域最佳的精简图像列的处 理。但是,为了削减计算量,假设在本实施方式中使用动态规划法。该情况下,不是直接求 出E(化1),而是从接近起点(第0图像)起依次求出累计评价值E,在求出给定图像的累计 评价值E(k)的情况下,使用此前的处理结果巧(1)~E化-1))。由此,在本实施方式的图像 精简处理中,通过求出第1~第N图像的各图像的累计评价值E(1)~E(脚,进行图像精简 处理。
[0147] 并且,处理部100也可W将作为假想图像的第0图像的累计评价值设为E(0) = 0, 使用第w(w为满足0 ^W^V-1的整数)图像的累计评价值E(w)W及删除了第W+1~第 V-1图像的情况下的精简区间评价值G(w,v),求出第v(v为满足1 ^V^化1的整数)图 像的累计评价值,作为E(V) =max(E(W)+G(W,V))。
[014引 由此,能够使用动态规划法求出累计评价值E。该情况下,每当求出E(v)时,不考 虑是否删除第0~第V图像的全部的情况,仅计算V次的E+G并求出其最佳值(狭义地讲为 最大值)即可。即,在求出E(化1)时,虽然需要求出E(l)~E(N),但是,与直接求出E(化1) 的情况相比,能够大幅削减计算量。
[0149] 并且,处理部100也可W选择满足下式(1)的第X图像作为第V图像的最佳紧前 精简图像。
[0150]
[015。 并且,处理部100也可W求出作为假想图像的第化1图像的累计评价值E(化1),将 第化1图像设为精简图像列决定处理中的最初的处理对象图像。然后,处理部100在处理 对象图像的最佳紧前精简图像不是第0图像的情况下,进行将最佳紧前精简图像包含在精 简图像列中的处理,并且,进行将最佳紧前精简图像作为新的处理对象图像的更新处理,继 续进行精简图像列决定处理。另一方面,在处理对象图像的最佳紧前精简图像是第0图像 的情况下,结束精简图像列决定处理。
[0152]由此,在求出E(v)时,能够选择第V图像的最佳紧前精简图像,并且使用最佳紧前 精简图像进行精简图像列决定处理。在动态规划法中,从活用此前的处理结果的观点出发, 决定处理对象节点的紧前节点即可,在处理对象节点的处理时点不需要考虑从起点到该紧 前节点的路径。但是,只要针对各节点决定了紧前节点,则通过从终点起依次追溯紧前节 点,能够决定最佳路径。在本实施方式中,将该处理应用于图像列,具体而言,将假定紧前精 简图像中的假定精简图像的假定累计评价值最大的图像作为最佳紧前精简图像即可。精简 图像列决定处理成为在从第化1图像到第0图像的范围内追寻最佳紧前精简图像的处理。
[0153] 并且,处理部100也可W根据第S图像与第U图像之间的变形信息W及第t图像 与第U图像之间的变形信息,计算第S图像和第t图像覆盖第U图像的比例即第U图像的 覆盖率。然后,处理部100根据覆盖率计算删除评价值,求出对与第t+1~第S-1图像有关 的删除评价值进行合计而得到的值作为删除了第t+1~第S-1图像的情况下的精简区间评 价值G(t, S)。