反射式字幕移动处理装置、方法以及程序的制作方法

专利名称：反射式字幕移动处理装置、方法以及程序的制作方法
技术领域：
本技术涉及图像处理技术，更详细地说涉及用于在对视频数据所包含的各帧图像的一部分进行放大显示的情况下，将反射式字幕显示在显示框内的技术。
背景技术：
开始了以例如移动电话机等移动终端为目标的“面向移动电话、移动终端的单频段部分收信服务(1-segment receiving service) ”(也被称为单频段(One Seg) )0然而，应对单波段的移动终端显示画面小，这样的移动终端具备对视频的一部分进行放大显示的功能。例如在以视频中心为基准进行放大显示的情况下，视频的边端区域会从显示框溢出，从而无法显示插入到视频边端的反射式字幕。此外，反射式字幕多被插入到视频的边端。而且，上述问题并不局限于单波段对应的移动终端，也会在进行其他的画面显示的终端中产生。另一方面，以往就存在例如使如图1所示的画面中的带状的区域101(以下，称为反射式字幕带)移动的技术。而且，以往也已存在使在图1所示的画面中的矩形区域 102(以下，称为反射式字幕区域)移动的技术。专利文献1 日本特开2008-98800号公报专利文献2 日本特表2004-521571号公报专利文献3 日本专利第3609236号专利文献4 日本专利第3692018号然而，在现有技术中，用反射式字幕带整体或者反射式字幕区域整体来置换移动目的地的区域，因此在移动目的地的区域本来应显示的视频全部无法显示。尤其是在显示画面小的情况下，对本来应显示的视频的影响也变大。

发明内容
因此，本技术的目的在于，在对视频的一部分进行放大显示的情况下，抑制对本来应显示的视频的影响，同时在显示框内显示反射式字幕。本反射式字幕移动处理装置具有反射式字幕提取单元，其在对视频数据所包含的特定的帧图像进行了放大的放大图像中，确定属于被视为重叠地插入到背景上的字符串的部分的像素；反射式字幕移动量算出单元，其判断属于被视为字符串的部分的任意一个像素是否是放大图像内的一部分、即显示区域外的像素，在判断为属于被视为字符串的部分的任意一个像素是显示区域外的像素的情况下，算出以属于被视为字符串的部分的全部像素或者主要像素缩小到显示区域内的方式移动被视为字符串的部分时的移动量；反射式字幕描绘单元，其针对属于被视为字符串的部分的像素或者用规定的字体表示字符串的情况下属于该字符串的像素，根据移动量确定移动目的地像素，并用规定的颜色置换该移动目的地像素的颜色。


图1是用于说明现有技术的图。图2是表示本技术的实施方式涉及的反射式字幕移动处理装置的功能框图的图。图3是表示本技术的实施方式涉及的反射式字幕移动处理装置的处理流程的图。图4是表示图像放大处理的处理流程的图。图5是表示放大图像M的一个例子的图。图6是表示反射式字幕提取处理的处理流程的图。图7是表示羽化面图像(mask image)m的一个例子的图。图8是羽化面图像m的局部放大图。图9是表示反射式字幕特征算出处理的处理流程的图。图10是表示反射式字幕字符部的外接矩形的图。图11是表示反射式字幕移动量算出处理的处理流程(第1部分)的图。图12是用于说明留白区域的图。图13是表示反射式字幕移动量算出处理的处理流程(第2部分)的图。图14是表示反射式字幕移动量算出处理的处理流程(第3部分)的图。图15是表示反射式字幕字符部的整形例的图。图16是表示反射式字幕生成处理的处理流程(第1部分)的图。图17是羽化面图像m的局部放大图。图18是表示字符图像f的一个例子的图。图19是表示反射式字幕生成处理的处理流程(第2部分)的图。图20是表示整形后的羽化面图像m的一个例子的图。图21是表示整形后的羽化面图像m的一个例子的图。图22是表示反射式字幕描绘处理的处理流程的图。图23是表示变换羽化面图像m'的一个例子的图。图M是表示输出图像0的一个例子的图。图25是表示反射式字幕加工处理的处理流程(第1部分)的图。图沈是用于说明基于4附近的距离变换的概要的图。图27是用于说明基于8附近的距离变换的概要的图。图观是用于说明模拟距离变换的概要的图。图四是变换羽化面图像m'的局部放大图。图30是距离变换图像d的局部放大图。图31是表示反射式字幕加工处理的处理流程(第2部分)的图。图32是加工后的输出图像0的局部放大图。图33是表示输出图像0的一个例子的图。
具体实施例方式图2示出本技术的一个实施方式涉及的反射式字幕移动处理装置的功能框图。在图2的例子中，反射式字幕移动处理装置具有输入部1、帧图像储存部3、图像放大处理部 5、放大图像储存部7、反射式字幕提取部9、羽化面图像储存部11、字体词典储存部13、反射式字幕生成部15、反射式字幕特征算出部17、反射式字幕移动量算出部19、反射式字幕描绘部21、输出图像储存部23、反射式字幕加工部25和输出部27。输入部1依次接收与某个视频相关的多个帧图像，并将其储存到帧图像储存部3 中。图像放大处理部5通过使用帧图像储存部3所储存的帧图像，实施后述说明的图像放大处理，来生成与该帧图像对应的放大图像，并将其储存在放大图像储存部7中。反射式字幕提取部9通过使用放大图像储存部7所储存的放大图像，实施后述说明的反射式字幕提取处理，来提取被视为重叠地插入到背景上的字符串的部分(以下，也存在称为反射式字幕字符部的情况)，生成后述说明的羽化面图像并将其储存到羽化面图像储存部11中。字体词典储存部13储存按各字符代码包含由规定的字体表示的字符的字符图像的字体词典。 反射式字幕生成部15使用羽化面图像储存部11所储存的羽化面图像和字体词典储存部13 所储存的字体词典，实施后述说明的字体生成处理，由此更新羽化面图像。反射式字幕特征算出部17使用羽化面图像储存部11所储存的羽化面图像和放大图像储存部7所储存的放大图像，实施后述说明的反射式字幕特征算出处理，由此确定反射式字幕字符部的外接矩形，算出属于反射式字幕字符部的像素的平均色。反射式字幕移动量算出部19使用羽化面图像储存部11所储存的羽化面图像来实施后述说明的反射式字幕移动量算出处理，由此算出反射式字幕字符部的移动量。反射式字幕描绘部21使用放大图像储存部7所储存的放大图像、羽化面图像储存部11所储存的羽化面图像以及通过反射式字幕移动量算出部 19算出的移动量，来实施后述说明的反射式字幕描绘处理，由此生成输出图像，并将其储存到输出图像储存部23中。反射式字幕加工部25通过对输出图像储存部23所储存的输出图像实施后述说明的反射式字幕加工处理来更新输出图像。输出部27将输出图像储存部 23所储存的输出图像输出到显示装置等。接下来，使用图3 图33，说明图2所示的反射式字幕移动处理装置的处理内容。 反射式字幕移动处理装置整体的处理流程如图3所示。此外，帧图像储存部3中储存着输入部1接收到的帧图像。首先，图像放大处理部5从帧图像储存部3读出特定的时刻t涉及的帧图像I (图3 步骤Si)，对所读出的帧图像I实施图像放大处理(步骤S3)。对于该图像放大处理，使用图4以及图5进行说明。首先，图像放大处理部5取得所读出的帧图像I的尺寸以及放大率P (图4 步骤 S21)。此外，放大率ρ例如由显示画面的尺寸等决定。然后，图像放大处理部5基于帧图像 I的尺寸以及放大率P来算出放大图像M的尺寸(步骤S2!3)。然后，图像放大处理部5对帧图像I进行内插，生成将帧图像I放大了 P倍的放大图像M并将其储存到放大图像储存部7(步骤S2Q。此外，图像的放大使用最近邻算法(最接近附近法)、双线性内插值算法 (线形内插)、双三次插值法(多项式内插)等内插技术。对例如图5的左侧所示那样的帧图像I实施本步骤的处理，生成图5的右侧所示那样的放大图像M。此外，在图5的放大图像M中，由坐标(sX，sy)以及坐标(eX，ey)确定的矩形表示成为显示对象的范围(以下，将该矩形内的区域称为显示区域，将该矩形外的区域称为非显示区域)。然后，结束图像放大处理，返回原处理。返回到图3的说明，在实施了图像放大处理之后，反射式字幕提取部9使用放大图像储存部7所储存的放大图像M来实施反射式字幕提取处理(步骤S5)。对于该反射式字幕提取处理，使用图6 图8进行说明。
首先，反射式字幕提取部9确定放大图像M中的反射式字幕字符部(图6:步骤 S31)。在该处理中，使用背景技术栏中示出的专利文献4所记载的技术。然后，反射式字幕提取部9生成将属于反射式字幕字符部的像素的值设为1且将其以外的像素(即，不属于反射式字幕字符部的像素)的值设为0的羽化面图像m，并将其储存到羽化面图像储存部 11(步骤S33)中。即，对于属于反射式字幕字符部的像素设定为m(x，y，t) = 1，对于其以外的像素设定为m(x，y，t) =O0当例如图5所示的放大图像M中的“二-一 7”被确定为反射式字幕字符部时，生成如图7所示那样的羽化面图像m。而且，在图8示出将羽化面图像m的一部分放大而成的图。此外，在图8中，被全涂成黑的像素表示属于反射式字幕字符部的像素。然后，结束反射式字幕提取处理，返回原处理。返回图3的说明，在实施了反射式字幕提取处理之后，反射式字幕特征算出部17 使用放大图像储存部7所储存的放大图像M和羽化面图像储存部11所储存的羽化面图像 m来实施反射式字幕特征算出处理(步骤S7)。使用图9以及图10说明该反射式字幕特征
算出处理。首先，反射式字幕特征算出部17基于羽化面图像m，确定属于反射式字幕字符部的像素(即，设定为m(x，y，t) = 1的像素)中χ坐标值最小的像素，将确定像素的χ坐标值设定给变量msx(图9 步骤S41)。S卩，对变量msx设定属于反射式字幕字符部的像素中最左端的像素的χ坐标值。然后，反射式字幕特征算出部17基于羽化面图像m，确定属于反射式字幕字符部的像素(即，设定为m(x，y，t) = 1的像素)中χ坐标值最大的像素，将确定像素的χ坐标值设定给变量mex (步骤S4!3)。即，对变量mex设定属于反射式字幕字符部的像素中最右端的像素的χ坐标值。然后，反射式字幕特征算出部17基于羽化面图像m，确定属于反射式字幕字符部的像素(即，设定为m(x，y，t) = 1的像素)中y坐标值最小的像素，将确定像素的y坐标值设定给变量msy (步骤S^)。即，对变量msy设定属于反射式字幕字符部的像素中最上端的像素的y坐标值。然后，反射式字幕特征算出部17基于羽化面图像m，确定属于反射式字幕字符部的像素(即，设定为m(x，y，t) = 1的像素)中y坐标值最大的像素，将确定像素的y坐标值设定给变量mey (步骤S47)。即，对变量mey设定属于反射式字幕字符部的像素中最下端的像素的y坐标值。此外，若实施步骤S41 步骤S47的处理，则如图10所示，确定反射式字幕字符部的外接矩形。然后，反射式字幕特征算出部17算出属于反射式字幕字符部的像素的平均色μ， 并将其储存到存储装置(步骤S49)。例如，在用RGB表现的情况下，对各色成分算出平均值，设定为平均色μ = αν^,ιο。然后，结束反射式字幕特征算出处理，返回原处理。返回图3的说明，在实施了反射式字幕特征算出处理之后，反射式字幕移动量算出部19使用羽化面图像储存部11所储存的羽化面图像m来实施反射式字幕移动量算出处理(步骤S9)。对于该反射式字幕移动量算出处理，使用图11 图14进行说明。首先，反射式字幕移动量算出部19将变量yflag设定为0 (图11 步骤S51)。而且，反射式字幕移动量算出部19将变量xflag设定为0 (步骤S53)。
然后，反射式字幕移动量算出部19判断msy是否小于sy+ymargin (步骤S55)。即， 判断反射式字幕字符部是否向上方向溢出。在此，ymargin表示针对y轴方向，从显示区域的端部(上端以及下端)起向内侧设置的留白区域的尺寸，其被预先设定。在本实施方式中，对于y轴方向，在从显示区域的端部起具有ymargin量的富裕的位置上显示反射式字幕字符部。例如，如图12所示，在反射式字幕字符部“二 Λ — ζ ”向下方向溢出的情况下，从显示区域的下端起向内侧设置ymargin量的留白区域(图12中的斜线部分)，使“ 二-一力”按照不进入留白区域的方式移动。然后，在判断为msy小于sy+ymargin的情况下(步骤S55 “是”路线)，判断出反射式字幕字符部向上方向溢出，反射式字幕移动量算出部19将yf lag设定为1 (步骤S57)。 另一方面，在判断为msy在sy+ymargin以上的情况下(步骤S55 “否”路线)，跳过步骤S57 的处理，移至步骤S59的处理。然后，反射式字幕移动量算出部19判断mey是否大于ey-ymargin (步骤S59)。即， 判断反射式字幕字符部是否向下方向溢出。在判断为mey大于ey-ymargin的情况下(步骤 S59:“是”路线)，判断出反射式字幕字符部向下方向溢出，反射式字幕移动量算出部19对 yflag加2 (步骤S61)。另一方面，在判断为mey在ey-ymargin以下的情况下(步骤S59 “否”路线)，跳过步骤S61的处理，移至步骤S63的处理。因此，在反射式字幕字符部仅向上方向溢出的情况下，yflag设定为1。而且，在反射式字幕字符部仅向下方向溢出的情况下，yflag设定为2。而且，在反射式字幕字符部向上方向和下方向都溢出的情况下，yflag设定为3。然后，反射式字幕移动量算出部19判断msx是否小于sx+xmargin (步骤S63)。即， 判断反射式字幕字符部是否向左方向溢出。在此，xmargin表示从显示区域的左端以及右端起向内侧设置的留白区域的尺寸，其被预先设定。在本实施方式中，对于χ轴方向也在具有xmargin量的富裕的位置上显示反射式字幕字符部。然后，在判断为msx小于sx+xmargin的情况下(步骤S63 “是”路线)，判断为反射式字幕字符部向左方向溢出，反射式字幕移动量算出部19将xflag设定为1 (步骤S65)。 另一方面，在判断为msx在sx+xmargin以上的情况下(步骤S63 “否”路线)，跳过步骤S65 的处理，移至步骤S67的处理。然后，反射式字幕移动量算出部19判断mex是否大于ex-xmargin (步骤S67)。即， 判断反射式字幕字符部是否向右方向溢出。在判断为mex大于ex-xmargin的情况下(步骤S67 “是”路线)，判断为反射式字幕字符部向右方向溢出，反射式字幕移动量算出部19 对过1恥加2(步骤569)。然后，经由端子A移至步骤S71(图13)的处理。另一方面，在判断为mex在ex-xmargin以下的情况下(步骤S67 “否”路线)，跳过步骤S69的处理，经由端子A移至步骤S71 (图13)的处理。因此，在反射式字幕字符部仅向左方向溢出的情况下，xflag设定为1。而且，在反射式字幕字符部仅向右方向溢出的情况下，xflag设定为2。进而，在反射式字幕字符部向左方向和右方向都溢出的情况下，xflag设定为3。移至图13的说明，在端子A之后，反射式字幕移动量算出部19判断yflag是否为 0(图13 步骤S71)。在判断为yflag为0的情况下(步骤S71 “是”路线)，移至步骤S81 的处理。
另一方面，在判断为yflag不为0的情况下(步骤S71 “否”路线)，反射式字幕移动量算出部19判断yflag是否为1 (步骤S73)。在判断为yflag是1的情况下(步骤 S73 “是”路线)，反射式字幕移动量算出部19对sy-msy+ymargin进行计算，并将计算结果设定给1轴方向的移动量gy (步骤S7Q。此外，在移动量gy为正值的情况下，表示向下方向移动的移动量，在移动量gy为负值的情况下，表示向上方向移动的移动量。在上面也记述过，yflag设定为1是反射式字幕字符部仅向上方向溢出的情况，因此在步骤S75中所设定的移动量gy设定为正值。然后，移至步骤S83的处理。另一方面，在判断为yflag不为1的情况下(步骤S73 “否”路线)，反射式字幕移动量算出部19判断yflag是否为2 (步骤S77)。在判断为yflag是2的情况下(步骤 S77 “是”路线)，反射式字幕移动量算出部19对ey-mey-ymargin进行计算，将计算结果设定给y轴方向的移动量gy (步骤S79)。在上面也记述过，yflag设定为2是反射式字幕字符部仅向下方向溢出的情况，因此在步骤S79中所算出的移动量gy设定为负值。然后，移至步骤S83的处理。另一方面，在判断为yflag不为2的情况下(步骤S77 “否”路线)，即yflag为3 的情况下，反射式字幕移动量算出部19将0设定给y轴方向的移动量gy (步骤S81)。此外， 在步骤S71中判断为yflag是0的情况下，也实施本步骤的处理。在上面也记述过，yflag 设定为3是反射式字幕字符部向上方向和下方向都溢出的情况。另一方面，yflag设定为 0是反射式字幕字符部向上方向和下方向都未溢出的情况。这些情况没有针对y轴方向进行移动的意图，因此0被设定给移动量gy。然后，反射式字幕移动量算出部19判断xflag是否为0 (步骤S83)。在判断为 xflag是0的情况下(步骤S83 “是”路线)，移至步骤S93的处理。另一方面，在判断为xflag不为0的情况下(步骤S83 “否”路线)，反射式字幕移动量算出部19判断xflag是否为1 (步骤S85)。在判断为xflag是1的情况下(步骤 S85 “是”路线)，反射式字幕移动量算出部19对sx-msx+xmargin进行计算，并将计算结果设定给χ轴方向的移动量gx (步骤S87)。此外，在移动量gx是正值的情况下，表示向右方向移动的移动量，在移动量gx为负值的情况下，表示向左方向移动的移动量。在上面也记述过，xflag设定为1是反射式字幕字符部仅向左方向溢出的情况，因此在步骤S87中所设定的移动量gx设定为正值。然后，经由端子B移至步骤S95(图14)的处理。另一方面，在判断为xflag不为1的情况下(步骤S85 “否”路线)，反射式字幕移动量算出部19判断xflag是否为2 (步骤S89)。在判断为xflag是2的情况下(步骤 S89 “是”路线)，反射式字幕移动量算出部19对ex-mex-xmargin进行计算，并将计算结果设定给χ轴方向的移动量gx(步骤S91)。在上面也记述过，xflag设定为2是反射式字幕字符部仅向右方向溢出的情况，因此在步骤S91中所算出的移动量gx设定为负值。然后， 经由端子B移至步骤S95(图14)的处理。另一方面，在判断为xflag不为2的情况下(步骤S89 “否”路线)，即xflag为3 的情况下，反射式字幕移动量算出部19将0设定给χ轴方向的移动量gx (步骤S9!3)。此外， 在步骤S83中判断为xflag是0的情况下，也实施本步骤的处理。在上面也记述过，xflag 设定为3是反射式字幕字符部向左方向和右方向都溢出的情况。另一方面，xflag设定为 0是反射式字幕字符部向左方向和右方向都不溢出的情况。这些情况没有针对χ轴方向进行移动的意图，因此将0设定给移动量gx。移至图14的说明，在端子B之后，反射式字幕移动量算出部19判断是否满足gy小于old_gy+th_y且gy大于old_gy-th_y这样的条件(图14 步骤S95)。在此，old_gy表示前一帧图像(即，时刻(t-Ι)的帧图像)涉及的y轴方向的移动量。即，在步骤S95中， 判断gy和old_gy的差是否小于规定的阈值th_y。在满足gy小于old_gy+th_y且gy大于 old_gy-th_y这样的条件的情况下(步骤S95 “是”路线)，反射式字幕移动量算出部19将 old_gy设定给gy (步骤S97)。在本实施方式中，为了防止移动后的反射式字幕晃动，在移动量gy和前一帧图像涉及的移动量old_gy的差小于规定的阈值th_y的情况下，将前一帧图像涉及的移动量old_gy用作移动量gy。然后，移至步骤SlOl的处理。另一方面，如果没有满足gy小于old_gy+th_y且gy大于old_gy-th_y这样的条件 (步骤S95 “否”路线)，则反射式字幕移动量算出部19将gy设定为old_gy (步骤S99)。 即，为了处理下一帧图像(即，时刻(t+Ι)的帧图像)，预先将gy存储为old_gy。然后，移至步骤SlOl的处理。然后，反射式字幕移动量算出部19判断是否满足gx小于old_gX+th_X且gx大于 old_gX-th_X这样的条件(步骤S101)。在此，old_gx表示前一帧图像涉及的χ轴方向的移动量。即，在步骤SlOl中，判断gx和old_gX的差是否小于规定的阈值th_x。在满足gx 小于old_gx+th_x且gx大于old_gX-th_X这样的条件的情况下(步骤SlOl “是”路线)， 反射式字幕移动量算出部19将old_gX设定给gx (步骤S103)。在本实施方式中，为了防止移动后的反射式字幕晃动，在移动量gx和前一帧图像涉及的移动量old_gx的差小于规定的阈值th_x的情况下，将前一帧图像涉及的移动量old_gX用作移动量gx。然后，结束反射式字幕移动量算出处理，返回原处理。另一方面，如果没有满足gx小于old_gx+th_x且gx大于0ld_gx-th_x这样的条件 (步骤SlOl “否”路线)，则反射式字幕移动量算出部19将gx设定为old_gx (步骤S105)。 即，为了处理下一帧图像，将gx预先存储为old_gx。然后，结束反射式字幕移动量算出处理，返回原处理。通过实施以上这样的处理，而能够算出针对χ轴方向以及y轴方向的移动量。而且，在算出的移动量和前一帧图像涉及的移动量之差较小的情况下，使用前一帧图像涉及的移动量，因此能够防止移动后的反射式字幕字符部晃动地显示。返回图3的说明，在实施了反射式字幕移动量算出处理之后，反射式字幕生成部 15判断是否对反射式字幕字符部进行整形(步骤Sll)。此外，是否对反射式字幕字符部进行整形是用户等预先设定的。在判断为不对反射式字幕字符部进行整形的情况下(步骤 Sll “否”路线)，跳过步骤S13的处理，而移至步骤S15的处理。另一方面，在判断为对反射式字幕字符部进行整形的情况下(步骤Sll “是”路线)，反射式字幕生成部15使用羽化面图像储存部11所储存的羽化面图像m和字体词典储存部13所储存的字体词典来实施反射式字幕生成处理(步骤S13)。在反射式字幕生成处理中，例如图15所示，进行用于将反射式字幕字符部的各字符置换为由规定的字体表现的字符的处理。对于反射式字幕生成处理，使用图16 图21进行说明。首先，反射式字幕生成部15使用羽化面图像m对反射式字幕字符部进行字符识别处理，并取得各字符的外接矩形以及字符代码(图16 步骤S111)。图17示出羽化面图像m的一部分。例如，当对设定为m(x，y，t) = 1的像素实施字符识别处理时，得到与“二”对应的字符代码和“二”的外接矩形1701。以下，将外接矩形1701左上的顶点坐标设为(csx， csy)，将右下的顶点坐标设为(cex，cey)来进行说明。此外，对于字符识别处理，由于与以往的处理没有变化，所以上面不再叙述。然后，反射式字幕生成部15确定反射式字幕字符部所包含的字符中未处理的字符(步骤S113)。然后，反射式字幕生成部15从字体词典中取得与特定字符的字符代码对应的字符的字符图像f，以符合特定字符的外接矩形的大小方式进行放大或者缩小(步骤 S115)。图18示出字符图像f的一个例子。图18的字符图像f是以符合图17所示的外接矩形1701的大小的方式进行放大或者缩小而成的。此外，将属于字符的像素的值设为1，将其以外的像素的值设为0。然后，反射式字幕生成部15将计数器i设定为0 (步骤S117)。然后，反射式字幕生成部15将计数器j设定为0 (步骤S119)。然后，经由端子C移至步骤S121 (图19)的处理。移至图19的说明，在端子C之后，反射式字幕生成部15判断f (j，i)是否为1(图 19:步骤S121)。在判断为f(j，i)为1的情况下(步骤S121 “是”路线)，反射式字幕生成部15对m(j+CSX，i+csy, t)加2(步骤S123)。然后，反射式字幕生成部15将计数器j 自加1 (步骤S125)，判断计数器j是否小于cex-csx(步骤S127)。在判断为计数器j小于 cex-csx的情况下(步骤S127 “是”路线)，返回步骤S121的处理，反复步骤S121 步骤 S127的处理。另一方面，在判断为计数器j是cex-csx以上的情况下(步骤S127 “否”路线)， 反射式字幕生成部15将计数器i自加1 (步骤SU9)，判断计数器i是否小于cey-csy (步骤S131)。在判断为计数器i小于cey-csy的情况下(步骤S131 “是”路线)，经由端子D 返回步骤Sl 19 (图16)的处理，重复步骤Sl 19 步骤S131的处理。当对例如图17所示的羽化面图像m的一部分使用图18所示的字符图像f实施上述那样的处理时，羽化面图像m成为如图20所示那样的图像。在图20中，像素值为0(即， m(x, y, t) =0)的像素在整形前在整形后都是不属于反射式字幕字符部的像素。而且，像素值为1(即，m(x, y, t) = 1)的像素在整形前是属于反射式字幕字符部的像素，但在整形后是不属于反射式字幕字符部的像素。而且，像素值为2(即，m(x, y，t) = 2)的像素在整形前是不属于反射式字幕字符部的像素，但在整形后是属于反射式字幕字符部的像素。而且，像素值为3(即，m(x, y，t) = 3)的像素在整形前和整形后都是属于反射式字幕字符部的像素。即，像素值设定为0 3中的任意一个。另一方面，在判断为计数器i是cey-csy以上的情况下(步骤S131 “否”路线)， 反射式字幕生成部15更新羽化面图像m (步骤S133)。在该处理中，对于像素值为1的各像素，将该像素的像素值变更为0。而且，对于像素值为2或者3的各像素，将该像素的像素值变更为1。当对例如图20所示的羽化面图像m实施本步骤的处理时，成为图21所示那样的羽化面图像。然后，反射式字幕生成部15判断是否针对全部字符结束了处理(步骤S135)。如果针对全部字符没有结束处理(步骤S135 “否”路线)，则经由端子E返回步骤S113(图 16)的处理。另一方面，在针对全部字符结束了处理的情况下(步骤S135: “是”路线)，结束反射式字幕生成处理，返回原处理。通过实施如上所述的处理，即使在通过例如视频的放大而产生了字符模糊等的情况下，也能够在如上所述的输出图像中用清晰的字符显示反射式字幕。返回图3的说明，在步骤Sll中判断为不对反射式字幕字符部进行整形的情况下， 或者实施了反射式字幕生成处理之后，反射式字幕描绘部21使用放大图像储存部7所储存的放大图像M和羽化面图像储存部11所储存的羽化面图像m以及移动量gx及gy来实施反射式字幕描绘处理(步骤SM)。对于反射式字幕描绘处理使用图22 图M进行说明。首先，反射式字幕描绘部21生成输出图像0和与该输出图像0相同的尺寸的变换羽化面图像m'，并储存到输出图像储存部23。此外，在该时刻，输出图像0中的各像素的值以及变换羽化面图像m'中的各像素的值全部为0。然后，反射式字幕描绘部21将计数器i设定为0 (图22 步骤S141)。而且，反射式字幕描绘部21将计数器j设定为0 (步骤 S143)。然后，反射式字幕描绘部21判断m(j，i，t)是否为1 (步骤S145)。在判断为m(j， i，t)为1的情况下(步骤S145:“是”路线)，反射式字幕描绘部21将平均色μ设定为 M(j+gx，i+gy，t)(步骤S147)。S卩，用平均色μ置换放大图像M中的移动目的地像素的颜色。此外，从当前位置向χ轴方向移动gx量，进而向y轴方向移动gy量，从而移动目的地像素得以确定。然后，反射式字幕描绘部21将1设定给m' (j+gx-sx, i+gy-sy，t)(步骤S149)。 即，将变换羽化面图像m'中的移动目的地像素的值设定为1。在此，分别减去sx以及sy 是由于如图23所示，在羽化面图像m和变换羽化面图像m'中，作为原点的位置向χ轴方向偏移sx的量，向y轴方向偏移sy的量。此外，变换羽化面图像m'在后面说明的反射式字幕加工处理使用。另一方面，在判断为m(j，i，t)不为1的情况下(步骤S145 “否”路线)，跳过步骤S147以及S149的处理，移至步骤S151的处理。然后，反射式字幕描绘部21将计数器j自加1 (步骤S151)，判断计数器j是否小于mx (步骤S153)。在判断为计数器j小于mx的情况下(步骤S153 “是”路线)，返回步骤S145的处理，反复步骤S145 步骤S153的处理。另一方面，在判断为计数器j在mx以上的情况下(步骤S153 “否”路线)，反射式字幕描绘部21将计数器i自加1 (步骤S155)，并判断计数器i是否小于my (步骤S157)。 在判断为计数器i小于my的情况下(步骤S157 “是”路线)，返回步骤S143的处理，反复步骤S143 步骤S157的处理。另一方面，在判断为计数器i在my以上的情况下(步骤S157 “否”路线)，反射式字幕描绘部21将放大图像M中显示区域内的像素的值复制到输出图像0(步骤S159)。例如图M示出输出图像0的一个例子。当对例如图5所示的放大图像M实施上述这样的处理时，生成如图M所示那样的输出图像0。在图M中，仅属于反射式字幕字符部“ 二-一 7”的像素进行移动，除属于“ 二 - 一 7”的像素以外显示原视频。然后，结束反射式字幕描绘处理，返回原处理。通过实施以上这样的处理，而能够生成仅移动了属于反射式字幕字符部的像素的输出图像0。即，能够将对本来应显示的视频的影响抑制到最小限度，同时能够显示反射式字幕。此外，在设定为m(j，i，x) = 1的像素存在于显示区域内的情况下，如果将该像素的周边像素的平均色等设定为M(j，i，t)，则移动前的反射式字幕字符部不会显示在输出图像 0上。返回图3的说明，在实施了反射式字幕描绘处理之后，反射式字幕加工部25对输出图像储存部23所储存的输出图像实施反射式字幕加工处理(步骤S17)。对于反射式字幕加工处理，利用图25 图33进行说明。首先，反射式字幕加工部25从输出图像储存部23读出变换羽化面图像m'。然后，反射式字幕加工部25对于设定为m' (x, y, t) = 0的各像素，算出从该像素到设定为 m' (x,y,t) = 1的像素的最短距离(图25 步骤S161)。例如，该最短距离是能够通过基于4附近的距离变换、基于8附近的距离变换、模拟距离变换等算出的。此外，在此将作为像素值而具有距离值的图像称为距离变换图像d。例如图沈示出基于4附近的距离变换的概要。首先，对设定为m' (x, y，t) = 1 的像素设定d(x，y) =0，对于设定为m' (x，y，t) = 0的像素设定d (x，y) =maX_ValUe (例如65535)。然后，对d(x，y) Φ 0的各像素从左上起进行扫描(第1扫描)。以下，设关注像素为d(x，y)。具体地说，从d(x，y)、d(x-l，y)+l和d(x，y_l)+1之中确定最小值，并设定为d(x，y)。在例如图沈所示的第1扫描中，d(x，y) = 65535，d(x_l，y)+l = 2+1 = 3， d(x, y-l)+l = 1+1 = 2，作为最小值的2被设定到d(x，y)。然后，若对全部像素结束了第 1扫描，则针对d(x，y)兴0的各像素，从右下起进行扫描(第2扫描)。具体地说，从d(x， y)、d(x+l，y)+l和d(x, y+l)+l之中确定最小值，并设定为d(x, y)。在例如图26的第2扫描中，是 d(x，y) = 65535，d(x+l, y)+l = 2+1 = 3，d(x，y+l)+l = 1+1 = 2，且最小值的 2 被设定到d(x，y)。通过以上这样的处理，生成距离变换图像d。而且，例如图27示出基于8附近的距离变换的概要。虽基本上与基于4附近的距离变换的情况相同，但在基于8附近的距离变换的情况下，在第1扫描中，考虑关注像素左上的像素 d(x-l，y-1)，从 d(x，y)、d(x-l，y)+l、d(x，y_l)+l 和 d(x_l，y_l)+l 之中确定最小值，设定为d(x，y)。在例如图27的第1扫描中，是d(x，y) = 65535，d(x_l，y)+l = 2+1 =3，d(x，y-l)+l = 1+1 = 2，d(x-l，y-l)+l = 1+1 = 2，且作为最小值的 2 被设定到 d(x， y)。而且，在第2扫描中，考虑关注像素右下的像素d (x+1，y+Ι)，从d (X，y)、d (x+1，y) +1、 d(x, y+l)+l和d(x+l, y+l)+l之中确定最小值，并设定为d(x, y)。而且，例如图28示出模拟距离变换的概要。虽基本上与基于4附近的距离变换的情况相同，但在模拟距离变换的情况下，将纵以及横的距离间隔视为2，将斜的距离间隔视为 3。因此，在第 1 扫描中，从 d(x，y)、d(x-l，y)+2、d(x，y_l)+2 和 d(x_l，y_l)+3 之中确定最小值，并设定为d(x，y)。例如在图观的第1扫描中，是d(x，y) = 65535，d(x_l，y)+2 =4+2 = 6，d(x，y-1)+2 = 2+2 = 4，d(x_l，y-1)+3 = 2+3 = 5，且作为最小值的 4 被设定到 d(x，y)。而且，在第2扫描中，从(10^，7)、(10^1，7)+2、(10^，7+1)+2和 d(x+l，y+l)+3 之中确定最小值，并设定为d(x，y)。然后，最后通过用2除以各个d(x，y)，算出距离。此外，也可以使用其他方法算出最短距离。例如，对图四所示的变换羽化面图像 m'实施步骤S161的处理，生成图30所示那样的距离变换图像d，以下对其进行说明。然后，反射式字幕加工部25将计数器i设定为0 (步骤S163)。然后，反射式字幕加工部25将计数器j设定为0 (步骤S16Q。然后，反射式字幕加工部25判断是否满足d(j，i)小于规定的阈值作_(1且(1(^)是0以外这样的条件(步骤S167)。如果没有满足d(j， i)小于规定的阈值作_(1且(1(」，士)是0以外这样的条件(步骤S167:“否”路线)，则跳过以下说明的步骤S169 步骤S175的处理，经由端子F移至步骤S177(图31)的处理。另一方面，在判断为满足d(j，i)小于规定的阈值作_(1且(1(^)是0以外这样的条件的情况下(步骤S167 “是”路线)，反射式字幕加工部25算出颜色的差异度s (步骤 S169)。颜色的差异度s在例如用RGB表现的情况下，能够由S= I r_ru| +1 g-gu| +1 b_bu|算出。此夕卜，r，g，b表示0(j，i，t)的色成分，ru，gu，bu表示平均色μ的色成分。然后，反射式字幕加工部25判断颜色的差异度s是否不到规定基准(步骤S171)。 在判断为颜色的差异度s在规定基准以上的情况下(步骤S171 “否”路线)，跳过以下说明的步骤S173以及步骤S175的处理，经由端子F移至步骤S177 (图31)的处理。另一方面，在判断为颜色的差异度s不到规定基准的情况下(步骤S171 “是”路线)，反射式字幕加工部25生成加工色c (步骤S173)，将加工色c设定为0(j，i，t)(步骤 S175)。例如在加工色c设定为(r。，g。，b。)的情况下，各色成分能够通过r。= mod(r+128， 255)、gc = mod(g+128，255)、bc = mod(b+128，255)算出。由此，能够用与 0(j，i，t)的颜色正相反的颜色(即，RGB值相隔128的色)置换0(j，i，t)的颜色。而且，也可以通过rc = mod(ru+128, 255)、gc = mod(gu+128, 255)、bc = mod(bu+128, 255)算出各色成分。由此，能够用与平均色μ正相反的颜色置换0(j，i，t)的颜色。然后，经由端子F移至步骤S177(图 31)的处理。移至图31的说明，在端子F之后，反射式字幕加工部25将计数器j自加1 (图31 步骤S177)，并判断计数器j是否小于mx'(步骤S179)。此外，mx'是输出图像0的横宽度。在判断为计数器j小于mx'的情况下(步骤S179:“是”路线)，经由端子G返回步骤 S167 (图25)的处理，反复步骤S167 步骤S179的处理。另一方面，在判断为计数器j在mx'以上的情况下(步骤S179:“否”路线)，反射式字幕加工部25将计数器i自加1(步骤S181)，并判断计数器i是否小于my'(步骤 S183)。此外，my'是输出图像0的高度。在判断为计数器i小于my ‘的情况下(步骤S183: “是”路线)，经由端子H返回步骤S165 (图25)的处理，反复步骤S165 步骤S183的处理。另一方面，在判断为计数器i在my'以上的情况下(步骤S183 “否”路线)，结束反射式字幕加工处理，返回原处理。例如在根据图30所示的距离变换图像d变换了距离为 2以下的周边像素的情况下，输出图像0成为图32所示那样的图像。通过实施以上这样的处理，对反射式字幕字符部的各字符，用与该字符的颜色不同的颜色进行镶边，因此能够清晰地显示移动后的反射式字幕。返回图3的说明，在实施了反射式字幕加工处理后，输出部27将输出图像储存部 23所储存的输出图像0向显示装置等输出(步骤S19)后，结束处理。若针对例如图5所示的帧图像I实施上述这样的处理，则生成如图33所示那样的输出图像0，并进行显示。在图 33中，反射式字幕字符部m,被镶边，而变得清晰。以上虽说明了本技术的一个实施方式，但本技术不限定于此。例如，上面说明的反射式字幕移动处理装置的功能框图不一定与实际的程序模块构成对应。进而，在处理流程中，只要处理结果不变就也可以更换处理的顺序。而且，也可以使之并列地执行。而且，以上，对算出用于将属于反射式字幕字符部的全部像素缩小到显示区域的移动量的例子进行说明，但未必必须将属于反射式字幕字符部的全部像素缩小到显示区域内。例如，如果即使属于反射式字幕字符部的像素中一部分像素缺失也能够识别为反射式字幕字符部，则也可以算出用于缩小除了一部分像素以外的主要像素的移动量。而且，以上，说明了在反射式字幕移动量算出处理之后实施反射式字幕生成处理的例子，但也可以先实施反射式字幕生成处理。此时，基于整形后的反射式字幕字符部来算出移动量即可。此外，能够作成用于将反射式字幕移动处理装置与硬件一同实现的程序，该程序被储存在例如软盘、CD-ROM、光磁盘、半导体存储器、硬盘等存储介质或者存储装置。而且， 中间的处理结果被主存储器等存储装置暂时保管。以上，总结本实施方式如下。本反射式字幕移动处理装置具有反射式字幕提取单元，其在对视频数据所包含的特定的帧图像进行了放大的放大图像中，确定属于被视为重叠地插入到背景上的字符串的部分的像素；反射式字幕移动量算出单元，其判断属于被视为字符串的部分的任意一个像素是否是放大图像内的一部分、即显示区域外的像素，在判断为属于被视为字符串的部分的任意一个像素是显示区域外的像素的情况下，算出以属于被视为字符串的部分的全部像素或者主要像素缩小到显示区域内的方式移动被视为字符串的部分时的移动量；反射式字幕描绘单元，其对于属于被视为字符串的部分的像素或者用规定的字体表示字符串的情况下属于该字符串的像素，根据移动量确定移动目的地像素，并用规定的颜色置换该移动目的地像素的颜色。由此，即使在例如伴随着视频的放大，插入有反射式字幕的字符串从显示区域溢出这样的情况下，也能够使该字符串显示在显示区域内。此外，由于仅置换构成字符串的像素，所以对本来应显示的视频的影响也设定为最小限度。而且，也可以还具有反射式字幕加工单元，其用与移动目的地像素的颜色不同的颜色置换除了移动目的地像素以外的像素中到移动目的地像素为止的最短距离是规定距离以下的像素即周边像素的颜色。由此，用与字符的颜色不同的色对字符串所包含的各字符进行镶边，所以字符串变得清晰。而且，也可以还具有字体储存部，其按各字符代码储存通过规定的字体表现的字符的字符图像；反射式字幕生成单元，其通过对被视为字符串的部分实施字符识别处理而取得字符串所包含的各字符的字符代码，对于各字符从字体储存部中提取与该字符的字符代码对应的字符图像，用提取出的字符图像置换字符串所包含的字符。由此，即使在例如由于视频的放大而导致字符模糊的情况下，也能够以清晰的字符显示字符串。而且，上述的反射式字幕移动量算出单元可以具有算出特定的帧图像的前一帧图像涉及的移动量和特定的帧图像涉及的移动量的差，判断该差是否小于规定值的单元; 在判断为该差小于规定值的情况下，用前一帧图像涉及的移动量置换特定的帧图像涉及的移动量的单元。由此，在移动量小于规定值的情况下，使用前一帧图像涉及的移动量，能够防止移动后的字符串发生晃动。而且，可以还具有算出属于被视为字符串的部分的像素的平均色的反射式字幕特征算出单元。而且，上述的反射式字幕描绘单元也可以用平均色置换移动目的地像素的颜色。
另外，上述的反射式字幕加工单元可以具有对于各周边像素算出该周边像素的颜色和移动目的地像素的颜色的差异度的单元；用与移动目的地像素的颜色不同的颜色置换差异度小于规定基准的周边像素的颜色的单元。
权利要求
1.一种反射式字幕移动处理装置，其特征在于，具有反射式字幕提取单元，其在对视频数据所包含的特定的帧图像进行了放大的放大图像中，确定属于被视为重叠地插入到背景上的字符串的部分的像素；反射式字幕移动量算出单元，其判断属于被视为上述字符串的部分的任意一个像素是否是上述放大图像内的一部分、即显示区域外的像素，在判断为属于被视为上述字符串的部分的任意一个像素是上述显示区域外的像素的情况下，算出以属于被视为上述字符串的部分的全部像素或者主要像素缩小到上述显示区域内的方式移动被视为上述字符串的部分时的移动量；以及反射式字幕描绘单元，其对于属于被视为上述字符串的部分的像素或者用规定的字体表示上述字符串的情况下属于该字符串的像素，根据上述移动量确定移动目的地像素，并用规定的颜色置换该移动目的地像素的颜色。
2.根据权利要求1所述的反射式字幕移动处理装置，其特征在于，还具有反射式字幕加工单元，该反射式字幕加工单元用与上述移动目的地像素的颜色不同的颜色来置换除了上述移动目的地像素以外的像素中到上述移动目的地像素的最短距离是规定距离以下的像素的周边像素的颜色。
3.根据权利要求1或2所述的反射式字幕移动处理装置，其特征在于，还具有字体储存部，其按各字符代码储存利用上述规定的字体表示的字符的字符图像；和反射式字幕生成单元，其通过对被视为上述字符串的部分实施字符识别处理而取得上述字符串所包含的各字符的字符代码，对于各上述字符，从上述字体储存部提取与该字符的字符代码对应的上述字符图像，并用提取出的上述字符图像来置换上述字符串所包含的上述字符。
4.根据权利要求1 3中的任一项所述的反射式字幕移动处理装置，其特征在于，上述反射式字幕移动量算出单元具有算出上述特定的帧图像的前一帧图像涉及的上述移动量和上述特定的帧图像涉及的上述移动量的差，并判断该差是否小于规定值的单元；和在判断为上述差小于规定值的情况下，用上述前一帧图像涉及的上述移动量来置换上述特定的帧图像涉及的上述移动量的单元。
5.根据权利要求1 4中的任一项所述的反射式字幕移动处理装置，其特征在于，还具有反射式字幕特征算出单元，其中，上述反射式字幕特征算出单元算出属于被视为上述字符串的部分的像素的平均色，上述反射式字幕描绘单元用上述平均色来置换上述移动目的地像素的颜色。
6.根据权利要求2所述的反射式字幕移动处理装置，其特征在于，上述反射式字幕加工单元具有针对各上述周边像素算出该周边像素的颜色与上述移动目的地像素的颜色的差异度的单元；和用与上述移动目的地像素的颜色不同的颜色来置换上述差异度小于规定基准的上述周边像素的颜色的单元。
7.一种反射式字幕移动处理方法，其特征在于，包含如下步骤，并由计算机来执行在对视频数据所包含的特定的帧图像进行了放大的放大图像中，确定属于被视为重叠地插入到背景上的字符串的部分的像素的步骤；判断属于被视为上述字符串的部分的任意一个像素是否是上述放大图像内的一部分、 即显示区域外的像素的步骤；在判断为属于被视为上述字符串的部分的任意一个像素是上述显示区域外的像素的情况下，算出以属于被视为上述字符串的部分的全部像素或者主要像素缩小到上述显示区域内的方式移动被视为上述字符串的部分时的移动量的步骤；以及对于属于被视为上述字符串的部分的像素或者将上述字符串变更为规定的字体的情况下属于变更后的字符串的像素，根据上述移动量确定移动目的地像素，并用规定的颜色置换该移动目的地像素的颜色的步骤。
8. 一种反射式字幕移动处理程序，其特征在于，用于使计算机执行如下步骤 在对视频数据所包含的特定的帧图像进行了放大的放大图像中，确定属于被视为重叠地插入到背景上的字符串的部分的像素的步骤；判断属于被视为上述字符串的部分的任意一个像素是否是上述放大图像内的一部分、 即显示区域外的像素的步骤；在判断为属于被视为上述字符串的部分的任意一个像素是上述显示区域外的像素的情况下，算出以属于被视为上述字符串的部分的全部像素或者主要像素缩小到上述显示区域内的方式移动被视为上述字符串的部分时的移动量的步骤；以及对于属于被视为上述字符串的部分的像素或者将上述字符串变更为规定的字体的情况下属于变更后的字符串的像素，根据上述移动量确定移动目的地像素，并用规定的颜色置换该移动目的地像素的颜色的步骤。
全文摘要
本反射式字幕移动处理装置具有在对视频数据所包含的特定的帧图像进行了放大的放大图像中，确定属于被视为重叠地插入到背景上的字符串的部分的像素的单元；判断属于被视为字符串的部分的任意一个像素是否是放大图像内的一部分、即显示区域外的像素，在判断为属于被视为字符串的部分的任意一个像素是显示区域外的像素的情况下，算出以属于被视为字符串的部分的全部像素或者主要像素缩小到显示区域内的方式移动被视为字符串的部分时的移动量的单元；以及对于属于被视为字符串的部分的像素或者用规定的字体表示字符串的情况下属于该字符串的像素，根据移动量确定移动目的地像素，并用规定的颜色置换该移动目的地像素的颜色的单元。
文档编号H04N7/16GK102210162SQ20088013194
公开日2011年10月5日 申请日期2008年11月12日 优先权日2008年11月12日
发明者堀田悦伸, 皆川明洋, 胜山裕 申请人:富士通株式会社