专利名称：视频编辑设备和视频编辑系统的制作方法
技术领域：
本发明涉及视频编辑设备，更具体地，涉及用于编辑在其上绘制有图像信息的对象的视频的视频编辑设备以及包括该视频编辑设备的视频编辑系统。
背景技术：
通常，已知用于将绘制在例如用于会议、演讲等的白板或黑板等对象上的图像信息记录为视频的技术。然而，在对象的简单拍摄(simply-shot)视频中，捕捉了例如在对象上绘制图像信息的人等移动体，因此，当绘制的图像信息被移动体所遮挡时，图像信息的可见度降低。为了解决图像信息可见度的这种降低，开发了一种用于从通过记录黑板的视频而获得的黑板视频中提取在作为对象的黑板上所写的内容的技术，以这种方式，从黑板视频中定期地提取出现了内容的增加或删除的内容区域，并且该技术在线检测来自提取的内容区域的内容，然后产生矢量数据作为图像信息(例如，参见专利文献1 日本专利申请公开号 2006-162692)。然而，在以上传统技术中，从黑板区域提取并保持其中演讲者区域在一定时间段内移动的整个区域范围并且将从该范围中移除当前帧的演讲者区域后的区域被确定为搜索写在黑板上的字符的更新信息的搜索区域，因此，存在例如这样的问题如果演讲者区域长时间没有移动，则写在黑板上的字符即图像信息的检测时间显著地滞后于实际绘制图像信息时的时间。本发明用于解决上述问题，本发明的目的是提供一种视频编辑设备，其能够抑制在从对象的视频中提取图像信息时对于绘制图像信息时的时间的检测时间的延迟。
发明内容
根据本发明的一个方面，提供了一种视频编辑设备，该视频编辑设备对绘制了图像信息的对象的视频进行编辑，该视频编辑设备包括移动体帧检测单元，用于对捕捉了遮挡所述对象的移动体的帧进行检测；绘制帧识别单元，用于通过将后检测帧与每一个检测帧进行比较，来识别开始绘制图像信息的帧，所述后检测帧是由移动体帧检测单元检测出的遮挡帧，所述检测帧是由移动体帧检测单元检测出的非遮挡帧；及合成处理单元，用于执行合成处理，该合成处理将在后检测帧中包括的图像信息合成到由绘制帧检测单元所识别的帧之前的帧。根据本发明，当从对象的视频中提取图像信息时，通过将移动体不再遮挡对象的帧与移动体遮挡对象的每个帧进行比较，可以抑制检测时间点和绘制图像信息的时间点之间的间隔。因此，可以提供一种视频编辑设备，其能够抑制在从对象的视频中提取图像信息时对于绘制图像信息时的时间的检测时间的延迟。进一步，根据本发明的另一方面，提供了一种视频编辑系统，包括绘制了图像信息的对象；拍摄该对象的视频拍摄设备；及编辑由视频拍摄设备拍摄的视频的视频编辑设备，该视频编辑设备包括移动体帧检测单元，用于对捕捉了遮挡所述对象的移动体的帧进行检测；绘制帧识别单元，用于通过将后检测帧与每一个检测帧进行比较，来识别开始绘制图像信息的帧，所述后检测帧是由移动体帧检测单元检测出的遮挡帧，所述检测帧是由移动体帧检测单元检测出的非遮挡帧；及合成处理单元，用于执行合成处理，该合成处理将在后检测帧中包括的图像信息合成到由绘制帧检测单元所识别的帧之前的帧。根据本发明，用于通过对比移动体不再遮挡该对象的帧与移动体遮挡该对象的每个帧，使视频编辑设备识别开始绘制图像信息的帧，从而当从该对象的视频中提取图像信息时，可能抑制检测时间点和绘制图像信息的时间点之间的间隔。
图1是根据第一实施例的视频编辑系统的框图；图2是根据第一实施例的视频编辑设备的硬件结构图；图3是根据第一实施例的视频编辑设备的功能框图；图4是用于说明根据第一实施例的构成视频编辑系统的移动体检测单元的检测区域的第一概念图；图5是用于说明根据第一实施例的构成视频编辑系统的移动体检测单元的检测区域的第二概念图；图6是用于说明根据第一实施例的构成视频编辑系统的移动体检测单元的检测区域的第三概念图；图7是用于说明根据第一实施例的视频编辑设备的操作的流程图；图8是用于说明根据第一实施例的视频编辑设备的移动体检测处理的流程图；图9是用于说明根据第一实施例的视频编辑设备的绘制帧识别处理的流程图；图10是用于说明根据第一实施例的视频编辑设备的合成处理的流程图；图11是用于说明根据第一实施例的视频编辑设备的操作的概念图；图12是根据第一实施例的视频编辑设备的另一种形式的功能框图；图13是用于说明根据第二实施例的视频编辑设备的绘制帧识别处理的流程图；图14是用于说明根据第二实施例的视频编辑设备的合成处理的流程图；图15是用于说明根据第三实施例的视频编辑设备的绘制帧识别处理的流程图；图16是用于说明根据第三实施例的视频编辑设备的操作的概念图；图17是用于说明根据第四实施例的视频编辑设备的绘制帧识别处理的流程图；图18是用于说明根据第四实施例的视频编辑设备的操作的概念图；图19是用于说明根据第四实施例的视频编辑设备的操作的概念具体实施例方式下面将结合相应
本发明有代表性的实施例。(第一实施例)如图1所示，根据本发明第一实施例的视频编辑设备1包括作为对象的白板2、拍摄包括该白板2的区域的视频拍摄设备3、以及编辑由视频拍摄设备3拍摄的视频的视频编辑设备4.
在本实施例中，说明了利用白板2作为对象的示例；然而，在本发明中，可利用黑板、投影屏幕、纸张等作为对象。视频拍摄设备3由常用摄像机组成，该摄像机可以是在存储介质上记录拍摄视频的摄像机，存储介质例如是磁盘、磁带、光盘和非易失性存储器，也可以是将拍摄视频转换为电信号、无线电信号或光信号并输出这些信号到例如视频编辑设备4等外部设备的摄像机。相对于白板2固定视频拍摄设备3，以使包括白板2的区域可作为拍摄范围5。如图2中所示，视频编辑设备由常用计算机设备、组成，该种计算机设备包括 CPU(中央处理单元)10、RAM(随机存取存储器)11、R0M(只读存储器)12、硬盘设备13、由键盘、指向设备等组成的输入设备14、由液晶显示器等组成的显示设备15、对例如光盘或非易失存储器等介质执行数据读/写的介质驱动器16、以及用于与外部设备建立通信的通信模块17。在硬盘设备13中，存储了使计算机设备作为视频编辑设备4的程序。表示由视频拍摄设备3拍摄的视频的视频数据通过介质驱动器16或通信模块17被输入到视频编辑设备4。在本实施例中，说明了将在硬盘设备13中存储通过介质驱动器16或通信模块17 输入到视频编辑设备4的视频数据。如图3所示，通过执行存储在具有作为工作区域的RAM的硬盘设备13中的程序， CPU 10用作移动体检测单元20、绘制帧识别单元21及合成处理单元22，移动体检测单元 20检测在其上从由存储在硬盘设备13中的视频数据表示的视频中捕捉了例如遮挡白板2 的人(见图1)等移动体的帧，绘制帧识别单元21识别其中开始在白板2上绘制图像信息的帧；合成处理单元22合成帧中的图像信息以将移动体6从视频中移除。移动体检测单元20被配置为基于由视频中的白板2的至少一边所(包括底部) 限定的的检测区域的变化，检测其上捕捉了遮挡白板2的移动体6的帧。另外，在本实施例中，移动体检测单元20将基于由如图4所示的视频中的白板的底部和两侧所限定的检测区域30的变化，检测在其上捕捉了遮挡白板2的移动体6的帧， 替换地，可配置为使用输入设备14设置检测区域30。具体地，移动体检测单元20计算初始帧与包括其上未捕捉到移动体2遮挡了白板6的帧的其它帧中的每个帧之间检测区域30的图像差异，该初始帧例如为视频中的第一帧，并且基于计算出的差异检测在其上捕捉了遮挡白板2的移动体6的帧。 在本实施例中，术语“图像差异”在这里的含义为颜色空间中的亮度或距离尺度的差异的绝对值，移动体检测单元20将检测区域30分为预定尺寸的单元，如果存在其中帧之间的差异大于预定阈值THl的任何单元，则确定检测到在其上捕捉了遮挡白板2的移动体 6的帧。例如，如图5所示，当移动体6存在于白板2之前时，如图6所示，检测到一组单元 31，其中的帧之间的差异大于预定阈值TH1，并且移动体检测单元20确定检测到在其上捕捉了遮挡白板2的移动体6的帧。或者，移动体检测单元20可被配置为基于视频中运动向量的长度之和是否超出预定阈值检测在其上捕捉了遮挡了白板2的移动体6的帧，或基于将检测检测区域30的变化和提取运动向量相结合，来检测在其上捕捉了遮挡白板2的移动体6的帧。进一步，移动体检测单元20可由在移动体遮挡白板2之前和之后进行切换的开关组成。绘制帧识别单元21被配置为将由移动体检测单元检测到的帧(下文中被称为“检测帧”的各个帧)、紧接在检测帧部分之前的帧(下文中被称为“预检测帧”)、紧接在检测帧部分之后的帧(下文中被称为“后检测帧”)二值化。进一步，绘制帧识别单元21被配置为通过将二值化的预检测帧与二值化的后检测帧进行异或O(OR)操作以生成差异图像。同时，较佳的是，绘制帧识别单元在捕捉了白板 2的绘制区域的范围内对差异图像进行修剪。作为替代通过将二值化的预检测帧与二值化的后检测帧进行异或操作生成差异图像，绘制帧识别单元21可被配置为产生由预检测帧和后检测帧之间的亮度差组成的差异图像。进一步，绘制帧识别单元21被配置为从差异图像中提取黑像素的连通区域的外接矩形(如果差异图像由亮度中的差异构成，则像素的连通区域具有一定数值的亮度或较小的亮度)。例如，绘制帧识别单元21扫描差异图像，通过标记黑像素来关联黑像素，并提取包含具有相同标记的像素的最小矩形作为外接矩形。另外，通过绘制帧识别单元21 关联像素为公知技术，因此省略对此的说明(例如，参见非专利文献1 =Hideyuki Tamura, Computer Image Processing, pp 143—150，Ohmsha，Ltd.，2002)。绘制帧识别单元21确定二值化的后检测帧中相应于外接矩形的区域与任何二值化的检测帧中相应于外接矩形的区域是否匹配，并且如果二值化的后检测帧中的区域与任何二值化的检测帧中的区域相匹配时，更具体地，如果匹配结果超出预定阈值TH2，则识别该帧为外接矩形的更新帧。顺便说一下，在每个检测帧中相应于外接矩形的区域的含义是指在每个检测帧中与后检测帧中的外接矩形相同的区域或关于该相同的区域在预定误差范围内的周围区域。合成处理单元22对移动体检测单元20检测的每部分帧，用紧接在检测帧部分之前的帧替换每个检测帧，并且如果检测帧被绘制帧识别单元21识别为任何外接矩形的更新帧，则将后检测帧中相应于外接矩形的区域重叠到检测帧中的相应区域。通过连续执行该处理，合成处理单元22生成移动体6的图像被移除了的视频，并且在硬盘设备13上记录表示生成的视频的视频数据。顺便说一下，较佳地是，在对移动体检测单元20所检测的每部分帧算出检测帧的亮度的平均值后，合成处理单元22执行以上所描述的处理，以使如果因移动体6遮挡白板2 时拍摄环境的变化、拍摄设备的特性变化等而使亮度变化，合成处理单元22则可生成不受这些变化影响的合成视频。参照附图7至10说明如以上所描述的配置的视频编辑设备的操作。如图7所示，图像编辑设备4首先使移动体检测单元20对通过输入设备14从存储在硬盘设备13中的视频数据中选择的视频数据执行移动体检测处理(步骤Si)，接着使绘制帧识别单元21执行绘制帧识别处理(步骤S2)，最后使合成处理单元执行合成处理(步骤S； )，并且在硬盘设备13上记录表示作为合成处理的结果而获取的视频的视频数据(步骤 S4)。如图8所示，在移动体检测处理中，首先，视频中的第一帧被记为初始帧(步骤 S10)，以下将说明在除初始帧外的每帧上执行的步骤Sll至S14。
首先，移动体检测单元20计算初始帧与基于单元接着单元的帧之间的检测区域 30中的图像差异(步骤S11)。接着，移动体检测单元确定是否有所计算出的差异超出了阈值THl的任意单元(步骤S12)。如果确定了存在所计算出的差异超出了阈值THl的单元，则移动体检测单元20确定检测到在其上捕捉了遮挡白板2的移动体6的帧，并且将该帧记为检测帧，并将该帧的帧号记录在RAM等中(步骤S13)，并执行关于下一帧的处理。另一方面，如果确定了不存在所计算出的差异超出了阈值THl的单元，则移动体检测单元20确定没有检测到在其上捕捉了遮挡白板2的移动体6的帧，并将该帧记为初始帧(步骤S14)，并执行关于下一帧的处理。如图9所示，在绘制帧识别处理中，将在以下说明对移动体检测单元20所检测到的每部分检测帧所执行的步骤S20至S25。首先，绘制帧识别单元21对该部分中的从预检测帧到后检测帧的帧执行二值化 (步骤S20)。接着，绘制帧识别单元21通过对二值化的预检测帧和二值化的后检测帧进行异或操作来生成差异图像(步骤S21)，以及从差异图像中提取外接矩形(步骤S22)。将在以下说明对于提取的外接矩形而对每个检测帧执行的步骤S23至S25。首先，绘制帧识别单元21确定在二值化的后检测帧中相应于外接矩形的区域是否匹配于二值化的检测帧中相应于外接矩形的区域(步骤S23)。如果二值化的后检测帧中的相应区域与二值化的检测帧中的相应区域匹配，则绘制帧识别单元21以关联的方式在RAM等上记录检测帧的帧号和外接矩形(步骤S24)，并且将从差异图像中提取的外接矩形除去(步骤S25)。另一方面，如果二值化的后检测帧中的相应区域与二值化的检测帧中的相应区域不相匹配，或者在除去了外接矩形之后，则执行关于下一个外接矩形或下一个检测帧的操作。如图10所示，在合成处理中，将在以下说明对移动体检测单元20所检测到的每部分检测帧中的每个检测帧所执行的步骤S30至S32。首先，合成处理单元22用紧接着检测帧之前的帧替换该检测帧(步骤S30)。接着，合成处理单元22确定该检测帧是否被绘制帧识别单元21识别为任意外接矩形的更新帧，更具体地，该帧的帧号是否与外接矩形相关联地被记录在RAM等上(步骤S31)。如果该检测帧被识别为任意外接矩形的更新帧，则将后检测帧中相应于外接矩形的区域重叠到检测帧中的相应区域(步骤S3》。另一方面，如果该检测帧未被识别为任意外接矩形的更新帧，则执行关于下一检测帧的处理。例如，如图11所示，当如以上所述通过视频编辑设备4的操作检测在t4时刻的帧为后检测帧时，在时刻tl检测到帧中的字“W”，在时刻t2检测到帧中的字“0”，在时刻t3 检测到帧中的字“A”。即使在时刻t2字“W”被移动体6所遮挡，也基于tl时刻的帧记录该字“W”，因此基于tl时刻的帧对字“W”进行合成。类似地，即使在时刻t3字“0”被移动体6所遮挡，也基于t2时刻的帧来记录该字 “0”，因此基于t2时刻的帧对字“0”进行合成。如以上所说明的，根据本发明第一实施例的视频编辑系统1，使视频编辑设备4通过对比移动体6遮挡白板2的最后一帧的随后的帧与移动体6遮挡白板2的每一帧，以识别开始绘制图像信息的帧，因此当从白板2的视频中提取图像信息时，可以抑制检测时间点和绘制图像信息的时间点之间的间隔。另外，在本发明中，如图12所示，视频编辑系统1可被配置为包括滤波单元23，滤波单元23对组成被编辑的视频的每一帧的每个像素，添加根据中心围绕该像素的预定区域的亮度平均值与该像素亮度之间的差值预定的某个背景颜色。例如，如在本实施例中，当白板2用作绘制了图像信息的对象时，绘制在白板2上的图像信息降低对于绘制区域的亮度，因此滤波单元23在像素的亮度中减去围绕每个像素的预定区域(例如，10至200像素X 10至200像素)的亮度平均值，并将减法结果超出 0的像素的亮度截取至0，并且之后在结果添加特定背景颜色(例如，[R，G，B] = [100至 255，100 至 255，100 至 255])。因此，视频编辑系统1可从白板2的视频中除去落在移除白板2上的环境光，以能够实现白板2的视频的白平衡。(第二实施例)本发明的第二实施例通过由本发明第一实施例中的视频编辑设备的CPUlO执行改变了的程序来实现，并且以与实施例一同样的方式来详述功能块，因此本发明的第二实施例通过图1所示的视频编辑系统1来说明。在本发明的第一实施例中，说明了绘制帧识别单元21从差异图像中提取外接矩形。在本实施例中，绘制帧识别单元21被配置为将差异图像划分为相对大的预定尺寸的单元(例如，5像素X 5像素，或更大)。进一步，在本实施例中，对差异图像中的包含黑像素的每个单元，绘制帧识别单元 21确定二值化的后检测帧中的相应区域是否匹配于每个二值化的检测帧的相应区域，并且如果在二值化的后检测帧中的相应区域匹配于任意的二值化的检测帧中的相应区域，则识别该帧为该单元的更新帧。此外，在本发明第一实施例中，说明了合成处理单元22对由移动体检测单元20所检测到的每部分帧，用紧接在检测帧之前的帧替换每个检测帧，并且如果由绘制帧识别单元21识别该检测帧为任意外接矩形的更新帧，则将后检测帧中与外接矩形相应的区域重叠到检测帧中的相应区域。在本实施例中，合成处理单元22对由移动体检测单元20所检测到的每部分帧，用紧接在检测帧之前的帧替换每个检测帧，并且如果由绘制帧识别单元21识别该检测帧为任意单元的更新帧，则将后检测帧中的该单元的区域重叠到检测帧中的相应区域。参照图13和14说明如上述配置的视频编辑设备4的操作。另外，本实施例中的视频编辑设备4的操作与本发明第一实施例中的视频编辑设备4的操作仅区别在于移动体检测处理和合成处理，因此对这些处理进行说明。如图13所示，在绘制帧识别处理中，在以下说明对由移动体检测单元20所检测的每部分检测帧执行的步骤S40至S45。首先，绘制帧识别单元21对某个部分中的从预检测帧到后检测帧的帧进行二值化(步骤S40)。接着，绘制帧识别单元21通过对二值化的预检测帧和二值化的后检测帧执行异或操作来生成差异图像(步骤S41)，并将差异图像划分为多个单元(步骤S42)。
以下将说明对于在差异图像中包含黑像素的每个单元对每个检测帧所执行的步骤 S43 至 S45。首先，绘制帧识别单元21确定在二值化的后检测帧中相应于该单元的区域是否匹配于二值化的检测帧中相应于该单元的区域(步骤S43)。如果在二值化的后检测帧中的相应区域匹配于二值化的检测帧中的相应区域，则绘制帧识别单元21以关联方式在RAM等上记录该检测帧的帧号和该单元(步骤S44)，并且该单元从差异图像中去除(步骤S45)。另一方面，如果在二值化的后检测帧中的相应区域与二值化的检测帧中的相应区域不匹配，或者在该单元被去除之后，执行关于下一单元或下一检测帧的处理。如图14所示，在合成处理中，以下将说明在由移动体检测单元20所检测的每部分检测帧中的每个检测帧上所执行的步骤S50至S52。首先，合成处理单元22用紧接在检测帧之前的帧替换该检测帧(步骤S50)。接着，合成处理单元确定该检测帧是否被绘制帧识别单元21识别为任意单元的更新帧，更具体地，该帧的帧号是否与该单元相关联地被记录在RAM等上(步骤S51)。如果该检测帧被识别为任意单元的更新帧，则将后检测帧中的与该单元相应的区域重叠到检测帧中相应区域上(步骤S5》。另一方面，如果该检测帧未被识别为任意单元的更新帧，则执行关于下一检测帧的处理。如以上说明，以与根据本发明第一实施例的视频编辑系统1相同的方式，根据本发明第二实施例的视频编辑系统1，使视频编辑设备4通过对比移动体6遮挡白板2的最后一帧的随后的帧与移动体6遮挡白板2的每一帧，以识别开始绘制图像信息的帧，因此当从白板2的视频中提取图像信息时，可以抑制检测时间点和绘制图像信息的时间点之间的间隔。(第三实施例)本发明的第三实施例通过由本发明第一和第二实施例中的视频编辑设备的CPU 10执行改变了的程序来实现，并且以与实施例一同样的方式来详述功能块，因此本发明的第三实施例通过图1所示的视频编辑系统1来说明。在本发明的第二实施例中，说明了绘制帧识别单元21将差异图像划分为相对大的预定尺寸的单元。在本实施例中，绘制帧识别单元21被配置为将差异图像划分为相对小的预定尺寸的单元(例如，小于5像素X5像素)。另外，这些单元的尺寸可为1像素Xl像素。进一步，在本实施例中，对差异图像中的包含黑像素的每个单元，绘制帧识别单元 21确定二值化的后检测帧中的相应区域是否匹配于每个二值化的检测帧的相应区域，并且如果在二值化的后检测帧中的相应区域匹配于任意的二值化的检测帧中的相应区域，则识别该帧为该单元的更新帧。然而，如果在二值化的后检测帧中的相应区域与匹配的检测帧的随后的帧的相应区域不匹配，则绘制帧识别单元21排除该帧作为该单元的更新帧。与本发明第二实施例相同的方式，合成处理单元22对由移动体检测单元20所检测到的每部分帧，用紧接在检测帧之前的帧替换每个检测帧，并且如果由绘制帧识别单元 21识别该检测帧为任意单元的更新帧，则将后检测帧中的该单元的区域重叠到检测帧中的相应区域。参照图15说明如上述配置的视频编辑设备4的操作。另外，本实施例中的视频编辑设备4的操作与本发明第二实施例中的视频编辑设备4的操作仅区别在于绘制帧识别处理，因此对该处理进行说明。如图15所示，在绘制帧识别处理中，对由移动体检测单元20所检测的每部分检测帧执行以下说明的步骤S60至S66。首先，绘制帧识别单元21对某个部分中的从预检测帧到后检测帧的帧进行二值化(步骤S60)。接着，绘制帧识别单元21通过对二值化的预检测帧和二值化的后检测帧执行异或操作来生成差异图像(步骤S61)，并将差异图像划分为多个单元(步骤S62)。以下将说明对于在差异图像中包含黑像素的每个单元对每个检测帧所执行的步骤 S63 至 S66。首先，绘制帧识别单元21确定在二值化的后检测帧中相应于该单元的区域是否匹配于二值化的检测帧中相应于该单元的区域(步骤S63)。如果在二值化的后检测帧中的相应区域匹配于二值化的检测帧中的相应区域，则绘制帧识别单元21以关联方式在如RAM的记录介质上记录该检测帧的帧号和该单元(步骤S64)，并且执行关于下一单元或下一检测帧的处理。另一方面，如果在二值化的后检测帧中的相应区域与二值化的检测帧中的相应区域不匹配，绘制帧识别单元21确定是否以关联方式在记录介质上记录了该检测帧的帧号和该单元(步骤S65)。如果确定该单元与该检测帧的帧号被相关联地记录在记录介质上，则从记录介质上消除该检测帧与该单元之间的关联(步骤S66)。另一方面，如果确定该单元与该检测帧的帧号没有被相关联地被记录在记录介质上，或在从记录介质上消除该检测帧与该单元之间的关联之后，执行关于下一单元或下一检测帧的处理。例如，如示出了放大的白板2的一部分的图16所示，当通过如上述的视频编辑设备4的操作检测在t4时刻的帧为后检测帧时，在tl时刻在帧中检测到单元c5至c9上的字，并且记录在tl时刻该帧中的单元c5至c9上的字。然后，当按照移动体6的运动，在t2时刻在帧中没有检测到单元c5上的字时，从记录中消除在tl时刻在该帧中的单元c5上的字。移动体6进一步运动，并且在t3时刻在帧中检测到单元c5至c9上的字，并且随后记录t3时刻在该帧中的单元c5至c9上的字。因此，基于tl时刻的帧对单元c6至c9进行合成，并且基于t3时刻的帧对单元cl 至c5进行合成。如以上所说明的，根据本发明第三实施例的视频编辑系统1，能够对相对小尺寸的每个单元，通过对比帧来高准确性地检测开始绘制图像信息的时刻。(第四实施例)本发明的第四实施例通过由本发明第一至第三实施例中的视频编辑设备的CPU 10执行改变了的程序来实现，并且以与实施例一同样的方式来详述功能块，因此本发明的第四实施例通过图1所示的视频编辑系统1来说明。在本发明的第一实施例中，说明了绘制帧识别单元21从差异图像中提取外接矩形。在本实施例中，绘制帧识别单元21则将提取的外接矩形划分为相对小的预定尺寸的单元(例如，5像素X 5像素，或更小)。另外，这些单元的尺寸可为1像素Xl像素。进一步，在本实施例中，绘制帧识别单元21以差异图像中的外接矩形为单位来确定二值化的后检测帧中的相应区域是否匹配于每个二值化的检测帧中的相应区域，并且如果在二值化的后检测帧中的相应区域匹配于任意二值化的检测帧的相应区域，则识别该帧为该外接矩形的更新帧。此外，对组成被识别的帧的外接矩形的每个单元，绘制帧识别单元21确定外接矩形的更新帧中的相应区域是否匹配于每个二值化的检测帧中的相应区域，并且如果在更新帧中的相应区域匹配于任何二值化的检测帧的相应区域，则识别该帧为该单元的更新帧。然而，如果更新帧中的相应区域与该匹配的帧的随后的帧中的相应区域不匹配， 则绘制帧识别单元21从该单元的更新帧中排除该帧。以与本发明第二实施例相同的方式，合成处理单元22对由移动体检测单元20所检测到的每部分帧，用紧接在检测帧之前的帧替换每个检测帧，并且如果由绘制帧识别单元21识别该检测帧为任意单元的更新帧，则将后检测帧中的该单元的区域重叠到检测帧中的相应区域。参照图17和18说明如上述配置的视频编辑设备4的操作。另外，本实施例中的视频编辑设备4的操作与本发明第二实施例中的视频编辑设备4的操作仅区别在于绘制帧识别处理，因此对此处理进行说明。如图17所示，在绘制帧识别处理中，在以下说明对由移动体检测单元20所检测的每部分检测帧执行的步骤S70至S75。首先，绘制帧识别单元21对某个部分中的从预检测帧到后检测帧的帧进行二值化(步骤S70)。接着，绘制帧识别单元21通过对二值化的预检测帧和二值化的后检测帧执行异或操作来生成差异图像(步骤S71)，并从该差异图像中提取外接矩形(步骤S72)。以下将说明对于每个所提取的外接矩形对每个检测帧所执行的步骤S73至S75。首先，绘制帧识别单元21确定二值化的后检测帧中相应于外接矩形的区域是否匹配于二值化的检测帧中相应于外接矩形的区域(S73)。如果二值化的后检测帧中的相应区域匹配于二值化的检测帧中的相应区域，则执行下面描述的绘制帧识别处理(步骤S74)，并将该外接矩形从从该差异图像中提取的外接矩形中排除(步骤S75)。另一方面，如果二值化的后检测帧中的相应区域与二值化的检测帧中的相应区域不匹配，或在该外接矩形被排除之后，执行关于下一外接矩形或下一检测帧的处理。如图18所示，在绘制帧识别处理中，首先，绘制帧识别单元21将外接矩形分为多个单元(步骤S80)。对于差异图像中的包含黑像素的每个单元，对一直到在其上绘制了外接矩形的绘制帧(匹配外接矩形的帧)的前一帧的检测帧中的每一个执行步骤S81至S84。首先，绘制帧识别单元21确定在二值化的后检测帧中与单元相应的区域是否匹配于二值化的检测帧中与单元相应的区域(步骤S81)。如果二值化的后检测帧中的相应区域匹配于二值化的检测帧的相应区域，则绘制帧识别单元21将检测帧的帧号和该单元以关联方式记录在如RAM的记录介质上(如果没被记录)(步骤S8》，并且执行关于下一单元或下一检测帧的处理。另一方面，如果如果二值化的后检测帧中的相应区域与二值化的检测帧的相应区域不匹配，则检测帧识别单元21确定是否将该检测帧的帧号和该单元以关联方式记录在记录介质上(步骤S83)。如果确定该单元与该帧的帧号被相关联地记录在记录介质上，则从记录介质上消除该检测帧与该单元之间的关联(步骤S84)。另一方面，如果确定该单元与该检测帧的帧号没有被相关联地记录在记录介质上，或在从记录介质上消除该检测帧与该单元之间的关联之后，执行关于下一单元或下一检测帧的处理。例如，如在其下部示出了白板2并在其上部示出了放大的白板2的一部分的图19 所示，当通过如上述的视频编辑设备4的操作检测到在t3时刻的帧中的字“H”时，在tl时刻在帧中检测到的单元c5至c9上的字，并且记录tl时刻在该帧中的单元c5至c9上的字。然后，当按照移动体6的运动，在t2时刻在帧中没有检测到单元c5上的字时，从记录中消除在tl时刻在该帧中的单元c5上的字。移动体6进一步运动，并且在t3时刻在帧中检测到单元c5至c9上的字，并且随后记录t3时刻在该帧中的单元c5至c9上的字。因此，基于tl时刻的帧对单元c6至c9进行合成，并且基于t3时刻的帧对单元cl 至c5进行合成。如以上所说明的，根据本发明第四实施例的视频编辑系统1，能够通过以矩形为单位将帧进行对比来高速地检测开始绘制图像信息的时刻，并且能够以相对小尺寸的单元为单位，通过将帧进行对比来高准确性地检测开始绘制图像信息的时刻。另外，如以上所述，在本实施例中的绘制帧识别处理为由本发明第一实施例中的绘制帧识别处理与本发明第三实施例的绘制帧识别处理的组合所组成的处理。同样地，在本发明中，可使用由本发明第二实施例中的绘制帧识别处理与本发明第三实施例的绘制帧识别处理的组合所组成的处理。
权利要求
1.一种视频编辑设备，该视频编辑设备对绘制了图像信息的对象的视频进行编辑，该视频编辑设备包括移动体帧检测单元，用于对捕捉了遮挡所述对象的移动体的帧进行检测； 绘制帧识别单元，用于通过将后检测帧与每一个检测帧进行比较，来识别开始绘制图像信息的帧，所述后检测帧是由移动体帧检测单元检测出的遮挡帧，所述检测帧是由移动体帧检测单元检测出的非遮挡帧；及合成处理单元，用于执行合成处理，该合成处理将在后检测帧中包括的图像信息合成到由绘制帧检测单元所识别的帧之前的帧。
2.根据权利要求1所述的视频编辑设备，其中移动体帧检测单元基于由视频中的对象的至少一边所限定的区域的变化，来检测捕捉了遮挡所述对象的移动体的帧，所述视频中的对象的至少一边包括所述对象的底部。
3.根据权利要求1所述的视频编辑设备，其中移动体帧检测单元基于视频中运动向量的长度之和是否超出预定阈值，来检测捕捉了遮挡所述对象的移动体的帧。
4.根据权利要求1所述的视频编辑设备，其中移动体帧检测单元由在移动体遮挡所述对象之前和之后之间进行切换的开关组成。
5.根据权利要求1所述的视频编辑设备，其中绘制帧识别单元以矩形为单位来将帧进行比较。
6.根据权利要求5所述的视频编辑设备，其中所述绘制帧识别单元，产生预检测帧和后检测帧之间的差异图像，预检测帧是由移动体帧检测单元检测到的帧前面的帧，从所产生的差异图形中提取具有特定值的亮度或少于特定值的亮度的像素的连通区域的外接矩形，及以提取的外接矩形为单位将帧进行比较。
7.根据权利要求5所述的视频编辑设备，其中所述绘制帧识别单元，产生预检测帧和后检测帧之间的差异图像，预检测帧是由移动体帧检测单元检测到的帧前面的帧，将所产生的差异图像划分为预定尺寸的单元，及以与所划分的单元中的差异区域重叠的单元为单位将帧进行比较。
8.根据权利要求5所述的视频编辑设备，其中所述绘制帧识别单元，以被设置为模板的后检测帧的每一个矩形来对于每一个检测帧执行模板匹配，及将最前面的帧识别为矩形被作为模板的绘制帧，在最前面的帧中模板匹配的结果超出预定阈值的矩形存在于相同区域或周围区域中。
9.根据权利要求5所述的视频编辑设备，其中， 所述绘制帧识别单元，在通过矩形识别了绘制帧之后，将在被识别的绘制帧的矩形中包括的每一个像素与位于每一个检测帧中的相同位置上的对应像素进行比较，及从像素具有超出预定阈值的一致性并且一直到绘制了矩形的帧都连续存在的检测帧中，识别最前面的帧作为绘制了像素的帧。
10.根据权利要求1所述的视频编辑设备，其中所述绘制帧识别单元以像素为单位将帧进行比较。
11.根据权利要求10所述的视频编辑设备，其中， 所述绘制帧识别单元，产生预检测帧和后检测帧之间的差异图像，预检测帧是由移动体帧检测单元检测到的帧前面的帧，为了在差异图像中包括的每一个像素而将帧进行比较。
12.根据权利要求10所述的视频编辑设备，其中所述绘制帧识别单元，将在后检测帧中包括的每一个像素与位于每一个检测帧中的相同位置上的对应像素进行比较，及从像素具有超出预定阈值的一致性并且一直到后检测帧都连续存在的检测帧中，识别最前面的帧作为绘制了像素的帧。
13.根据权利要求1所述的视频编辑设备，其中合成处理单元在移动体帧检测单元所检测的帧的亮度被平均后，执行合成处理。
14.根据权利要求1所述的视频编辑设备，进一步包括滤波单元，用于关于组成要被编辑的视频的每一帧的每一个像素，对中心围绕像素的预定区域的亮度平均值与被中心围绕的像素的亮度之间的差值添加预定的特定背景颜色。
15.一种视频编辑系统，包括 绘制了图像信息的对象； 拍摄该对象的视频拍摄设备；及编辑由视频拍摄设备拍摄的视频的视频编辑设备，该视频编辑设备包括 移动体帧检测单元，用于对捕捉了遮挡所述对象的移动体的帧进行检测； 绘制帧识别单元，用于通过将后检测帧与每一个检测帧进行比较，来识别开始绘制图像信息的帧，所述后检测帧是由移动体帧检测单元检测出的遮挡帧，所述检测帧是由移动体帧检测单元检测出的非遮挡帧；及合成处理单元，用于执行合成处理，该合成处理将在后检测帧中包括的图像信息合成到由绘制帧检测单元所识别的帧之前的帧。
全文摘要
本发明提供一种视频编辑设备和视频编辑系统。该视频编辑设备对绘制了图像信息的对象的视频进行编辑，该视频编辑设备包括移动体帧检测单元，用于对捕捉了遮挡所述对象的移动体的帧进行检测；绘制帧识别单元，用于通过将后检测帧与每一个检测帧进行比较，来识别开始绘制图像信息的帧，所述后检测帧是由移动体帧检测单元检测出的遮挡帧，所述检测帧是由移动体帧检测单元检测出的非遮挡帧；及合成处理单元，用于执行合成处理，该合成处理将在后检测帧中包括的图像信息合成到由绘制帧检测单元所识别的帧之前的帧。
文档编号G06T1/00GK102349294SQ20108001155
公开日2012年2月8日 申请日期2010年3月3日 优先权日2009年3月13日
发明者糟谷勇儿 申请人:株式会社理光