专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及一种图像处理装置，特别涉及显示按时间顺序拍摄的摄影图像中的轨迹的图像处理装置、其图像处理方法，以及使计算机执行该方法的程序。
背景技术：
作为从按时间顺序拍摄的多个摄影图像(以下称为帧图像)中生成表示活动被摄体轨迹的图像的方法，可以想到例如将多个帧图像单纯重合而合成的方法。采用该单纯的方法时会出现以下问题帧数越多，一帧对合成结果的贡献率越低，活动被摄体的轨迹就越浅。例如，设想如图10那样的5张帧图像的情况，在进行单纯合成时，各像素对合成结果的贡献率是20％，由于在活动被摄体所横穿的像素位置上以活动被摄体占20％、背景占80％的比例进行合成，因此如图11(c)所示，活动被摄体的轨迹就会变淡。
与此相对，作为对单纯合成进行改良的方法，提出了以下方案，即，从映像数据中抽出多个帧图像，赋予与亮度值相应的权值来合成一张静止图像(例如，参照专利文献1)。在该现有技术中，对各帧图像的同一位置的像素中，对与亮度平均值的距离在亮度值分散范围以上的像素赋予较大权值、对与亮度平均值的距离在亮度值分散范围以下的像素赋予较小权值来进行合成，将其结果作为输出图像的同一位置的像素而输出。由此，在合成图像中，活动被摄体的权值比背景的权值大，与单纯的合成方法相比，活动被摄体的轨迹更清晰。
另外，还提出了通过抽出活动被摄体并对其追踪来进行活动被摄体轨迹的合成的方法(例如，参照专利文献2)。该现有技术在活动被摄体的追踪失败的情况下，会从追踪成功时的活动被摄体的特征量、位置等中对被摄体进行插值，从而提高活动被摄体的抽出和追踪的精度。
专利文献1日本特开平10-290450号公报(图1)专利文献2日本特开2005-123824号公报(图1)发明内容发明要解决的问题如上述现有技术那样，根据加大活动被摄体权值来进行合成的方法，会产生活动被摄体的轨迹比单纯的合成方法更清晰的效果。然而，由于背景以外的部分是根据相等的权值多重合成的，因此，背景以外的帧图像的数量越多，一帧对于轨迹的贡献率就越低，很难制成与原图像一样清晰的轨迹。另外，通过根据亮度值的分散来判断背景的方法，有时很难根据图像的状态来明确区别背景与背景以外的部分。
另外，根据追踪活动被摄体的现有技术，可以在对活动被摄体进行插值的同时，以任意方式显示轨迹。但是，在这种情况下，由于使用活动被摄体的存在区域、颜色、亮度、纹理等作为特征量，因此存在无法与这些特征量的变化、变形等对应的问题。另外，在活动被摄体较多的情况下，由于运算等所需成本的关系，存在难以追踪所有活动被摄体的问题。
因此，本发明的目的在于，从按时间顺序拍摄的多个摄影图像中生成活动被摄体的轨迹合成图像，而不受该摄影图像的背景状态、活动被摄体的数量、大小、变形、颜色等影响。
用于解决问题的方案本发明是为了解决上述问题而提出的，其第一侧面是一种图像处理装置，其特征在于具备背景生成单元，其对于多个输入图像的各对应像素位置，根据在上述输入图像的像素值中、具有规定分布的像素值，生成上述像素位置的背景像素值；相异度生成单元，其对于各上述像素位置生成表示上述输入图像的像素值与上述背景像素值相异程度的相异度；以及输出图像生成单元，其对于各上述像素位置，按照上述相异度来反映上述输入图像的像素值，生成输出图像的像素值。由此，可以起到如下作用按照背景像素值与输入图像的像素值之间的相异度来生成输出图像的像素值。
另外，在该第1侧面中，上述背景生成单元可以将出现频度最高的像素值生成为具有上述规定分布的像素值。活动被摄体具有临时通过的性质，背景比较具有稳定性，上述背景生成单元利用了这种的差异。
另外，在上述第1侧面中，上述背景生成单元可以具备背景像素值保持单元，其保持上述背景像素值；出现频度保持单元，其保持上述背景像素值的出现频度；基准值设定单元，其设定与上述输入图像的像素值相对的基准值；背景候选生成单元，其将与上述基准值的差异在规定范围内的上述输入图像的像素值判断为背景候选值；以及更新判断单元，其以如下方式进行更新对上述背景候选值的出现频度进行计数，在上述背景候选值的出现频度比保持在上述出现频度保持单元中的出现频度大的情况下，将上述背景候选值作为新的背景像素值保持在上述背景像素值保持单元中，并且将上述背景候选值的出现频度保持在上述出现频度保持单元中。由此可以起到如下作用不用保持所有的各像素值的出现频度，而将出现频度最高的像素值保存在背景像素值保持单元中。
另外，在上述第1侧面中，上述输出图像生成单元可以具备输出图像保持单元，其保持上述输出图像的像素值；合成比率生成单元，其对于各上述像素位置，按照上述相异度生成合成比率；以及合成值算出单元，其对于各上述像素位置，按照上述合成比率，将上述输入图像的像素值与保持在上述输出图像保持单元中的上述输出图像的像素值合成为新的输出图像的像素值，并保持在上述输出图像保持单元中。由此可以起到如下作用按照由相异度生成的合成比率来生成输出图像的像素值。
另外，在上述第1侧面中，上述输出图像生成单元可以具备输出图像保持单元，其保持上述输出图像的像素值；图像序号保持单元，其保持上述输出图像的图像序号；以及更新判断单元，其在上述输入图像的图像序号在时间顺序上比保持在上述图像序号保持单元中的图像序号新的情况下，如果上述相异度表示为规定以上的程度，就将上述输入图像的像素值作为新的输出图像的像素值保持在上述输出图像保持单元中，并且将上述输入图像的图像序号保持在上述图像序号保持单元中。由此可以起到如下作用仅将与最新图像序号对应的输入图像的像素值反映在输出图像中。
另外，在上述第1侧面中，上述输出图像生成单元可以具备输出图像保持单元，其保持上述输出图像的像素值；相异度保持单元，其保持输出图像的相异度；以及更新判断单元，其在上述输入图像的相异度比保持在上述相异度保持单元中的相异度大的情况下，将上述输入图像的像素值作为新的输出图像的像素值保持在上述输出图像保持单元中，并且将上述输入图像的相异度保持在上述相异度保持单元中。由此可以起到如下作用仅将相异度最大的输入图像的像素值反映在输出图像中。
另外，本发明的第2侧面是一种图像处理装置，其特征在于具备图像选择单元，其从多个输入图像中选出规定数量的输入图像来作为选择图像；背景生成单元，其对于上述选择图像的各对应像素位置，根据在上述选择图像的像素值中、具有规定分布的像素值，生成上述像素位置的背景像素值；相异度生成单元，其对于各上述像素位置，生成表示上述输入图像的像素值与上述背景像素值相异程度的相异度；以及输出图像生成单元，其对于各上述像素位置，按照上述相异度来反映上述输入图像的像素值，生成输出图像的像素值。由此可以起到如下作用任意设定用于生成背景像素值的选择图像的数量。
另外，本发明的第3侧面是一种图像处理装置，其特征在于具备背景图像保持单元，其保持背景图像的像素值；输出图像保持单元，其保持输出图像的像素值；背景生成单元，其根据规定的比率，用按照时间顺序输入的输入图像的对应像素位置的像素值来更新保持在上述背景图像保持单元中的上述背景图像的像素值；相异度生成单元，其生成表示上述输入图像的像素值与由上述背景生成单元更新的上述背景图像的对应像素位置的像素值的相异程度的相异度；以及输出图像合成单元，对于上述输出图像的像素值，按照上述相异度来合成上述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在上述输出图像保持单元中。由此可以起到如下作用通过按时间顺序输入的输入图像来更新背景图像，按照与输入图像的像素值之间的相异度来生成输出图像的像素值。
另外，本发明的第4侧面是一种图像处理装置，其特征在于，具备图像选择单元，其从多个输入图像中选出规定数量的输入图像来作为选择图像；背景生成单元，其对于上述选择图像的各对应像素位置，根据在上述选择图像的像素值中、具有规定分布的像素值，生成背景图像的对应像素位置的像素值；背景图像保持单元，其保持上述背景图像的像素值；输出图像保持单元，其保持输出图像的像素值；相异度生成单元，其生成表示上述输入图像的像素值与由背景图像保持单元所保持的上述背景图像的对应像素值的相异程度的相异度；以及输出图像合成单元，其对于上述输出图像的像素值，按照上述相异度来合成上述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在上述输出图像保持单元中。由此可以起到如下作用任意设定用于生成背景像素值的选择图像的数量。
另外，本发明的第5侧面是一种图像处理装置，其特征在于具备图像选择单元，其从多个输入图像中选出规定数量的输入图像来作为选择图像；背景生成单元，其对于上述选择图像的各对应像素位置，根据在上述选择图像的像素值中、具有规定分布的像素值，生成背景图像的对应像素位置的像素值；背景图像保持单元，其保持上述背景图像的像素值；输出图像保持单元，其保持输出图像的像素值；相异度生成单元，其生成表示上述输入图像的像素值与被背景图像保持单元保持的上述背景图像的对应像素值的相异程度的相异度；输出图像合成单元，其对于上述输出图像的像素值，按照上述相异度来合成上述输入图像的对应像素位置的像素值，将新的输出图像的像素值保持在上述输出图像保持单元中；以及背景图像保存单元，其保存在上述背景图像保持单元中保持的背景图像的像素值，在需要的背景图像被保持在上述背景图像保存单元的情况下，上述背景图像保持单元复原并保持上述背景图像保存单元所保存的背景图像。由此可以起到如下作用通过复原并使用保存在背景图像保存单元中的背景图像来省略生成背景图像所需要的处理。
另外，本发明还提供了一种图像处理方法，其特征在于，具备以下步骤对于多个输入图像的各对应像素位置，根据在所述输入图像的像素值中、具有规定分布的像素值，生成所述像素位置的背景像素值；对于各所述像素位置，生成表示所述输入图像的像素值与所述背景像素值的相异程度的相异度；以及对于各所述像素位置，按照所述相异度来反映所述输入图像的像素值，生成输出图像的像素值。
另外，本发明还提供了一种图像处理方法，其特征在于，具备以下步骤从多个输入图像中选出规定数量的输入图像来作为选择图像；对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成所述像素位置的背景像素值；对于各所述像素位置，生成表示所述输入图像的像素值与所述背景像素值的相异程度的相异度；以及对于各所述像素位置，按照所述相异度来反映所述输入图像的像素值，生成输出图像的像素值。
另外，本发明还提供了一种图像处理方法，其特征在于，在具备保持背景图像的像素值的背景图像保持单元和保持输出图像的像素值的输出图像保持单元的输出图像处理装置中，每当新输入输入图像时，重复进行以下步骤根据规定比率，用按照时间顺序输入的所述输入图像的对应像素位置的像素值来更新保持在所述背景图像保持单元中的所述背景图像的像素值；生成表示所述输入图像的像素值与由所述背景生成单元更新后的所述背景图像的对应像素位置的像素值的相异程度的相异度；以及对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中。
另外，本发明还提供了一种图像处理方法，其特征在于，在具备保持背景图像的像素值的背景图像保持单元和保持输出图像的像素值的输出图像保持单元的图像处理装置中，具备以下步骤从多个输入图像中选出规定数量的输入图像来作为选择图像；对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成所述背景图像的对应像素位置的像素值，并保持在所述背景图像保持单元中；相异度生成步骤，生成表示所述输入图像的像素值与保持在背景图像保持单元中的所述背景图像的对应像素值的相异程度的相异度；以及输出图像合成步骤，对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中，每当新输入所述输入图像时，重复进行所述相异度生成步骤和所述输出图像合成步骤。
另外，本发明还提供了一种图像处理方法，其特征在于，在具有保持背景图像的像素值的背景图像保持单元、保存所述背景图像保持单元所保持的背景图像的背景图像保存单元以及保持输出图像的像素值的输出图像保持单元的图像处理装置中，具备以下步骤从多个输入图像中选出规定数量的输入图像来作为选择图像的步骤；对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成所述背景图像的对应像素位置的像素值，并保持在所述背景图像保持单元中的步骤；将所述背景图像保持单元所保持的背景图像保存在所述背景图像保存单元中的步骤；将所述背景图像保存单元所保存的背景图像复原后保持在所述背景图像保持单元中的步骤；相异度生成步骤，生成表示所述输入图像的像素值与背景图像保持单元所保持的所述背景图像的对应像素值的相异程度的相异度；以及输出图像合成步骤，对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中，每当新输入所述输入图像时，重复进行所述相异度生成步骤和所述输出图像合成步骤。
另外，本发明还提供了一种程序，其特征在于，使计算机执行以下步骤对于多个输入图像的各对应像素位置，根据在所述输入图像的像素值中、具有规定分布的像素值，生成所述像素位置的背景像素值；对于各所述像素位置，生成表示所述输入图像的像素值与所述背景像素值的相异程度的相异度；以及对于各所述像素位置，按照所述相异度来反映所述输入图像的像素值，生成输出图像的像素值。
另外，本发明还提供了一种程序，其特征在于，使计算机执行以下步骤从多个输入图像中选出规定数量的输入图像来作为选择图像；对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成所述像素位置的背景像素值；对于各所述像素位置，生成表示所述输入图像的像素值与所述背景像素值的相异程度的相异度；以及对于各所述像素位置，按照所述相异度来反映所述输入图像的像素值，生成输出图像的像素值。
另外，本发明还提供了一种程序，其特征在于，在具备保持背景图像的像素值的背景图像保持单元和保持输出图像的像素值的输出图像保持单元的图像处理装置中，每当新输入输入图像时，使计算机重复执行以下步骤根据规定比率，用按照时间顺序输入的所述输入图像的对应像素位置的像素值来更新保持在所述背景图像保持单元中的所述背景图像的像素值；生成表示所述输入图像的像素值与由所述背景生成单元更新后的所述背景图像的对应像素位置的像素值的相异程度的相异度；以及对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中。
另外，本发明还提供了一种程序，在具有保持背景图像的像素值的背景图像保持单元和保持输出图像的像素值的输出图像保持单元的图像处理装置中，其特征在于，使计算机执行以下步骤从多个输入图像中选出规定数量的输入图像来作为选择图像；对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成所述背景图像的对应像素位置的像素值，并保持在所述背景图像保持单元中；相异度生成步骤，生成表示所述输入图像的像素值与保持在背景图像保持单元中的所述背景图像的对应像素值的相异程度的相异度；以及输出图像合成步骤，对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中，每当新输入所述输入图像时，使计算机重复执行所述相异度生成步骤和所述输出图像合成步骤。
另外，本发明还提供了一种程序，其特征在于，在具有保持背景图像的像素值的背景图像保持单元、保存所述背景图像保持单元所保持的背景图像的背景图像保存单元以及保持输出图像的像素值的输出图像保持单元的图像处理装置中，具备以下步骤从多个输入图像中选出规定数量的输入图像来作为选择图像的步骤；对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成所述背景图像的对应像素位置的像素值，并保持在所述背景图像保持单元中的步骤；将所述背景图像保持单元所保持的背景图像保存在所述背景图像保存单元中的步骤；将所述背景图像保存单元所保存的背景图像复原后保持在所述背景图像保持单元中的步骤；相异度生成步骤，生成表示所述输入图像的像素值与背景图像保持单元所保持的所述背景图像的对应像素值的相异程度的相异度；以及输出图像合成步骤，对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中，每当新输入所述输入图像时，使计算机重复执行所述相异度生成步骤和所述输出图像合成步骤。
发明效果根据本发明，可以取得以下良好效果从按时间顺序拍摄的多个摄影图像中生成活动被摄体的轨迹合成图像，而不受该摄影图像的背景的状态、活动被摄体的数量、大小、变形、颜色等影响。
图1是表示本发明的实施方式中的摄像装置的一例的图。
图2是表示本发明的实施方式中的摄像装置的图像处理电路23的第1实施例的图。
图3是表示本发明的实施方式中的图像处理电路23的第1实施例的背景生成部130的第1结构例的图。
图4是表示像素值的分布例的图。
图5是表示基于像素值分布的柱状图的一例的图。
图6是表示本发明的实施方式中的图像处理电路23的第1实施例的背景生成部130的第2结构例的图。
图7是表示本发明的实施方式中的基准值和背景阈值的一例的图。
图8是表示本发明的实施方式中的图像处理电路23的第1实施例的相异度生成部140的一个结构例的图。
图9是表示本发明的实施方式中的图像处理电路23的第1实施例的轨迹合成部150的第1结构例的图。
图10是表示输入图像的一例的图。
图11是表示轨迹合成图像的一例的图。
图12是表示本发明的实施方式中的图像处理电路23的第1实施例的轨迹合成部150的第2结构例的图。
图13是表示本发明的实施方式中的图像处理电路23的第1实施例的轨迹合成部150的第3结构例的图。
图14是表示本发明的实施方式中的摄像装置的图像处理电路23的第2实施例的图。
图15是表示本发明的实施方式中的摄像装置的图像处理电路23的第3实施例的图。
图16是表示本发明的实施方式中的图像处理电路23的第3实施例的背景生成部230的一个结构例的图。
图17是表示本发明的实施方式中的图像处理电路23的第3实施例的轨迹生成部250的一个结构例的图。
图18是表示轨迹合成动画中的各帧的一例的图。
图19是表示轨迹合成动画中的各帧的另一例的图。
图20是表示本发明实施方式中的摄像装置的图像处理电路23的第4实施例的图。
图21是表示在本发明的实施方式中的摄像装置的图像处理电路23的第1和第2实施例的处理步骤的一例的流程图。
图22是表示在本发明的实施方式中的摄像装置的图像处理电路23的第3实施例的处理步骤的一例的流程图。
图23是表示在本发明的实施方式中的摄像装置的图像处理电路23的第4实施例的处理步骤的一例的流程图。
图24是表示本发明的实施方式中的摄像装置的图像处理电路23的第5实施例的图。
图25是表示与本发明的实施方式中的摄像装置的操作有关的结构例的图。
图26是表示本发明的实施方式中的摄像装置在摄影时的处理步骤的一例的流程图。
图27是表示本发明的实施方式中的摄像装置在播放时的处理步骤的一例的流程图。
附图标记说明101背景阈值设定部；102距离阈值设定部；110、111输入图像；120像素选择部；121轨迹像素选择部；122背景像素选择部；130背景生成部；131柱状图生成部；132背景值判断部；133基准值设定部；134背景判断部；135背景值算出部；136更新判断部；137背景频度保持部；138背景值保持部；140相异度生成部；141距离算出部；142相异度算出部；150轨迹合成部；151轨迹合成比率生成部；152轨迹合成值算出部；153轨迹合成值保持部；154更新判断部；155最新帧序号保持部；156轨迹合成值保持部；157更新判断部；158最大相异度保持部；190轨迹合成图像显示部；202照相机信号处理部；203输入图像保持部；205输入图像保存部；206背景图像保存部；220帧选择部；221轨迹像素帧选择部；222背景像素帧选择部；230、231背景生成部；232背景合成比率生成部；233背景图像更新部；240相异度生成部；250轨迹合成部；251轨迹合成比率算出部；252轨迹合成值更新部；260、261背景图像保持部；270轨迹合成图像保持部；290轨迹合成图像显示部；421摄影操作接受部；422摄影间隔设定部；431被摄体状态检测部；441摄影开始检测部；442摄影结束检测部；443摄影间隔取得部；444摄影控制部；1331基准值计数器；1361背景频度计数器。
具体实施例方式
下面参照附图详细说明本发明的实施方式。
图1是表示本发明的实施方式中的摄像装置的一例的图。该摄像装置大致包括光学系统、信号处理系统、记录系统、显示系统以及控制系统。
光学系统包括透镜11，其使被摄体的光图像聚光；光圈12，其调整光图像的光量；以及摄像元件13，其对聚光后的光图像进行光电转换并转换成电信号。摄像元件13用例如CCD(ChargeCoupled Devices电荷耦合器件)图像传感器等实现。
信号处理系统包括取样电路21，其对来自摄像元件13的电信号进行取样；A/D转换电路22，其将取样电路21提供的模拟信号转换成数字信号；图像处理电路23，其对从A/D转换电路22输入的数字信号实施规定的图像处理。取样电路21用例如相关双取样电路(CDSCorrelated Double Sampling)实现。由此，可以减轻由摄像元件13产生的噪声。此外，关于由图像处理电路23实行的处理将在后面进行详细叙述。
记录系统包括存储器32，其存储图像信号；以及编码/译码器31，其将由图像处理电路23处理过的图像信号进行编码并记录到存储器32中，并且将图像信号从存储器32读出进行译码，并提提供给图像处理电路23。
显示系统包括D/A转换电路41，其将由图像处理电路23处理过的图像信号模拟化；视频编码器42，其将模拟化了的图像信号编码为适合于后级的显示部43的形式的视频信号；以及显示部43，其显示与输入的视频信号相对应的图像。显示部43用例如LCD(Liquid Crystal Display液晶显示器)等实现，具有取景器(finder)的功能。
控制系统包括定时生成器51，其控制摄像元件13、取样电路21、A/D转换电路22和图像处理电路23的动作定时；其操作输入接受部52，用来接受使用者的快门操作、其它命令输入；驱动器53，其用来连接周边设备；以及控制部54，其控制摄像装置整体。磁盘、光盘、光磁盘或半导体存储器等连接在驱动器53上。控制部54通过驱动器53读出存储在这些存储器中的控制用程序，根据读出的控制用程序、从操作输入接受部52输入的来自使用者的命令等来进行控制。
图像处理电路23、编码/译码器31、存储器32、定时生成器51、操作输入接受部52和控制部54通过总线59相互连接。
在该摄像装置中，被摄体的光学图像(入射光)经透镜11和光圈12入射到摄像元件13，由摄像元件13进行光电转换而成为电信号。得到的电信号由取样电路21除去噪声成分并由A/D转换电路22数字化之后，被暂时保存在图像处理电路23内置(未图示)的图像存储器中。
此外，在通常状态下，通过定时生成器51对信号处理系统的控制，在图像处理电路23内置的图像存储器中图像信号以固定帧率不断被覆盖。图像处理电路23内置的图像存储器的图像信号被D/A转换电路41转换成模拟信号，被视频编码器42转换成视频信号，对应图像被显示在显示部43上。
显示部43还起到作为摄像装置的取景器的作用。在使用者按下操作输入接受部52所包含的快门的情况下，控制部54对定时生成器51进行控制，保持刚按下快门后得到的图像信号，即，在图像处理电路23的图像存储器中图像信号不被覆盖。图像处理电路23的图像存储器所保持的图像数据由编码/译码器31编码并记录在存储器32中。通过以上摄像装置的动作，完成1张图像数据的取入。
图2是表示本发明的实施方式中的摄像装置的图像处理电路23的第1实施例的图。该第1实施例的图像处理电路23具备像素选择部120、背景生成部130、相异度生成部140、轨迹合成部150以及轨迹合成图像显示部190。
像素选择部120在按时间顺序拍摄的n张(n为大于等于2的整数)输入图像110(I1～In)中选择对应像素位置上的n个像素值。例如，在各输入图像110由坐标(1，1)至(p，q)的p×q个像素(p和q为大于等于1的整数)构成的情况下，像素选择部120首先从n张输入图像110中分别选择坐标(1，1)的像素位置的像素值。由此选择n个像素值。接着，像素选择部120从n张输入图像110中分别选择坐标(1，2)的像素位置的像素值。由此选择下一个n个像素值。按此要领，最终对输入图像110(I1～In)选择p×q组n个像素值。这些选出的像素值经信号线129被提供给背景生成部130、相异度生成部140和轨迹合成部150。
背景生成部130根据从像素选择部120经信号线129提供的n个图像值生成背景值。如上所述提供p×q组n个像素值，因此，背景生成部130最终会对输入图像110(I1～In)生成p×q个背景值。这些背景值经信号线139被提供给相异度生成部140。
相异度生成部140生成从背景生成部130经信号线139所提供的背景值、与从像素选择部120经信号线129所提供的像素值之间的相异度。如上所述，由背景生成部130生成1个由p×q像素组成的背景值。相异度生成部140分别对该上述背景值的每个像素位置生成与输入图像110(I1～In)的n个像素值之间的相异度。由此，最终会对输入图像110(I1～In)生成p×q组n个相异度。这些生成的相异度经信号线149被提供给轨迹合成部150。
轨迹合成部150根据从相异度生成部140经信号线149提供的相异度，合成从像素选择部120经信号线129提供的像素值。如上所述，生成p×q组n个相异度，选择p×q组n个像素值。即，使相异度与像素值的数量一致。轨迹合成部150最终会从n个像素值合成1个像素值作为轨迹合成值。由此，生成具有p×q个轨迹合成值的轨迹合成图像。这些轨迹合成值经信号线159被提供到轨迹合成图像显示部190。
轨迹合成图像显示部190根据从轨迹合成部150经信号线159提供的轨迹合成值来显示轨迹合成图像。该轨迹合成图像显示部190可以原样使用显示部43，也可以通过连接在摄像装置上的其它显示单元来实现。
图3是表示本发明的实施方式中的图像处理电路23的第1实施例的背景生成部130的第1结构例的图。该背景生成部130具备柱状图生成部131以及背景值判断部132。
柱状图生成部131对于从像素选择部120经信号线129所提供的n个像素值生成柱状图。该柱状图表示相对于像素值大小的出现频度。例如，设想像素值是如图4那样分布的情况，其柱状图如图5那样。即，在图4的13个像素值中，像素值a的出现频度是2次，像素值b的出现频度是1次，像素值c的出现频度是7次，像素值d的出现频度是1次，像素值e的出现频度是2次，因此生成如图5那样的柱状图。
此外，如果仅是亮度，则柱状图成为如图5所示的一维柱状图，如果是RGB形式的像素值，则柱状图成为三维柱状图。即，生成与定义的色彩空间相应的维度的柱状图。
背景值判断部132根据在柱状图生成部131中生成的柱状图来判断背景值。具体地讲，背景值判断部132将柱状图中频度最高的像素值判断为背景值。例如，就图4的例子而言，表示最频值的像素值c会被判断为背景值。
图6是表示本发明的实施方式中的图像处理电路23的第1实施例的背景生成部130的第2结构例的图。该背景生成部130具备背景阈值设定部101、基准值设定部133、基准值计数器1331、背景判断部134、背景值算出部135、更新判断部136、背景频度计数器1361、背景频度保持部137、以及背景值保持部138。
背景判断部134判断输入图像110的像素值是否为背景。基准值设定部133设定在背景判断部134判断背景时成为基准的值(基准值)。基准值计数器1331向基准值设定部133依次提供应该设定的基准值。背景阈值设定部101在背景判断部134判断背景时提供距离基准值的阈值(背景阈值)。背景判断部134算出在基准值设定部133中设定的基准值与输入图像110的像素值之间的距离，并将该距离为背景阈值以下的像素值判断为背景。此外，这种情况下的距离代表例如色彩空间上的距离等。所以，如果是例如RGB空间那样的多维空间，在该距离在所有维度中都在背景阈值以下的情况下，判断该距离在背景阈值以下。
例如，在如图7那样的像素值分布中，如图所示赋予基准值的情况下，以该基准值为中心，随各像素值的高低不同地加入背景阈值后的范围就是背景范围。在基准值设定部133中设定的基准值由基准值计数器1331依次变更。例如，按照像素值升序或降序依次设定。由此，通过背景判断部134，就可以在像素值的整体范围内判断从基准值来看是否处于背景范围内。
背景值算出部135根据由背景判断部134判断为背景的像素值算出背景值。该背景值作为例如由背景判断部134判断为背景的像素值的平均值而算出。
更新判断部136通过背景频度计数器1361对由背景判断部134判断为背景的像素值的频度进行计数，判断是否应该对背景频度保持部137和背景值保持部138进行更新。即，仅在背景频度计数器1361的计数值大于保持在背景频度保持部137中的值的情况下，用背景频度计数器1361的计数值更新背景频度保持部137的内容，并且用从背景值算出部135提供的背景值来更新背景值保持部138的内容。由此，在背景值保持部138中保持在该时刻表示最频值的像素值，在背景频度保持部137中保持表示最频值的像素值的频度。依次变更基准值设定部133将所有像素值设为基准值，从而最终在背景值保持部138中保持表示最频值的像素值。
在图3的背景生成部130的第1结构例中需要用于存储整个柱状图的存储区，但根据该图6的背景生成部130的第2结构例，可以仅保持表示该时刻最频值的像素值的频度，因此可以节约存储区。
图8是表示本发明的实施方式中的图像处理电路23的第1实施例的相异度生成部140的一个结构例的图。该相异度生成部140具备距离算出部141、距离阈值设定部102以及相异度算出部142。
距离算出部141计算从背景生成部130经信号线139提供的背景值、与从像素选择部120经信号线129提供的像素值之间的距离。此外，这种情况下的距离代表例如色彩空间上的距离等。
相异度算出部142按照由距离算出部141算出的距离，算出背景值与输入图像的像素值之间的相异度。即，该相异度算出部142在输入图像中区分活动被摄体和背景，将两者的不同之处表示为相异度。相异度例如如下这样算出对活动被摄体置“1”，对背景置“0”。在无法完全区别两者的情况下，有时也取其中间值。
在算出相异度时，相异度算出部142考虑到因图像品质而带来的误差，而设定用来区分背景与活动被摄体的距离的阈值(距离阈值)。即，如果背景值与输入图像的像素值之间的距离在距离阈值以内，视为无法完全区别两者来处理，在超过距离阈值的情况下，视为可以完全区别两者来处理。其结果，例如在背景值与输入图像的像素值之间的距离超过距离阈值的情况下，算出作为相异度的最大值“1”，在距离阈值以内的情况下，与距离成比例地算出相异度。此外，距离阈值被事先设定在距离阈值设定部102中。
图9是表示本发明的实施方式中的图像处理电路23的第1实施例的轨迹合成部150的第1结构例的图。该轨迹合成部150具备轨迹合成比率生成部151、轨迹合成值算出部152以及轨迹合成值保持部153。
轨迹合成比率生成部151根据从相异度生成部140经信号线149所提供的相异度，生成将输入图像的像素值合成为轨迹的比率(轨迹合成比率)。该轨迹合成比率例如既可以与相异度成比例而决定，也可以考虑该像素附近的相异度而决定。
轨迹合成值保持部153保持轨迹合成部150的输出图像的像素值(轨迹合成值)。轨迹合成值算出部152由按照轨迹合成比率生成部151生成的轨迹合成比率，对保持在轨迹合成值保持部153中的像素值合成输入图像的像素值。也就是说，保持在轨迹合成值保持部153中的轨迹合成值会由轨迹合成值算出部152随时更新。
这里，当设轨迹合成比率为β，由第j个输入图像更新后的轨迹合成值为S，第k(＝j+1)个输入图像为Ik，由第k个输入图像更新后的轨迹合成值为Sk时，有下式Sk＝β×Ik+(1-β)×Sj其中，j和k为整数，β、Ik、Sj和Sk为实数。
为了说明轨迹合成比率β所带来的效果，将以图10(a)、同图(b)、同图(c)、同图(d)和同图(e)的顺序拍摄的摄影图像假定为输入图像。在轨迹合成比率β在相异度较大的活动被摄体区域被赋予“1”，在相异度较小的背景区域被赋予“0”的情况下，在合成时背景和活动被摄体就不会混淆，活动被摄体的轨迹如图11(a)那样全部深显示。
另一方面，在轨迹合成比率β在活动被摄体区域被赋予“1”，在背景区域被赋予“0.3”至“0.5”左右的情况下，在每次合成时背景和活动被摄体都会混淆，因此会如图11(b)那样，越早的活动被摄体的轨迹显示得越浅。
图12是表示本发明的实施方式中的图像处理电路23的第1实施例的轨迹合成部150的第2结构例的图。该轨迹合成部150具备更新判断部154、最新帧序号保持部155以及轨迹合成值保持部156。该轨迹合成部150的第2结构例考虑到输入图像110(I1～In)不是以拍摄顺序输入的情况，控制为在各像素位置中仅更新新的像素值。即，在按照旧的顺序对各个输入图像110赋予升序的连续序号作为帧序号的情况下，该帧序号越大就越新。另外，该帧序号可以设为由信号线129与像素值一起提供。
轨迹合成值保持部156与轨迹合成值保持部153同样地保持轨迹合成值。但是，在上述第2结构例中，设为将经过信号线139提供的背景值预先保持为初始值。
最新帧序号保持部155保持当前像素位置上目前已输入的输入图像110的帧序号的最大值。
更新判断部154对由信号线129提供的帧序号与最新帧序号保持部155中保持的帧序号进行比较，如果由信号线129提供的帧序号比较新，就将非背景作为条件，将由信号线129提供的像素值保持在轨迹合成值保持部156中。其中，更新判断部154在选择各像素位置中的最初的输入图像之前，将经过信号线139提供的背景值保持为更新判断部154的初始值。由此，在轨迹合成值保持部156中仅更新最新的且非背景的像素值，最新时刻的活动被摄体会成为最终的轨迹合成值，因此可以得到考虑了时间顺序的轨迹合成值。
图13是表示本发明的实施方式中的图像处理电路23的第1实施例的轨迹合成部150的第3结构例的图。该轨迹合成部150具备更新判断部157、最大相异度保持部158以及轨迹合成值保持部156。轨迹合成值保持部156与轨迹合成部150的第2结构例相同。
最大相异度保持部158保持当前像素位置上目前已输入的相异度的最大值。
更新判断部157对由信号线149提供的相异度与最大相异度保持部158中保持的相异度进行比较，如果由信号线129提供的相异度比较大，就将由信号线129提供的像素值保持在轨迹合成值保持部156中。由此，在轨迹合成值保持部156中只更新相异度最大的像素值，在活动被摄体重叠的区域中会反映出相异度较大的轨迹。
图14是表示本发明的实施方式中的图像处理电路23的第2实施例的图。该第2实施例的图像处理电路23具备轨迹像素选择部121、背景像素选择部122、背景生成部130、相异度生成部140、轨迹合成部150、以及轨迹合成图像显示部190。即，两者之间的不同点在于，图2的第1实施例的图像处理电路23的像素选择部120在该第2实施例中被分为轨迹像素选择部121和背景像素选择部122。
背景像素选择部122在按时间顺序拍摄的n张输入图像110(I1～In)中，从对应像素位置的n个像素值中选择背景值的生成所必需的像素值。在第1实施例中，为了生成背景值选择了全部n张图像，但是在该第2实施例中，通过从n张图像中进行间除并利用，从而简化生成背景值的处理。例如，对由背景像素选择部122选择的像素值按“n/10”进行间除，从而可以实现处理的高速化。
轨迹像素选择部121选择背景以外的像素值、即选择活动被摄体的轨迹的像素值。该轨迹像素选择部121与第1实施例中的像素选择部120相同，在n张输入图像110(I1～In)中选择对应像素位置的n个像素值。
这样，在该第2实施例的图像处理电路23中，利用背景变化频度低于活动被摄体的情况，对由被背景像素选择部122选择的图像进行间除，从而可以降低背景算出的成本。
图15是表示本发明的实施方式中的摄像装置的图像处理电路23的第3实施例的图。该第3实施例的图像处理电路23具备帧选择部220、背景生成部230、背景图像保持部260、相异度生成度240、轨迹合成部250、轨迹合成图像保持部270、以及轨迹合成图像显示部290。在第1和第2实施例中，设想了将活动被摄体的轨迹显示在1张轨迹合成图像中的情况。而在该第3实施例中，例如像图18、图19那样，设想将活动被摄体移动过程中的状态显示为多张轨迹合成图像。
帧选择部220按时间顺序从输入图像111中将由p×q像素组成的图像It依次选择为帧。被选择的帧经过信号线229被提供给背景生成部230、相异度生成部240和轨迹合成部250。
背景图像保持部260保持由p×q像素组成的背景图像。在该背景图像保持部260中保持的背景图像经过信号线269被提供给背景生成部230。背景生成部230根据从背景图像保持部260经信号线269提供的背景图像Bt-1的像素值和从帧选择部220经信号线229提供的帧It的像素值，生成新的背景像素Bt。即，背景生成部230用新的帧来更新在背景图像保持部260中保持的背景图像，使背景图像保持部260中保持该时刻的背景图像。生成的背景图像经信号线239被提供给相异度生成部240和背景图像保持部260。
相异度生成部240对每个像素位置生成从背景生成部230经信号线239提供的背景图像的像素值、与从帧选择部220经信号线229提供的帧的像素值的相异度。即，相异度生成部240算出p×q组对应的像素值之间的距离，生成p×q组相异度。该相异度生成部240的内部构成与图8的相异度生成部140相同。
轨迹合成图像保持部270保持由p×q像素组成的轨迹合成图像。在该轨迹合成图像保持部270中保持的轨迹合成图像经信号线279提供给轨迹合成部250。轨迹合成部250将从轨迹合成图像保持部270经信号线279提供的轨迹合成图像St-1的像素值、与从帧选择部220经信号线229提供的帧It的像素值进行合成，生成新的轨迹合成图像St。即，轨迹合成部250用新的帧来更新轨迹合成图像保持部270中保持的轨迹合成图像，从而在轨迹合成图像保持部270中保持该时刻的轨迹合成图像。
轨迹合成图像显示部290显示从轨迹合成部250经过信号线259提供的轨迹合成图像St。该轨迹合成图像显示部290可以直接使用显示部43，另外也可以通过连接在摄像装置上的其它显示单元来实现。
图16是表示本发明的实施方式中的图像处理电路23的第3实施例的背景生成部230的一个结构例的图。该背景生成部230具备背景合成比率生成部232以及背景图像更新部233。
背景合成比率生成部232根据从帧选择部220经过信号线229提供的帧、和从背景图像保持部260经过信号线269提供的背景图像来生成背景图像的合成比率(背景合成比率α)。作为背景合成比率α的具体算出方法，可以考虑如下方法例如在帧It的像素值与背景图像Bt-1的像素值之间的相异度较小的情况下，决定背景合成比率使得帧It的像素值的贡献度变大，或者根据相异度动态地决定合成比率，使在时间上邻近的相异度分散越小，就越加大帧It的像素值的贡献度等。另外，也可以预先将背景合成比率α决定为固定值。
背景图像更新部233按照由背景合成比率生成部232生成的背景合成比率α，通过从帧选择部220经过信号线229提供的帧来更新从背景图像保持部260经过信号线269提供的背景图像。
这里，设坐标(x，y)中的帧It的像素值为I(x，y，t)，同样，设背景图像Bt-1的像素值为B(x，y，t-1)，那么新的背景图像Bt的像素值B(x，y，t)可由下式求得B(x，y，t)＝α×I(x，y，t)+(1-α)×B(x，y，t-1)
背景图像更新部233对所有像素进行上式的处理。
此外，在上述实施方式中，帧选择部220选择了1个图像It作为帧，而作为变形例，可以根据多个图像向背景生成部230提供帧。例如，可以基于以图像It为中心的前后的图像It-1至It+1，像图3或图6的例子那样，根据它们的频度求出暂定的背景图像，将该暂定的背景图像提供给背景生成部230。由此可以期待在背景生成部230中实现精度较高的背景生成。
图17是表示本发明的实施方式中的图像处理电路23的第3实施例的轨迹合成部250的一个结构例的图。该轨迹合成部250具备轨迹合成比率算出部251以及轨迹合成值更新部252。
轨迹合成比率算出部251根据相异度生成部240经信号线249提供的相异度来生成轨迹合成的合成比率(轨迹合成比率β)。作为轨迹合成比率β的具体算出方法，例如在帧It的像素值与背景图像Bt-1之间的相异度较大的情况下，可以考虑决定使帧It的像素值的贡献度加大的轨迹合成比率。由此，越是与背景不同的区域对轨迹合成值的贡献率就越高，可以得到更为清晰的活动被摄体的轨迹。
轨迹合成值更新部252按照由轨迹合成比率算出部251生成的轨迹合成比率β，通过从帧选择部220经过信号线229提供的帧来更新从轨迹合成图像保持部270经过信号线279提供的轨迹合成图像。
这里，设坐标(x，y)中的帧It的像素值为I(x，y，t)，同样，设背景图像St-1的像素值为S(x，y，t-1)，那么新的轨迹合成图像St的像素值S(x，y，t)可由下式求得S(x，y，t)＝β×I(x，y，t)+(1-β)×S(x，y，t-1)轨迹合成值更新部252对所有像素进行上式的处理。
另外，作为另一个轨迹合成方法，可以考虑根据相异度使用2种算出规则来算出轨迹合成比率。即，将相异度较小的背景区域中的轨迹合成比率的计算规则、与相异度较大的活动被摄体区域的计算规则区分开来，即便相异度很小，也提供某种程度的轨迹合成比率。由此，活动被摄体轨迹区域越早，背景的贡献率就会越高，看起来活动被摄体的轨迹就会渐渐消退。也就是说，新时刻下的轨迹是清晰的，但随着时间的推移，轨迹会融入背景渐渐消退。
例如，在合成如图10那样的5个帧的时候，在想清晰地留下轨迹的情况下，在相异度较大的活动被摄体区域中将轨迹合成比率β置为“1”，在相异度较小的背景区域中将轨迹合成比率β置为“0”，这样，就可以得到图18那样的结果。另一方面，在想使轨迹渐渐消退的情况下，在活动被摄体区域中将轨迹合成比率β置为“1”，在背景区域中将轨迹合成比率β置为“0.3”至“0.5”左右，这样，就可以得到图19那样的结果。
图20是表示本发明的实施方式中的摄像装置的图像处理电路23的第4实施例的图。该第4实施例的图像处理电路23具备轨迹像素帧选择部221、背景像素帧选择部222、背景生成部231、背景图像保持部261、相异度生成度240、轨迹合成部250、轨迹合成图像保持部270、以及轨迹合成图像显示部290。该第4实施例将活动被摄体移动过程中的状态显示成多张轨迹合成图像，这一点与第3实施例相同。但是，在第3实施例中，假定了输入图像111的帧不是预先固定的，而在该第4实施例中假定n张输入图像110是预先判明的。
背景像素帧选择部222在按时间顺序拍摄的n张输入图像110(I1～In)中，从对应像素位置的n个像素值中选择背景值的生成所必需的像素值。在第3实施例中，为了背景值的生成而选择了全部n张图像，而在该第4实施例中，通过从n张图像中进行间除并使用，从而简化用于背景值生成的处理。例如，对由背景像素帧选择部222选择的像素值按“n/10”进行间除，从而可以实现处理的高速化。
背景生成部231根据背景像素帧选择部222提供的像素值生成背景值，采用与第1实施例相同的结构来实现。
背景图像保持部261保持由背景生成部231生成的背景图像。在第3实施例中，背景生成部230依次更新了在背景图像保持部260中保持的背景图像，而在第4实施例中，背景图像一旦生成，不是特别需要不会变更。
轨迹像素帧选择部221在按时间顺序拍摄的n张输入图像110(I1～In)中，选择对应像素位置的n个像素值。即，与背景像素帧选择部222不同，轨迹像素帧选择部221不进行间除，而是选择所有的输入图像。
此外，除此之外的结构与第3实施例的情况相同，所以在此省略说明。
这样，在该第4实施例中，对背景图像的帧仅进行一次计算就利用其以帧为单位依次进行轨迹合成，因此可以减少处理成本。
下面，参照附图，说明本发明的实施方式中的摄像装置的动作。
图21是表示本发明的实施方式中的摄像装置的图像处理电路23的第1和第2实施例的处理步骤的一例的流程图。
首先，选择成为背景生成对象的像素(帧)(步骤S911)。该处理在第1实施例中由像素选择部120进行，在第2实施例中由背景像素选择部122进行。然后，根据该选择的像素(帧)生成背景(步骤S912)。该处理由背景生成部130进行。
接着，选择成为轨迹合成对象的像素(帧)(步骤S913)。该处理在第1实施例中由像素选择部120进行，在第2实施例中由轨迹像素选择部121进行。然后，根据该选择的像素(帧)和背景生成两者的相异度(步骤S914)。该处理由相异度生成部140进行。
然后，根据相异度输出轨迹合成图像(步骤S915)。该处理由轨迹合成部150进行。
图22是表示本发明的实施方式中的摄像装置的图像处理电路23的第3实施例的处理步骤的一例的流程图。
首先，选择成为轨迹合成对象的帧来作为输入图像(步骤S931)。该处理由帧选择部220进行。然后，通过该被选择的帧更新背景图像(步骤S932)。该处理由背景生成部230进行。
接着，根据背景图像和输入图像生成两者的相异度(步骤S934)。该处理由相异度生成部240进行。
然后，根据相异度更新轨迹合成图像(步骤S935)。该处理由轨迹合成部250进行。
在选择了全部成为轨迹合成的对象的帧时就结束，否则就重复进行步骤S931以后的处理(步骤S936)。在步骤S931中按时间顺序选择帧时，在步骤S935中按时间顺序进行轨迹合成，将其输出就可以播放轨迹运动图像。
图23是表示本发明的实施方式中的摄像装置的图像处理电路23的第4实施例的处理步骤的一例的流程图。
首先，选择所有成为背景生成对象的帧(步骤S941)。该处理由背景像素帧选择部222进行。然后，用该被选择帧生成背景图像(步骤S942)。该处理由背景生成部231进行。
接着，选择成为轨迹合成对象的帧作为输入图像(步骤S943)。该处理由轨迹像素帧选择部221进行。然后，根据背景图像和输入图像生成两者的相异度(步骤S944)。该处理由相异度生成部240进行。
然后，根据相异度更新轨迹合成图像(步骤S945)。该处理由轨迹合成部250进行。
当选择了所有成为轨迹合成对象的帧时就结束，否则就重复进行步骤S943以后的处理(步骤S946)。
这样，根据本发明的实施方式，生成输入图像的像素值和背景图像的像素值之间的相异度，按照该相异度将输入图像的像素值反映在作为输出图像的轨迹合成图像上，由此可以生成活动被摄体的轨迹静止图像、轨迹运动图像。
此外，在本发明的实施方式中，已经说明了在生成轨迹合成图像时(即将生成之前)生成背景图像的结构例，但是也可以设为利用预先生成的背景图像。例如，如图24的变形例那样，将保持在背景图像保持部261中提供给相异度生成部240的背景图像保存在背景图像保存部206中。然后，在其后生成轨迹合成图像时，不进行背景生成部231的背景图像的生成，而是将保存在背景图像保存部206中的背景图像复原，保持在背景图像保持部261中。
由此，在多次对相同输入图像生成轨迹合成图像的情况下，可以省略背景图像的生成。一般来讲，用于背景生成的计算成本比生成轨迹合成图像的情况高，将其省略的效果很大。例如，在保存了连续拍摄的多个帧、轨迹合成图像和背景图像之后，对于在显示部43中进行对象场景的轨迹运动图像的播放的情况等就很有效。
在图24中，轨迹像素帧选择部221、背景像素帧选择部222、背景生成部231、背景图像保持部261、相异度生成部240、轨迹合成部250以及轨迹合成图像保持部270的结构和动作与图20的例子相同。在该例中，设想了图像处理电路23接受由A/D转换电路22经过信号线201提供的输入图像，将该输入图像、背景图像和轨迹合成图像经各自的信号线207、208和209提供给后级的D/A转换电路41、编码/译码器31。
照相机信号处理部202对由A/D转换电路22转换成数字信号的输入图像实施RGB同时化处理、彩色矩阵处理和伽玛处理等，并将其结果输出。在通常的图像输出的情况下，该照相机信号处理部202的结果会经信号线207直接输出。
输入图像保持部203保持提供给轨迹像素帧选择部221和背景像素帧选择部222的输入图像。这里，设为与上述第4实施例同样保持n张输入图像(I1～In)。输入图像保存部205保存由照相机信号处理部202提供的输入图像。输入图像保持部203在将摄影中的图像作为输入图像的情况下将从照相机信号处理部202提供的图像保持为输入图像，而在将过去保存的图像作为输入图像的情况下将保存在输入图像保存部205中的图像复原并保持为输入图像。
背景图像保存部206保存由背景图像保持部261保持的背景图像。背景图像保存部206暂时保存从背景图像保持部261经过信号线208提供的背景图像。其后，根据需要复原保存在背景图像保存部206中的背景图像，并保持在背景图像保持部261中。即，在生成轨迹合成图像时(即将生成之前)生成背景图像的情况下，背景图像保持部261保持从背景生成部231所提供的背景图像。另一方面，在使用以前保存的背景图像生成轨迹合成图像的情况下，背景图像保持部261将保存在背景图像保存部206中的背景图像复原并保持。
从轨迹合成部250输出的轨迹合成图像被保持在轨迹合成图像保持部270中，并且经过信号线209提供给后级的D/A转换电路41、编码/译码器31。
图25是表示与本发明的实施方式中的摄像装置的操作有关的结构例的图。这里，假设在操作输入接受部52中包含摄影操作接受部421以及摄影间隔设定部422，在图像处理电路23中包含被摄体状态检测部431，在控制部54中包含摄影开始检测部441、摄影结束检测部442、摄影间隔取得部443以及摄影控制部444。不过，这些功能也可以通过其它电路等实现。
摄影操作接受部421接受使用者用于摄影的操作，例如与数码相机的快门键、数码摄像机的运动图像摄影按键等对应。摄影间隔设定部422设定摄影时各帧的时间间隔。摄影间隔是连拍模式下使用的，由使用者预先设定或被固定地设定。摄影间隔取得部443取得由摄影间隔设定部422设定的摄影间隔。
被摄体状态检测部431检测输入图像中的被摄体状态。被摄体状态检测部431对于在时间上连续的输入图像的帧生成各像素的差分，如果没有该差分就判断被摄体是静止状态，如果有差分就判断被摄体是活动状态。
摄影开始检测部441由根据摄影操作接受部421接受的摄影操作，检测指示摄影开始的指示。摄影结束检测部442根据由摄影操作接受部421接受的摄影操作，检测指示摄影结束的指示。例如，在通常的连拍模式下，当快门按钮被按下时意味着摄影开始，当快门按钮的按下被解除时意味着摄影结束。
另外，也可以关注被摄体的状态来进行连拍控制。例如，在快门被按下的状态下，由被摄体状态检测部431判断出被摄体是静止状态的情况下，可以控制为摄影结束。
摄影控制部444在从由摄影开始检测部441检测出摄影开始、到由摄影结束检测部442检测出摄影结束为止的期间内，控制定时生成器51，以由摄影间隔取得部443取得的摄影间隔进行连续摄影。
图26是表示本发明的实施方式中的摄像装置在摄影时的处理步骤的一例的流程图。首先，当由摄影开始检测部441检测出摄影开始时(步骤S951)，以由摄影间隔取得部443取得的摄影间隔进行连续摄影(步骤S952)。重复进行该摄影直到由摄影结束检测部442检测出摄影结束为止(步骤S954)，其间由被摄体状态检测部431检测被摄体的状态(步骤S953)。
在由摄影操作接受部421接受到快门按键松开的情况下、在由被摄体状态检测部431检测出被摄体处于静止状态的情况下，检测为摄影结束(步骤S954)。
在摄影结束时，由背景生成部231生成背景图像(步骤S955)。即，如图23，选择所有成为背景生成对象的帧(步骤S941)，并根据该所选择的帧生成背景图像(步骤S942)。
然后，由轨迹合成部250生成轨迹合成图像(步骤S956)。另外，输入图像、背景图像被分别保存在输入图像保存部205、背景图像保存部206中(步骤S957)。
图27是表示本发明的实施方式中的摄像装置的播放时的处理步骤的一例的流程图。首先，当检测出操作输入接受部52的播放开始指示时(步骤S961)，取得播放方向和播放速度(步骤S962)。播放方向和播放速度由操作输入接受部52接受。例如，假定有向前播放按键、向后播放按键和快进按键等。
在步骤S957中保存了背景图像的情况下，从背景图像保存部206复原背景图像，并保持在背景图像保持部261中(步骤S963)。此外，在从输入图像保存部205复原输入图像并保持在输入图像保持部203中后，按在步骤S962中取得的播放方向的时间顺序，从输入图像保持部203取得输入图像(步骤S964)。由此，由轨迹合成部250生成轨迹合成图像(步骤S965)，并以在步骤S962中取得的播放速度进行播放(步骤S966)。对对象场景的所有摄影图像重复执行步骤S964到步骤S966的这些处理(步骤S967)。
此外，在本发明的实施方式中说明了通过电路实现摄像装置中的图像处理的一种方式，该图像处理内容也可以用软件来实现。即，在本发明的实施方式中说明的处理步骤既可以通过具有这些一系列步骤的方法来实现，另外也可以通过使计算机执行这些一系列步骤的程序乃至保存该程序的记录介质来实现。另外，不仅可以通过与摄像装置一体的图像处理电路，还可以通过独立的图像处理装置来实现。进而，也可以使其内置于图像播放装置、便携式设备中。
另外，本发明的实施方式是表示将本发明具体化的一个例子，它虽然与以下所示的权利要求书的发明特定事项分别具有对应关系，但也并不仅限于此，在不脱离本发明思想的范围内，可以实施各种变形。
即，在权利要求1中，背景生成单元例如与背景生成部130对应。另外，相异度生成单元例如与相异度生成部140对应。另外，输出图像生成单元例如与轨迹合成部150对应。
另外，在权利要求3中，背景像素值保持单元例如与背景像素值保持部138对应。另外，出现频度保持单元例如与背景频度保持部137对应。另外，基准值设定单元例如与基准值设定部133对应。另外，背景候选生成单元例如与背景判断部134和背景值算出部135对应。另外，更新判断单元例如与更新判断部136和背景频度计数器1361对应。
另外，在权利要求4中，输出图像保持单元例如与轨迹合成值保持部153对应。另外，合成比率生成单元例如与轨迹合成比率生成部151对应。另外，合成值算出单元例如与轨迹合成值算出部152对应。
另外，在权利要求5中，输出图像保持单元例如与轨迹合成值保持部156对应。另外，图像序号保持单元例如与最新帧序号保持部155对应。另外，更新判断单元例如与更新判断部154对应。
另外，在权利要求6中，输出图像保持单元例如与轨迹合成值保持部156对应。另外，相异度保持单元例如与最大相异度保持部158对应。另外，更新判断单元例如与更新判断部157对应。
另外，在权利要求7中，图像选择单元例如与背景图像选择部122对应。另外，背景生成单元例如与背景生成部130对应。另外，相异度生成单元例如与相异度生成部140对应。另外，输出图像生成单元例如与轨迹合成部150对应。
另外，在权利要求8中，背景图像保持单元例如与背景图像保持部260对应。另外，输出图像保持单元例如与轨迹合成图像保持部270对应。另外，背景生成单元例如与背景生成部230对应。另外，相异度生成单元例如与相异度生成部240对应。另外，输出图像合成单元例如与轨迹合成部250对应。
另外，在权利要求9中，图像选择单元例如与背景像素帧选择部222对应。另外，背景生成单元例如与背景生成部231对应。另外，背景图像保持单元例如与背景图像保持部261对应。另外，输出图像保持单元例如与轨迹合成图像保持部270对应。另外，相异度生成单元例如与相异度生成部240对应。另外，输出图像合成单元例如与轨迹合成部250对应。
另外，在权利要求10或14中，对于多个输入图像的各对应像素位置、在输入图像的像素值中将具有规定分布的像素值生成为像素位置的背景像素值的步骤例如与步骤S912对应。另外，对于各像素位置、生成表示输入图像的像素值与背景像素值相异程度的相异度的步骤例如与步骤S914对应。另外，对于各像素位置、按照相异度来反映输入图像的像素值、生成输出图像的像素值的步骤例如与步骤S915对应。
另外，在权利要求11或15中，从多个输入图像中选出规定数量的输入图像来作为选择图像的步骤例如与步骤S911对应。另外，对于选择图像的各对应像素位置、在选择图像的像素值中将具有规定分布的像素值生成为所述像素位置的背景像素值的步骤例如与步骤S912对应。另外，对于各像素位置、生成表示输入图像的像素值与背景像素值相异程度的相异度的步骤例如与步骤S914对应。另外，对于各像素位置、按照所述相异度来反映输入图像的像素值、生成输出图像的像素值的步骤例如与步骤S915对应。
另外，在权利要求12或16中，背景图像保持单元例如与背景图像保持部260对应。另外，输出图像保持单元例如与轨迹合成图像保持部270对应。另外，根据规定比率用按照时间顺序输入的输入图像的对应像素位置的像素值来更新保持在背景图像保持单元中的背景图像的像素值的步骤例如与步骤S932对应。另外，生成表示输入图像的像素值与由背景生成单元更新的背景图像的对应像素位置的像素值的相异程度的相异度的步骤例如与步骤S934对应。另外，对于输出图像的像素值、按照相异度来合成输入图像的对应像素位置的像素值、作为新的输出图像的像素值保持在输出图像保持单元的步骤例如与步骤S935对应。
另外，在权利要求13或17中，背景图像保持单元例如与背景图像保持部261对应。另外，输出图像保持单元例如与轨迹合成图像保持部270对应。另外，从多个输入图像中选出规定数量的输入图像来作为选择图像的步骤例如与步骤S941对应。另外，对于选择图像的各对应像素位置、在选择图像的像素值中将具有规定分布的像素值生成为背景图像的对应像素位置的像素值并保持在背景图像保持单元中的步骤例如与步骤S942对应。另外，相异度生成步骤例如与步骤S944对应。另外，输出图像合成步骤例如与步骤S945对应。
另外，在权利要求18中，图像选择单元例如与背景像素帧选择部222对应。另外，背景生成单元例如与背景生成部231对应。另外，背景图像保持单元例如与背景图像保持部261对应。另外，输出图像保持单元例如与轨迹合成图像保持部270对应。另外，相异度生成单元例如与相异度生成部240对应。另外，输出图像合成单元例如与轨迹合成部250对应。另外，背景图像保存单元例如与背景图像保存部206对应。
另外，在权利要求19或20中，背景图像保持单元例如与背景图像保持部261对应。另外，背景图像保存单元例如与背景图像保存部206对应。另外，输出图像保持单元例如与轨迹合成图像保持部270对应。另外，从多个输入图像中选出规定数量的输入图像来作为选择图像的步骤例如与步骤S941对应。另外，对于选择图像的各对应像素位置、在选择图像的像素值中将具有规定分布的像素值生成为背景图像的对应像素位置的像素值并保持在背景图像保持单元的步骤例如与步骤S942对应。另外，将背景图像保持单元所保持的背景图像保存在背景图像保存单元中的步骤例如与步骤S957对应。另外，将背景图像保存单元所保存的背景图像复原并保持在背景图像保持单元中的步骤例如与步骤S963对应。另外，相异度生成步骤例如与步骤S944对应。另外，输出图像合成步骤例如与步骤S945对应。
权利要求
1.一种图像处理装置，其特征在于，具备背景生成单元，其对于多个输入图像的各对应像素位置，根据所述输入图像的像素值中、具有规定分布的像素值，生成所述像素位置的背景像素值；相异度生成单元，其对于各所述像素位置生成表示所述输入图像的像素值与所述背景像素值相异程度的相异度；以及输出图像生成单元，其对于各所述像素位置，按照所述相异度来反映所述输入图像的像素值，生成输出图像的像素值。
2.根据权利要求1所述的图像处理装置，其特征在于，所述背景生成单元生成出现频度最高的像素值作为具有所述规定分布的像素值。
3.根据权利要求2所述的图像处理装置，其特征在于，所述背景生成单元具备背景像素值保持单元，其保持所述背景像素值；出现频度保持单元，其保持所述背景像素值的出现频度；基准值设定单元，其设定与所述输入图像的像素值相对的基准值；背景候选生成单元，其将与所述基准值的差异在规定范围内的所述输入图像的像素值判断为背景候选值；以及更新判断单元，其以如下方式进行更新对所述背景候选值的出现频度进行计数，在所述背景候选值的出现频度比保持在所述出现频度保持单元中的出现频度大的情况下，将所述背景候选值作为新的背景像素值保持在所述背景像素值保持单元中，并且将所述背景候选值的出现频度保持在所述出现频度保持单元中。
4.根据权利要求1所述的图像处理装置，其特征在于，所述输出图像生成单元具备输出图像保持单元，其保持所述输出图像的像素值；合成比率生成单元，其对于各所述像素位置，按照所述相异度生成合成比率；以及合成值算出单元，其对于各所述像素位置，按照所述合成比率，将所述输入图像的像素值和保持在所述输出图像保持单元中的所述输出图像的像素值合成作为新的输出图像的像素值，并保持在所述输出图像保持单元中。
5.根据权利要求1所述的图像处理装置，其特征在于，所述输出图像生成单元具备输出图像保持单元，其保持所述输出图像的像素值；图像序号保持单元，其保持所述输出图像的图像序号；以及更新判断单元，其在所述输入图像的图像序号在时间顺序上比保持在所述图像序号保持单元中的图像序号新的情况下，如果所述相异度表示为规定以上的程度，就将所述输入图像的像素值作为新的输出图像的像素值保持在所述输出图像保持单元中，并且将所述输入图像的图像序号保持在所述图像序号保持单元中。
6.根据权利要求1所述的图像处理装置，其特征在于，所述输出图像生成单元具备输出图像保持单元，其保持所述输出图像的像素值；相异度保持单元，其保持输出图像的相异度；以及更新判断单元，其在所述输入图像的相异度比保持在所述相异度保持单元中的相异度大的情况下，将所述输入图像的像素值作为新的输出图像的像素值保持在所述输出图像保持单元中，并且将所述输入图像的相异度保持在所述相异度保持单元中。
7.一种图像处理装置，其特征在于，具备图像选择单元，其从多个输入图像中选出规定数量的输入图像来作为选择图像；背景生成单元，其对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成所述像素位置的背景像素值；相异度生成单元，其对于各所述像素位置，生成表示所述输入图像的像素值与所述背景像素值相异程度的相异度；以及输出图像生成单元，其对于各所述像素位置，按照所述相异度来反映所述输入图像的像素值，生成输出图像的像素值。
8.一种图像处理装置，其特征在于，具备背景图像保持单元，其保持背景图像的像素值；输出图像保持单元，其保持输出图像的像素值；背景生成单元，其根据规定的比率，用按照时间顺序输入的输入图像的对应像素位置的像素值来更新保持在所述背景图像保持单元中的所述背景图像的像素值；相异度生成单元，其生成表示所述输入图像的像素值与由所述背景生成单元更新后的所述背景图像的对应像素位置的像素值的相异程度的相异度；以及输出图像合成单元，其对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中。
9.一种图像处理装置，其特征在于，具备图像选择单元，其从多个输入图像中选出规定数量的输入图像来作为选择图像；背景生成单元，其对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成背景图像的对应像素位置的像素值；背景图像保持单元，其保持所述背景图像的像素值；输出图像保持单元，其保持输出图像的像素值；相异度生成单元，其生成表示所述输入图像的像素值与由背景图像保持单元所保持的所述背景图像的对应像素值的相异程度的相异度；以及输出图像合成单元，其对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中。
10.一种图像处理方法，其特征在于，具备以下步骤对于多个输入图像的各对应像素位置，根据在所述输入图像的像素值中、具有规定分布的像素值，生成所述像素位置的背景像素值；对于各所述像素位置，生成表示所述输入图像的像素值与所述背景像素值的相异程度的相异度；以及对于各所述像素位置，按照所述相异度来反映所述输入图像的像素值，生成输出图像的像素值。
11.一种图像处理方法，其特征在于，具备以下步骤从多个输入图像中选出规定数量的输入图像来作为选择图像；对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成所述像素位置的背景像素值；对于各所述像素位置，生成表示所述输入图像的像素值与所述背景像素值的相异程度的相异度；以及对于各所述像素位置，按照所述相异度来反映所述输入图像的像素值，生成输出图像的像素值。
12.一种图像处理方法，其特征在于，在具备保持背景图像的像素值的背景图像保持单元和保持输出图像的像素值的输出图像保持单元的输出图像处理装置中，每当新输入输入图像时，重复进行以下步骤根据规定比率，用按照时间顺序输入的所述输入图像的对应像素位置的像素值来更新保持在所述背景图像保持单元中的所述背景图像的像素值；生成表示所述输入图像的像素值与由所述背景生成单元更新后的所述背景图像的对应像素位置的像素值的相异程度的相异度；以及对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中。
13.一种图像处理方法，其特征在于，在具备保持背景图像的像素值的背景图像保持单元和保持输出图像的像素值的输出图像保持单元的图像处理装置中，具备以下步骤从多个输入图像中选出规定数量的输入图像来作为选择图像；对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成所述背景图像的对应像素位置的像素值，并保持在所述背景图像保持单元中；相异度生成步骤，生成表示所述输入图像的像素值与保持在背景图像保持单元中的所述背景图像的对应像素值的相异程度的相异度；以及输出图像合成步骤，对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中，每当新输入所述输入图像时，重复进行所述相异度生成步骤和所述输出图像合成步骤。
14.一种图像处理装置，其特征在于，具备图像选择单元，其从多个输入图像中选出规定数量的输入图像来作为选择图像；背景生成单元，其对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成背景图像的对应像素位置的像素值；背景图像保持单元，其保持所述背景图像的像素值；输出图像保持单元，其保持输出图像的像素值；相异度生成单元，其生成表示所述输入图像的像素值与背景图像保持单元所保持的所述背景图像的对应像素值的相异程度的相异度；输出图像合成单元，其对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中；以及背景图像保存单元，其保存所述背景图像保持单元所保持的背景图像的像素值，在需要的背景图像被保存在所述背景图像保存单元中的情况下，所述背景图像保持单元将保存在所述背景图像保存单元中的背景图像复原后保持。
15.一种图像处理方法，其特征在于，在具有保持背景图像的像素值的背景图像保持单元、保存所述背景图像保持单元所保持的背景图像的背景图像保存单元以及保持输出图像的像素值的输出图像保持单元的图像处理装置中，具备以下步骤从多个输入图像中选出规定数量的输入图像来作为选择图像的步骤；对于所述选择图像的各对应像素位置，根据在所述选择图像的像素值中、具有规定分布的像素值，生成所述背景图像的对应像素位置的像素值，并保持在所述背景图像保持单元中的步骤；将所述背景图像保持单元所保持的背景图像保存在所述背景图像保存单元中的步骤；将所述背景图像保存单元所保存的背景图像复原后保持在所述背景图像保持单元中的步骤；相异度生成步骤，生成表示所述输入图像的像素值与背景图像保持单元所保持的所述背景图像的对应像素值的相异程度的相异度；以及输出图像合成步骤，对于所述输出图像的像素值，按照所述相异度来合成所述输入图像的对应像素位置的像素值，作为新的输出图像的像素值保持在所述输出图像保持单元中，每当新输入所述输入图像时，重复进行所述相异度生成步骤和所述输出图像合成步骤。
全文摘要
提供一种图像处理装置和图像处理方法，从按时间顺序拍摄的多个摄影图像中生成活动被摄体的轨迹合成图像，该活动被摄体的轨迹合成图像不受该摄影图像的背景状态、活动被摄体数量、大小、变形、颜色等影响。像素选择部(120)在按时间顺序拍摄的n张输入图像(110)中选择对应的像素位置的n个像素值。背景生成部(130)根据由像素选择部(120)提供的n个像素值生成背景值。背景值可采用像素值的最频值。相异度生成部(140)生成由背景生成部(130)提供的背景值与由像素选择部(120)提供的像素值之间的相异度。轨迹合成部(150)根据由相异度生成部(140)提供的相异度，合成由像素选择部(120)提供的像素值。
文档编号G06T7/20GK101072306SQ20071009732
公开日2007年11月14日 申请日期2007年5月8日 优先权日2006年5月8日
发明者小野博明 申请人:索尼株式会社