动态图像处理装置、动态图像处理方法以及程序的制作方法
【专利摘要】本发明的动态图像处理装置具备：块处理部，其以块为单位处理动态图像数据；切换部，其以所述块为单位切换使所述块处理部处理的动态图像数据；和切换控制部，其根据成为所述切换部的切换对象的多个动态图像数据的规定状态，改变由所述切换部切换该多个动态图像数据的顺序。
【专利说明】动态图像处理装置、动态图像处理方法以及程序
【技术领域】
[0001]本发明涉及对多个动态图像数据执行再生处理、记录处理等的规定处理的动态图像处理装置。
【背景技术】
[0002]在现有技术中，对多个动态图像数据同时进行编码来记录，或进行解码来再生。为了对多个动态图像数据进行编码或解码，需要对应的编解码(codec)硬件，存在通过I个编解码硬件来进行编码或解码的各种技术。例如，存在通过软件编解码器的使用来弥补编解码硬件的不足的技术，不过在该技术的情况下，存在处理很费时间的问题。
[0003]在专利文献I (日本特开2008-72336号公报)中，记载了不使用软件编解码器，通过I个编解码硬件，进行编码或解码的技术。该技术以GOP (Group Of Picture，图像组)为单位切换动态图像数据来进行编码或解码。
[0004]但是，在对多个动态图像数据同时进行编码来记录，或进行解码来再生的情况下，多个动态图像数据不一定是相同的GOP周期(或IDR周期)或相同的帧速率。
[0005]在上述的专利文献I记载的技术中，由于并未考虑在多个动态图像数据中具有不同的编解码的特性(动态图像数据的形式、再生/记录时的条件)的情况，因此在同时记录、同时再生中恐怕会产生问题。
【发明内容】
[0006]本发明鉴于上述情况而作，目的在于提供一种即使在多个动态图像数据中具有不同的编解码的特性(动态图像数据的形式、再生/记录时的条件)的情况下，在同时记录、同时再生中也不会产生问题的动态图像处理装置、动态图像处理方法以及程序。
[0007]本发明的一个方式，
[0008]为动态图像处理装置，其特征在于，具备:
[0009]块处理部，其以块为单位处理动态图像数据；
[0010]切换部，其以所述块为单位切换使所述块处理部处理的动态图像数据；和
[0011]切换控制部，其根据成为所述切换部的切换对象的多个动态图像数据的规定状态，改变由所述切换部切换该多个动态图像数据的顺序。
[0012]此外，本发明的其他的方式，
[0013]为使用以块为单位处理动态图像数据的块处理部来对多个动态图像数据同时执行规定处理的动态图像处理方法，
[0014]其特征在于，包含:
[0015]切换处理，其以块为单位切换使所述块处理部处理的动态图像数据；和
[0016]切换控制处理，其根据成为所述切换处理的切换对象的多个动态图像数据的规定状态，改变由所述切换部切换该多个动态图像数据的顺序。
[0017]此外，本发明的其他的方式，[0018]为记录了计算机的程序的非易失性(non-transitory)的记录介质，
[0019]其特征在于，
[0020]使使用以块为单位处理动态图像数据的块处理部来对多个动态图像数据同时执行规定处理的动态图像处理装置的计算机作为以下功能部来发挥作用:
[0021]切换部，其以所述块为单位对使所述块处理部处理的动态图像数据进行切换；和
[0022]切换控制部，其根据成为所述切换部的切换对象的多个动态图像数据的规定状态，改变由所述切换部切换该多个动态图像数据的顺序。
【专利附图】
【附图说明】
[0023]图1是在本发明的一个实施方式的动态图像处理装置中执行解码处理的情况下的框图。
[0024]图2是用于说明FIFO缓冲区域的示意图。
[0025]图3是示出图1的显示控制部所执行的显示控制处理的流程的流程图。
[0026]图4是示出图1的动态图像选择控制部所执行的动态图像选择控制处理的流程的流程图。
[0027]图5是示出图1的帧速率变更部所执行的帧速率变更处理的流程的流程图。
[0028]图6是示出图1的动态图像选择控制部所执行的动态图像选择控制处理的流程的其他示例的流程图。
[0029]图7是在本发明的一个实施方式的动态图像处理装置中进行编码处理的情况下的框图。
【具体实施方式】
[0030]以下，使用附图对本发明的实施方式进行说明。
[0031]本发明的一个实施方式所涉及的动态图像处理装置，遵循H.264 / MPEG (MovingPicture Experts Group,运动图像专家组)-4AVC (Advanced Video Coding,高级视频编码)来执行编码以及解码。
[0032]此外，动态图像处理装置，例如，对由多个摄像装置同时拍摄(同步拍摄)的动态图像，由I个编解码硬件进行编码,生成IDR(Instantaneous Decoder Refresh,即时解码器刷新)周期以及帧速率分别不同的多个动态图像数据，并存储到存储单元。
[0033]此外，动态图像处理装置，对通过上述的编码存储至存储单元的、IDR周期以及帧速率分别不同的多个动态图像数据，由I个编解码硬件进行解码，分割显示在I个显示单元来进行同时再生。
[0034]像这样构成的动态图像装置，不用按照每个编码或解码使用多个编解码硬件。
[0035]通常，在用I个编解码硬件对多个动态图像数据进行编解码的情况下，会使用软件编解码器，不过软件编解码器处理很费时间，但在本实施方式的动态图像处理装置中，由于不使用软件编解码器，因此动态图像数据的再生/存储的处理并不费时间。
[0036]关于像这样构成的动态图像处理装置，首先对解码处理进行说明。
[0037]图1是在本发明的一个实施方式的动态图像处理装置中执行解码处理的情况下的框图。[0038]“解码处理”是指，在本实施方式中，将在存储器单元(后述的DRAM11)中存储的多个动态图像数据适当地输入到I个解码器进行解码，将进行了解码的数据暂时保存到缓冲区，按照保存顺序依次向显示单元(后述的显示部19)进行输出，并对多个动态图像进行分割显示为止的一系列的处理。
[0039]另外，解码所使用的动态图像数据，是将由多个摄像装置拍摄的运动图像的数据编码为存储用的数据后的、IDR周期以及帧速率分别不同的动态图像数据。
[0040]动态图像处理装置I如图1所不,具备:DRAM(Dynamic Random Access Memory,动态随机存取存储器)11、输入切换部12、解码器13、输出切换部14、动态图像选择控制部15、IDR周期确定部16、帧速率变更部17、显示控制部18、和显示部19。
[0041]DRAMll既被用作暂时存储图像数据的缓冲存储器，又被用作各种功能部的工作(working)存储器。
[0042]此外，DRAMll存储IDR周期以及帧速率分别不同的多个动态图像数据1、2...n。
[0043]该多个动态图像数据l、2...n，是作为同时再生的多个动态图像数据被任意选择的数据。
[0044]此外，DRAMll具有按照每个动态图像数据来存储进行再生的动态图像数据的FIFO (First In,First Out，先进先出)缓冲区域。在该FIFO缓冲区域中存储的数据，按照最先进入到存储器的数据先被处理，直到该数据的处理结束才处理下一个进来的数据这样的动作原理进行处理。
[0045]图2是用于说明FIFO缓冲区域的示意图。
[0046]FIFO缓冲区域，如图1所示，按照每个进行显示再生的动态图像数据被确保。
[0047]各FIFO缓冲区域，如图2所示，对应于各IDR块(block)，确保了多个IDR块m区域、m-1区域、m_2区域、m_3区域。
[0048]此外，各FIFO缓冲区域，考虑帧速率、编解码的处理能力来确保区域。
[0049]此外，各FIFO缓冲区域构成为，按照每个动态图像数据，确保至少能够保存I个IDR周期的帧图像的容量以上。
[0050]此外，在DRAMll中构成为，通过后述的IDR周期确定部16的IDR周期的确定，在再生/记录之前确定被指定为再生/记录的对象的各动态图像数据的IDR周期，并根据该被确定的IDR周期动态地变更与各动态图像数据对应的存储器的容量。
[0051]像这样构成的FIFO缓冲区域，基于动态图像数据的解析结果，确保考虑了 IDR周期的区域。
[0052]具体来说，例如，在动态图像数据I的IDR周期为“NI”，动态图像数据I的单位帧图像的数据大小为“SI”字节的情况下，作为存储动态图像数据I的解码数据的FIFO缓冲区1，确保“N1XS1”的存储器区域。此外，在动态图像数据2的IDR周期为“N2”，动态图像数据2的单位帧图像的数据大小为“S2”字节的情况下，作为存储动态图像数据2的解码数据的FIFO缓冲区2，确保“N2XS2”的存储器区域。
[0053]因此，在动态图像处理装置I中，在将动态图像数据I以及动态图像数据2用于解码处理的情况下，首先，在对动态图像数据I的I个IDR周期的帧图像“NI”枚进行解码之后依次存储到FIFO缓冲区I。接着，在对动态图像数据2的I个IDR周期的帧图像“N2”枚进行解码之后依次存储到FIFO缓冲区2。重复这些处理。[0054]返回到图1，输入切换部12切换从在DRAMll中存储的动态图像数据中向解码器输出的动态图像数据。输入切换部12，通过动态图像选择控制部15，进行输入多个动态图像数据中的哪一个动态图像数据的切换控制。通过动态图像选择控制部15，输入切换部12将规定的动态图像数据输入到解码器13。
[0055]解码器13对由输入切换部12输出的动态图像数据进行解码，即，进行译码，取出压缩前的数据。
[0056]解码器13将取出的数据向输出切换部14输出。
[0057]输出切换部14，将由解码器13取出的数据(以下称为“解码数据”)存储到DRAMll的规定的FIFO缓冲区。输出切换部14，通过动态图像选择控制部15，进行将解码数据存储到多个规定的FIFO缓冲区的切换控制。通过动态图像选择控制部15，输出切换部14将解码数据存储到规定的FIFO缓冲区。
[0058]动态图像选择控制部15，基于由IDR周期确定部16确定的IDR周期以及由帧速率变更部变更了的动态图像数据的帧速率，对输入切换部12的、动态图像数据向解码器13的输入切换，以及输出切换部14的、解码数据向DRAMll的FIFO缓冲区的输出切换分别进行控制。
[0059]此外，动态图像选择控制部15，根据显示控制部18对显示部19的显示控制，基于显示部19上的各动态图像数据的再生时间，对输入切换部12的、动态图像数据向解码器13的输入切换，以及输出切换部14的、解码数据向DRAMll的FIFO缓冲区的输出切换分别进行控制。
[0060]具体来说，动态图像选择控制部15，例如，进行切换为再生时间最少的动态图像数据的控制。这时，动态图像选择控制部15也可以构成为，根据构成IDR周期的帧的数目和各动态图像数据的帧速率，将以规定块为单位已输入到解码器的动态图像数据的量换算为总再生时间，并以IDR周期为单位选择向解码器输入的动态图像数据，使得该总再生时间相等。
[0061]另外，动态图像处理装置I也可以构成为，根据按照每个IDR周期而不同的帧速率和构成各IDR周期的帧的数目来算出已输入到解码器的多个规定块的总再生时间。
[0062]此外，动态图像选择控制部15，基于DRAMll的各FIFO缓冲区的缓冲区余量，对输入切换部12的、动态图像数据向解码器13的输入切换，以及输出切换部14的、解码数据向DRAMll的FIFO缓冲区的输出切换分别进行控制。具体来说，动态图像选择控制部15进行如下控制，例如，从与缓冲区余量少的FIFO缓冲区相对应的动态图像数据切换为其他的动态图像数据，或切换为与缓冲区余量多的FIFO缓冲区相对应的动态图像数据。
[0063]IDR周期确定部16，解析存储于DRAMll的各动态图像数据，确定每个动态图像数据的IDR周期。“ IDR周期”是指，成为IDR帧的插入间隔的帧数。即，IDR周期确定部16解析动态图像数据，根据IDR帧的插入间隔确定IDR周期。
[0064]帧速率变更部17，根据用户的操作，从规定的动态图像数据的帧速率变更为用户所指定的任意的帧速率。
[0065]显示控制部18，控制显示部19使得将在DRAMlI的规定的FIFO缓冲区域中存储的解码数据显示输出。
[0066]显示控制部18，基于由IDR周期确定部16确定的IDR周期以及由帧速率变更部变更了的动态图像数据的帧速率，来决定存储进行显示控制的解码数据的FIFO缓冲区域，并控制显示部19使得将在所决定的FIFO缓冲区域中存储的解码数据显示输出。
[0067]显示部19由显示器等构成，通过显示控制部18的控制，将在DRAMll的规定的FIFO缓冲区域中存储的解码数据显示输出。
[0068]在如上所述构成的动态图像处理装置I中，即使在多个动态图像数据中具有不同编解码的特性(帧速率、IDR周期)的情况下，在同时再生中也不会产生问题。
[0069]图3是示出图1的显示控制部18所执行的显示控制处理的流程的流程图。
[0070]在该显示控制处理中，通过显示控制部18，随着再生预定时刻到来，按照帧速率从DRAMll的FIFO缓冲区取得已解码的动态图像数据，并以指定的帧速率的周期在显示部19分别进行再生显示。然后，在显示控制处理中，在成为进行同时再生的动态图像的数目的情况下，结束处理。
[0071]另外，已解码的动态图像数据，按照各数据的每个IDR块而帧速率不同。S卩，显示控制部18，基于各已解码的动态图像数据的每个IDR块的帧速率，进行显示部19中的再生显示的控制。
[0072]在步骤Sll中，显示控制部18设定“K = I”来进行成为处理对象的动态图像数据的编号(以下称为“动态图像编号”)的初始化。另外，“K”表示各进行了解码的动态图像数据的动态图像编号。
[0073]在步骤S12中，显示控制部18设定“ IDR块编号⑷=I ”。
[0074]在步骤S13中，显示控制部18设定“IDR块内帧编号⑷=I”。
[0075]在步骤S14中，显示控制部18对下一个帧的再生预定时刻(K)是否为当前时刻(“下一个帧的再生预定时刻(K)=当前时刻？”)进行判定。不过，在对各动态图像数据的开头帧进行再生时，因为下一个帧的再生预定时刻(K)没有被设定，所以当作满足该判定条件直接进行再生。
[0076]在下一个帧的再生预定时刻⑷不是当前时刻的情况下，在步骤S14中为“否”，处理前进到步骤S20。关于步骤S20以后的处理见后述。
[0077]与此相对，在下一个帧的再生预定时刻(K)为当前时刻的情况下，在步骤S14中为“是”，处理前进到步骤S15。
[0078]在步骤S15中，显示控制部18进行控制使得将FIFO缓冲区(K)内的由IDR块编号(K)、再生帧编号(K)表示的帧图像在显示部19上显示输出。其结果，FIFO缓冲区(K)内的由IDR块编号(K)、再生巾贞编号(K)表不的巾贞图像在显不部19上被显不输出。
[0079]在步骤S16中，显示控制部18设定“IDR块内帧编号⑷=IDR块内帧编号00+1”，使计数前进到下一个IDR块内帧编号(K)。
[0080]在步骤S17中，显示控制部18设定“B = IDR块编号⑷”且“下一个帧的再生预定时间(K)=当前时刻+1 /帧速率(K，B)”。
[0081]在此，“K”表示各进行了解码的动态图像数据的动态图像编号，“B”表示IDR块编号。“帧速率(K，B)”是指，在后述的帧速率变更处理中被生成或者被更新并被存储的二维排列数据，意味着规定的已解码的动态图像数据的规定的IDR块编号时的帧速率。
[0082]在步骤S18中，显示控制部18对IDR块内帧编号是否比IDR周期⑷大(“IDR块内帧编号>IDR周期⑷”)进行判定。[0083]在IDR块内帧编号比IDR周期⑷小的情况下，在步骤S18中判定为“否”，处理前进到步骤S20。
[0084]与此相对，在IDR块内帧编号比IDR周期⑷大的情况下，在步骤S18中判定为“是”，处理前进到步骤S19。
[0085]在步骤S19中，显示控制部18设定“ IDR块编号⑷=IDR块编号(K)+IIDR块内帧编号⑷=1”，使计数前进到下一个IDR块编号⑷的IDR块内帧编号⑷=I。
[0086]在步骤S20中，显示控制部18设定“K = K+1”，使计数前进。
[0087]在步骤S21中，显示控制部18对K是否比同时再生的动态图像的数目多(“K〉同时再生的动态图像的数目？”)进行判定。
[0088]在同时再生的动态图像的数目比K多的情况下，在步骤S21中判定为“否”，处理返回到步骤S2，执行步骤S2以后的处理。
[0089]与此相对，在K比同时再生的动态图像的数目多的情况下，在步骤S21中判定为“是”，处理前进到步骤S22。
[0090]在步骤S22中，显示控制部18对显示控制处理是否结束进行判定。
[0091]在显示控制处理未结束的情况下，在步骤S22中判定为“否”，处理返回到步骤S11，执行步骤Sll以后的处理。
[0092]与此相对，在显示控制处理结束的情况下，在步骤S22中判定为“是”，显示控制处
理结束。
[0093]因此，在上述的显示控制处理中，显示控制部18进行基于帧速率将在DRAMll的FIFO缓冲区中存储的已解码的动态图像数据在显示部19上显示再生的控制。而且，显示控制部18基于已解码的动态图像数据的帧速率，设定下一个再生时刻。此外，显示控制部18搜索可再生的已解码的动态图像数据并待机直到下一个再生时刻到来为止。
[0094]然后，显示控制部18进行对再生时刻到来的已解码的动态图像数据进行再生，并设定下一个再生时刻的处理。
[0095]以上，对图1的显示控制部18所执行的显示控制处理的流程进行了说明。
[0096]以下，对图1的动态图像选择控制部15所执行的动态图像选择控制处理的流程进行说明。
[0097]图4是示出图1的动态图像选择控制部15所执行的动态图像选择控制处理的流程的流程图。
[0098]在该动态图像选择控制处理中，动态图像选择控制部15基于在显示部19进行了再生的时间的总时间(以下称为“总处理再生时间”)进行动态图像数据的选择。详细来说，动态图像选择控制部15选择总处理再生时间最短的动态图像数据并控制输入切换部12以及输出切换部14。
[0099]在步骤S41中，动态图像选择控制部15设定“K = I”来进行成为处理对象的动态图像数据的编号(以下称为“动态图像编号”)的初始化。
[0100]在步骤S42中，动态图像选择控制部15设定“IDR块编号(K)=l”。
[0101]在步骤S43中，动态图像选择控制部15控制输入切换部12使得由IDR块编号(K)指定的块的压缩数据输入到解码器13。其结果，规定的动态图像数据中的块的压缩数据通过输入切换部12输入到解码器13。[0102]在步骤S44中，动态图像选择控制部15设定“IDR块编号⑷=IDR块编号00+1”，使计数前进到下一个IDR块编号(K)。
[0103]在步骤S45中，动态图像选择控制部15设定“B = IDR块编号(K)
[0104]总处理再生时间(K)=总处理再生时间(K)+IDR周期(K) /帧速率(K，B) ”。
[0105]在步骤S46中，动态图像选择控制部15对前一个输入块的解码是否完成进行判定。
[0106]在前一个输入块的解码未完成的情况下，在步骤S46中判定为“否”，直到前一个输入块的解码完成为止，处于待机状态。
[0107]与此相对，在前一个输入块的解码完成的情况下，在步骤S46中判定为“是”，处理前进到步骤S47。
[0108]在步骤S47中，动态图像选择控制部15确定(在X = 1、2、3...中)总处理再生时间(X)最小的X。
[0109]在步骤S48中，动态图像选择控制部15设定“K = X”，进行对输入切换部12以及输出切换部14进行切换的控制。
[0110]在步骤S49中，动态图像选择控制部15对动态图像选择控制处理是否结束进行判定。
[0111]在动态图像选择控制处理未结束的情况下，在步骤S49中判定为“否”，处理返回到步骤S42，执行步骤S42以后的处理。
[0112]与此相对，在动态图像选择控制处理结束的情况下，在步骤S49中判定为“是”，动态图像选择控制处理结束。
[0113]因此，在上述的动态图像选择控制处理中，动态图像选择控制部15进行如下处理:对输入切换部12以及输出切换部14进行控制，使得对在DRAMll中存储的动态图像数据依次选择在显示部19上的总处理再生时间最短的动态图像数据。
[0114]以上，对图1的动态图像选择控制部15所执行的动态图像选择控制处理的流程进行了说明。
[0115]以下，对图1的帧速率变更部17所执行的帧速率变更处理的流程进行说明。
[0116]图5是示出图1的帧速率变更部17所执行的帧速率变更处理的流程的流程图。
[0117]在该帧速率变更处理中，通过帧速率变更部17，以IDR块为单位，由用户在任意的时刻变更动态图像数据的帧速率。任意的时刻是指，不论是动态图像数据的再生前，还是动态图像数据的再生中，在任意的时刻都可以变更。
[0118]在步骤S61中，帧速率变更部17对是否存在来自用户的再生帧速率的变更指示进行判定。
[0119]在没有来自用户的再生帧速率的变更指示的情况下，在步骤S61中判定为“否”，变为待机状态。
[0120]与此相对，在存在来自用户的再生帧速率的变更指示的情况下，在步骤S61中被判定为“是”，处理前进到步骤S62。
[0121]在步骤S62中，帧速率变更部17设定“K =被指定的动态图像编号”，来确定变更对象的动态图像数据。
[0122]在步骤S63中，帧速率变更部17对是否存在来自用户的IDR块编号的指定进行判定。
[0123]在没有来自用户的IDR块编号的指定的情况下，在步骤S63中被判定为“否”，处理前进到步骤S64。
[0124]在步骤S64中，帧速率变更部17设定“B = IDR块编号(K)+1”，使计数从当前的IDR块编号前进到下一个IDR块编号。然后，处理前进到步骤S66。关于步骤S66的处理见后述。
[0125]与此相对，在存在来自用户的IDR块编号的指定的情况下，在步骤S63中被判定为“是”，处理前进到步骤S65。
[0126]在步骤S65中，帧速率变更部17设定“B =被指定的IDR块编号(K) ”,从而前进到被指定的IDR块编号。
[0127]在步骤S66中，帧速率变更部17设定“帧速率(K，B)=被指定的帧速率”，来存储帧速率。该帧速率(K，B)为二维排列数据。
[0128]在步骤S67中，帧速率变更部17对帧速率变更处理是否结束进行判定。
[0129]在帧速率变更处理未结束的情况下，在步骤S67中被判定为“否”，处理返回到步骤S61，执行步骤S61以后的处理。
[0130]与此相对，在帧速率变更处理结束的情况下，在步骤S67中被判定为“是”，帧速率变更处理结束。
[0131]因此，在上述的帧速率变更处理中，帧速率变更部17进行来自用户的以IDR块为单位的动态图像数据的帧速率的变更的处理。另外，在没有来自用户的以IDR块为单位的指定的情况下，自动地变更下一个IDR块的帧速率。
[0132]〈变形例〉
[0133]在上述的动态图像选择控制处理中，动态图像选择控制部15构成为，根据总处理再生时间来进行输入切换部12以及输出切换部14的切换，但在本变形例中，动态图像选择控制部15构成为，根据FIFO缓冲区域的余量，进行输入切换部12以及输出切换部14的切换。
[0134]具体来说，在FIFO缓冲区域的余量剩下少的情况下，选择其他的动态图像数据，或在FIFO缓冲区域的余量多的情况下，选择该FIFO缓冲区域的余量多的动态图像数据。
[0135]图6是示出图1的动态图像选择控制部15所执行的动态图像选择控制处理的流程的其他示例的流程图。
[0136]在步骤S81中，动态图像选择控制部15设定“K = I”来进行成为处理对象的动态图像编号的初始化。
[0137]在步骤S82中，动态图像选择控制部15对前一个输入块的解码是否完成进行判定。
[0138]在前一个输入块的解码未完成的情况下，在步骤S82中被判定为“否”，直到前一个输入块的解码完成为止，处于待机状态。
[0139]与此相对，在前一个输入块的解码完成的情况下，在步骤S82中被判定为“是”，处理前进到步骤S83。
[0140]在步骤S83中，动态图像选择控制部15对FIFO缓冲区域的余量(K)是否为规定以上进行判定。[0141]在FIFO缓冲区域的余量(K)不是规定以上的情况下，在步骤S83中被判定为“否”处理返回到步骤S82，执行步骤S82以后的处理。
[0142]与此相对，在FIFO缓冲区域的余量(K)为规定以上的情况下，在步骤S83中被判定为“是”处理前进到步骤S84。
[0143]在步骤S84中，动态图像选择控制部15确定FIFO缓冲区域的余量(X)最小的X。
[0144]在步骤S85中，动态图像选择控制部15设定“K = X”，进行对输入切换部12以及输出切换部14进行切换的控制。
[0145]在步骤S86中，动态图像选择控制部15对动态图像选择控制处理是否结束进行判定。
[0146]在动态图像选择控制处理未结束的情况下，在步骤S86中被判定为“否”，处理返回到步骤S82，执行步骤S82以后的处理。
[0147]与此相对，在动态图像选择控制处理结束的情况下，在步骤S86中被判定为“是”，动态图像选择控制处理结束。
[0148]以上，对本实施方式中的动态图像处理装置I的解码处理进行了说明。
[0149]以下，对本实施方式中的动态图像处理装置I的编码处理进行说明。
[0150]本实施方式中的“编码处理”是指，将由多个摄像装置拍摄的动态图像通过I个编码器进行适当编码，将进行了编码的数据暂时保存在DRAMll中，并依次存储至存储部为止的一系列的处理。
[0151]图7是在本发明的一个实施方式的动态图像处理装置I中进行编码处理的情况下的框图。
[0152]本实施方式的动态图像处理装置1，在执行编码处理的情况下，I个编解码硬件作为编码器发挥作用。即，在动态图像处理装置I中，在解码处理中作为解码器发挥了作用的编解码硬件作为编码器来发挥作用。
[0153]另外，以下，关于在上述的解码处理和编码处理中相同的功能构成，附上相同的符号并参照上述的解码处理的说明，从而省略说明。
[0154]输入切换部12从摄像装置取得成为动态图像数据的数据。
[0155]IDR周期确定部16基于编码器13所产生的编码器结果，确定各动态图像数据的IDR周期。
[0156]存储控制部20考虑帧速率变更部17所进行的帧速率的变更、由IDR周期确定部16确定的IDR周期、FIFO缓冲区的余量、输入切换部12中的数据的输入时间等，控制动态图像数据向DRAMll的存储。
[0157]另外，动态图像选择控制部15以及存储控制部20中的动态图像的选择控制以及存储控制，也可以应用和解码器的情况同样的基准。
[0158]通过像这样构成，在动态图像处理装置I中，即使在多个动态图像数据中具有不同的编解码的特性的情况下，在同时记录时也不会产生问题。
[0159]此外，在上述的动态图像处理装置I中，在不同的时刻进行编码处理和解码处理，即，构成为使编解码硬件在不同的时刻发挥编码的功能和解码的功能。但是，在动态图像处理装置I中，可以构成为不是以处于不同的时刻的数据处理为单位，而是以规定的动态图像数据的IDR周期为单位交替地进行编码处理和解码处理。[0160]通过像这样构成，在动态图像处理装置I中，能够使I个编解码硬件资源有效。
[0161]如上所述构成的动态图像处理装置1，对多个动态图像数据，一边由具有编码器/编码器功能的I个编解码硬件进行解码或编码，一边同时进行再生或记录。
[0162]动态图像处理装置I也作为对多个动态图像数据同时执行规定处理的同时执行控制部而发挥作用。
[0163]动态图像处理装置I也作为对成为所述同时执行控制部的同时执行的对象的多个动态图像数据任意进行选择的多个动态图像选择部而发挥作用。
[0164]编解码硬件也作为以块为单位来处理动态图像数据的块处理部而发挥作用。
[0165]动态图像处理装置I具有动态图像选择控制部15和DRAMlI。
[0166]动态图像选择控制部15控制输入切换部12以及输出切换部14，使得按照每个规定块(构成IDR周期的IDR帧)依次一边切换一边选择向解码器或编码器输入或输出的动态图像数据。
[0167]输入切换部12和输出切换部14，也作为以所述块为单位来切换使块处理部进行处理的动态图像数据的切换部而发挥作用。
[0168]DRAMll对由解码器或编码器输出的已解码或已编码的动态图像数据在被再生或记录为止的期间暂时地进行存储。
[0169]对于动态图像数据，成为规定块的构成IDR周期的IDR帧的数目、或者再生或记录的速度即帧速率中的至少一方按照每个数据而不同。
[0170]动态图像选择控制部15根据按照每个动态图像数据而不同的构成IDR周期的IDR帧的数目、或帧速率，进行动态图像数据的切换时刻的决定和进行切换的动态图像数据的选择。
[0171]因此，在动态图像处理装置I中，对于成为规定块的构成IDR周期的IDR帧的数目、或者再生或记录的速度即帧速率中的至少一方按照每个数据而不同的多个动态图像数据，由动态图像选择控制部15，根据按照每个动态图像数据而不同的构成IDR周期的IDR帧的数目或帧速率来进行动态图像数据的切换时刻的决定，并进行切换。
[0172]该动态图像选择控制部15也作为根据成为切换部的切换对象的多个动态图像数据的规定状态，改变由切换部切换该多个动态图像数据的顺序的切换控制部而发挥作用。
[0173]因此，在动态图像处理装置I中，即使在多个动态图像数据中具有不同的编解码的特性的情况下，在同时记录、同时再生中也不会产生问题。
[0174]此外，在动态图像处理装置I中，再生或记录的速度即帧速率，构成为在再生中可变更。
[0175]动态图像选择控制部15还根据在再生中发生变化的再生或记录的速度即帧速率，进行动态图像数据的切换时刻的决定和进行切换的动态图像数据的选择。
[0176]因此，在动态图像处理装置I中，即使在再生中由用户变更了帧速率的情况下，在同时记录、同时再生中也不会产生问题。
[0177]此外，作为再生或记录速度的帧速率，构成为能够以IDR周期为单位而变更。
[0178]因此，在动态图像处理装置I中，即使在多个动态图像数据中作为不同的编解码的特性，IDR周期不同的情况下，在同时记录、同时再生中也不会产生问题。
[0179]此外，DRAMll的容量构成为按照每个动态图像数据而不同。[0180]动态图像选择控制部15还根据按照每个动态图像数据而不同的DRAMll的容量，进行动态图像数据的切换时刻的决定和进行切换的动态图像数据的选择。
[0181]因此，在动态图像处理装置I中，因为根据处理的动态图像数据，动态地决定存储器容量，所以对于动态图像的处理不会消耗多余的存储器容量。
[0182]此外，在DRAMll中，按照每个动态图像数据，确保至少能够保存I个IDR周期的帧图像的容量以上。
[0183]因此，在动态图像处理装置I中，即使在多个动态图像数据中作为不同的编解码的特性，IDR周期不同的情况下，在同时记录、同时再生中也不会产生问题。
[0184]此外，在DRAMll中构成为，在再生或记录之前确定作为再生或记录的对象而被指定的各动态图像数据的IDR周期，根据该确定的IDR周期动态地变更与各动态图像数据相对应的存储器的容量。
[0185]因此，在动态图像处理装置I中，因为能够根据IDR周期进行处理预测，所以不会消耗多余的存储器容量。
[0186]此外，动态图像处理装置I具备显示控制部18。
[0187]DRAMll为按照每个动态图像数据而设置的FIFO形式的缓冲存储器。
[0188]显示控制部18将保存在各FIFO存储器中的已解码的帧图像数据，以与各动态图像数据的帧速率相应的速度依次读出并向显示部19进行转送。
[0189]动态图像选择控制部15根据构成IDR周期的帧的数目和各动态图像数据的帧速率，将以规定块为单位已输入到解码器的动态图像数据的数量换算为总再生时间，以IDR周期为单位选择向解码器输入的动态图像数据，使得该总再生时间相等。
[0190]因此，在动态图像处理装置I中，即使在多个动态图像数据中编解码的特性不同的情况下，因为以总再生时间为基准进行同时再生的处理，所以在再生处理中也不会产生问题。
[0191]动态图像选择控制部15根据按照每个IDR周期而不同的帧速率和构成各IDR周期的帧的数目来算出已输入到解码器的多个规定块的总再生时间。
[0192]因此，在动态图像处理装置I中，即使在多个动态图像数据中编解码的特性不同的情况下，因为以总再生时间为基准进行同时再生的处理，所以在再生处理中也不会产生问题。
[0193]DRAMll为按照每个动态图像数据而设置的FIFO形式的缓冲存储器。
[0194]显示控制部18以及存储控制部20以与再生或记录的速度相应的帧速率依次读出保存在各FIFO存储器中的已解码或已编码的帧图像数据，并进行再生或记录。
[0195]动态图像选择控制部15，在解码或编码中的动态图像所对应的FIFO存储器内的已解码或已编码的数据成为规定比例以上的时刻，或者，不处于解码或编码中的其他的动态图像所对应的FIFO存储器内的已解码或已编码的数据成为规定比例以下的时刻，进行向其他的动态图像的切换。
[0196]因此，在动态图像处理装置I中，即使在多个动态图像数据中编解码的特性不同的情况下，因为以缓冲存储器的容量为基准，所以在同时记录、同时再生中也不会产生问题。
[0197]此外，在动态图像处理装置I中，I个编解码硬件(解码器13 /编码器13)能够选择性地处理解码功能和编码功能，一边以IDR周期为单位交替地切换进行再生的动态图像数据和进行记录的动态图像数据，一边交替地进行解码和编码。
[0198]因此，在动态图像处理装置I中，能够使I个编解码硬件资源有效。
[0199]另外，本发明并不限定于上述的实施方式，在能够达成本发明的目的的范围内的变形、改良等包含在本发明中。
[0200]在上述的实施方式中，构成为帧速率变更部17中的帧速率的变更，在用户的任意的时刻进行，但也可以在同步再生等的处理开始前预先进行变更，也可以在同步再生中进行变更。变更的时刻也可以不是紧挨变更指示之后，例如，也可以构成为对动态图像的后半部分等规定的IDR块进行指定。
[0201]另外，在上述的实施方式中，作为遵循H.264 / MPEG-4AVC的方式进行了说明，但其他的方式也能够应用。例如，虽然将输入数据和输出数据设为了相同IDR周期(N)，但构成为分别为不同的周期(NI，N2)也能够应用。在该情况下，IDR周期构成为以不同的周期(N1,N2)的最小公倍数为单位进行解码以及编码。
[0202]此外，在上述的实施方式中，应用本发明的动态图像处理装置1，以数码照相机为例进行了说明，但并不特别限定于此。
[0203]例如，本发明能够普遍应用于具备具有编码/解码功能的I个编解码硬件的电子设备。具体来说，例如本发明能够应用于，笔记本式的个人计算机、打印机、电视接收机、摄像机、便携式导航装置、便携式电话机、便携式游戏机等。
[0204]上述的一系列的处理，能够通过硬件来执行,也能够通过软件来执行。
[0205]换言之，图1的功能构成不过是示例，并不作特别限定。即，只要动态图像处理装置I具备能够将上述的一系列的处理作为整体来执行的功能即可，为了实现该功能而采用怎样的功能模块并不限定于图1的示例。
[0206]此外，I个功能模块，可以由硬件单体构成，也可以由软件单体构成，还可以由他们的组合构成。
[0207]在由软件来执行一系列的处理的情况下，构成该软件的程序，从网络或记录介质被安装到计算机等。
[0208]计算机也可以是嵌入到专用的硬件中的计算机。此外，计算机也可以是能够通过安装各种程序，来执行各种功能的计算机，例如也可以是通用的个人计算机。
[0209]包含这种程序的记录介质，不仅由为了向用户提供程序而与装置本体分开配置的可移动介质等构成，还由以预先嵌入到装置本体中的状态提供给用户的记录介质等而构成。可移动介质等，例如由磁盘(包含软盘)、光盘、或光磁盘等构成。光盘，例如由CD—ROM (Compact Disk—Read Only Memory) >DVD (Digital Versatile Disk)等构成。光磁盘由MD (Mini—Disk)等构成。此外，以预先嵌入到装置本体中的状态提供给用户的记录介质，例如由记录了程序的存储单元等构成。
[0210]另外，在本说明书中，对在记录介质中记录的程序进行记述的步骤，当然包含沿着其顺序按照时间序列进行的处理，而且还包含不一定按照时间序列进行处理，而是并行或者单独地执行的处理。
[0211]以上，对本发明的几个实施方式进行了说明，但这些实施方式，不过是例示，并不限定本发明的技术范围。本发明能够采取其他的各种各样的实施方式，并且，在不脱离本发明的主旨的范围内，能够进行省略或置换等各种变更。这些实施方式及其变形，被包含在本说明书等所记载的发明的范围、主旨内，并且被包含在权利要求书所记载的发明及其均等的范围内。
【权利要求】
1.一种动态图像处理装置，其特征在于，具备: 块处理部，其按照块单位处理动态图像数据； 切换部，其按照所述块单位来切换使所述块处理部处理的动态图像数据；和切换控制部，其根据成为所述切换部的切换对象的多个动态图像数据的规定状态，改变由所述切换部切换该多个动态图像数据的顺序。
2.根据权利要求1所述的动态图像处理装置，其特征在于， 还具备同时执行控制部，其对多个动态图像数据同时执行规定处理， 所述块处理部，按照块单位进行用于所述规定处理的前处理， 所述切换部，将成为所述同时执行控制部的同时执行的对象的多个动态图像数据作为切换对象。
3.根据权利要求2所述的动态图像处理装置，其特征在于， 还具备对成为所述同时执行控制部的同时执行的对象的多个动态图像数据任意地进行选择的多个动态图像选择部。
4.根据权利要求1所述的动态图像处理装置，其特征在于， 所述切换控制部，根据成为所述切换部的切换对象的多个动态图像数据的记录状态，改变由所述切换部切换该多个动态图像数据的顺序。
5.根据权利要求2所述的动态图像处理装置，其特征在于， 所述切换控制部，根据所述规定处理对成为所述同时执行控制部的同时执行的对象的多个动态图像数据的执行状态，改变由所述切换部切换该多个动态图像数据的顺序。
6.根据权利要求2所述的动态图像处理装置，其特征在于， 所述块处理部，按照块单位对动态图像数据进行解码， 所述同时执行控制部，对多个动态图像数据同时执行再生处理。
7.根据权利要求2所述的动态图像处理装置，其特征在于， 所述块处理部，按照块单位对动态图像数据进行编码， 所述同时执行控制部，对多个动态图像数据同时执行记录处理。
8.根据权利要求1所述的动态图像处理装置，其特征在于， 还具备: 存储器，其存储由所述块处理部进行前处理之前的多个动态图像数据；和缓冲存储器，其在执行所述规定处理为止的期间暂时存储由所述块处理部进行前处理之后的动态图像数据，具有与多个动态图像数据对应的多个存储区域， 所述切换部具有: 输入切换部，其从在所述存储器中存储的多个动态图像数据中，按照所述块单位来切换使所述块处理部处理的动态图像数据；和 输出切换部，其按照所述块单位对暂时存储从所述块处理部输出的动态图像数据的所述缓冲存储器内的区域进行切换。
9.根据权利要求8所述的动态图像处理装置，其特征在于， 还具备显示控制部，所述显示控制部使在所述缓冲存储器内存储的动态图像数据显示在显示部。
10.根据权利要求8所述的动态图像处理装置，其特征在于，还具备存储控制部，所述存储控制部使在所述缓冲存储器内存储的动态图像数据存储到存储部。
11.根据权利要求1所述的动态图像处理装置，其特征在于， 所述切换控制部，根据成为所述切换部的切换对象的多个动态图像数据的规定状态，进行由所述切换部切换该多个动态图像数据的切换时刻的决定、和在各个时刻进行切换的动态图像数据的选择。
12.根据权利要求1所述的动态图像处理装置，其特征在于， 构成所述块的帧的数目按照每个动态图像数据而不同， 所述切换控制部，根据按照每个动态图像数据而不同的构成所述块的帧的数目，改变由所述切换部切换所述多个动态图像数据的顺序。
13.根据权利要求6所述的动态图像处理装置，其特征在于， 通过所述同时执行控制部，动态图像数据的再生速度按照每个动态图像数据而不同， 所述切换控制部，根据按照每个动态图像数据而不同的所述再生速度，改变由所述切换部切换所述多个动态图像数据的顺序。
14.根据权利要求13所述的动态图像处理装置，其特征在于， 所述再生速度，在通过所述同时执行控制部进行的多个动态图像数据的同时再生中按照所述块单位进行变化， 所述切换控制部，根据在同时再生中变化的所述再生速度，改变由所述切换部切换所述多个动态图像数据的顺序。`
15.根据权利要求7所述的动态图像处理装置，其特征在于， 通过所述同时执行控制部，动态图像数据的记录速度按照每个动态图像数据而不同， 所述切换控制部，根据按照每个动态图像数据而不同的所述记录速度，改变由所述切换部切换所述多个动态图像数据的顺序。
16.根据权利要求15所述的动态图像处理装置，其特征在于， 所述再生速度，在通过所述同时执行控制部进行的多个动态图像数据的同时记录中按照所述块单位进行变化， 所述切换控制部，根据在同时记录中变化的所述记录速度，改变由所述切换部切换所述多个动态图像数据的顺序。
17.根据权利要求1所述的动态图像处理装置，其特征在于， 所述块单位，将以动态图像数据的IDR帧为划分的多个帧所构成的块作为单位。
18.根据权利要求8所述的动态图像处理装置，其特征在于， 所述缓冲存储器的容量，按照每个动态图像数据而不同， 所述切换控制部，根据按照每个动态图像数据而不同的所述缓冲存储器的容量，改变由所述切换部切换所述多个动态图像数据的顺序。
19.根据权利要求18所述的动态图像处理装置，其特征在于， 所述缓冲存储器，对每个动态图像数据，确保至少能够保存I个所述IDR的周期的帧图像的容量以上。
20.根据权利要求19所述的动态图像处理装置，其特征在于， 确定各动态图像数据的IDR周期，根据所确定的该IDR周期动态地改变与各动态图像数据对应的缓冲存储器的容量。
21.一种动态图像处理装置，其一边由I个解码器对多个动态图像数据进行解码，一边对该多个动态图像数据同时进行再生， 所述动态图像处理装置的特征在于，具有: 控制部，其按照每个规定块顺序地切换向所述解码器输入或从所述解码器输出的动态图像数据，同时进行选择；和 缓冲存储器，其在对从所述解码器输出的已解码的动态图像数据进行再生为止的期间，对该已解码的动态图像数据暂时进行存储， 构成所述规定块的帧的数目、或所述再生的速度中的至少一方，按照每个动态图像数据而不同， 所述控制部，根据按照每个动态图像数据而不同的构成所述规定块的帧的数目、或所述再生的速度，进行所述动态图像数据的切换时刻的决定、和进行切换的动态图像数据的选择。
22.根据权利要求21所述的动态图像处理装置，其特征在于， 所述缓冲存储器，是对每个动态图像数据设置的FIFO形式的缓冲存储器， 所述动态图像处理装置具备显示控制部，所述显示控制部将在各FIFO存储器中保存的已解码的帧图像数据，以与各动态图像数据的帧速率相应的速度依次读出并向显示设备进行转送， 所述控制部，将按照所述规定块单位已输入到解码器的动态图像数据的量，根据构成所述规定块的帧的数目和各动态图像数据的再生速度，换算为总再生时间，选择按照所述规定块单位向解码器输入的动态图像数据，使得各动态图像数据的该总再生时间相等。
23.根据权利要求22所述的动态图像处理装置，其特征在于， 所述控制部，根据按照每个规定块而不同的再生速度和构成各规定块的帧的数目来算出已输入到所述解码器的多个规定块的总再生时间。
24.根据权利要求21所述的动态图像处理装置，其特征在于， 所述缓冲存储器，是对每个动态图像数据设置的FIFO形式的缓冲存储器， 所述动态图像处理装置具备控制部，所述控制部使在各FIFO存储器中保存的已解码的帧图像数据，以与再生的速度相应的速度依次读出并进行再生， 所述控制部，在解码中的动态图像所对应的FIFO存储器内的已解码数据成为规定比例以上的时刻、或者不处于解码中的其他动态图像所对应的FIFO存储器内的已解码数据成为规定比例以下的时刻，进行向其他动态图像的切换。
25.一种动态图像处理装置，其一边由I个编码器对多个动态图像数据进行编码，一边对该多个动态图像数据同时进行记录， 所述动态图像处理装置的特征在于，具有: 控制部，其按照每个规定块顺序地切换向所述编码器输入或从所述编码器输出的动态图像数据，同时进行选择；和 缓冲存储器，其在对从所述编码器输出的已编码的动态图像数据进行记录为止的期间，对该已编码的动态图像数据暂时进行存储， 构成所述规定块的帧的数目、或所述记录的速度中的至少一方，按照每个动态图像数据而不同， 所述控制部，根据按照每个动态图像数据而不同的构成所述规定块的帧的数目、或所述记录的速度，进行所述动态图像数据的切换时刻的决定、和进行切换的动态图像数据的选择。
26.根据权利要求25所述的动态图像处理装置，其特征在于， 所述控制部，根据按照每个规定块而不同的记录速度和构成各规定块的帧的数目来算出已输入到所述编码器的多个规定块的总再生时间。
27.根据权利要求25所述的动态图像处理装置，其特征在于， 所述缓冲存储器，是对每个动态图像数据设置的FIFO形式的缓冲存储器， 所述动态图像处理装置具备控制部，所述控制部使在各FIFO存储器中保存的已解码的帧图像数据，以与再生的速度相应的速度依次读出并进行记录， 所述控制部，在解码中的动态图像所对应的FIFO存储器内的已编码数据成为规定比例以上的时刻、或者不处于编码中的其他动态图像所对应的FIFO存储器内的已编码数据成为规定比例以下的时刻，进行向其他动态图像的切换。
28.根据权利要求25所述的动态图像处理装置，其特征在于， 所述缓冲存储器，是对每个动态图像数据设置的FIFO形式的缓冲存储器， 所述动态图像处理装置具备控制部，所述控制部使在各FIFO存储器中保存的已编码的帧图像数据，以与记录的速度相应的速度依次读出并进行记录， 所述控制部，在编码中的 动态图像所对应的FIFO存储器内的已编码数据成为规定比例以上的时刻、或者不处于编码中的其他动态图像所对应的FIFO存储器内的已编码数据成为规定比例以下的时刻，进行向其他动态图像的切换。
29.根据权利要求1所述的动态图像处理装置，其特征在于， 所述块处理部，能够选择性地处理解码功能和编码功能，对进行再生的动态图像数据和进行记录的动态图像数据，一边按照所述规定块单位交替地进行切换，一边交替地进行解码和编码。
30.一种动态图像处理方法，其使用按照块单位处理动态图像数据的块处理部来对多个动态图像数据同时执行规定处理， 所述动态图像处理方法的特征在于，包含: 切换处理，其按照所述块单位切换使所述块处理部处理的动态图像数据；和 切换控制处理，其根据成为所述切换处理的切换对象的多个动态图像数据的规定状态，改变通过所述切换处理切换该多个动态图像数据的顺序。
【文档编号】H04N19/20GK103686180SQ201310421503
【公开日】2014年3月26日 申请日期:2013年9月16日 优先权日:2012年9月20日
【发明者】坂本升平, 筒见胜纪, 小川浩良, 村木淳 申请人:卡西欧计算机株式会社