图像编码装置及图像编码方法与流程

本发明涉及一种图像编码装置及图像编码方法。

背景技术：

已知一种输出即使从图像流中途也能够进行快速的再现及容易的编辑的图像流、而不会损坏编码效率的技术(例如，参照日本特开2006-340001号公报)。

另外，已知一种能够在抑制编码效率降低的同时、将有笑脸或哭脸等表情的场景创建成参考帧以进行快速的再现及容易的编辑的技术(例如，参照日本特开2010-161740号公报)。

技术实现要素：

发明所要解决的课题

作为动态图像的编码方式，例如，已知有h.264/mpeg-4avc。作为h.264/mpeg-4avc中使用的图片的类型，有仅根据同一画面内的信息进行编码的i图片、利用与时间上在前的图片的差异进行编码的p图片、以及能够利用与时间上在前的图片的差异和与时间上在后的图片的差异之间的差异的b图片。另外，有一种称为idr(instantdecoderrefresh：即时解码器刷新)图片的受限制的i图片，该i图片禁止将比自身靠前的图片作为参照图像进行参照。下面，对使用idr图片作为i图片的情况进行说明。

例如，当再现用h.264/mpeg-4avc进行了编码的动态图像数据时，需要从没有进行帧间参照的idr图片进行解码。例如，当从动态图像数据的中途的某个时刻再现(解码)时，在该时刻的图片是idr图片的情况下，可从该时刻的部位再现，但是在该时刻的图片不是idr图片的情况下，需要搜索比该时刻靠前的最近的idr图片或者比该时刻靠后的最近的idr图片，从搜索到的idr图片再现。因此，在指定的时刻的图片不是idr图片的情况下，需要从该时刻之前或之后的idr图片解码。这在进行从被编码的动态图像数据中删除(在时间上)不需要的部分等编辑的情况下也是同样的。

图1是对现有的视频编辑的例子进行说明的图。

如图1所示，例如，用两台照相机(第一照相机及第二照相机)分别从不同角度同时拍摄同一被摄体，存在用每个照相机拍摄并编码的两个动态图像数据。图1的上段表示用第一照相机拍摄并编码的第一动态图像数据，中段表示用第二照相机拍摄并编码的第二动态图像数据。在图1的动态图像数据中，idr图片的部位标记为idr，没有特别标记的部位的图片类型是p图片或b图片。

在视频编辑中，在编辑两个动态图像数据来创建一个动态图像数据的情况下，当在时刻t1从第一动态图像数据切换到第二动态图像数据时，由于第二动态图像数据的时刻t1的图片不是idr图片，所以从时刻t1开始不能使用，而是从比时刻t1靠后的时刻t2的idr图片再现(解码)。这样，在图1的下段所示的编辑后的动态图像数据中，时刻t1至时刻t2期间的第二动态图像数据不能使用，在编辑后的动态图像数据中，在从时刻t0到时刻t1的第一动态图像数据之后，合并从时刻t2开始的第二动态图像数据。因此，在编辑后的动态图像数据中，在从时刻t0到时刻t1的第一动态图像数据之后，再现从时刻t2开始的第二动态图像数据。

同样地，当在时刻t3从第二动态图像数据切换到第一动态图像数据时，由于第一动态图像数据的时刻t3的图片不是idr图片，所以不能使用，而是从比时刻t3靠后的时刻t4的idr图片再现(解码)。在图1的下段所示的编辑后的动态图像数据中，从时刻t3到时刻t4期间的第一动态图像数据不能使用。因此，在编辑后的动态图像数据中，在从时刻t2到时刻t3的第二动态图像数据之后，再现从时刻t4开始的第一动态图像数据。

像图1的编辑后的动态图像数据那样，编辑源的两个动态图像数据中的时刻t1至t2的部位及时刻t3至t4的部位从编辑后的动态图像数据中去除。

这样，在编辑两个动态图像数据以创建一个动态图像数据而无需重新编码的情况下，有时在两个动态图像数据的结合部位即编辑点前后时间变得不连续。

此外，在视频编辑时将动态图像数据解码，通过用没有进行帧间参照的图片的类型(例如，idr图片的类型)重新编码，能够获得在编辑点前后时间连续的动态图像数据。例如，在图1的第二动态图像数据中，如果从比时刻t1靠前的idr图片解码，并且用idr图片的类型将解码后的动态图像数据再次编码，则可以将从时刻t1开始的第二动态图像数据用在编辑后的动态图像数据中。但是，在这种情况下，由于要进行解码和编码双方，因此存在处理成本变高的问题。

本发明的一方面的目的在于进行在无需重新编码的编辑时容易创建在编辑点前后时间连续的动态图像数据这样的编码。

用于解决课题的技术方案

本发明的一方面所涉及的图像编码装置是一种对多个输入图像进行编码的图像编码装置，其中，具备：接收部，所述接收部从另一图像编码装置接收在帧间预测编码中用禁止参照比基准图片靠前的参照图像的基准图片的类型进行编码的第一指示；判定部，所述判定部判定是否用所述基准图片的类型对所述多个输入图像中的编码目标图像进行编码；编码部，当所述接收部接收了所述第一指示时或者当所述判定部判定为用所述基准图片的类型进行编码时，所述编码部使用规定编码方式对所述编码目标图像进行帧内预测编码，生成所述基准图片；以及发送部，在当由所述判定部判定为用所述基准图片的类型进行编码时，所述发送部将用所述基准图片的类型进行编码的第二指示发送到所述另一图像编码装置。

本发明的一方面所涉及的图像编码装置是一种对多个第一输入图像及多个第二输入图像进行编码的图像编码装置，其中，具备：判定部，所述判定部判定在帧间预测编码中是否用禁止参照比基准图片靠前的参照图像的基准图片的类型对所述多个第一输入图像中的第一编码目标图像进行编码，并判定是否用所述基准图片的类型对所述多个第二输入图像中的第二编码目标图像进行编码；第一编码部，当所述判定部判定为用所述基准图片的类型对第一编码目标图像进行编码时，或者当所述判定部判定为用所述基准图片的类型对第二编码目标图像进行编码时，所述第一编码部使用规定编码方式对所述第一编码目标图像进行帧内预测编码，生成所述基准图片；以及第二编码部，当所述判定部判定为用所述基准图片的类型对第二编码目标图像进行编码时，或者当所述判定部判定为用所述基准图片的类型对第一编码目标图像进行编码时，所述第二编码部使用规定编码方式对所述第二编码目标图像进行帧内预测编码，生成所述基准图片。

本发明的一方面所涉及的图像编码方法是一种对多个输入图像进行编码的图像编码装置的图像编码方法，其中，所述图像编码方法包括以下处理：从另一图像编码装置接收在帧间预测编码中用禁止参照比基准图片靠前的参照图像的基准图片的类型进行编码的第一指示；判定是否用所述基准图片的类型对所述多个输入图像中的编码目标图像进行编码；当接收了所述第一指示时或者当判定为用所述基准图片的类型进行编码时，使用规定编码方式对所述编码目标图像进行帧内预测编码，生成所述基准图片；当判定为用所述基准图片的类型进行编码时，将用所述基准图片的类型进行编码的第二指示发送到所述另一图像编码装置。

本发明的一方面所涉及的图像编码方法是一种对多个第一输入图像及多个第二输入图像进行编码的图像编码装置的图像编码方法，其中，所述图像编码方法包括以下处理：判定在帧间预测编码中是否用禁止参照比基准图片靠前的参照图像的基准图片的类型对所述多个第一输入图像中的第一编码目标图像进行编码，并判定是否用所述基准图片的类型对所述多个第二输入图像中的第二编码目标图像进行编码；当判定为用所述基准图片的类型对第一编码目标图像进行编码时，或者当判定为用所述基准图片的类型对第二编码目标图像进行编码时，使用规定编码方式对所述第一编码目标图像进行帧内预测编码，生成所述基准图片；当判定为用所述基准图片的类型对第二编码目标图像进行编码时，或者当判定为用所述基准图片的类型对第一编码目标图像进行编码时，使用规定编码方式对所述第二编码目标图像进行帧内预测编码，生成所述基准图片。

附图说明

图1是对现有的视频编辑的例子进行说明的图；

图2是第一实施方式所涉及的图像编码系统的构成图的一个例子；

图3是第一实施方式所涉及的图像编码方法的流程图的一个例子；

图4是第一实施方式所涉及的图像编码方法的时序图的一个例子；

图5是对使用了第一实施方式所涉及的动态图像数据的视频编辑的例子进行说明的图；

图6是第二实施方式所涉及的图像编码装置的构成图的一个例子；

图7是第二实施方式所涉及的图像编码方法的流程图的一个例子。

具体实施方式

下面，参照附图对实施方式进行说明。此外，在附图中，对相同或等同要素标注相同的附图标记，并省略重复的说明。

(第一实施方式)

图2是第一实施方式所涉及的图像编码系统的构成图的一个例子。

图像编码系统101具有图像编码装置111、121。图像编码装置111和图像编码装置121能够互相通信。另外，图像编码装置的数量不限于两个，也可以是三个以上。

图像编码装置111具有照相机部112、控制部113、操作部114、编码部115、通信部116及存储部117。图像编码装置121具有照相机部122、控制部123、操作部124、编码部125、通信部126及存储部127。图像编码装置111、121例如是摄像机、智能手机或个人计算机(pc)等可拍摄视频的装置。

照相机部112进行被摄体的摄影，将非压缩的图像数据输出到控制部113及编码部115。详细地说，例如，照相机部112具有透镜、摄像部(例如，ccd或cmos)、a/d(模拟/数字)转换部及信号处理部等。照相机部112的摄像部接受经由透镜入射的被摄体光，将获得的被摄体光转换成电信号并输出到a/d转换部，a/d转换部将模拟信号转换成数字信号并输出到信号处理部。信号处理部对从a/d转换部输入的数字信号进行伽玛校正及白平衡校正等处理，生成非压缩的图像数据，将非压缩的图像数据输出到控制部113及编码部115。照相机部112定期(例如，每1/30秒)将非压缩的图像数据输出到控制部113及编码部115。此外，照相机部112也可以处于图像编码装置111的外部。

控制部113进行照相机部112的控制。例如，基于用户对操作部114的输入，控制部113控制照相机部112，进行摇拍(pan)、倾斜(tilt)、变焦或自动对焦等。而且，控制部113经由通信部116向图像编码装置121发送用idr图片的类型进行编码的指示。

而且，控制部113进行编码部115的编码处理的控制。具体地说，例如，在编码部115进行编码处理时，控制部113判定(确定)图片的类型(例如，idr图片的类型、p图片的类型或b图片的类型)，指示(指定)判定出的图片的类型。具体地说，例如，控制部113定期(例如，每1秒)或者在照相机部112的摇拍、倾斜、变焦或自动对焦开始时或结束时，判定为用idr图片的类型进行编码，指示编码部115用idr图片的类型进行编码。另外，例如，在没有判定为用idr图片的类型进行编码的情况下，控制部113指示编码部115用非idr图片的类型(p图片的类型或b图片的类型)进行编码。而且，例如，当通信部116从图像编码装置121接收了用idr图片的类型进行编码的指示时，控制部113指示编码部115用idr图片的类型进行编码。此外，控制部113例如通过监视通信部116或者从通信部116接收旨意为从图像编码装置121接收了用idr图片的类型进行编码的指示的通知，判定通信部116是否从图像编码装置121接收了用idr图片的类型进行编码的指示。控制部113是判定部的一个例子。

操作部114接受用于进行图像编码装置111的操作、照相机部112的操作或者数据向图像编码装置111的输入等来自用户的输入。操作部114例如是触摸面板、按钮或开关等。

编码部115基于来自控制部113的指示，通过规定编码方式对由照相机部112输入的非压缩的图像数据(输入图像)进行编码。具体地说，例如，当编码部115从控制部113接收了用idr图片的类型进行编码的指示时(当控制部113判定为用idr图片的类型进行编码时或者当通信部116从图像编码装置121接收了用idr图片的类型进行编码的指示时)，使用规定编码方式对由照相机部112输入的非压缩的图像数据进行帧内预测编码(帧内编码)，生成idr图片。另外，例如，当编码部115从控制部113接收了用非idr图片的类型进行编码的指示时，使用规定编码方式对由照相机部112输入的非压缩的图像数据进行帧间预测编码(帧间编码)，生成p图片或b图片。然后，编码部115将包括通过编码生成的idr图片、p图片及b图片的动态图像数据(编码比特流)存储于存储部117。编码部115中的规定编码方式是可使用idr图片的类型的编码方式，例如，h.264/mpeg-4avc(以下为h.264)或h.265/mpeg-hhevc(以下为h.265)等。另外，idr图片的类型是在帧间预测编码中禁止参照比基准图片靠前的参照图像的基准图片的类型的一个例子。

通信部116从图像编码装置121接收用idr图片的类型进行编码的指示。另外，通信部116基于控制部113的判定结果，将用idr图片的类型进行编码的指示发送到图像编码装置121。通信部116是接收部及发送部的一个例子。

存储部117存储在图像编码装置111中利用的程序及数据、以及在图像编码装置111中生成的数据等。存储部117存储由编码部115生成的动态图像数据(编码比特流)。存储部117例如是闪存或hdd(硬盘驱动器)等存储装置。另外，存储部117也可以是sd存储卡或usb存储器等便携式记录介质。

另外，图像编码装置111还可以具备显示照相机部112所拍摄的图像及存储于存储部117的动态图像数据的显示部。

由于图像编码装置121的照相机部122、控制部123、操作部124、编码部125、通信部126及存储部127的功能分别与照相机部112、控制部113、操作部114、编码部115、通信部116及存储部117的功能相同，所以省略说明。

图3是第一实施方式所涉及的图像编码方法的流程图的一个例子。在此，对图像编码装置111的处理进行说明。此外，由于图像编码装置121的处理与图像编码装置111的处理相同，所以省略说明。

在步骤s300中，通过用户对操作部114的操作来输入图像编码装置111的电源。由此，照相机部112、控制部113等开始动作，可以进行视频拍摄。此外，虽然在图3的流程图中没有记载，但利用控制部113按照用户对操作部114的操作适当地进行对照相机部112的控制(例如，变焦、摇拍或倾斜等)。

在步骤s301中，控制部113判定视频拍摄是否已经开始，在判定为视频拍摄已经开始的情况下，控制进入步骤s302。例如，当通过用户对操作部114的操作来进行视频拍摄开始的操作时，控制部113检测对操作部114的视频拍摄开始的操作，判定为视频拍摄已经开始(步骤s301：是)，控制照相机部112及编码部115，开始视频拍摄。由此，编码部115开始对由照相机部112输入的非压缩的图像数据进行规定编码方式的编码。另外，控制部113经由通信部116通知图像编码装置121开始视频拍摄的定时，也可以使图像编码装置111与图像编码装置121的视频拍摄开始的定时(详细地说，图像编码装置111与图像编码装置121的编码的定时)同步。由此，能够防止在图像编码装置111和图像编码装置121中被编码的idr图片的编码定时出现偏差。下面，对输入的多个非压缩的图像数据中成为编码目标的图像(编码目标图像)的处理进行说明。

在步骤s302中，控制部113判定是否用定期的idr图片的类型对编码目标图像进行编码。具体地说，例如，控制部113判定为定期(例如，每1秒)用idr图片的类型对编码目标图像进行编码。当控制部113判定为用定期的idr图片的类型对编码目标图像进行编码时(步骤s302：是)，控制进入步骤s306，当控制部113判定为不用定期的idr图片的类型对编码目标图像进行编码时(步骤s302：否)，控制进入步骤s303。另外，在照相机部112进行变焦、摇拍或倾斜期间，控制部113也可以将定期的idr图片的间隔设定得比没有进行变焦、摇拍或倾斜时的间隔长。另外，由于如果idr图片变多则编码效率降低，所以在当前时刻与最近的非定期的idr图片被编码的时刻之间的间隔为规定时间以下的情况下，控制部113也可以不判定为用定期的idr图片的类型进行编码。

在步骤s303中，在从上次步骤s303的处理到本次步骤s303的处理之间的期间(此外，在步骤s303为第一次的情况下，为从步骤s301到本次步骤s303的处理之间的期间)，控制部113判定通信部116是否从另一图像编码装置(例如，图像编码装置121)接收了用idr图片的类型进行编码的指示。当控制部113判定为在上述期间通信部116从另一图像编码装置121接收了用idr图片的类型进行编码的指示时(步骤s303：是)，控制进入步骤s306，当控制部113判定为在上述期间通信部116没有从另一图像编码装置121接收用idr图片的类型进行编码的指示时(步骤s303：否)，控制进入步骤s304。

在步骤s304中，控制部113判定是否用非定期的idr图片的类型进行编码。例如，控制部113基于对照相机部112的控制，判定是否用非定期的idr图片的类型进行编码。具体地说，例如，控制部113在照相机部112的变焦开始时或结束时、照相机部112的摇拍开始时或结束时或者照相机部112的倾斜开始时或结束时判定为用idr图片的类型进行编码。另外，例如，控制部113也可以在照相机部112的自动对焦开始时或结束时判定为用idr图片的类型进行编码。另外，例如，控制部113也可以基于由照相机部112输入的输入图像，判定是否用非定期的idr图片的类型进行编码。具体地说，例如，控制部113也可以在判定为输入图像的构图良好的区间的开始时或结束时或者输入图像的被摄体正在说话的区间的开始时或结束时等判定为用idr图片的类型进行编码。此外，构图良好的图像例如是专业的摄影师拍摄的图像，例如，控制部113通过机器学习事先学习专业的摄影师拍摄的图像，从而判定各时刻的输入图像的构图是否良好。当控制部113判定为用非定期的idr图片的类型进行编码时(步骤s304：是)，控制进入步骤s305，当控制部113判定为不用非定期的idr图片的类型进行编码时(步骤s304：否)，控制进入步骤s307。

在步骤s305中，控制部113经由通信部116向另一图像编码装置(例如，图像编码装置121)发送用idr图片的类型进行编码的指示。

在步骤s306中，控制部113指示编码部115用idr图片的类型进行编码(idr指定)。

在步骤s307中，控制部113指示编码部115用非idr图片的类型(p图片的类型或b图片的类型)进行编码(非idr指定)。

在步骤s308中，编码部115基于在步骤s306或步骤s307中发送的来自控制部113的指示，通过规定编码方式(例如，h.264或h.265等)对由照相机部112输入的非压缩的图像数据(输入图像)进行编码。具体地说，例如，当编码部115从控制部113接收了用idr图片的类型进行编码的指示时，使用规定编码方式对由照相机部112输入的非压缩的图像数据进行帧内预测编码(帧内编码)，生成idr图片。另外，例如，当编码部115从控制部113接收了用非idr图片的类型进行编码的指示时，使用规定编码方式对由照相机部112输入的非压缩的图像数据进行帧间预测编码(帧间编码)，生成p图片或b图片。下面，控制返回步骤s302，将在步骤s308中已编码的编码目标图像之后要编码的非压缩的图像数据设为新的编码目标图像，重复步骤s302～s308的处理，直到没有编码目标图像的图像数据为止。

图4是第一实施方式所涉及的图像编码方法的时序图的一个例子。在图4中，从上到下依次表示用户操作、控制部113、通信部116、由编码部115编码的动态图像数据。在图4的已编码的动态图像数据中，idr表示idr图片、p表示p图片、b表示b图片。

首先，通过用户对操作部114的操作来输入图像编码装置111的电源(步骤s300)。由此，照相机部112、控制部113等开始动作，可以进行视频拍摄。

然后，当通过用户对操作部114的操作进行了视频拍摄开始的操作时(步骤s301)，控制部113检测对操作部114的视频拍摄开始的操作，控制照相机部112及编码部115，开始视频拍摄。由此，编码部115对由照相机部112输入的非压缩的图像数据开始基于规定编码方式的编码。图4的已编码的动态图像数据从一开始依次为idr图片、p图片、b图片……。

控制部113判定为用定期(例如，每1秒)的idr图片的类型对编码目标图像进行编码(步骤s302：是)。由此，编码部115用idr图片的类型对编码目标图像进行编码，生成idr图片。

通过用户对操作部114的操作，开始照相机部112的变焦，控制部113判定为用非定期的idr图片的类型进行编码(步骤s304：是)，指示编码部115用idr图片的类型进行编码。由此，编码部115用idr图片的类型对编码目标图像进行编码，生成idr图片。

进而，控制部113经由通信部116将用idr图片的类型进行编码的指示发送到图像编码装置121(步骤s305)。

之后，通过用户对操作部114的操作，结束照相机部112的变焦，控制部113判定为用非定期的idr图片的类型进行编码(步骤s304：是)，指示编码部115用idr图片的类型进行编码。由此，编码部115用idr图片的类型对编码目标图像进行编码，生成idr图片。

然后，通信部116从图像编码装置121接收用idr图片的类型进行编码的指示。由此，控制部113判定为通信部116从另一图像编码装置121接收了用idr图片的类型进行编码的指示(步骤s303：是)，并指示编码部115用idr图片的类型进行编码。由此，编码部115用idr图片的类型对编码目标图像进行编码，生成idr图片。

控制部113在判定为用定期的idr图片的类型进行编码之后，当经过规定时间(例如，1秒)时，再次判定为用定期的idr图片的类型对编码目标图像进行编码(步骤s302：是)。由此，编码部115用idr图片的类型对编码目标图像进行编码，生成idr图片。

之后，通过用户对操作部114的操作，进行停止视频拍摄的操作，控制部113停止编码部115的编码处理。然后，当通过用户对操作部114的操作，进行了图像编码装置111的电源断开的操作时，控制部113断开图像编码装置111的电源。

图5是对使用了第一实施方式所涉及的动态图像数据的视频编辑的例子进行说明的图。

例如，用编码装置111的照相机部112和编码装置121的照相机部122从不同角度同时拍摄同一被摄体，存在用编码装置111、121分别编码的两个动态图像数据。图5的上段表示由图像编码装置111编码的第一动态图像数据，中段表示由图像编码装置121编码的第二动态图像数据，下段表示编辑后的动态图像数据。

例如，在时刻t1，由于图像编码装置111的照相机部112已经开始变焦，所以在第一动态图像数据中生成非定期的idr图片。与此相应地，为了从图像编码装置111向图像编码装置121发送用idr图片的类型进行编码的指示，在由图像编码装置121编码的第二动态图像数据中，也在时刻t1生成idr图片。

另外，同样地，在时刻t3，由于图像编码装置121的照相机部122已经开始摇拍，所以在第二动态图像数据中生成非定期的idr图片。与此相应地，为了从图像编码装置121向图像编码装置111发送用idr图片的类型进行编码的指示，在由图像编码装置111编码的第一动态图像数据中，也在时刻t3生成idr图片。

在此，与图1同样地，在照相机部112的变焦过程中进行诸如切换到由用照相机部122拍摄的图像那样的角度切换的编辑。在视频编辑中，当在时刻t1从第一动态图像数据切换到第二动态图像数据时，由于第二动态图像数据在时刻t1的图片是idr图片，所以第二动态图像数据从时刻t1的idr图片再现(解码)。

这样，在图5的下段所示的编辑后的动态图像数据中，在从时刻t0到时刻t1的第一动态图像数据之后，结合从时刻t1开始的第二动态图像数据。因此，在编辑后的动态图像数据中，在从时刻t0到时刻t1的第一动态图像数据之后，再现从时刻t1开始的第二动态图像数据。

同样地，当在时刻t3从第二动态图像数据切换到第一动态图像数据时，由于第一动态图像数据在时刻t3的图片是idr图片，所以从时刻t3的idr图片再现(解码)。在图5的下段所示的编辑后的动态图像数据中，在从时刻t1到时刻t3的第二动态图像数据之后，再现从时刻t3开始的第一动态图像数据。

这样，在编辑两个动态图像数据以创建一个动态图像数据的情况下，通过使用idr图片的时刻相同的两个动态图像数据，在编辑点前后时间连续的动态图像数据的创建变得容易。

在上述的图1所示的现有的视频编辑中，在时刻t1进行了从第一动态图像数据切换到第二动态图像数据的编辑的情况下，由于时刻t1到时刻t2期间的第二动态图像数据不能在编辑后的动态图像数据中使用，因此创建在编辑点前后时间不连续的动态图像数据。

另一方面，在第一实施方式所涉及的动态图像编码装置的动态图像数据中，如图5所示，无需重新编码就能够创建在编辑点前后时间连续的动态图像数据。

根据第一实施方式的动态图像编码装置，在自身装置和另一装置分别编码的多个动态图像数据中，能够使非定期的idr图片的时刻相同。由此，当将多个动态图像数据组合并编辑为一个动态图像数据时，在编辑后的动态图像数据中的编辑点前后时间连续的动态图像数据的创建变得容易。

(第二实施方式)

在第一实施方式中，通过两个图像编码装置111、121进行编码，但在第二实施方式中对用一个具有两个照相机部的图像编码装置进行编码的情况进行说明。

图6是第二实施方式所涉及的图像编码装置的构成图的一个例子。

图像编码装置611具有照相机部612、622、控制部613、操作部614、编码部615、625及存储部617。图像编码装置611例如是摄像机、智能手机或pc等能够拍摄视频的装置。

照相机部612进行被摄体的摄影，将非压缩的图像数据输出到控制部613及编码部615。照相机部622进行被摄体的摄影，将非压缩的图像数据输出到控制部613及编码部625。由于照相机部612、622的详细功能及结构与照相机部112的功能及结构相同，所以省略说明。另外，照相机部612和照相机622可以各自具有不同的范围，例如，照相机部612和照相机部622中的一方具有标准镜头，另一方具有广角镜头。另外，例如，也可以是，照相机部612和照相机部622中的一方具有长焦镜头，另一方具有标准镜头(或广角镜头)。照相机部612定期(例如，每1/30秒)将非压缩的图像数据输出到控制部613及编码部615。照相机部622定期(例如，每1/30秒)将非压缩的图像数据输出到控制部613及编码部625。

控制部613进行照相机部612、622的控制。例如，控制部613基于用户对操作部114的输入，分别控制照相机部612、622，进行摇拍、倾斜、变焦或自动对焦等。

而且，控制部613进行编码部615、625的编码处理的控制。具体地说，例如，在编码部615、625进行编码处理时，控制部613判定(确定)图片的类型(例如，idr图片的类型、p图片的类型或b图片的类型)，指示(指定)判定出的图片的类型。具体地说，例如，控制部613判定为定期(例如，每1秒)用idr图片的类型进行编码，指示编码部615用idr图片的类型进行编码。具体地说，例如，控制部613在照相机部612的变焦开始时或结束时、照相机部612的摇拍开始时或结束时、照相机部612的倾斜开始时或结束时或者照相机部612的自动对焦开始时或结束时判定为用idr图片的类型进行编码，指示编码部615及编码部625用idr图片的类型进行编码。具体地说，例如，当根据由具有长焦镜头的照相机部612拍摄的图像，被摄体离开帧(在拍摄的图像中没有映入被摄体)，而根据由具有标准镜头(或广角镜头)的照相机部622拍摄的图像，被摄体在帧内(在拍摄的图像中映入了被摄体)时，控制部613判定为用idr图片的类型进行编码。具体地说，例如，当照相机部612、622中的至少任一方的镜头被拍摄者覆盖时，控制部613判定为用idr图片的类型进行编码。此外，例如，控制部613根据所拍摄的图像来判断照相机部612、622的镜头是否被拍摄者覆盖。

具体地说，例如，控制部613判定为定期(例如，每1秒)用idr图片的类型进行编码，指示编码部625用idr图片的类型进行编码。具体地说，例如，控制部613在照相机部622的变焦开始时或结束时、照相机部622的摇拍开始时或结束时、照相机部622的倾斜开始时或结束时或者照相机部622的自动对焦开始时或结束时，判定为用idr图片的类型进行编码，指示编码部625及编码部615用idr图片的类型进行编码。

另外，例如，当控制部613没有判定为用idr图片的类型对由照相机部612拍摄的图像数据进行编码时，指示编码部615用非idr图片的类型(p图片的类型或b图片的类型)进行编码。例如，当控制部613没有判定为用idr图片的类型对由照相机部622拍摄的图像数据进行编码时，指示编码部625用非idr图片的类型(p图片的类型或b图片的类型)编码。控制部613是判定部的一个例子。

操作部614接收用于进行图像编码装置611的操作、照相机部612、622的操作或者数据向图像编码装置611的输入等来自用户的输入。操作部614例如是触摸面板、按钮或者开关等。

编码部615基于来自控制部613的指示，通过规定编码方式对由照相机部612输入的非压缩的图像数据(第一输入图像)进行编码。具体地说，例如，当编码部615在从控制部613接收了用idr图片的类型进行编码的指示时，使用规定编码方式对由照相机部612输入的非压缩的图像数据进行帧内预测编码(帧内编码)，生成idr图片。另外，例如，当编码部615从控制部613接收了用非idr图片的类型进行编码的指示时，使用规定编码方式对由照相机部612输入的非压缩的图像数据进行帧间预测编码(帧间编码)，生成p图片或b图片。然后，编码部615将包括通过编码生成的idr图片、p图片及b图片的编码比特流存储于存储部617。

编码部625基于来自控制部613的指示，通过规定编码方式对由照相机部622输入的非压缩的图像数据(第二输入图像)进行编码。具体地说，例如，当编码部625从控制部613接收了用idr图片的类型进行编码的指示时，使用规定编码方式对由照相机部622输入的非压缩的图像数据进行帧内预测编码(帧内编码)，生成idr图片。另外，例如，当编码部625从控制部613接收了用非idr图片的类型进行编码的指示时，使用规定编码方式对由照相机部622输入的非压缩的图像数据进行帧间预测编码(帧间编码)，生成p图片或b图片。然后，编码部625将包括通过编码生成的idr图片、p图片及b图片的动态图像数据(编码比特流)存储于存储部617。

编码部615、625中的规定编码方式是能够用idr图片的类型的编码方式，例如，是h.264或h.265等。

存储部617存储图像编码装置611中利用的程序及数据、以及在图像编码装置611中生成的数据等。存储部617存储由编码部615、625生成的动态图像数据(编码比特流)。存储部617例如是闪存或hdd等存储装置。另外，存储部617也可以是sd存储卡或usb存储器等便携式记录介质。

另外，图像编码装置611还可以具备显示照相机部612、622所拍摄的图像及存储于存储部617的动态图像数据的显示部。

图7是第二实施方式所涉及的图像编码方法的流程图的一个例子。

在步骤s700中，通过用户对操作部614的操作来输入图像编码装置611的电源。由此，照相机部612、622、控制部613等开始动作，可以进行视频拍摄。

在步骤s701中，控制部613判定是否已经开始视频拍摄，当判定为已经开始视频拍摄时，控制进入步骤s702。例如，当通过用户对操作部614的操作，进行开始视频拍摄的操作时，控制部613检测对操作部614的开始视频拍摄的操作，判定为已经开始视频拍摄(步骤s701：是)，控制照相机部612、622及编码部615、625，开始视频拍摄。由此，编码部615及编码部625对分别由照相机部612及照相机部622输入的非压缩的图像数据开始基于规定编码方式的编码。下面，对编码部615及编码部625各自输入的多个非压缩的图像数据(多个第一输入图像及多个第二输入图像)中在编码部615及编码部625的每一个中成为编码目标的图像(编码目标图像)的处理进行说明。

在步骤s702中，控制部613将表示是否对编码目标图像用非定期的idr图片的类型进行编码的非定期idr插入标志(flag)设定为false。非定期idr插入标志为true时，表示对编码目标图像用非定期的idr图片的类型进行编码，为false时，表示不对编码目标图像用非定期的idr图片的类型进行编码。此外，非定期idr插入标志例如存储于控制部613。另外，非定期idr插入标志也可以存储于存储部617或未图示的存储器等，由控制部613适当地读写。

在步骤s702之后，并列执行与编码部615的编码控制(详细地说，是编码部615的编码中的图片的类型的控制)有关的步骤s703～s709的处理及与编码部625的编码控制(详细地说，是编码部625的编码中的图片的类型的控制)有关的步骤s713～s715、s706、s717～s719的处理。下面，对与编码部615的编码控制(详细地说，是编码部615的编码中的图片的类型的控制)有关的步骤s703～s709的处理的详情进行说明。

在步骤s703中，控制部613判定是否用定期的idr图片的类型对编码目标图像进行编码。具体地说，例如，控制部613判定为定期(例如，每1秒)用idr图片的类型对编码目标图像进行编码。当控制部613判定为用定期的idr图片的类型对编码部615中的编码目标图像进行编码时(步骤s703：是)，控制进入步骤s707，当控制部613判定为不用定期的idr图片的类型对编码部615中的编码目标图像进行编码时(步骤s703：否)，控制进入步骤s704。

在步骤s704中，控制部613判定是否用非定期的idr图片的类型进行编码。例如，控制部613基于对照相机部612的控制或由照相机部612拍摄的图像，判定是否用非定期的idr图片的类型进行编码。具体地说，例如，控制部613在照相机部612的变焦开始时或结束时、照相机部612的摇拍开始时或结束时、照相机部612的倾斜开始时或结束时或者照相机部612的自动对焦开始时或结束时判定为用idr图片的类型进行编码。另外，具体地说，例如，当根据由具有长焦镜头的照相机部612拍摄的图像，被摄体离开帧，而根据由具有标准镜头(或广角镜头)的照相机部622拍摄的图像，被摄体在帧内时，控制部613也可以判定为用idr图片的类型进行编码。另外，具体地说，例如，当照相机部612、622中的至少任一方的镜头被拍摄者覆盖时，控制部613也可以判定为用idr图片的类型进行编码。另外，具体地说，例如，控制部613也可以在判定为输入图像的构图良好的区间的开始时或结束时或者输入图像的被摄体正在说话的区间的开始时或结束时等判定为用idr图片的类型进行编码。当控制部613判定为在编码部615中用非定期的idr图片的类型进行编码时(步骤s704：是)，控制进入步骤s706，当控制部613判定为不在编码部615中用非定期的idr图片的类型进行编码时(步骤s704：否)，控制进入步骤s705。

在步骤s705中，控制部613判定表示是否对编码目标图像用非定期的idr图片的类型进行编码的非定期idr插入标志是true或false中的哪一个。当控制部613判定为非定期idr插入标志为true时，控制进入步骤s707，当控制部613判定为非定期idr插入标志为false时，控制进入s708。

在步骤s706中，控制部613将表示是否对编码部615、625各自的编码目标图像用非定期的idr图片的类型进行编码的非定期idr插入标志设定为true。在编码部615的编码控制中，在步骤s706的处理之后，控制进入步骤s707。如后所述，非定期idr插入标志也被用在编码部625的编码的控制中，在非定期idr插入标志为true的情况下，编码部625根据控制部613的指示，用idr图片的类型对编码目标图像进行编码。当控制部613判定为在编码部625中用非定期的idr图片的类型进行编码时(步骤s714：是)，通过将非定期idr插入标志设定为true(步骤s706)，在后述的编码部625的编码控制中，非定期idr插入标志被判定为true(步骤s715：true)，控制部613指示编码部625用idr图片的类型进行编码(步骤s717)。

在步骤s707中，控制部613指示编码部615用idr图片的类型进行编码(idr指定)。

在步骤s708中，控制部613指示编码部615用非idr图片的类型(p图片的类型或b图片的类型)进行编码(非idr指定)。

在步骤s709中，编码部115基于在步骤s707或步骤s708中发送的来自控制部613的指示，通过规定编码方式(例如，h.264或h.265等)对由照相机部612输入的非压缩的图像数据(输入图像)进行编码。具体地说，例如，当编码部615从控制部613接收了用idr图片的类型进行编码的指示时，使用规定编码方式对由照相机部612输入的非压缩的图像数据进行帧内预测编码(帧内编码)，生成idr图片。另外，例如，当编码部615从控制部613接收了用非idr图片的类型进行编码的指示时，使用规定编码方式对由照相机部612输入的非压缩的图像数据进行帧间预测编码(帧间编码)，生成p图片或b图片。下面，控制返回步骤s702，将在步骤s709中已编码的编码目标图像之后要编码的非压缩的图像数据设为新的编码目标图像，重复步骤s702～s709的处理，直到没有成为编码目标图像的图像数据为止。

由于与编码部625的编码控制有关的步骤s713～s715、s706、s717～s719的处理与在上述的与编码部615的编码控制有关的步骤s703～s709的处理的说明中，分别将照相机部612置换为照相机部622、将编码部615置换为编码部625后的处理相同，所以省略详细的说明。此外，在编码部625的编码控制中，在步骤s706的处理之后，控制进入步骤s717。

根据第二实施方式的图像编码装置，在由编码部615、625分别编码的多个动态图像数据中，能够使非定期的idr图片的时刻相同。由此，当将多个动态图像数据组合并编辑为一个动态图像数据时，在编辑后的动态图像数据中的编辑点前后时间连续的动态图像数据的创建变得容易。

(基于软件的实现例)

图像编码装置111、121、611的控制块(特别是控制部113、123、613、编码部115、125、615)可通过形成在集成电路(ic(integratedcircuit：集成电路)芯片)等中的逻辑电路(硬件)来实现，另外，也可以使用cpu(centralprocessingunit：中央处理器)通过软件来实现。在后者的情况下，图像编码装置111、121、611具备执行实现各功能的软件即程序的命令的cpu、以可用计算机(或cpu)读取的方式记录有上述程序及各种数据的rom或存储装置(将它们称为“记录介质”)、展开上述程序的ram等。而且，通过计算机(或cpu)从上述记录介质读取并执行上述程序来达到本发明的目的。作为上述记录介质，可使用“非暂时性有形介质”，例如，胶带、磁盘、卡、半导体存储器、可编程的逻辑电路等。另外，上述程序经由可传输的任意的传输介质供给到上述计算机即可。

此外，本发明不限定于上述的实施方式，可以进行变形，上述结构可用实质上相同的结构、起到相同作用效果的结构或者可实现相同目的的结构成来置换。

例如，在第一实施方式中，编码部115、125也可以进行是否用idr图片的类型进行编码的判定。另外，例如，在第二实施方式中，与编码部615的编码控制有关的步骤s703～s709的处理及与编码部625的编码控制有关的步骤s713～s715、s706、s717～s719的处理也可以分别由不同的控制部来执行，亦可以在编码部615及编码部625各自中执行。在这种情况下，各控制部或编码部615、625在自身判定为用idr图片的类型进行编码的情况下，与第一实施方式同样地将用idr图片的类型进行编码的指示发送到其他控制部或其他编码部625、615。