摄像装置以及摄像控制方法

专利名称：摄像装置以及摄像控制方法
技术领域：
本发明涉及一种可进行通常运动图像记录及慢运动图像记录的摄像装置、摄像控制方法以及记录介质。
背景技术：
关于按照规定的时间间隔对视野内的被摄体进行摄像，并通过将其摄像结果得到的图像的数据依次记录于记录介质，从而将运动图像的数据记录于记录介质的技术，其作为现有技术已为人们所知(参照日本特开2005-109984号公报、日本特开平10-51735号公报以及日本特开2002-320203号公报)。在此，以下将摄像装置通过按照规定时间间隔依次进行摄像所得到的各个图像， 定义为“帧图像”。对于由这样的多个帧图像所构成的运动图像的数据的传送或者处理的速度，一般而言，利用帧频(frame rate)来进行表现。即，帧频是将单位时间进行传送或者处理的数据量利用帧数来进行表现。在本说明书中，单位时间采用的是1秒。也就是说，在本说明书中，帧频的单位采用的是fps (Frames Per Second 帧数/秒)。作为对运动图像的数据进行记录的现有方法，例如有下述的记录方法，即，将以 Xfps(X是任意的数值)所摄像得到的运动图像的数据以Xfps进行再生的记录方法。关于这样的方法，以下将其定义为“通常运动图像记录”。另外，作为对运动图像的数据进行记录的现有的别的方法，例如有下述的记录方法，即，将通过以Yfps (Y是满足Y > X的任意的数值)所摄像得到的运动图像的数据以Xfps 来再生的记录方法。关于这样的方法，以下将其定义为“慢运动图像记录”。以下，关于通常运动图像记录和慢运动图像记录之间的差异，参照图8及图9来更进一步说明。图8是表示在通过现有的摄像装置进行通常运动图像记录的情况下所摄像得到的帧图像的数据和作为运动图像的数据而被记录的帧图像的数据之间的关系的时序图。图8A是表示从摄像元件所输出的帧图像的数据的时序图。在图8A中，一个长方形表示从摄像元件所输出的一帧图像的数据。在图8A中，虽对帧编号没有进行记载，但对于该图中左端的帧图像的数据，赋予 “0”的帧编号，以下，按照该图中向右方向的次序，即按照摄像元件的输出次序，对各帧图像的数据，按照逐次增加1的方式来分别赋予“1”、“2”、“3”、……的帧编号。在图8A的示例中，摄像元件在输出阶段的帧频(以下，定义为“摄像速率”)为 150fps。即，一般的摄像速率为30fps，但在图8A的示例中，应与后述的图9A的示例相对应，采用的是一般的摄像速率5倍的150fps。图8B是表示在进行通常运动图像记录的情况下，在记录介质中记录帧图像的数据的时序图。在图8B中，一个长方形表示在记录介质中记录的一帧图像的数据。长方形的内部所记述的数字为对该长方形所示的帧图像的数据所赋予的帧编号。如图8B所示，在图8A所示的摄像元件所输出的帧图像的数据中，将每5帧间隔的帧图像的数据(图8A中的由涂黑的长方形所示的数据)，即，将帧编号为“0”、“5”、“10”、 “15”、“20”、“25”……的帧图像的数据作为记录对象来取得并记录于记录介质中。换而言之，以150fps的摄像速率所摄像得到的帧图像的数据中，每5帧间隔来取得帧图像的数据，从而得到以30fps所摄像得到的运动图像的数据。如此，这样的“以30fps 所摄像得到的运动图像的数据”被以30fps的帧频而记录于记录介质中。在此，将运动图像的数据记录于记录介质的阶段的帧频，以下定义为“记录速率”。
另外，将对记录介质中所记录的运动图像数据进行再生的阶段的帧频，以下定义为“再生速 ”
华 ο在该情况下，图8B中的记录速率为30fps。在此，由于再生速率和记录速率为相同的30fps，得以实现通常运动图像记录，即，按照“以30fps所摄像得到的运动图像的数据” 以30fps进行再生的方式来进行记录。图9是表示通过现有的摄像装置进行慢运动图像记录的情况下的、通过摄像得到的帧图像的数据和作为运动图像的数据而被记录的帧图像的数据之间的关系的时序图。图9A是表示从摄像元件输出的帧图像的数据的时序图，是表示与图8A的示例相同的时序图。图9B是表示在进行慢运动图像记录的情况下的记录于记录介质中的帧图像的数据的时序图。在图9B中，一个长方形表示记录于记录介质中的帧图像的数据。长方形的内部所记述的数字表示对该长方形所示的帧图像的数据所赋予的帧编号。如图9B所示，从图9A所示的摄像元件所输出的全部帧图像的数据，S卩，帧编号为 “0”、“1”、“2”、“3”、“4”、“5”……全部的帧图像的数据作为记录对象来取得并记录于记录介质中。换而言之，通过150fps的摄像速率所摄像得到的帧图像的数据直接地，作为“以 150fps摄像得到的运动图像的数据来取得，而以30fps的记录速率记录于记录介质中。在此，由于再生速率和记录速率相同均为30fps，得以实现慢运动图像记录，即，按照将“以150fps摄像得到的运动图像的数据”以30fps来再生的方式进行记录。但是，现有技术的进行慢运动图像记录的情况下，声音数据的记录及再生变得困难。例如，假设有这样的数据，即连续地进行通常运动图像记录和慢运动图像记录而记录于记录介质中的运动图像的数据。在该情况下，在对该运动图像的数据按照一定的再生速率来进行再生时，较之于通常运动图像记录，慢运动图像记录将能够得到慢再生的效^ ο但是，在整个对慢运动图像记录的声音数据进行再生的期间和对通常运动图像记录的声音数据进行再生的期间，难以维持声音数据的记录及再生的连续性。因此，一般而言，在慢运动图像记录中，不进行声音数据的记录及再生。

发明内容
本发明是鉴于上述状况而开发的，其目的在于实现在连续进行通常运动图像记录
4及慢运动图像记录的情况下，维持声音数据的记录及再生的连续性。根据本发明的第1形式，提供一种摄像装置，其特征在于包括摄像单元；声音输入单元，其用于输入声音；第1取得单元，其将通过所述摄像单元所连续地摄像得到的被摄体的多个图像， 按照规定时间间隔进行部分间隔提取，作为第1图像群在第1记录期间以第1帧频来取得；第2取得单元，其在第2记录期间以第2帧频来取得所述摄像单元所连续地摄像得到的被摄体的多个图像，作为第2图像群；和生成单元，其基于通过所述声音输入单元所输入的声音、通过所述第1取得单元所取得的第1图像群以及通过所述第2取得单元所取得的第2图像群，来生成能够以所述第1帧频进行再生的运动图像。根据本发明的第2形式，提供一种摄像控制方法，其特征在于包括摄像步骤，进行图像的摄像；声音输入步骤，进行声音的输入；第1取得步骤，将通过所述摄像步骤所连续地摄像得到的被摄体的多个图像，按照规定时间间隔进行部分间隔提取，作为第1图像群在第1记录期间以第1帧频来取得；第2取得步骤，在第2记录期间以第2帧频来取得通过所述摄像步骤所连续地摄像得到的被摄体的图像，作为第2图像群；和生成步骤，基于通过所述声音输入步骤所输入的声音、通过所述第1取得步骤所取得的第1图像群以及通过所述第2取得步骤所取得的第2图像群，来生成能够以所述第 1帧频进行再生的运动图像。


图1A、B、C是表示，在通过应用了本发明的摄像装置连续进行通常运动图像记录及慢运动图像(slow-motion movie)记录的情况下的、所摄像得到的帧图像的数据与作为运动图像的数据而被记录的帧图像的数据和声音数据之间的关系的时序图。图2是表示本发明的第1实施方式所涉及的摄像装置的硬件构成的框图。图3是表示图2的摄像装置的功能构成中的为实现通常运动图像记录及慢运动图像记录的功能构成的功能框图。图4是表示图2的摄像装置所执行的运动图像记录控制处理流程的一个示例的流程图。图5是表示图4的运动图像记录控制处理中，WAIT处理的详细流程的一个示例的流程图。图6是表示图4的运动图像记录控制处理中，通常运动图像记录控制处理的详细流程的一个示例的流程图。图7是表示图4的运动图像记录控制处理中，慢运动图像记录处理的详细流程的一个示例的流程图。图8A、B是表示，通过现有的摄像装置进行通常运动图像记录的情况下的、所摄像得到的帧图像的数据与作为运动图像的数据而被记录的帧图像的数据之间的关系的时序图。 图9A、B是表示，通过现有的摄像装置进行慢运动图像记录的情况下的、所摄像得到的帧图像的数据与作为运动图像的数据而被记录的帧图像的数据之间的关系的时序图。
图10A、B、C是表示，通过本发明的第2实施方式所适用的摄像装置连续进行通常运动图像记录及慢运动图像记录的情况下的、所摄像得到的帧图像的数据与作为运动图像的数据而被记录的帧图像和声音数据之间的关系的时序图。图11是表示，本发明的第2实施方式所涉及的摄像装置的功能构成中的为实现通常运动图像记录及慢运动图像记录的功能构成的功能框图。图12是表示图11的摄像装置所执行的慢运动图像记录处理的流程的一个示例的流程图。图13是表示通过图11的摄像装置所执行的慢运动图像记录处理来生成的合成图像的一个示例的图。图14是表示用于说明通过图11的摄像装置所执行的慢运动图像记录处理来生成的合成图像的图。
具体实施例方式首先，为了易于理解本发明，参照图1来说明本发明的概要。图1是表示，在通过本发明所适用的摄像装置连续地进行通常运动图像记录及慢运动图像(slow-motion movie)记录的情况下的、所摄像得到的帧图像的数据与作为运动图像的数据而被记录的帧图像的数据之间的关系的时序图。图IA是表示从摄像元件输出的帧图像的数据的时序图。在图IA中，一个长方形表示从摄像元件所输出的一帧图像的数据。在图IA中，虽对帧编号没有进行记载，但对于该图中左端的帧图像的数据，赋予 “0”的帧编号，以下，按照该图中向右方向的次序，即按照摄像元件的输出次序，对各帧图像的数据，按照逐次递增1的方式来分别赋予“1”、“2”、“3”、……的帧编号。在图IA的示例中，为了便于与现有方法之间的比较，采用了与现有的图8A、图9A 相同的帧频150fps。图IB是表示，在通常运动图像记录当中进行慢运动图像记录的情况下的记录于记录介质中的帧图像和声音的各数据的时序图。图IB中，一个长方形表示记录于记录介质中的一帧图像的数据。长方形的内部所记述的数字表示对该长方形所示的帧图像的数据所赋予的帧编号。另外，后述的图IC也与这种情况相同。在通常运动图像记录的情况下，如图IB所示，图IA所示的摄像元件所输出的帧图像的数据中，作为在与5帧的间隔相当的规定时间期间中，间隔提取掉其中4帧后的结果， 将每5帧间隔的帧图像的数据(图IA中的由涂黑的长方形所示的数据)，即，将帧编号为 “0，，、“ 5，，、“ 10，，、“ 15 ”、“ 20，，、“ 25 ”……的帧图像的数据作为记录对象来取得并记录于记录介质中。用户能够在这样的通常运动图像记录的进行当中，进行切换为慢运动图像记录的操作(以下，称之为“切换操作”)。
6
在进行这样的切换操作时，从通常运动图像记录向慢运动图像记录的切换，按照下述的条件，将帧图像的数据记录于记录介质中。S卩，在慢运动图像记录的情况下，摄像速率为记录速率的5倍。在此，摄像速率为 150fps，记录速率为30fps。另外，在慢运动图像摄像期间，1次切换操作平均为0. 1秒(即， 慢运动图像记录的对象帧数为15)。具体而言，在图1的示例中，当帧编号为‘16”的帧图像的数据从摄像元件输出的阶段，进行切换操作。进行了切换操作的阶段中，以30fps所摄像得到的运动图像数据，即，将每5帧间隔的帧图像的数据继续向记录介质进行记录。具体而言，正在将帧编号为“25”的帧图像的数据记录于记录介质中。因此，在帧编号为“25”的帧图像的数据向记录介质中的记录完成定时，从通常运动图像记录向慢运动图像记录进行切换。由此，在进行了切换时刻，从摄像元件所输出的帧图像的数据，即，从帧编号为“25”的5个后的“30”的帧图像的数据，开始进行慢运动图像记录。如上所述，慢运动图像摄像期间为1次切换操作平均0. 1秒，即，慢运动图像记录的对象帧数为15，所以，如图IB所示，帧编号为“30”至“44”的帧图像的数据成为慢运动图像记录的对象。因此，慢运动图像记录开始时，如图IB所示，从图IA所示的摄像元件所输出的全部的帧图像的数据被记录于记录介质中。即，帧编号为“30”、“31”、“32”、“33”、……、“44” 的帧图像的数据全部作为记录对象而被取得并记录于记录介质中。如此，通过150fps的摄像速率所摄像得到的结果，所得到的帧图像的数据直接地作为“以150fps摄像得到的运动图像的数据”来进行取得，并以30fps的记录速率记录于记录介质中。在此，再生速率和记录速率为相同的30fps，实现了慢运动图像记录，S卩，按照将 “以150fps摄像得到的运动图像的数据”以30fps来进行再生的方式进行记录。在此，如图IA所示，慢运动图像摄像期间是指，慢运动图像记录的对象的帧图像的数据从摄像元件输出的期间。在图1的示例中，由于摄像速率为150fps，所以帧编号为“30”至“44”的15个帧图像的数据从摄像元件输出的时间是0.1秒。由此，图1的示例的慢运动图像摄像期间为 0. 1 秒。但是，帧编号为“30”至“44”的15个帧图像的数据被记录于记录介质中的时间却为慢运动图像摄像期间的0. 1秒的5倍时间，即，0. 5秒。因此，慢运动图像记录开始起0. 5秒后，即，帧编号为“44”的帧图像的数据向记录介质中的记录完成后，从慢运动图像记录向通常运动图像记录再次进行切换。向通常运动图像记录再次进行了切换的时刻，如图IB所示，由于从摄像元件输出帧编号为“105”的帧图像的数据，其后，帧编号为“105”、“110”、“115”、“120”、“125”、 “130”……的帧图像的数据作为记录对象而被取得，并记录于记录介质中。如此，运动图像记录最初进行通常运动图像记录，进行切换操作后，切换为慢运动图像记录。于是，在作为慢运动图像摄像期间的0. 1秒的期间，从摄像元件输出的15个帧图像的数据应作为以与慢运动图像摄像期间的0. 1秒的5倍时间，即，0. 5秒的期间来进行再生的运动图像而记录于记录介质中。其后，运动图像记录再次切换为通常运动图像记录。如此，通过慢运动图像记录而将15个帧图像的数据记录于记录介质的期间，换而言之，没有通过通常运动图像记录来记录帧图像的数据的期间。在此，如图IB所示，以下将这样的期间定义为“慢运动图像记录期间”。慢运动图像记录期间是根据慢运动图像摄像期间所设定的期间，以图IB为例来说，如上所述，其为慢运动图像摄像期间的0. 1秒的5倍时间，即，0. 5秒。另外，如图IB所示那样，将通过通常运动图像记录来记录帧图像的数据的期间， 以下定义为“通常运动图像记录期间”。在此，如图IB所示，不论是在慢运动图像记录期间还是在通常运动图像记录期间，声音数据被连续地记录于记录介质。由此，即使在通常运动图像记录及慢运动图像记录连续地进行的情况下，声音数据的记录及再生的连续性得以维持。图IC是表示，在没有进行切换操作的情况即持续地进行通常运动图像记录的情况下的记录于记录介质中的帧图像和声音的各数据的时序图。在没有进行切换操作的情况下，如图IC所示，在从图IA所示的摄像元件输出的帧图像的数据中，将每5帧间隔的帧图像的数据(图IA中的由涂黑的长方形所示的数据)， 即，将帧编号为“ 0 ”、“ 5 ”、“ 10 ”、“ 15 ”、“ 20 ”、“ 25 ”、“ 30，，……的帧图像的数据作为记录对象
来取得，并记录于记录介质中。S卩，在没有进行切换操作的情况下，即使对于帧编号为“30”至“104”之间的帧图像的数据，每5帧间隔的帧图像的数据成为记录对象，所以，帧编号为“30”、“35”、 “40”、……、“90”、“95”、“100”的帧图像的数据作为记录对象而被取得，并记录于记录介质中。换而言之，在没有进行切换操作的情况下，如图IC所示，不设置慢运动图像记录期间，从运动图像记录的开始至结束为止，持续成为通常运动图像记录期间。(第1实施方式)其次，参照图2及其后的附图来说明本发明的第1实施方式。图2是表示本发明的第1实施方式所涉及的摄像装置1的硬件构成的框图。摄像装置1例如能够由数码照相机构成。摄像装置1包括光学透镜装置11、AF机构12、快门装置13、致动器 (actuator) 14、图像传感器(image sensor) 15、前级处理部 16、TG (Timing Generator 定时发生器)17、DRAM (Dynamic Random Access Memory 动态随机存取存储器)18、信号处
19> CPU (Central Processing Unit) 20 > RAM (Random Access Memory) 2U ROM (Read Only Memory) 22、操作部23、麦克风(microphone) 24、存储卡25、输出控制部沈、扬声器 (speaker) 27以及显示部28。光学透镜装置11可由诸如对焦透镜(focus lens)、变焦透镜(zoom lens)等来构成。对焦透镜是用于使被摄体像成像于图像传感器15的受光面的透镜。变焦透镜是用于使焦距在一定的范围内自由地进行变化的透镜。AF机构12基于CPU20的控制，通过使对焦透镜发生移动来对被摄体进行对焦(焦点)的调整。快门装置13是由诸如快门叶片等构成。快门装置13作为将入射至图像传感器15 的光束进行遮断的机械式快门而发挥作用。快门装置13还作为对入射至图像传感器15的光束光量进行调节的光圈而发挥作用。致动器14基于CPU20的控制来使快门装置13的快门叶片进行开闭。图像传感器15是由诸如光电转换元件、AFE (Analog Front End 模拟前端元件) 等构成。光电转换元件诸如由 CMOS (Complementary Metal Oxide Semiconductor :互补金属氧化物半导体)型光电转换元件等构成。通过光学透镜装置11并经由快门装置13的被摄体像被入射至光电转换元件。在此，光电转换元件根据TG17所提供的时钟脉冲，按照一定时间对被摄体像进行光电转换 (摄影)，并按照像素来保存图像信号，并将保存的图像信号输出。AFE对该模拟的图像信号执行A/D (Analog/Digital)转换处理等的各种信号处理。通过各种信号处理后来生成数字信号(以下，定义为“数据”)，并作为图像传感器15的输出信号而进行输出。即，按照由TG17所控制的摄像速率，由图像传感器15依次输出帧图像的数据。前级处理部16根据TG17所提供的时钟脉冲，对于从图像传感器15依次输出的帧图像的数据执行黑电平补偿等的前处理的基础上，将其记录于DRAM18中。TG17根据CPU20的控制，按照每一与摄像速率相对应的一定时间，将时钟脉冲分别提供给图像传感器15和前级处理部16。由此，图像传感器15和前级处理部16的动作速度成为摄像速率。具体而言，上述如图1所示的示例中，摄像速率为150fps，图像传感器15和前级处理部16分别均以一秒钟 150帧画面(150fps)的速度进行动作。DRAM18对于由前级处理部16提供的帧图像的数据或者通过信号处理部19所执行信号处理后的帧图像的数据进行暂时性存储。DRAM18另外还对于通过麦克风M并经由 CPU20所提供的声音数据也进行暂时性存储。信号处理部19诸如由DSP (Digital Signal I^rocessor 数字信号处理器)等构成，其基于CPU20的控制，对前级处理部16所提供的帧图像的数据或者DRAM18所存储的帧图像的数据进行各种信号处理。另外，关于信号处理部19所执行的信号处理的具体示例，参照图3及其后的附图进行后述。CPU20对摄像装置1的所有动作进行控制。RAM21作为CPU20在执行各处理时的工作区域而发挥作用。R0M22存储有摄像装置1执行各处理时所需的程序、数据。CPU20将 RAM21作为工作区域，通过与R0M22中所存储的程序进行协动来执行各种处理。另外，关于CPU20所执行的处理的具体示例，参照图3及其后的附图来进行后述。输出控制部沈按照规定的再生速率，对DRAM18中所存储的帧图像的数据进行依次读出，并将该数据转换为适于显示部观显示的图像信号后提供给显示部28，由此，在显示部观依次显示由该图像信号所表现的帧图像。即，显示部观通过将多个帧图像依次进行显示来进行运动图像的显示。
输出控制部沈读出DRAM18所存储的声音数据。输出控制部沈将该数据转换为适于扬声器27的声音信号后提供给扬声器27，由此，通过扬声器27输出由该声音信号所表
现的声音。操作部23受理来自用户的各种按钮的操作。操作部23诸如具备有电源按钮、十字按钮、确定按钮、菜单按钮、录像按钮、快门按钮等。操作部23将与所受理的各种按钮的操作相对应的信号提供给CPU20。CPU20基于来自操作部23的信号对用户的操作内容进行解析，并根据该操作内容执行相应的处理。例如，进行了录像按钮的操作的情况下，CPU20将其解释为得到了进行运动图像记录的指示，对信号处理部19等进行控制，开始进行通常运动图像记录。在通常运动图像记录的执行中，如果用户利用操作部23进行了运动图像记录的切换操作时，CPU20将其解释为得到了切换的指示，对信号处理部19等进行控制。CPU20将通常运动图像记录切换为慢运动图像记录，并在慢运动图像记录结束后再次切换为通常运动图像记录。麦克风M用于声音输入，并作为模拟的声音信号而输出。CPU20对模拟的声音信号适宜地执行A/D转换处理等的处理，并将作为其结果所得到的声音数据存储于DRAM18 中。存储卡25中存储有通过CPU20的控制而进行通常运动图像记录及慢运动图像记录后作为结果所得到的运动图像及声音的各数据。存储卡25另外还根据需要存储各种数据。图3是表示具有上述构成的摄像装置的功能构成中的、为实现通常运动图像记录及慢运动图像记录的功能构成的功能框图。如图3所示，为了实现通常运动图像记录及慢运动图像记录，信号处理部19中设置有后级处理部51、JPEG (Joint Photographic Experts Group 联合图像专家组)压缩部 52。CPU20中设置有声音输入处理部53、记录控制部M、切换控制部55。DRAM18中设置有 RAff缓冲器61、YUV缓冲器62、JPEG缓冲器63、声音缓冲器64。另外，对后级处理部51至切换控制部55的实现方式并不特别限定，可以由硬件单体构成，也可以由软件和硬件的组合构成。另外，作为摄像装置1整体，只要能够实现后级处理部51至切换控制部55的各种功能即可，后级处理部51至切换控制部55的配置场所并不仅限于图3所示的示例，可以为任意，作为功能块的分割单位也并不仅限于图3所示的示例，可以为任意。如上所述，图像传感器15及前级处理部16均以与摄像速率相同的速度进行动作。 在本实施方式中，将摄像速率设为与图1的示例相匹配的150fps。即，在本实施方式中，图像传感器15及前级处理部16均以每秒钟150幅画面的速度进行动作。由前级处理部16输出的帧图像的数据为RAW图像的数据(以下，定义为“RAW数据”)，其被写入DRAM18的RAW缓冲器61。在本实施方式中，如图3所示，RAff缓冲器61是具有与150帧相当的数据容量的环形缓冲器(ring buffer)。另外，本实施方式的RAW缓冲器61中，前级处理部16的输出数据的写入地址，按照每一帧图像依次进行切换。后级处理部51按照每一帧图像从RAW缓冲器61依次读出RAW数据，对于读出的帧图像的RAW数据执行插值、色调整、亮度调整、边缘调整等的图像处理。由此，得到作为帧图像的数据的由亮度信号(Y)、蓝色成分的差分信号(U)、红色成分的差分信号(V)这3要素构成的数据(以下，定义为“YUV数据”)。帧图像的YUV数据被写入到DRAM18的YUV缓冲器62中。后级处理部51的启动定时是由后述的切换控制部55所控制的。例如，在进行通常运动图像记录的情况下，如利用图1所说明的那样，在从图像传感器15以150fps所输出的各帧图像的数据中，将每5帧间隔的帧图像的数据作为记录对象来取得。在此，在进行通常运动图像记录的情况下，按照在对RAW缓冲器61进行每5帧的RAW数据的写入的间隔，通过切换控制部55的控制而启动后级处理部51。S卩，后级处理部51按照每5帧间隔，从RAW缓冲器61依次读出1帧的RAW数据，并在将其转换为YUV数据后，写入至YUV缓冲器62中。如此，每5帧间隔的帧图像的YUV数据，如以图IB为例来说，帧编号为“0”、“5”、“10”、“15”、“20”、“25”的各帧图像的YUV数据作为记录对象来取得，并被写入至YUV缓冲器62中。相对于此，例如，在进行慢运动图像记录的情况下，如利用图1所说明的那样，在从图像传感器15以150fps所输出的各帧图像的数据中，将所有的各帧图像的数据作为记录对象来取得。在此，在进行慢运动图像记录的情况下，按照在对RAW缓冲器61进行每一帧的RAW数据的写入时，通过切换控制部55的控制而启动后级处理部51。S卩，后级处理部 51从RAW缓冲器61依次读出所有的帧图像的RAW数据，并在将其转换为YUV数据后，依次写入至YUV缓冲器62中。如此，所有的帧图像的YUV数据，如以图IB的示例来说，在YUV 缓冲器62中，帧编号为“30”至“44”所有各帧图像的YUV数据作为记录对象来取得，并被写入至YUV缓冲器62中。JPEG压缩部52将YUV数据按照每一帧图进行依次读出，并根据JPEG方式来进行压缩编码化。由此，帧图像的YUV数据被转换为所谓的JPEG数据，并被写入至JPEG缓冲器 63。另外，并行地进行下述处理，即JPEG压缩部52从YUV缓冲器62中读出帧图像的 YUV数据的读出处理、以及上述的后级处理部51将别的帧图像的YUV数据写入至YUV缓冲器62中的写入处理。因此，在本实施方式中，YUV缓冲器62具有的2面构成，被控制为使得通过后级处理部51进行的写入处理，和通过JPEG压缩部52进行的读出处理之间不发生重复。不论是在进行通常运动图像记录还是在进行慢运动图像记录，声音输入处理部53 在进行运动图像记录的当中，将从麦克风M所输出的声音信号进行连续地输入，并执行A/ D转换等的处理。声音输入处理部53将作为其结果所得到的声音数据写入至声音缓冲器 64中。记录控制部M对JPEG缓冲器63和声音缓冲器64的状态进行监视的同时，按照与规定的运动图像数据格式相匹配进行排列，从JPEG缓冲器63及声音缓冲器64依次取得各帧图像的JPEG数据及声音数据，并依次将其记录于存储卡25。另外，该情况下的记录速率为，与本实施方式中的图1所示的示例相对应的
1130fps。切换控制部55对通常运动图像记录和慢运动图像记录进行控制以及从一方朝另一方的切换进行控制。在本实施方式中，操作部23的录像按钮被操作时，切换控制部55开始控制通常运动图像记录。即，切换控制部55诸如通过参照图2的TG17的时钟脉冲等，按照对RAW缓冲器61进行与5帧相当的RAW数据的写入间隔，使后级处理部51启动。其后，用户利用操作部23进行切换操作时，切换控制部55将通常运动图像记录切换为慢运动图像记录，进行慢运动图像记录的控制。即，切换控制部55诸如通过参照图2 的TG17的时钟脉冲等，RAW缓冲器61进行与1帧相当的RAW数据的写入时，使后级处理部 51启动。其后，切换控制部55将慢运动图像记录再次切换为通常运动图像记录，进行通常运动图像记录的控制。即，切换控制部55，按照对RAW缓冲器61进行与5帧相当的RAW数据的写入间隔，再次使后级处理部51启动。其次，对具有这样的结构的摄像装置1所执行的处理中的、对运动图像的数据进行记录的处理(本说明书中，定义为“运动图像记录”)进行说明。图4是表示对切换控制部55执行的运动图像记录控制的处理(以下，定义为“运动图像记录控制处理”)的流程的一个示例的流程图。诸如由操作部23的录像按钮被操作而指示运动图像记录的开始时，开始运动图像记录控制处理。步骤Sl中，切换控制部55对各参数进行初始化。在本实施方式中，将IdxNormal、IdxSlow、WaitCnt、SlowCnt、ChangeUp 的各参数设定为“ 0 ”。另外，关于这些参数的内容将在后面叙述。另外，将用于表示运动图像记录控制处理的状态的参数以下，定义为“状态 St")设定为表示待机状态的“WAIT”。另外，作为状态M，其他还有表示进行通常运动图像记录的状态的“NORMAL”和表示进行慢运动图像记录的状态的“SLOW”。在步骤S2中，切换控制部55对是否存在有结束操作进行判定。在本实施方式中，操作部23的录像按钮被再次操作的情况下，作为存在有结束操作，步骤S2中判定为“是”时，运动图像记录控制处理结束。由此，操作部23的录像按钮未被再次操作的情况下，即步骤S2中判定为“否”时， 处理进入步骤S3。在步骤S3中，切换控制部55对作为状态M是否被设定为“WAIT”(M = WAIT)进行判定。作为状态M而被设定为“WAIT”的情况下，即步骤S3中判定为“是”时，处理进入
步骤S4。在步骤S4中，切换控制部55直到对RAW缓冲器61保存RAW数据所指定的帧数为止，等待运动图像记录(以下，定义为“WAIT处理”)。关于WAIT处理的详细内容，将参照图 5的流程图进行后述。步骤S4的WAIT处理结束后，处理返回至步骤S2，反复其后的处理。相对于此，作为状态M而被设定为“NORMAL”或者“SLOW”的情况下，步骤S3中判定为“否”时，处理进入步骤S5。在步骤S5中，切换控制部55对作为状态M是否被设定为“N0RMAL”(M = NORMAL) 进行判定。关于详细内容虽将参照图5的流程图进行后述，但在本实施方式中，每5帧的RAW 数据被保存于RAW缓冲器61后，状态M的设定从“WAIT”更新为“NORMAL”。在这样的情况下，步骤S5中判断为“是”时，处理进入步骤S6。在步骤S6中，切换控制部55进行通常运动图像记录的控制。S卩，切换控制部55 按照对RAW缓冲器61进行每5帧的RAW数据的写入间隔，使后级处理部51启动。另外，将这样的控制处理，以下，定义为“通常运动图像记录控制处理”。关于通常运动图像记录控制处理的详细，将参照图6的流程图进行后述。步骤S6的通常运动图像记录控制处理结束后，处理返回至步骤S2，其后的处理进行反复。关于详细内容虽将参照图6的流程图进行后述，但在本实施方式中，进行通常运动图像记录当中，用户利用操作部23进行切换操作时，状态M的设定从“NORMAL”更新为 “SLOW”。在这样的情况下，步骤S5中判断为“否”时，处理进入步骤S7。在步骤S7中，切换控制部55进行从通常运动图像记录向慢运动图像记录的切换， 并对慢运动图像记录进行控制。即，切换控制部55在对RAW缓冲器61进行每1帧的RAW 数据的写入时，使后级处理部51启动。另外，将这样的控制处理，以下定义为“慢运动图像记录控制处理”。关于慢运动图像记录控制处理的详细内容，将参照图7的流程图进行后述。在步骤S7的慢运动图像记录控制处理结束后，处理返回至步骤S2，其后的处理进行反复。其次，在运动图像记录控制处理中，关于步骤S4的WAIT处理的详细进行说明。图5是表示WAIT处理的详细流程的一个示例的流程图。如上所述，作为状态M而设定为“WAIT”时，在步骤S3的处理中判定为“是”时， 在步骤S4的处理中开始WAIT处理。步骤S21中，切换控制部55执行1帧图像数据的写入等待的处理。即，1帧的RAW 数据被写入RAW缓冲器61后，步骤S21的处理结束，处理进入步骤S22。步骤S22中，切换控制部55将WaitCnt的值递增1 (WaitCnt++)。在此，WaitCnt是表示WAIT处理的反复次数的参数，换而言之，是表示在RAW缓冲器61中作为RAW数据而保存的帧图像的数量的参数。步骤S23中，切换控制部55判定WaitCnt的值是否为5。当WaitCnt的值为4以下的情况下，即，RAff缓冲器61中作为RAW数据而保存的帧图像的数量为4以下的情况下，在步骤S23中判定为“否”，WAIT处理结束。S卩，图4的步骤S4的处理结束，处理返回至步骤S2，其后的处理进行反复。如此，直到在RAW缓冲器61中保存5帧的RAW数据为止的期间，通过反复进行步骤S2( “否”)、步骤S3( “是”)、步骤S4的循环处理，运动图像记录控制处理处于待机状态。其后，当RAW缓冲器61中保存了 5帧的RAW数据后，在步骤S23中判定为“是”时， 处理进入步骤S24。
步骤SM中，切换控制部55将状态M从“WAIT”更新为“N0RMAL”(St = NORMAL)， WaitCnt 的值返回至 “0” (WaitCnt = 0)。由此，WAIT处理结束。即，图4的步骤S4的处理结束，处理返回至步骤S2，其后的处理进行反复。在此，这次由于状态M被设定为“NORMAL”，在步骤S3的处理中判定为“否”，在步骤S5的处理中判定为“是”时，执行步骤S6的通常运动图像记录控制处理。在此，其次对步骤S6的通常运动图像记录控制处理的详细进行说明。图6是表示通常运动图像记录控制处理的详细的流程的一个示例的流程图。在步骤S41中，切换控制部55执行针对帧编号为IdxNormal的帧图像数据的写入等待的处理。“IdxNormal”是表示对通常运动图像记录中的成为下一记录对象的帧图像的数据所赋予的帧编号的参数。由此，帧编号为IdxNormal的帧图像的RAW数据被写入至RAW缓冲器61后，步骤 S41的处理结束，处理进入步骤S42。步骤S42中，切换控制部55使后级处理部51启动。步骤S43中，切换控制部55执行针对帧编号为IdxNormal的帧图像数据的后级处理部51的处理结束等待的处理。后级处理部51从RAW缓冲器61中读出帧编号为IdxNormal的帧的RAW数据，将其转换为YUV数据后，写入至YUV缓冲器62中。由此，步骤S43的处理结束后，处理进入步骤 S44。步骤S44中，切换控制部55将IdxNormal的值递增5 (IdxNormal+ = 5)。步骤S45中，切换控制部55判定ChangeUp是否为“1”。在此，“ChangeUp”是表示許可或者不許可从通常运动图像记录切换为慢运动图像记录的切换标志。进行上述的切换操作时，“ChangeUp”从O”切换为“1”。S卩，ChangeUp为 “O”的情况下，成为不許可从通常运动图像记录切换为慢运动图像记录的情形。另一方面， ChangeUp为“1”的情况下，成为許可从通常运动图像记录切换为慢运动图像记录的情形。由此，直到用户利用操作部23进行切换操作为止的期间，ChangeUp为“O”，步骤 S45中判定为“否”，通常运动图像记录控制处理结束。S卩，图4的步骤S6的处理结束，处理返回至步骤S2，其后的处理进行反复。如此，只要未进行切换操作，通过反复进行步骤S2( “否”)、步骤S3( “否”)、步骤 S5( “是”)、步骤S6的循环处理，进行通常运动图像记录。即，在每次反复进行步骤S44的处理时，IdxNormal从“0”、“5”、“ 10”、“ 15”、“20”、 “25”进行按序更新。由此，如利用图IB所说明的那样，帧编号为“0”、“5”、“10”、“15”、“20”、 “25”的帧的RAW数据每次写入至RAW缓冲器61时，后级处理部51进行启动。其结果，得到帧编号为“ O，，、“ 5，，、“ 10，，、“ 15，，、“ 20，，、“ 25 ”的帧图像的YUV数据。更进一步，通过JPEG压缩部52，帧编号为“0”、“5”、“10”、“15”、“20”、“25”的帧图像的JPEG数据作为记录对象而得到，并经由记录控制部M而存储于存储卡25中。其后，在正在实施这样的通常运动图像记录中进行切换操作时，ChangeUp从“O” 切换为“ 1 ”，步骤S45中判定为“是”时，处理进入步骤S46。
在步骤S46中，切换控制部55将状态M从“NORMAL”切换为“SLOW”。另外，切换控制部 55 将 IdxSlow 的值更新为 IdxNormal 的值(IdxSlow = IdxNormal)，并将 ChangeUp 的值更新为“O”。另外，关于IdxSlow的内容将进行后述。由此，通常运动图像记录控制处理结束。S卩，图4的步骤S6的处理结束，处理返回至步骤S2，其后的处理进行反复。在此，这次由于状态M被设定为“SLOW”，在步骤S3的处理中判定为“否”，在步骤 S5的处理中判定为“否”时，执行步骤S7的慢运动图像记录控制处理。在此，其次对步骤S7的慢运动图像记录控制处理的详细进行说明。图7是表示慢运动图像记录控制处理的详细的流程的一个示例的流程图。步骤S61中，切换控制部55执行针对帧编号为IdxSlow的帧图像数据的写入等待的处理。“IdxSlow”是表示对慢运动图像记录中的成为下一记录对象的帧图像的数据所赋予的帧编号的参数。由此，帧编号为IdxSlow的帧图像的RAW数据被写入至RAW缓冲器61后，步骤S61 的处理结束，处理进入步骤S62。步骤S62中，切换控制部55进行使后级处理部51启动的控制。步骤S63中，切换控制部55执行针对帧编号为IdxSlow的帧图像数据的后级处理部51的处理结束等待的处理。后级处理部51从RAW缓冲器61中读出帧编号为IdxSlow的帧的RAW数据，将其转换为YUV数据后，写入至YUV缓冲器62中。由此，步骤S63的处理结束后，处理进入步骤 S64。步骤S64中，切换控制部55将IdxSlow的值递增1 (IdxSlow++)，将IdxNormal的值递增 5 (IdxNormal+ = 5)，将 SlowCnt 的值递增 1 (SlowCnt++)。在此，SlowCnt是表示慢运动图像记录处理的反复次数的参数，换而言之，是表示通过慢运动图像记录而在存储卡25中作为JPEG数据进行记录的帧图像的数量的参数。步骤S65中，切换控制部55判定SlowCnt是否为“15”。本实施方式中，通过慢运动图像记录而在存储卡25中作为JPEG数据进行记录的帧图像的总数量为如上所述的15张。由此，在通过慢运动图像记录而在存储卡25中作为JPEG数据进行记录的帧图像的总数量为14张以下的情况下，步骤S65中判定为“否”，慢运动图像记录控制处理结束。S卩，图4的步骤S7的处理结束，处理返回至步骤S2，其后的处理进行反复。如此，进行切换操作时，通过反复进行步骤S2( “否”)、步骤S3( “否”)、步骤 S5( “否”)、步骤S7的循环处理，进行慢运动图像记录。S卩，在每次反复进行步骤S64的处理时，IdxSlow被逐次更新。例如，IdxNormal 为“30”的状态下，进行了切换操作的情况下，在图6的步骤S46的处理中，IdxSlow被设定为“30”，执行第1次的慢运动图像记录控制处理。在该情况下，IdxSlow按序更新为“30”、 “31”、“32”、……。如利用图IB所说明的那样，帧编号为“30”、“31”、“32”、……的帧图像的RAW数
15据每次写入至RAW缓冲器61时，后级处理部51启动。其结果，得到帧编号为“30”、“31”、 “32”、、……的帧图像的YUV数据。更进一步，通过JPEG压缩部52，帧编号为“30”、“31”、 “32”、……的帧图像的JPEG数据作为记录对象而得到，并经由记录控制部M而存储于存储卡25中。其后，这样的慢运动图像记录持续进行，第15张的帧图像，即在图IB的示例中的帧编号为“44”的帧图像的JPEG数据被记录于存储卡25时，SlowCnt成为“15”，在步骤S65 中判定为“是”时，处理进入步骤S66。步骤S66中，切换控制部55将状态M从“SLOW”再次切换为“NORMAL”。另外，切换控制部55将SlowCnt的值更新为“O”。由此，慢运动图像记录控制处理结束。S卩，图4的步骤S6的处理结束，处理返回至步骤S2。其后，只要未进行再次切换操作，通过反复进行步骤S2( “否”)、步骤S3( “否”)、步骤S5( “是”)、步骤S6的循环处理， 再次进行通常运动图像记录。如此，切换控制部55通过执行图4至图7所示的运动图像记录控制处理，连续地进行通常运动图像记录及慢运动图像记录。在该期间，通过记录控制部M进行的将声音数据记录于存储卡25的记录也连续地进行。即，声音数据的记录，是在诸如由操作部23的录像按钮被操作而指示开始运动图像记录时，与运动图像记录控制处理一并开始。其后，不论是否进行了切换操作，即是否进行了从通常运动图像记录切换为慢运动图像记录的切换，声音数据的记录处理独立持续进行。摄像装置1如此能够对存储卡25中记录的运动图像及声音数据进行再生。该情况下，运动图像的数据的再生速率为如上所述的通常的30fps。由此，在慢运动图像记录的区间中，以慢5倍来进行运动图像的再生。另外，在其他区间，即在通常运动图像记录的区间中，以通常那样的等倍速进行运动图像的再生。关于声音，与运动图像的慢再生和等倍速再生无关，连续地进行再生。如以上说明，本实施方式所涉及摄像装置1具备图像传感器15，其通过对被摄体进行摄像，将包含被摄体的帧图像的数据输出；麦克风24，其用于声音的输入；和CPU20，其进行控制，使得通过通常运动图像记录或者慢运动图像记录，将从图像传感器15输出的多个帧图像的数据作为运动图像的数据而记录于存储卡25，并且，将输入麦克风M的声音数据记录于存储卡25。CPU20能够进行下述控制作为慢运动图像记录的控制，将在规定的慢运动图像摄像期间(第1摄像期间) 的期间，由图像传感器15所输出的帧图像的数据，在基于慢运动图像摄像期间而设定的慢运动图像记录期间(第1记录期间)中记录于存储卡25，作为通常运动图像记录的控制，将在与慢运动图像摄像期间不同的期间(第2摄像期间)，从图像传感器15所输出的帧图像的数据，在通常运动图像记录期间(第2记录期间)中，记录于存储卡25，作为声音数据的记录控制，使慢运动图像记录期间及通常运动图像记录期间连续地将声音数据记录于存储卡25。由此，连续地进行通常运动图像记录及慢运动图像记录的情况下，能够维持声音数据的记录及再生的连续性。即，通过通常的再生处理，维持通常的声音再生的连续性，能够进行表现了慢运动图像记录的效果的运动图像的再生。(第2实施方式)接下来，参照图10至图14对本发明的第2实施方式进行说明。在本实施方式中， 在规定的慢运动图像摄像期间(第1摄像期间)的期间，进行对于从图像传感器15所输出的帧图像的数据进行记录的慢运动图像记录，即，进行对于以Yfps(Y为任意的数值)所摄像得到的数据进行记录的慢运动图像记录。此时，将慢运动图像摄像期间以Yfps所摄像得到的数据的子画面图像、与基于慢运动图像摄像期间而设定的慢运动图像记录期间(第1 记录期间)中以Xfps (X满足Y > X的任意的数值)所摄像得到的帧图像的数据的主画面图像之间的合成图像的数据，作为以Xfps来再生的合成图像的数据而记录于存储卡25。关于该点，第2实施方式与第1实施方式不同。参照图10来说明本实施方式的概要。图10是表示，通过本发明所适用的摄像装置连续地进行通常运动图像记录及慢运动图像记录的情况下的、所摄像得到的帧图像的数据与作为运动图像的数据而被记录的帧图像的数据之间的关系的时序图。图IOA是表示从摄像元件所输出的帧图像的数据的时序图。在图IOA中，一个长方形表示从摄像元件所输出的一帧图像的数据。示。虽未对各长方形记载帧编号，但对于该图中左端的帧图像的数据，赋予“0”的帧编号，以下，按照该图中向右方向的次序，即按照摄像元件的输出次序，对各帧图像的数据，按照逐次增加1的方式来分别赋予“1”、“2”、“3”、……的帧编号。图IOA的示例中，对于摄像速率，为了便于与原有相比较，采用的是与上述原有的图8A或图9A的示例相同的摄像速率150fps。图IOB是表示通常运动图像记录中进行慢运动图像记录的情况下的、记录于记录介质中的帧图像和声音的各数据的时序图。图IOB中，主画面用图像的一个长方形表示记录于记录介质的由30fps的合成图像所合成的一帧图像的数据。另外，子画面用图像的一个长方形表示记录于记录介质中的由30fps的合成图像所合成的一帧图像的数据。另外，分别记载于长方形的内部的数字是对150fps摄像的长方形所示的帧图像的数据所赋予的帧编号。另外，关于后述的图10C，其长方形的内部所记载的数字也同样。在通常运动图像记录的情况下，如图IOB所示，从摄像元件输出的帧图像的数据中，每5帧间隔的帧图像的数据(图IOA的涂黑的长方形所示的数据)，即，帧编号为“0”、 “5”、“10”、“15”、“20”、“25”的帧图像的数据作为记录对象来取得，并记录于记录介质中。用户在这样的通常运动图像记录进行当中，能够利用操作部23进行将其切换成慢运动图像记录的切换操作。这样的切换操作被进行时，从通常运动图像记录切换为慢运动图像记录，在下述的条件下，从摄像元件输出的帧图像的数据按序记录于记录介质中。 即，在摄像速率为150fps，记录速率为30fps的情况下，慢运动图像摄像期间为1切换操作的0. 1秒(即，慢运动图像记录的对象帧数为1 。在该慢运动图像摄像期间中，以通常运动图像摄像期间的5倍的帧频来取得子画面图像用的图像数据。同时，在基于慢运动图像摄像期间的慢运动图像记录期间中，从摄像元件输出的帧图像的数据中，每5帧间隔的帧图像的数据(图IOA的斜线的长方形所示的数据)，即，帧编号为“30”、“35”、“40”、“45”、 “50”、“55”、……“100”的帧图像的数据作为主画面图像用的图像数据来取得。如此，取得的子画面图像用的图像数据和主画面图像用的图像数据，被合成并记录为由2画面构成的合成图像。具体而言，在图10的示例中，在帧编号为“26”的帧图像的数据从摄像元件输出的阶段，进行切换操作。在进行该切换操作的阶段，以30fps所摄像得到的运动图像数据中， 即，每5帧间隔的帧图像的数据中，帧编号为“25”的帧图像的数据正被记录于记录介质。因此，在进行将帧编号为“25”的帧图像的数据记录于记录介质中的记录完成的定时，从通常运动图像记录切换为慢运动图像记录。由此，在进行切换的时刻从摄像元件所输出的帧图像的数据，即，帧编号为“25”的5个后的“30”的帧图像的数据起，开始慢运动图像记录。如上所述，慢运动图像摄像期间，每1次切换操作为0. 1秒，即，慢运动图像记录的对象帧数为15，如图IB所示，帧编号为“30”至“44”的帧图像的数据成为子画面图像用慢运动图像记录的对象。因此，慢运动图像记录开始后，从摄像元件输出的所有的帧图像的数据，即，帧编号为“30”、“31”、“32”、“33”、……、“44”的所有的帧图像的数据作为子画面图像的图像数据来进行取得。同时，从摄像元件输出的帧图像的数据中，每5帧间隔的帧图像的数据(图IOA的斜线的长方形所示的数据)，即，帧编号为“ 30，，、“ 35，，、“ 40，，、“ 45，，、“ 50 ”、“ 55 ”、……“ 100，，
的帧的数据作为主画面图像的图像数据来进行取得。如此取得的子画面图像的图像数据和主画面图像的图像数据进行合成，生成由2画面构成的30fps的合成图像。图13表示通过慢运动图像记录控制处理，将“以150fps所摄像得到的运动图像的数据”作为子画面观1、将“与30fps的摄像速率相当的运动图像的数据”作为主画面282 进行合成的2画面的合成图像的一个示例。图13中，主画面中通常再生的投手的图像和子画面中慢再生的投手的图像分别通过主画面和子画面进行再生。其次，在被再次切换成通常运动图像记录的时刻，如图IOB所示，从摄像元件输出帧编号为“105”的帧图像的数据。该情况下，到此为止的帧图像的数据作为主画面图像而进行记录。其后，帧编号为“ 105 ”、“ 110 ”、“ 115 ”、“ 120 ”、“ 125 ”、“ 130，，……的帧图像的数据作为1画面图像用的记录对象而取得，并记录于记录介质中。另外，通过慢运动图像记录处理，连续的15个帧图像的数据作为子画面用图像数据，并按照5分之一对15个帧图像的数据进行间隔提取，并将其作为主画面用图像数据，将该两者进行合成后的合成图像记录于记录介质中的期间，如图IOA所示，定义为“慢运动图像记录期间”。该慢运动图像记录期间为基于慢运动图像摄像期间所设定的期间，以图IOB 为例而言，为慢运动图像摄像期间的0. 1秒的5倍时间，即，0. 5秒。另外，将通过通常运动图像记录进行帧图像的数据的记录的期间，如图IOA所示， 以下，将其定义为“通常运动图像记录期间”。在该期间，关于子画面用的图像数据，成为无记录的“無记录期间”。在此，如图IOB所示，声音数据与慢运动图像记录期间以及通常运动图像记录期间无关，连续地不间断地被记录于记录介质。由此，即使在通常运动图像记录及慢运动图像记录连续地进行的情况下，也能够维持声音数据的记录及再生的连续性。图IOC是表示在没有进行切换操作的情况下，即，持续地进行通常运动图像记录的情况下的、在记录介质中记录的帧图像和声音的各数据的时序图。在该情况下，不设置慢运动图像记录期间，从运动图像记录的开始至结束为止，持续为通常运动图像记录期间。其次，关于第2实施方式所涉及的摄像装置的构成，参照图11进行说明。图11是表示为实现第2实施方式所涉及的通常运动图像记录及慢运动图像记录的功能构成的功能框图。第2实施方式所涉及的摄像装置能够以与第1实施方式所涉及的摄像装置1大致相同的构成来实现。因此，对于与第1实施方式所涉及的摄像装置1相同的构成，对其赋予相同的标号并省略其说明，仅对其特征部分进行说明。图像传感器15及前级处理部16均以与摄像速率相同的速度进行动作。在图10 的示例中，图像传感器15及前级处理部16分别执行1秒钟150帧的摄像和前级处理。由前级处理部16输出的帧图像的数据为RAW图像的数据，即，RAW数据，其被写入 DRAM18的RAW缓冲器61中。该RAW缓冲器61是具有与150帧相当的数据容量的环形缓冲器。另外，在RAW缓冲器61中，前级处理部16的输出数据的写入地址按照每一帧图像依次切换。后级处理部51的启动定时由切换控制部55控制。例如，在进行通常运动图像记录的情况下，如利用图10所说明那样，在从图像传感器15以150fps所输出的各帧图像的数据中，将每5帧间隔的帧图像的数据作为记录对象来进行取得。在此，在进行通常运动图像记录的情况下，按照对RAW缓冲器61进行5帧的RAW数据写入的间隔，后级处理部51通过切换控制部55而启动。即，后级处理部51按照每5帧的间隔，从RAW缓冲器61中依次读出1帧的RAW数据，并将其转换为YUV数据，并写入YUV缓冲器72中。如此，在YUV缓冲器 72中，每5帧间隔的帧图像的YUV数据，以图IOB为例来说，帧编号为“0”、“5”、“10”、“15”、 “20”、“25”的各帧图像的YUV数据作为记录对象来进行取得，并写入YUV缓冲器72中。对于此，例如，在进行慢运动图像记录的情况下，如利用图10所说明的那样，图像传感器15以150fps输出的各帧图像的数据作为子画面用图像的记录对象来进行取得。在此，在进行慢运动图像记录的情况下，按照对RAW缓冲器61进行每一帧的RAW数据的写入时，后级处理部51通过切换控制部55的控制而启动。即，后级处理部51将所有的帧图像的RAW数据从RAW缓冲器61依次读出，并将其转换为YUV数据，并写入YUV缓冲器72中。 如此，在YUV缓冲器72中，所有的帧图像的YUV数据，以图IOB为例来说，帧编号为“30”至 “44”的所有的帧图像的YUV数据作为记录对象来进行取得，作为子画面用的图像数据而写入YUV缓冲器72中。同时，后级处理部51按照每5帧的间隔从RAW缓冲器61依次读出1 帧的RAW数据，并将其转换为YUV数据，并写入YUV缓冲器72中。JPEG压缩部52按照每一帧图像，依次读出YUV数据，并基于JPEG方式进行压缩编码化。由此，帧图像的YUV数据被转换为所谓的JPEG数据，并写入JPEG缓冲器63中。另外，如此并行地进行下述处理，即JPEG压缩部52将帧图像的YUV数据从YUV缓冲器72读出的处理、上述的后级处理部51将别的帧图像的YUV数据作为主画面用的图像数据而写入YUV缓冲器72中的处理以及作为子画面用的图像数据而写入YUV缓冲器72中的处理。因此，YUV缓冲器72由用于写入主画面用的图像数据及合成后的图像数据的存储区域、用于通过JPEG压缩部52进行的读出处理的存储区域、用于写入子画面用的图像数据的存储区域来构成。另外，各自的存储区域被控制为在YUV缓冲器72内依次切换存储区域， 使得与通过后级处理部51进行的主画面用的图像数据和合成后的图像数据的写入处理、 通过后级处理部51进行的子画面用的图像数据的写入处理以及通过JPEG压缩部52所进行的读出处理相对应的存储区域之间不发生重复。其次，对本实施方式的慢运动图像记录控制处理的详细内容进行说明。图12是表示慢运动图像记录控制处理的详细流程的一个示例的流程图。本实施方式中，向慢运动图像记录的切换操为快门按钮的按下。即，在上述的图4 的运动图像记录控制处理的步骤S5中，通过切换控制部55判定为用户按下了快门按钮时， 开始慢运动图像记录控制处理。在步骤S71中，切换控制部55执行对帧编号为IdxNormal的帧图像数据的写入等待的处理。“IdxNormal”是表示对慢运动图像记录控制处理中，成为主画面用的图像数据的下一记录对象的帧图像的数据所赋予的帧编号的参数。由此，帧编号为IdxNormal的帧图像的RAW数据被写入RAW缓冲器61时，步骤S71 的处理结束，处理进入步骤S72。步骤S72中，切换控制部55进行使后级处理部51启动的控制。步骤S73中，切换控制部55执行针对帧编号为IdxNormal的帧图像数据的、后级处理部51的处理结束等待的处理。后级处理部51从RAW缓冲器61中读出帧编号为IdxNormal的帧的RAW数据，将其转换为YUV数据。其后，将转换后的YUV数据写入至YUV缓冲器72的为主画面或者合成图像的图像数据而确保的存储区域中。由此，步骤S73的处理结束后，处理进入步骤S74。步骤S74中，切换控制部55执行针对帧编号为IdxSlow的帧图像的写入等待的处理。“IdxSlow”是表示对慢运动图像记录控制处理中的、成为子画面用的图像数据的下一记录对象的帧图像的数据所赋予的帧编号的参数。由此，帧编号为IdxSlow的帧图像的RAW数据被写入RAW缓冲器61时，步骤S74 的处理结束，处理进入步骤S75。步骤S75中，切换控制部55进行使后级处理部51启动的控制。步骤S76中，切换控制部55执行针对帧编号为IdxSlow的帧图像数据的、后级处理部51的处理结束等待的处理。后级处理部51从RAW缓冲器61中读出帧编号为IdxSlow的帧的RAW数据，将其转换为YUV数据。其后，将转换后的YUV数据写入至YUV缓冲器72的为子画面用的图像数据而确保的存储区域中。由此，步骤S76的处理结束后，处理进入步骤S77。步骤S77中，切换控制部55将IdxSlow的值递增1 (IdxSlow++)，将IdxNormal的值递增 5 (IdxNormal+ = 5)，将 SlowCnt 的值递增 1 (SlowCnt++)。步骤S78中，切换控制部55将主画面用图像和子画面用图像进行合成。即，切换控制部55通过画中画(PinP :Picture in Picture)方法，针对由步骤S72中启动的后级处理部51所写入YUV缓冲器72的主画面用的图像数据，将步骤S75中启动的后级处理部51 所写入YUV缓冲器72的子画面用的图像数据进行缩小并复制。
步骤S79中，切换控制部55判定SlowCnt是否为“15”。本实施方式中，通过慢运动图像记录而在存储卡25中作为JPEG数据进行记录的帧图像的总数量为如上所述的15张，在通过慢运动图像记录而在存储卡25中作为JPEG数据进行记录的当前的帧图像的总数量为14张以下的情况下，步骤S79中判定为“否”，慢运动图像记录控制处理结束。该情况下，图4的运动图像记录控制处理中，通过反复进行步骤S2( “否”)、步骤 S3( “否”)、步骤S5( “否”)、步骤S7，直到通过慢运动图像记录的帧图像的总数量成为15 张，进行慢运动图像记录。即，在每次反复进行步骤S77的处理，IdxSlow依序逐一地更新。例如，IdxNormal 为“30”的状态下，进行了切换操作的情况下，通过图6的步骤S46的处理将IdxSlow设定为“30”，第1次的慢运动图像记录控制处理被执行。该情况下，IdxSlow依序更新为“30”、 “31”、“32”、……。图14是表示通过慢运动图像记录控制处理所生成的合成图像的一个示例。如参照图IOB所说明的那样，帧编号为“30”、“31”、“32”、……的帧图像的RAW数据每次被写入RAW缓冲器61时，后级处理部51启动。并且，帧编号为“30”、“35”、“40”、…… 的帧图像的RAW数据每次被写入RAW缓冲器61时，后级处理部51启动。其结果，如图14所示，相对于帧编号为“30”、“35”、“40”、……“100”的主画面用的帧图像的YUV数据(主画面数据)，将帧编号为“30”、“31”、“32”、……“44”的子画面用的帧图像的YUV数据(子画面数据)缩小而得到复制的合成图像的帧图像“2810”、“观11”、“2812”、……“2824”的 YUV数据(合成图像数据)。更进一步，通过JPEG压缩部52将合成图像的帧图像“2810”、 "S2811'\"2812'\……“S2824，，的JPEG数据作为记录对象来进行取得，介于JPEG缓冲器 63及记录控制部M而记录于存储卡25中。其后，进行这样的慢运动图像记录，第15张的帧图像，以图14为例来说，“S14”的帧图像的JPEG数据被记录于存储卡25时，SlowCnt成为“15”，步骤S79中判定为“是”时， 处理进入步骤S80。步骤S80中，切换控制部55将状态M从“SLOW”再次切换为“NORMAL”。另外，切换控制部55将SlowCnt的值更新为“O”。由此，慢运动图像记录控制处理成为结束。该情况下，图4的运动图像记录控制处理中，只要没有再次进行切换操作，通过反复进行步骤S2 ( “否”)、步骤S3 ( “否”)、步骤S5 ( “是”)、步骤S6的循环处理，再次进行通
常运动图像记录。如此，切换控制部55每执行图12所示的慢运动图像记录控制处理时，连续地进行主画面用的通常运动图像记录以及子画面用的慢运动图像记录中的主画面用图像和子画面用图像的合成。在该期间，通过记录控制部M进行的将声音数据记录于存储卡25的记录连续地进行。即，声音数据的记录是在诸如由操作部23的录像按钮被全按下操作而指示开始运动图像记录时，与运动图像记录控制处理一并开始。其后，不论是否进行了从通常运动图像记录切换为慢运动图像记录的切换，声音数据的记录处理独立持续进行。另外，在摄像装置1对存储卡25中记录的运动图像及声音的数据进行再生的情况下，运动图像的数据的再生速率为如上所述的通常的30fps。由此，慢运动图像记录期间所
21记录的子画面图像，以5倍慢来进行运动图像的再生。另外，余下的运动图像，即在通常运动图像记录期间所记录的主画面图像以通常的等倍速进行运动图像的再生。关于声音，与运动图像的慢再生和等倍速再生无关，连续地进行再生。如以上说明，本实施方式所涉及摄像装置1具有图像传感器15，其通过对被摄体进行摄像，输出包含被摄体的帧图像的数据；麦克风24，用于声音的输入；和CPU20，其进行控制，使得通过通常运动图像记录或者慢运动图像记录，将从图像传感器15输出的多个帧图像的数据作为运动图像的数据而记录于存储卡25，同时，将输入麦克风M的声音数据记录于存储卡25。CPU20进行下述控制，即，作为慢运动图像记录的控制，将在规定的慢运动图像摄像期间(第1摄像期间) 的期间，将由图像传感器15所输出的以Yfps(150fps)所摄像得到的运动图像的帧图像的数据、和按照规定时间间隔将该帧图像的数据进行部分间隔提取并以Xfps来再生而记录的在第1记录期间中以Xfps所摄像得到的运动图像的帧图像的数据分别作为第1画面图像、第2画面图像而合成的合成图像记录于存储卡25 (记录介质)中；作为通常运动图像记录的控制，将与第1摄像期间不同的摄像期间(第2摄像期间)，从图像传感器15所输出的帧图像的数据，在与第1摄像期间不同的第2摄像期间，记录于存储卡25 ；作为声音数据的记录控制，使第1记录期间和第2记录期间连续，将声音数据记录于存储卡25。如此，在本实施方式中，进行控制使得在通常运动图像摄像中执行慢运动图像记录控制处理时，将慢运动图像记录的运动图像信息作为子画面，并与主画面的通常运动图像记录的运动图像信息进行合成并记录，更进一步进行控制使得也维持声音记录。由此，在进行运动图像的再生时，能够维持通常的运动图像再生、声音再生的连续性，且能表现慢运动图像记录的效果。另外，对于将慢运动图像记录的运动图像信息作为子画面，并与作为主画面的通常运动图像记录的运动图像信息进行合成并记录的情况进行了说明，但本发明并不仅限于此。例如，也可以是将慢运动图像记录的运动图像信息作为主画面，并将通常运动图像记录的运动图像信息作为子画面而进行合成并记录的情形。具体而言，也可以是步骤S78中， 切换控制部55针对通过步骤S75中启动的后级处理部51所写入YUV缓冲器72中的子画面用的图像数据，将通过步骤S72中启动的后级处理部51所写入YUV缓冲器72中的主画面用的图像数据进行缩小并复制。由此，通过子画面来观看通常被再生的通常运动图像，而在主画面仔细地观看以慢5倍再生的运动图像。另外，本发明并不限于上述实施方式，在本发明的目的可达成的范围内的变形、改良等均包含在本发明内。例如，上述的实施方式中，在切换操作后，所摄像的运动图像的数据成为慢运动图像记录对象，但本发明并不限于此。例如，虽没有图示，本发明所适用的摄像装置也可以具有用于在摄像结束后，对慢运动图像记录对象即慢运动图像记录期间进行指定的指定单元。在该情况下的指定方法并不特别限定，指定单元可自动地进行指定，也可通过用户操作操作部23来进行指定。该情况下，在第1实施方式的步骤S65中，不进行判定是否SlowCnt 为“ 15”，例如，而是判定指定单元的操作是否解除，只要没有通过指定单元指定慢运动图像记录期间，就反复进行慢运动图像记录处理。同样，第2实施方式中，在步骤S79中，不进行判定是否SlowCnt为“15”，例如，而是判定指定单元的操作是否解除，只要没有通过指定单元指定慢运动图像记录期间，就反复进行慢运动图像记录处理。该情况下，摄像装置1以150fps从图像传感器15输出的所有运动图像暂时性记录于存储卡25或DRAM18等中。指定单元在图像传感器15的摄像动作结束后，对慢运动图像记录对象的帧图像进行指定。在此基础上，摄像装置1也可以生成运动图像文件，将被指定的慢运动图像记录对象的范围外的帧图像的数据进行削除。另外，例如，上述的实施方式中，切换操作后的摄像运动图像(多个帧图像)的数据作为慢运动图像记录对象，但本发明并不限于此。例如，也可以是通过将后级处理部51 以后的处理总滞后规定时间，使慢运动图像记录对象含有切换操作前的摄像运动图像的数据。另外，例如，本发明所适用的摄像装置以数码照相机构成的示例进行说明。但是， 本发明并不限于数码照相机，能够适用于具有运动图像的摄像并记录的功能与声音的输入并记录的功能的电子设备。具体而言，例如，本发明能够适用于摄像机、便携式导航装置、可携带的游戏机等。上述的一系列处理可通过硬件来执行，可以通过软件来执行。—系列的处理通过软件来执行的情况下，关于构成该软件的程序，其可在计算机等中通过网络或记录介质进行安装。计算机可以是设置有专用硬件的计算机。另外，计算机也可以是通过安装各种的程序来执行各种功能的计算机，例如可以是通用的个人计算机。包含有这样的程序的记录介质不仅可由为了对用户提供程序而独立于装置本体所散发的可移动的介质(例如图2的存储卡25)构成，也可以对装置本体预先安装状态下向用户提供的记录介质等构成。可移动的介质诸如由磁盘(包含软盘)、光盘或者光磁盘等构成。光盘诸如由 CD-ROM (Compact Disk-Read Only Memory)，DVD (Digital Versatile Disk)等构成。光磁盘由MD(Mini-Disk)等构成。另外，对装置本体预先安装状态下的向用户提供的记录介质诸如由程序已记录的图2的R0M22，未图示的硬盘等构成。另外，本说明书中，对记录于记录介质中的程序进行记述的步骤，包括沿着其顺序以时序列来进行的处理，其并不一定以时序列来进行处理，也包含并列或者个别地执行的处理。
权利要求
1.一种摄像装置，其特征在于，包括摄像单元；声音输入单元，其用于输入声音；第1取得单元，其将通过所述摄像单元连续地进行摄像得到的被摄体的多个图像，按照规定时间间隔进行部分间隔提取，从而作为第1图像群在第1记录期间以第1帧频来取得；第2取得单元，其在第2记录期间以第2帧频来取得通过所述摄像单元连续地进行摄像得到的被摄体的多个图像，作为第2图像群；和生成单元，其基于通过所述声音输入单元所输入的声音、通过所述第1取得单元所取得的第1图像群以及通过所述第2取得单元所取得的第2图像群，来生成能够以所述第1 帧频进行再生的运动图像。
2.根据权利要求1所述的摄像装置，其特征在于，还包括切换单元，所述切换单元在所述第1取得单元或者所述第2取得单元进行被摄体的图像的取得时，将被摄体的图像的取得从一方切换成另一方。
3.根据权利要求1所述的摄像装置，其特征在于，还包括指定单元，所述指定单元基于所述记录介质中所记录的运动图像，指定所述第2 记录期间。
4.根据权利要求1所述的摄像装置，其特征在于，所述第1帧频为Xfps，所述第2帧频为Yfps，其中，X为任意的数值，Y为满足Y > X的任意的数值。
5.一种摄像控制方法，其特征在于，包括摄像步骤，进行图像的摄像；声音输入步骤，进行声音的输入；第1取得步骤，将通过所述摄像步骤连续地进行摄像得到的被摄体的多个图像，按照规定时间间隔进行部分间隔提取，从而作为第1图像群在第1记录期间以第1帧频来取得；第2取得步骤，在第2记录期间以第2帧频来取得通过所述摄像步骤连续地进行摄像得到的被摄体的图像，作为第2图像群；和生成步骤，基于通过所述声音输入步骤所输入的声音、通过所述第1取得步骤所取得的第1图像群以及通过所述第2取得步骤所取得的第2图像群，来生成能够以所述第1帧频进行再生的运动图像。
全文摘要
本发明提供一种摄像装置以及摄像控制方法，摄像装置(1)具备图像传感器(15)、麦克风(24)和CPU(20)。麦克风(24)用于输入声音。CPU(20)在第1记录期间以第1帧频来取得通过图像传感器(15)所连续摄像得到的被摄体的多个图像，作为第1图像群。另外，CPU(20)在第2记录期间以高于所述第1帧频的第2帧频来取得通过图像传感器(15)所摄像得到的被摄体的图像，作为第2图像群。而且，CPU(20)基于通过麦克风(24)所输入的声音、以所述第1帧频所取得的第1图像群和以所述第2帧频所取得的第2图像群，来生成能够以所述第1帧频进行再生的运动图像。
文档编号H04N5/232GK102164242SQ20111003813
公开日2011年8月24日 申请日期2011年2月12日 优先权日2010年2月16日
发明者市川英里奈, 星野博之, 村木淳, 清水博 申请人:卡西欧计算机株式会社