图像稳定性控制装置、摄像装置以及图像稳定性控制方法

专利名称：图像稳定性控制装置、摄像装置以及图像稳定性控制方法
技术领域：
本发明涉及校正或防止因诸如手抖的抖动而出现的图像抖动或图像劣化的图像稳定性控制技术。
背景技术：
近年来，摄像机的所有对于图像拍摄重要的操作，例如用于确定曝光的操作和聚焦操作，都可以自动执行。因此，即便不熟悉摄像机使用的用户也可以几乎总是成功地拍摄高质量图片。此外，近来市售的摄像机包括由抖动校正单元、驱动单元、抖动检测单元等组成的图像稳定性控制装置，并且被配置为防止因诸如手抖的抖动而出现的图像抖动。包括由抖动校正单元、驱动单元、抖动检测单元等组成的图像稳定性控制装置的摄像机几乎消除了致使拍摄者的拍摄错误的因素。
下面，简要描述图像稳定性控制装置。在图像拍摄期间可能对摄像机发生的手抖是频率大概为I到IOHz的抖动。为了即便在按压快门释放按钮时对摄像机施加了这种手抖的情况下也没有任何图像抖动地拍摄照片，需要检测因手抖而施加给摄像机的角旋转抖动，并且根据检测值使镜头位移以校正图像抖动(以下，简称为“补偿镜头”)。
而且，当在近距离(在使用高摄像倍率的拍摄条件下)拍摄图像时，因平移抖动 (translational shake)引起的图像劣化可能不能被忽略。例如，当在微距拍摄的情况下在约20cm的近物距下拍摄物体图像时，必需主动检测并校正平移抖动。在即使确保了 I米的足够物距时摄像光学系统的焦距非常大(例如，400mm)的拍摄条件下，也必需检测并校正平移抖动。然而，仅通过角速度传感器可能不能检测到平移抖动，并且平移抖动被施加在位于垂直于摄像机的光轴的平面内的水平方向或垂直方向上。
日本特开平第7-225405号公报公开了一种技术，其中，提供了被配置为检测加速度的加速度计，以通过对所检测的加速度进行二次积分来检测平移抖动，并且根据所检测的平移抖动值和来自独立设置的角速度计的输出来驱动抖动校正单元。
日本特开第2010-25962号公报公开了一种技术，其中在旋转中心远离摄像机时平移抖动等效于角旋转抖动。
利用角旋转抖动的旋转半径来执行平移抖动校正的传统方法可能引起以下问题。
为了检测摄像机在水平方向上的平移抖动，采用了为校正偏航(yaw)角旋转抖动而安装的偏航角速度传感器，和检测摄像机在水平方向上的加速度的加速度传感器。根据由这两个传感器获得的检测值来计算水平方向上的平移抖动校正量。然而，对于摄像机在水平方向上的平移抖动，难以精确地确定平移抖动校正量，这是因为，摄像机除了受到与摄像机在偏航方向(yaw direction)上的旋转相关联的平移抖动影响外,还可能受到与摄像机在滚转方向(roll direction)上的旋转相关联的平移抖动影响。具体地说，当摄像机在俯仰方向(pitch direction)上的旋转很小而与摄像机在滚转方向上的旋转相关联的垂直方向上的平移抖动较大时，难以仅通过检测俯仰方向上的角速度和垂直方向上的加速度来精确地确定针对垂直方向上的平移抖动的校正量。注意，这些同样适用于俯仰方向上的平移抖动的检测。

发明内容
〔0009〕 本发明提供了一种图像稳定性控制装置以及该图像稳定性控制装置的控制方法， 该图像稳定性控制装置在考虑了围绕光轴的方向上的抖动的情况下针对因施加给光学装 置的角旋转抖动的影响而出现的平移抖动以高精度执行图像抖动校正。 〔0010〕 为了解决以上问题，根据本发明的一个方面，提供了一种图像稳定性控制装置，该 图像稳定性控制装置包括抖动校正单元，其被配置为能够在不同于摄像光轴方向的方向 上移动；第一抖动检测单元，其被配置为检测在垂直于光轴的第一方向上的角旋转抖动； 第二抖动检测单元，其被配置为检测在围绕光轴的第二方向上的角旋转抖动，所述第二方 向与所述第一方向不同；第三抖动检测单元，其被配置为检测设备的平移抖动；控制单元， 其被配置为使用所述第一抖动检测单元、所述第二抖动检测单元以及所述第三抖动检测单 元的输出，来计算用于校正所述第一方向和所述第二方向上的平移抖动的校正量；以及驱 动单元，其被配置为根据所述校正量来驱动所述抖动校正单元。 〔0011〕 根据参照附图对示例性实施例的以下描述，本发明的其他特征将变得清楚。


〔0012〕 图1是具有图像稳定性功能的摄像机的俯视示意图，用于结合图2到图10解释本
发明的第一实施例。
〔0013〕 图2是摄像机的侧视示意图。
〔0014〕 图3是摄像机的正视示意图。
〔0015〕 图4是摄像机在俯仰方向上的抖动及其旋转中心的示例图。
〔0016〕 图5是与摄像机在垂直方向上的运动相关的摄像机在滚转方向上的抖动及其旋
转中心的示例图。
〔0017〕 图6是摄像机在偏航方向上的抖动及其旋转中心的示例图。
〔0018〕 图7是与摄像机在水平方向上的运动相关的摄像机在滚转方向上的抖动及其旋
转中心的示例图。
〔0019〕 图8是例示图像稳定性控制装置的示例性结构的框图。 〔0020〕 图9是例示图8中所示的比较单元的框图。
〔0021〕 图10示出了用于解释图9中所示的相关度确定单元的示例性波形。
〔0022〕 图11是例示根据本发明第二实施例的图像稳定性控制装置的示例性结构的框图。
〔0023〕 图12是例示由图11中所示的图像稳定性控制装置执行的处理的示例的流程图。 〔0024〕 图13是例示根据本发明第三实施例的图像稳定性控制装置的示例性结构的框 图。
〔0025〕 图14是例示图13中所示的比较单元的框图。
〔0026〕 图15是例示根据本发明第四实施例的图像稳定性控制装置的示例性结构的框 图。
〔0027〕 图16是与图15中所示的图像运动检测单元相关的运动向量的示例图。
具体实施方式
下面，将参照附图描述本发明的实施例。
(第一实施例)
图I到图3各自示出了用作包括根据本发明第一实施例的图像稳定性控制装置的光学装置的摄像机的示例性结构。图I是摄像机的俯视示意图。图2是摄像机的侧视示意图。图3是摄像机的正视示意图。图I到图3中的虚线所示的轴表示摄像机101的摄像光学系统的光轴102。在摄像机101上安装的图像稳定性系统中，基于相对于光轴102由箭头 103p、103y和1031■所示的抖动(以下，称为“角旋转抖动”)和由箭头104p和104y所示的抖动(以下，称为“平移抖动”)，来执行对图像抖动的校正。对附图标号添加附图标记“P” 来指示俯仰方向，对附图标号添加附图标记“y”来指示偏航方向。俯仰方向和偏航方向彼此相互正交，并且这两个方向都正交于光轴。对于要施加给摄像机101的角旋转抖动的方向，第一方向被设置为偏航方向(参见箭头103y)或俯仰方向(参见箭头103p)，而第二方向被设置为滚转方向(参见箭头103r)。要施加给摄像机101的平移抖动的方向是水平方向(参见箭头104y)和垂直方向(参见箭头104p)，这两个方向都与摄像机101的摄像光学系统的光轴正交。
在摄像机101的主体上安装有释放按钮105，通过操作该按钮而输入的开关打开/关闭信号被发送给摄像机CPU(中央处理单元)106。在本实施例中，设置了二级开关 (two-step switch),在该二级开关中，当释放按钮105被半按压时,第一开关(以下称为 “SW1”)被切换到“0N(接通)”状态，而当释放按钮105被全按压时，第二开关(以下称为 “SW2”)被切换到“0N”状态。摄像机CPU 106控制摄像机的操作，并且负责控制图像抖动校正。换句话说，摄像机CPU 106用作控制图像抖动校正的控制单元。摄像部件107将通过摄像光学系统的镜头获得的物体图像转换为电信号，该电信号被输出给信号处理单元(未示出)。
角速度检测单元和加速度检测单元构成了对摄像机的抖动进行检测的抖动检测单元。
角速度传感器108p、108y和108r是分别被配置为检测绕箭头108pa、108ya和 108ra的角旋转抖动的角速度检测单元。此外，加速度计109p和109y是分别被配置为检测由箭头109pa和109ya所示的平移抖动的加速度检测单元。由角速度传感器108p、108y和 108r以及加速度计109p和109y检测到的信号被输入给摄像机CPU 106。
抖动校正单元110在不同于摄像光轴方向的方向上(尤其是，在垂直于光轴的方向上)，更具体地说是在由图I中的箭头IlOy所示的方向上和在由图2中的箭头IlOp所示的方向上，驱动补偿镜头111，并且在考虑角旋转抖动和平移抖动两者的情况下执行抖动校正。驱动单元112根据摄像机CPU 106给出的控制命令来驱动抖动校正单元110。利用该结构，执行抖动校正操作。
在本实施例中，采用光学图像稳定性系统，来基于摄像机CPU 106计算出的校正量，在与光轴正交的平面内移动补偿镜头111。基于校正量的校正方法不限于光学图像稳定性，也可以采用其他的方法。例如，可以采用通过在与光轴正交的平面内移动摄像部件107 来防止抖动的图像稳定性方法，或者采用通过改变摄像部件输出的各摄像帧的裁剪位置来减少抖动影响的电子图像稳定性方法。也可以采用合适的组合这些方法的校正方法。
接下来，将描述摄像机101的角旋转抖动和平移抖动。
图4示出了在摄像机101俯仰期间生成的角旋转抖动103p和在摄像机101的垂直方向上生成的平移抖动104p。在摄像镜头(即，摄像机101的摄像光学系统)的主点位置，平移抖动104p的幅度用“Y”表示，角旋转抖动103p的幅度(即，角位移)用“ 0 ”表示。 当定义了角旋转抖动的旋转中心401p时，旋转半径402p的长度用“L”表示。长度“L”对应于旋转中心401p与加速度计109p之间的距离。另外，角速度用“ w ”表示，速度用“V” 表示，加速度用“A”表示，角加速度用“《 a”表示。此时，满足以下关系。
Y = LX 0公式⑴
V = LX 公式⑵
A = LX to a公式⑶
在此，公式(I)中的位移“Y”通过对加速度计109p的输出进行二阶积分来计算， 角位移“ e ”通过对角速度传感器IOSp的输出进行一阶积分来计算。因此，当将“Y”除以 “ 0 ”时，计算出了旋转半径的长度“L”。另外，公式(2)中的速度“V”通过对加速度计109p 的输出进行一阶积分来计算，角速度“《 ”通过角速度传感器108p的输出来计算。因此，当将“V”除以时，计算出了旋转半径的长度“L”。公式(3)中的加速度“A”通过加速度计109p的输出来计算，角加速度“《 a”通过对角速度传感器108p的输出进行一次微分来计算。因此，当将“A”除以“《a”时，计算出了旋转半径的长度“L”。可以使用公式⑴到(3)中的任一个来计算值L。
可以通过以下公式(4)，使用摄像光学系统的主点位置处的平移抖动“Y”、摄像光学系统的抖动角“ e ”和焦距“f”、以及摄像倍率”，来计算可能在摄像面上发生的抖动量“ s ”。
6 = (1+^ ) XfX 0 XY 公式(4)
可以基于关于摄像光学系统的变焦和聚焦的位置信息以及由此获得的摄像倍率和焦距，来计算公式⑷的右侧的第一项中的“f”和”的值。抖动角“ 0 ”可以通过对角速度传感器108p的输出进行一阶积分来计算。因此，可以通过使用如上所述的信息来校正角旋转抖动。
对于公式(4)的右侧的第二项，可以基于关于摄像光学系统的变焦和聚焦的位置信息以及由此获得的摄像倍率来计算符号“ P ”，并且可以通过对加速度计109p的输出进行二阶积分来计算“Y”的值。因此，可以通过使用如上所述的信息来校正平移抖动。
然而，在本实施例中，针对可以通过以下公式(5)(其是公式(4)的变型)获得的抖动量“ S ”来执行对图像抖动的校正
S = (1+旦)XfX 0+3 XLX 0 公式(5)
换句话说，针对平移抖动“Y”，本实施例不使用可以直接基于加速度计109p的积分结果而计算出的平移抖动的位移。使用公式(I)、公式(2)或公式(3)来计算旋转半径的长度“L”，并且基于值“L”、角速度传感器108p的输出的积分结果“ 0 ”以及摄像倍率“ 3 ” 来计算抖动量“ S ”。
下面参照图5到图7描述摄像机的平移抖动。
假定仅发生摄像机的俯仰。当在摄像机的垂直方向上生成的平移抖动104p仅受到俯仰方向上的角旋转抖动103p的影响时，可以使用上述方法合适地校正平移抖动。然而，当如图5所示，没有发生由俯仰方向上的抖动引起的平移抖动，而发生了由滚转方向上的抖动引起的平移抖动时，俯仰方向上的角旋转抖动的值变得非常小。此时，当利用上述方法来计算旋转半径的长度“L”时，所检测到的俯仰方向上的角旋转抖动的值变得非常小，而所检测到的加速度的值变得非常大。结果，值L变得非常大。在进行利用所计算出的值L 来控制抖动的过程中，所检测到的加速度的值与俯仰方向上的角旋转抖动的值之间没有相关性，因此，不能合适地计算平移抖动。当利用基于错误估计的平移抖动的幅度的校正量来执行图像稳定性控制时，图像稳定性控制性能降低的可能性增大了。
因此，当如图5所示，没有发生由俯仰方向上的抖动引起的平移抖动，而发生了由滚转方向上的抖动引起的垂直方向上的平移抖动时，通过以下方法来计算抖动量“ S ”。
当定义了摄像机101的摄像光学系统的主点位置处的平移抖动104p、滚转方向上的角旋转抖动103r以及其旋转中心501r时，用“L”来表示旋转半径502r的长度。当用 “ 9 r”来表示滚转方向上的角旋转抖动103r的幅度时，利用“ 0 r”以及旋转半径502r的长度“L”来校正垂直方向上的平移抖动，从而可以获得合适的校正效果。换句话说，利用公式(6)而非公式(5)来计算抖动量“ 8 ”。
6 = (1+^ ) Xf X 0 XLX 0 r 公式(6)
可以按与上述类似的方式来校正摄像机在水平方向上的平移抖动。
图6示出了在摄像机101的偏航期间生成的角旋转抖动103y和在摄像机101的水平方向上生成的平移抖动104y。当定义了摄像机101的摄像光学系统的主点位置处的平移抖动104y、偏航方向上的角旋转抖动103y以及其旋转中心601y时，用“L”来表示旋转半径602y的长度(参见公式(I)到(5))。对于水平方向上的平移抖动，当如图7所示，没有发生由偏航方向上的抖动弓I起的平移抖动，而发生了由滚转方向上的抖动弓I起的水平方向上的平移抖动时，可以如公式￠)中一样计算抖动量“ S ”。换句话说，当定义了摄像机 101的摄像光学系统的主点位置处的平移抖动104y、滚转方向上的角旋转抖动103r以及其旋转中心701r时，用“L”来表示旋转半径702r的长度。当利用滚转方向上的角旋转抖动 103r的幅度“ 0 r”和旋转半径702r的长度“L”来校正水平方向上的平移抖动时，可以获得合适的校正效果。
图8是例示根据本实施例的图像稳定性控制装置的示例性结构的框图。图8仅示出了与在摄像机101的水平方向上生成的抖动(由图I和图2中的箭头103y和104y所示的方向)有关的结构。然而，对于在摄像机的垂直方向上生成的抖动(由图I和图2中的箭头103p和104p所示的方向)也提供同样的结构。由于它们基本上具有相同的结构，下面仅描述在偏航方向和滚转方向上的结构。图8示出了由摄像机CPU 106执行的处理的功能块。摄像机CPU 106解释并执行存储器(未示出)中所存储的程序，由此执行各个处理。
下面参照图8描述对角旋转抖动的校正。在图8中，提供了两个角速度传感器。角速度传感器108y是角速度传感器y (第一抖动检测单元)，角速度传感器108r是角速度传感器r (第二抖动检测单元)。角速度传感器y和角速度传感器r检测角旋转抖动，由此在摄像机CPU 106的控制下执行抖动校正。在此示例中，将描述被用作第一抖动检测单元的角速度传感器108y。角速度传感器108y和角速度传感器108p能够互换，并且这两个传感器除了抖动检测的方向不同之外，以相同的方式执行控制。
来自角速度传感器108y的角速度信号被输入给摄像机CPU 106的HPF积分滤波器801。HPF积分滤波器801对已被HPF (高通滤波器)去除了 DC (直流)分量的信号进行积分，由此将其转换为角度信号。手抖的频带处在大约I到IOHz的范围内。HPF积分滤波器801的HPF具有阻止充分远离手抖频带的频率分量(例如，0. IHz或更低)的基本HPF特性。
HPF积分滤波器801的输出被输入给灵敏度调整单元803。灵敏度调整单元803 基于变焦和聚焦信息(位置信息)802和由该信息确定的摄像倍率，来放大HPF积分滤波器 801的输出，以获得角旋转抖动校正目标值。使用来自HPF积分滤波器801的经放大的输出作为上述的角旋转抖动校正目标值，以针对因诸如聚焦透镜位置或变焦透镜位置等的光学信息的变化而改变的抖动校正单元110的抖动校正行程，来校正摄像机的像平面上变化的抖动校正灵敏度。灵敏度调整单元803将所确定的角旋转抖动校正目标值发送给加法器 819。加法器819将以下要描述的输出选择单元818的输出与灵敏度调整单元803的输出相加，并将所得输出作为图像抖动校正量输出给驱动单元112。驱动单元112驱动抖动校正单元110,由此执行图像抖动校正。
接下来，将描述平移抖动校正。由加速度计109y (第三抖动检测单元)来检测设备在与摄像光学系统的光轴垂直的平面中的水平方向或垂直方向上生成的平移抖动，由此在摄像机CPU 106的控制下执行抖动校正。
角速度传感器108y的输出被输入给HPF积分滤波器804。随后，HPF积分滤波器 804的HPF从该输出中滤除DC分量。而且，将该输出进行积分以转换成角度信号。HPF积分滤波器804的输出被输入给增益调整单元805。增益调整单元805和HPF积分滤波器804 对要经受平移抖动校正的频带中的增益和相位特性进行调整。增益调整单元805的输出由下面要描述的输出校正单元806来校正，由此计算了偏航方向上的平移抖动的校正目标值。输出校正单元806的输出经由输出选择单元818发送给加法器819。
另外，与上述处理并行，角速度传感器108y的输出被输入给HPF相位调整单元 807。HPF相位调整单元807滤除与角速度传感器108y的输出重叠的DC分量，并调整信号的相位。这里，将截止频率调整为与下面要描述的HPF积分滤波器809的HPF的截止频率相匹配，使得频率特性相互匹配。HPF相位调整单元807的输出被发送给用作带通单元的角速度传感器y BPF(带通滤波器)单元808，由此提取预定频带中的频率分量。
加速度计109y的输出被输入给HPF积分滤波器809。随后，HPF积分滤波器809 的HPF从该输出中滤除DC分量。随后，将该输出进行积分以转换为速度信号。如上所述， HPF积分滤波器809的HPF的截止频率被设置为与HPF相位调整单元807的HPF的频率特性相匹配。HPF积分滤波器809的输出被发送给用作带通单元的加速度计BPF单元810，由此提取预定频带中的频率分量。
角速度传感器y BPF单元808的输出和加速度计BPF单元810的输出被输入给比较单元y 811 (第一比较单元)。比较单元y 811计算用于校正增益调整单元805的输出的校正值(第一校正系数)，并且将所计算出的校正值输出给输出校正单元806。输出校正单元806利用变焦和聚焦信息802来计算摄像倍率，并且基于所确定的摄像倍率和前述校正系数来校正增益调整单元805的输出。采用该结构，利用角速度传感器108y和加速度计 109y的检测结果计算了偏航方向上的平移抖动的校正目标值。7/17 页
接下来，将描述滚转方向上的平移抖动的校正目标值的计算。
角速度传感器108r的输出被输入给HPF积分滤波器812。随后，HPF积分滤波器 812的HPF从该输出中滤除DC分量。而且，将该输出进行积分以转换成角度信号。HPF积分滤波器812的输出被输入给增益调整单元813。增益调整单元813和HPF积分滤波器812 对要经受平移抖动校正的频带中的增益和相位特性进行调整。增益调整单元813的输出由下面要描述的输出校正单元814来校正，由此计算出了滚转方向上的平移抖动的校正目标值。
另外，与上述处理并行，角速度传感器IOSr的输出被输入给HPF相位调整单元 815。HPF相位调整单元815滤除与角速度传感器108r的输出重叠的DC分量，并且调整信号的相位。这里，将截止频率调整为与HPF积分滤波器809的HPF的截止频率相匹配，使得频率特性相互匹配。HPF相位调整单元815的输出被发送给角速度传感器r BPF单元816， 由此提取预定频带中的频率分量。
角速度传感器r BPF单元816的输出和加速度计BPF单元810的输出被输入给比较单元r 817(第二比较单元)。比较单元r 817计算用于校正增益调整单元813的输出的校正值(第二校正系数)，并且将所计算出的校正值输出给输出校正单元814。输出校正单元814利用变焦和聚焦信息802来计算摄像倍率，并且基于所确定的摄像倍率和来自比较单元r817的校正系数来校正增益调整单元813的输出。这样，利用角速度传感器108r和加速度计109y的检测结果，计算出了滚转方向上的平移抖动的校正目标值。
输出校正单元806和814的输出被输入给输出选择单元818。输出选择单元818 根据比较单元y 811和比较单元r 817的输出，将所选择的平移抖动校正目标量输出给加法器819。加法器819将平移抖动校正目标值与前述的角旋转抖动校正目标值相加，并将结果输出给驱动单元112。这样,通过驱动单元112来驱动抖动校正单元110,由此针对角旋转抖动和平移抖动两者校正了图像抖动。
接下来，描述要从比较单元y 811和比较单元r 817输出的校正值。比较单元y 811接收角速度传感器y BPF单元808和加速度计BPF单元810的输出，并且如以下公式 ⑵所示，使用角速度和速度“V”来计算旋转半径的长度“L”。比较单元y 811将所确定的值L发送给输出校正单元806。值L对应于第一校正系数。
L = V/o 公式(7)
类似地，比较单元r 817接收角速度传感器r BPF单元816的输出和加速度计BPF 单元810的输出，并且使用公式(7)来计算旋转半径的长度“L”。比较单元r 817将所确定的值L发送给输出校正单元814。值L对应于第二校正系数。
可以通过速度“V”和角速度各自在预定时间(例如，当角速度传感器y BPF 单元808和加速度计BPF单元810的截止频率都是5Hz时，该时间被设置为200ms)内的最大振幅峰值之比来计算旋转半径“L”。而且，可以针对已计算了速度“V”和角速度“ Co ”的各个时刻更新旋转半径“L”。此时，对于速度“V”和角速度“ Co ”中的各个按时间顺序进行了平均，并且通过低通滤波器(LPF)滤除了高频分量。因此，当计算旋转半径时，可以计算去除了高频噪声分量的旋转半径。在此情况下，第一校正系数和第二校正系数中的每一个都不是瞬时值，而是对应于预定频带内的旋转半径“L”或频率分量的平均值。
图9是例示由比较单元y 811执行的内部处理的框图。下面，将描述比较单元y10811，但是比较单元r 817也执行同样的处理。
角速度传感器y BPF单元808的输出和加速度计BPF单元810的输出被输入给旋转半径计算单元901。旋转半径计算单元901利用公式(7)计算旋转半径的长度“L”，并将该长度“L”输出给上限处理单元902。这里，将钳位到上限值的信号发送给输出旋转单元 818。
下面，将描述提供上限处理单元902的原因。旋转半径计算单元901利用角速度传感器I BPF单元808的输出和加速度计BPF单元810的输出来计算旋转半径。当存在多个旋转中心并且加速度计109y检测到来自这些旋转中心的合成抖动时,根据计算的定时, 可能严重错误地估计值L。这是因为，旋转半径计算单元901在由角速度传感器y BPF单元808和加速度计BPF单元810设置的频带内计算旋转半径的长度。当在除由角速度传感器y BPF单元808和加速度计BPF单元810设置的频带外的其它频带中计算受到严重影响时，旋转半径计算单元901可能不能正确地在所设置的频带内计算旋转半径。
这里，当旋转半径的值被设置得更大时，可以充分抑制在由角速度传感器y BPF单元808和加速度计BPF单元810所设置的频带内的平移抖动。然而，同时，针对比该频带高的频带内的手抖的增益也增大了，这会不利地导致对手抖的高频带内的图像稳定性能的过度控制。在拍摄静止图像时，拍摄者通常在紧握摄像机以不使手抖的同时，来仔细地拍摄照片。在此情况下，旋转半径值不是较大的值。考虑以上，为了防止因过度控制而使图像稳定控制性能劣化，在上限处理单元902内设置了与由角速度传感器y BPF单元808和加速度计BPF单元810设置的频带符合的上限值。
角速度传感器y BPF单元808的输出也被发送到乘法器903。延迟单元905将上限处理单元902的输出延迟一个采样周期，并将所得的输出发送给乘法器903。延迟单元 905是用于获取上限处理单元902在与当前时间点之前的采样周期对应的时间段的开始处的输出的输出获取单元。
乘法器903的输出被发送到相关度确定单元904，相关度确定单元904执行乘法器 903的输出与加速度计BPF单元810的输出之间的相关度确定。该确定结果被发送给输出选择单元818。
图10示出了对所检测出的加速度值进行一阶积分所得的速度、角速度与旋转半径的乘积以及它们之间的误差的时间变化的示例性曲线图。波形1001表示加速度计BPF 单元810的输出的变化。分别由标号1002到1004指示的各周期表示对应于采样周期的周期，各标号1005到1007分别表示针对各周期的振幅。波形1008表示乘法器903的输出信号的变化。换句话说，波形1008是将角速度传感器y BPF单元808的输出乘以从上限处理单元902获得的旋转半径(在一个采样周期之前获取的值L)而获得的信号的波形。具体地说，在波形1008中，将由角速度传感器108y计算出的角速度乘以旋转半径的长度“L”，由此波形1008与波形1001之间的量纲(dimension)相互匹配。由于通过公式(7)来计算旋转半径的长度“L”，所以波形1008是其逆算的值，并且其振幅等于波形1001的振幅1005到 1007。注意，在波形1001与波形1008之间相位关系可能会出现偏差。最下面的波形1009 表示波形1001与波形1008之间的误差的变化。标号1010到1012分别表示周期1002到 1004中的振幅。
当由加速度计109y检测到的抖动仅受到如图6所示摄像机在偏航方向上的旋转大大影响，而不受如图7所示摄像机在滚转方向上的旋转显著影响时，波形1001和波形 1008是相同的。然而，当由加速度计109y检测到的抖动仅受到如图7所示摄像机在滚转方向上的旋转显著影响，而不受如图6所示摄像机在偏航方向上的旋转显著影响时，偏航方向上的角速度检测和加速度检测是不够的。具体地说，利用已由角速度传感器108y和加速度计109y检测到的检测值，无法正确地计算出旋转半径。
另外，当存在多个旋转中心，并且由加速度计109y检测到的抖动是由摄像机在偏航方向上的旋转引起的抖动和由摄像机在滚转方向上的旋转引起的抖动的合成时，仅在偏航方向上进行角速度检测和加速度检测是不够的。当抖动受到摄像机在滚转方向上的旋转大大影响时，利用已由角速度传感器108y和加速度计109y检测到的检测值，无法正确地计算旋转半径。因此，可能不期望地将值L估计为非常大的值。
因此，比较单元y 811的相关度确定单元904确定加速度计109y检测到的抖动在偏航方向或滚转方向中的哪个方向上，影响摄像机的旋转。该确定是通过检查图10所示的波形1001和1008之间的相关度来执行的。换句话说，相关性确定单元904确定下面中的哪个相关度比另一相关度闻。
■加速度计BPF单元810的输出与通过将由角速度传感器y BPF单元808获得的角速度乘以偏航方向上的旋转半径的长度“L”所获得的输出之间的相关度。
■加速度计BPF单元810的输出与通过将由角速度传感器r BPF单元816获得的角速度乘以滚转方向上的旋转半径的长度“L”所获得的输出之间的相关度。
选择具有更高相关度的旋转半径来执行平移抖动校正，由此能够提高平移抖动校正的精度。
下面描述用于计算与由摄像机在偏航方向上的旋转引起的抖动的相关度以及与由摄像机在滚转方向上的旋转引起的抖动的相关度的方法。这里，将描述用于计算与由摄像机在偏航方向上的旋转引起的抖动的相关度的方法。类似地，由比较单元r 817来计算与由摄像机在滚转方向上的旋转引起的抖动的相关度。
为了确定图10所示的波形1001与波形1008之间的匹配度，相关度确定单元904 计算波形1009，该波形1009是波形1001与波形1008之差。随后，以恒定的频率对波形1001 和波形1009执行采样，并且对结果进行比较。在由箭头1002到1004所指示的各个采样周期期间，波形1001的振幅(最大值与最小值之差)由箭头1005到1007指示，波形1009的振幅由箭头1010到1012指示。将提取频率的周期设置为采样周期。例如，当提取频率是 2Hz时，采样周期是0. 5秒。对波形1001和1009在采样周期内的振幅进行平均。之所以这样做是为了避免因振幅的陡变而导致确定精度的劣化。
与开始检测旋转半径同步，相关度确定单元904开始计算波形1001和1009的振幅，并且对它们执行平均计算，直到刚好在拍摄前为止。而且，相关度确定单元904计算这些平均值的比值，由此计算波形1001与1008之间的匹配度确定值。匹配度确定值表示波形1001与波形1008相匹配的程度，并且是作为对确定的度量的值。匹配度确定值越小，表示波形1001与波形1008之间的匹配程度越高。换句话说，摄像机CPU 106中的相关度确定单元904确定波形1001与1008之间的相关度高。对于确定波形1001和1009的振幅的平均值，本发明不限于用于计算从检测到旋转半径的时间点到开始拍摄的时间点之间的平均值的方法，而还可以是用于计算并更新针对预定时段的移动平均值的方法。在此情况下，可以使用刚好在拍摄之前的更新值来计算匹配度确定值。
通过使用前述方法，计算了针对由摄像机在偏航方向上的旋转引起的抖动的匹配度确定值(第一确定值)，类似地，也计算了针对由摄像机在滚转方向上的旋转引起的抖动的匹配度确定值(第二确定值)。输出选择单元818根据由相关度确定单元904给出的指令，选择具有较小匹配度确定值的平移抖动校正量。根据该配置，在拍摄操作期间，使用刚好在拍摄之前选择的平移抖动校正量，来执行平移抖动校正。换句话说，当针对由摄像机在偏航方向上的旋转引起的抖动的匹配度确定值较小时，选择输出校正单元806的输出值作为平移抖动校正量(第一校正量)。另外，当针对由摄像机在滚转方向上的旋转引起的抖动的匹配度确定值较小时，选择输出校正单元814的输出值作为平移抖动校正量(第二校正量)。由于可以基于抖动的状态来执行平移抖动校正，所以提高了平移抖动校正的精度。
如上所述，当水平方向上的平移抖动仅受到摄像机在偏航方向上的旋转显著影响，而几乎不受摄像机在滚转方向上的旋转影响时，可以使用偏航角速度传感器108y和加速度计109y来执行最优的平移抖动校正。另外，当水平方向上的平移抖动仅受到摄像机在滚转方向上的旋转显著影响，而几乎不受摄像机在偏航方向上的旋转影响时，可以使用滚转角速度传感器108r和加速度计109y来执行最优的平移抖动校正。类似地，当垂直方向上的平移抖动仅受到摄像机在俯仰方向上的旋转显著影响，而几乎不受摄像机在滚转方向上的旋转影响时，可以使用俯仰角速度传感器108p和加速度计109p来执行最优的平移抖动校正。此外，当垂直方向上的平移抖动仅受到摄像机在滚转方向上的旋转显著影响，而几乎不受摄像机在俯仰方向上的旋转影响时，可以使用滚转角速度传感器108r和加速度计 109p来执行最优的平移抖动校正。
因此，在第一实施例中，具有高机动性的小尺寸图像稳定性控制装置即便在微距拍摄的情况下也可以以稳定的方式提供图像稳定性，即以高精度执行平移抖动的图像抖动校正。
(第二实施例)
接下来，将描述本发明的第二实施例。第二实施例的摄像机的基本结构类似于第一实施例的摄像机的基本结构。因此，在下面将描述两个实施例之间的主要差别。用相同的标号来指示与第一实施例中的组件对应或类似的组件，因此省略了对这些组件的说明。注意，这同样适用于以下要描述的其它实施例。
图11是例示在第二实施例的摄像机中设置的图像稳定性控制装置的示例性结构的框图。图11仅示出了与在摄像机101的水平方向上生成的抖动(由图I和图2中的箭头103y和104y所示的方向)有关的构成。对于在摄像机的垂直方向上生成的抖动(由图 I和图2中的箭头103p和104p所示的方向)也提供了同样的结构。由于除方向上的差异外，它们基本上具有相同的结构，所以下面仅描述摄像机的水平方向上的结构。
第二实施例在以下方面不同于第一实施例。
■在第一实施例中，如图8所示就偏航方向上的旋转和滚转方向上的旋转中的各个，在特定频率处计算旋转半径的长度“L”。相反，在第二实施例中，就偏航方向上的旋转和滚转方向上的旋转中的各个，在多个频率处计算旋转半径“L”，并且使用最优的旋转半径的长度“L”来计算各个平移抖动校正量。
■在第二实施例中，将已针对偏航方向上的旋转和滚转方向上的旋转中的各个计CN 102540627 A算出的平移抖动校正量乘以加权增益，以计算最终的平移抖动校正量。该加权增益是通过针对各频率比较偏航方向上的旋转与滚转方向上的旋转之间的相关度而计算出的。
图8和图11所示的框图之间的差异如下。箭头“一”是指“替换为”。
■角速度传感器y BPF单元808 —角速度传感器y第BPF单元1101
■加速度计BPF单元810 —加速度计第一 BPF单元1102
■比较单元y 811—比较单元y 1103
■比较单元r 817 —比较单元rll08
■角速度传感器r BPF单元816 —角速度传感器r第一 BPF单元1107
■加法器819 —加法器1112
去除了输出选择单元818，将输出校正单元806和814的输出输入给三输入加法器 1112。相加的分量如下。括号中的标号分别表不输入源和输出目的地的标号。
■角速度传感器y第二 BPF单元1104(输入807/输出1106)
■加速度计第二 BPF单元1105(输入:809/输出:1106,1110)
■角速度传感器r第二 BPF单元1109(输入815/输出1110)
■比较单元 y 1106(输入1104、1105/输出1111)
■比较单元 y 1110(输入1105、1109/输出1111)
■旋转半径选择单元 1111(输入:1103、1106、1108、1110/输出=806,814)
使用各比较单元的旋转半径计算方法类似于在第一实施例中描述的旋转半径计算方法。应当指出，在角速度传感器y第一 BPF单元1101、加速度计第一 BPF单元1102以及角速度传感器r第一 BPF单元1107处，针对带通滤波的提取频率被设置为相同的水平。 另外，在角速度传感器y第二 BPF单元1104、加速度计第二 BPF单元1105以及角速度传感器r第二 BPF单元1109处，针对带通滤波的提取频率被设置为相同的水平。在第一 BPF单元和第二 BPF单元中，设置了从I到IOHz范围内的频率(例如，分别为2Hz和IOHz)，这些是手抖的频带。尽管在本实施例中设置了两类频带，但是可以通过设置三类或更多类频带来计算旋转半径。
根据关于偏航方向上的旋转和滚转方向上的旋转的旋转半径，旋转半径选择单元 1111计算最终使用的旋转半径。下面描述该方法。
图12是例示旋转半径选择处理的示例的流程图。在图12中，符号“Yaw”表示偏航方向，符号“Roll”表不滚转方向。符号“BPF1”表不第一 BPF单兀,符号“BPF2”表不第二 BPF单元。
在步骤S1201，各比较单元计算旋转半径的长度。比较单元y 1103计算“偏航BPFl 旋转半径”，比较单元yll06计算“偏航BPF2旋转半径”。比较单元r 1108计算“滚转BPFl 旋转半径”，比较单元r 1110计算“滚转BPF2旋转半径”。通过包括所涉及的方向和BPF单元的名称来区分旋转半径的名称。
接下来，在步骤S1202，计算匹配度确定值。具体地说，比较单元的相关度确定单元计算偏航BPFl、偏航BPF2、滚转BPFl以及滚转BPF2的匹配度确定值。一种计算方法是如已参照图9和图10中的框图所示的相关度确定单元904描述的方法。比较单元yll03计算针对Yaw BPFl的匹配度确定值，比较单元y 1106计算针对Yaw BPF2的匹配度确定值。比较单元r 1108计算针对Roll BPFl的匹配度确定值，比较单元r 1110计算针对Roll BPF2的匹配度确定值。
接下来，在步骤S1203，旋转半径选择单元1111比较针对Yaw BPFl的匹配度确定值与针对Roll BPFl的匹配度确定值。当针对Yaw BPFl的匹配度确定值小于针对Roll BPFl的匹配度确定值时，处理前进到步骤S1204。当针对Yaw BPFl的匹配度确定值等于或大于针对Roll BPFl的匹配度确定值时，处理前进到步骤S1205。在步骤S 1204，将在步骤 S1201中计算出的值保持作为Yaw BPFl旋转半径，并且将Roll BPFl旋转半径设置为O。在步骤S1205 JfYaw BPFl旋转半径设置为0，并且将在步骤S1201中计算的值保持作为Roll BPFl旋转半径。
接下来，在步骤S1206，旋转半径选择单元1111比较针对Yaw BPF2的匹配度确定值与针对Roll BPF2的匹配度确定值。当针对Yaw BPF2的匹配度确定值小于针对Roll BPF2的匹配度确定值时，处理前进到步骤S1207。当针对Yaw BPF2的匹配度确定值等于或大于针对Roll BPF2的匹配度确定值时，处理前进到步骤S1208。在步骤S1207，将在步骤 S1201中计算出的值保持作为Yaw BPF2旋转半径，并且将Roll BPF2旋转半径设置为O。 在步骤S1208，将Yaw BPF2旋转半径设置为0，并且将在步骤S1201中计算出的值保持作为 Roll BPF2旋转半径。
接下来，在步骤S1209，基于重设的旋转半径，以与步骤S1202中的处理类似的方式，计算匹配度确定值。在步骤S1210，旋转半径选择单元1111比较针对Yaw BPFl的匹配度确定值与针对Yaw BPF2的匹配度确定值。当针对Yaw BPFl的匹配度确定值小于针对 Yaw BPF2的匹配度确定值时，处理前进到步骤S1211。当针对Yaw BPFl的匹配度确定值等于或大于针对Yaw BPF2的匹配度确定值时，处理前进到步骤S1212。在步骤S1211，将Yaw BPFl旋转半径设置为Yaw旋转半径(偏航方向上的值L)。在步骤S1212，将Yaw BPF2旋转半径设置为Yaw旋转半径。
接下来，在步骤S1213，旋转半径选择单元1111比较针对Roll BPFl的匹配度确定值与针对Roll BPF2的匹配度确定值。当针对Roll BPFl的匹配度确定值小于针对Roll BPF2的匹配度确定值时，处理前进到步骤S1214。当针对Roll BPFl的匹配度确定值等于或大于针对Roll BPF2的匹配度确定值时，处理前进到步骤S1215。在步骤S1214，将Roll BPFl旋转半径设置为Roll旋转半径(滚转方向上的值L)。在步骤S1215，将Roll BPF2旋转半径设置为Roll旋转半径。
接下来，在步骤S1216，旋转半径选择单元1111根据在前述步骤中设置的旋转半径，执行Yaw匹配度确定和Roll匹配度确定。这里，当基于在步骤S1201到S1215中计算出的旋转半径的值将Yaw旋转半径设置为0时，确定摄像机可以很少受到与摄像机在偏航方向上的旋转相关联的平移抖动的影响。在此情况下，在步骤S1217，将Yaw加权增益的值设置为0，并且将Roll加权增益的值设置为I。另外，当Roll旋转半径被设置为0时，确定摄像机可以很少受到由滚转方向上的旋转引起的平移抖动的影响。在此情况下，在步骤 S1217，将Yaw加权增益的值设置为1，并且将Roll加权增益的值设置为O。
当Yaw旋转半径和Roll旋转半径都具有0以外的其它值时，确定摄像机可以受到与摄像机在偏航方向和滚转方向上的旋转相关联的平移抖动的影响。换句话说，受到影响的旋转半径的轴线可以根据频带而不同(例如，频率为2Hz的抖动受到摄像机在偏航方向上的旋转显著影响，频率为IOHz的抖动受到摄像机在滚转方向上的旋转显著影响)。在此情况下，根据Yaw旋转半径和Roll旋转半径被设置为BPFl (第一 BPF单元)或BPF2 (第二BPF单元)的频带中的相应旋转半径的事实，来设置偏航方向和滚转方向上的匹配度确定值。当BPFl中的旋转半径被设置为Yaw旋转半径时(当Yaw BPF2旋转半径被设置为0 时)，将针对Yaw BPFl的匹配度确定值设置为针对Yaw的匹配度确定值。当Roll BPF2旋转半径被设置为Roll旋转半径时(当Roll BPFl旋转半径被设置为0时)，将针对Roll BPF2的匹配度确定值设置为针对Roll的匹配度确定值。
在步骤S1217中的增益计算处理期间，旋转半径旋转单元1111计算Yaw加权增益 (称为“Yaw Gain”)和Roll加权增益(称为“Roll Gain”)。在将针对Yaw的匹配度确定值称为“Yaw Jdg”、并且将针对Roll的匹配度确定值称为“Roll Jdg”(这两个匹配度确定值都已在步骤S1216中计算出)的情况下，利用公式(8)和(9)来计算Yaw加权增益“Yaw Gain”和 Roll 加权增益“Roll Gain”。
Yaw Gain = Roll Jdg/(Yaw Jdg+Roll Jdg)公式(8)
Roll Gain = I-Yaw Gain公式(9)
当Roll Jdg(或Yaw Jdg)的值较小时，滚转方向(或偏航方向)上的相关度增大。 因此，应当指出，Yaw Gain(或Roll Gain)变小。
在接下来的步骤S1218中，旋转半径旋转单元1111将已在步骤S1201到S1215中计算出的Yaw旋转半径和Roll旋转半径乘以Yaw加权增益(Yaw Gain)和Roll加权增益 (Roll Gain)。这样,计算出了用于Yaw校正的最终旋转半径和用于Roll校正的最终旋转半径，并且处理结束。
输出校正单元806利用从旋转半径选择单元1111获得的用于Yaw校正的旋转半径来计算公式(5)右侧的第二项。另外，输出校正单元814利用从旋转半径选择单元1111 获得的用于Roll校正的旋转半径来计算公式(6)右侧的第二项。将输出校正单元806的输出和输出校正单元814的输出发送给加法器1112，并且将这些输出与角旋转抖动校正量相加。将加法器1112的输出输入给驱动单元112，并且由驱动单元112驱动抖动校正单元 110。根据该配置，针对角旋转抖动和平移抖动两者校正了图像抖动。
在第二实施例中，对偏航方向和滚转方向各自上的平移抖动进行加权，由此计算平移抖动校正量。这防止了因过度的平移抖动控制量而使图像稳定性控制性能劣化，因此可以实现针对两个方向上的平移抖动的图像稳定性控制。
根据第二实施例，即便在平移抖动同时受到摄像机在俯仰方向或偏航方向上的旋转和摄像机在滚转方向上的旋转影响的情况下，也可以执行最佳的平移抖动校正。因此，具有高机动性的小尺寸图像稳定控制装置即便在微距拍摄的情况下也可以以稳定的方式提供图像稳定性，即以高精度执行平移抖动的图像抖动校正。
(第三实施例)
接下来，将描述本发明的第三实施例。
图13是例示根据第三实施例的图像稳定性控制装置的示例性结构的框图。图13 仅示出了与在摄像机101的水平方向上生成的抖动(由图I和图2中的箭头103y和104y 所示的方向)有关的结构。然而，对于在摄像机的垂直方向上生成的抖动(由图I和图2 中的箭头103p和104p所示的方向)也提供了同样的结构。由于除方向上的差异外，它们基本上具有相同的结构，所以下面仅描述摄像机的水平方向上的结构。
在第一实施例中，如参照图8所述，计算了摄像机在偏航方向和滚转方向上的旋转的旋转半径，随后通过使用旋转半径和角速度中的一个来确定平移抖动校正量。相反， 在第三实施例中，首先计算由摄像机在偏航方向或滚转方向中的任一个方向(例如，偏航方向)上的旋转引起的平移抖动。从加速度计输出中减去由计算出的平移抖动所影响的分量，随后，使用相减后的信号来计算其它方向(例如，滚转方向)上的旋转半径和平移抖动校正量。因此，可以针对由摄像机在滚转方向上的旋转所引起的平移抖动和由摄像机在偏航方向上的旋转所引起的平移抖动两者来计算平移抖动校正量。
图8和图13所示的框图之间的差异如下。
■去除了输出选择单元818，将输出校正单元806和814的输出输入给加法器 1304。
■用比较单元y 1305代替了比较单元y 811，并且用比较单元rl306代替了比较单元r 817。
■提供了延迟单元1301，用以获取比较单元y 1305的一个采样周期之前的输出， 并且还提供了乘法器1302和减法器1303。
角速度传感器y BPF单元808和加速度计BPF单元810的输出被输入给比较单元 y 1305，并且比较单元y 1305计算旋转半径以将它发送给输出校正单元806。输出校正单元806利用变焦和聚焦信息802来计算摄像倍率，校正增益调整单元805的输出，并且计算偏航方向上的平移抖动校正目标值，以将它输出给加法器1304。
角速度传感器y BPF单元808的输出也被发送给乘法器1302，并且乘法器1302将该输出乘以延迟单元1301的输出。相乘结果被发送给减法器1303作为负输入。加速度计 BPF单元810的输出被发送给减法器1303作为正输入，并且相减结果被发送给比较单元r 1306。比较单元rl306比较由减法器1303获得的相减结果和角速度传感器r BPF单元816 的输出。由比较单元r 1306计算出的旋转半径被发送给输出校正单元814。
在第三实施例中，首先计算了偏航方向上的平移抖动校正目标值。随后，生成从加速度计BPF单元810的输出中去除了偏航方向上的抖动的影响后的信号，由此计算滚转方向上的平移抖动校正目标值。将偏航方向上的平移抖动校正目标值与滚转方向上的平移抖动校正目标值相组合，由此计算平移抖动校正量。
以下，将描述用于计算滚转方向上的平移抖动校正目标值的方法。
比较单元y 1305的输出表示偏航方向上的角旋转抖动的旋转半径(偏航旋转半径)。延迟单元1301输出一个采样周期前的偏航旋转半径。乘法器1302将该一个采样周期前的偏航旋转半径乘以角速度传感器yBPF单元808的输出，由此在所设置的频带中计算偏航方向上的平移抖动速度。减法器1303从加速度计BPF单元810的输出中减去乘法器 1302的输出，并且将该相减结果输出给比较单元rl306。在减法器1303中，计算了去除了偏航方向上的平移抖动速度的影响后的平移抖动速度。
减法器1303的输出和角速度传感器r BPF单元816的输出(滚转角速度BPF信号)被输入给比较单元r 1306，由此计算了滚转方向上的角旋转抖动的旋转半径(滚转旋转半径)。输出校正单元814利用变焦和聚焦信息802来计算摄像倍率，并且基于所确定的摄像倍率和所计算出的滚转旋转半径来校正增益调整单元813的输出。这样，计算出了滚转方向上的平移抖动的校正目标值。
输出校正单元806和输出校正单元814的输出被发送给三输入加法器1304。三输入加法器1304将角旋转抖动校正量相加到各输出上，并且将相加的结果发送给驱动单元 112。
接下来，将描述由比较单元y 1305和比较单元rl306执行的处理。由于比较单元 y 1305和比较单元rl306以类似的方式执行计算，所以下面将对比较单元y 1305进行描述。图14中示出了比较单元y 1305中的计算模块。与图8所示的结构的区别如下。
■旋转半径计算单元901的输出被输入给延迟单元905，由此获取了一个采样周期前的旋转半径。
■旋转半径计算单元901的输出和相关度确定单元904的输出被输入给上限处理单元1401，并且上限处理单元1401输出被钳位到上限值的信号。根据由校正确定单元904 输出的匹配度确定值的大小来可变地设置该上限值。
下面将描述根据由相关度确定单元904确定的匹配度确定值的大小来设置上限处理单元1401的上限值的原因。当匹配度确定值较小(相关度高)时，上限处理单元1401 设置较大的上限值。当匹配度确定值较大(相关度低)时，上限处理单元1401设置较小的上限值。这是为了防止旋转半径在相关度低时更大。根据该配置，针对当相关度较小时摄像机的旋转的影响，防止了因对旋转半径的错误估计而造成对平移抖动校正量的错误计算，因此，可以防止针对平移抖动的图像稳定性控制性能的劣化。
在本实施例中，描述了用于计算特定频率下的偏航旋转半径和滚转旋转半径的方法。本发明不限于此，而可以采用用于计算针对偏航方向和滚转方向上的旋转的多个频率中的各频率下的旋转半径的方法。在此情况下，摄像机CPU 106针对各频率根据一个角速度计算旋转半径，并且从该频率处的平移抖动速度中去除将该频率处的角速度乘以旋转半径所得的平移抖动速度。根据去除后的平移抖动速度和该频率处的其它角速度来计算该频率处的其它旋转半径。
如上所述，根据第三实施例，即便在平移抖动同时受到摄像机在俯仰方向或偏航方向上的旋转和摄像机在滚转方向上的旋转影响的情况下，也可以执行最佳的平移抖动校正。因此，具有高机动性的小尺寸图像稳定性控制装置即便在微距拍摄的情况下也可以以稳定的方式提供图像稳定性，即以高精度执行平移抖动的图像抖动校正。
(第四实施例)
接下来，将描述本发明的第四实施例。
图15是例示根据本发明第四实施例的图像稳定性控制装置的示例性结构的框图。图15仅示出了与在摄像机101的水平方向上生成的抖动(由图I和图2中的箭头103y 和104y所示的方向)有关的结构。然而，对于在摄像机的垂直方向上生成的抖动(由图I 和图2中的箭头103p和104p所示的方向)也提供了同样的结构。由于除方向上的差异外， 它们基本上具有相同的结构，所以下面将仅描述摄像机的水平方向上的结构。
本实施例的特征是，第三抖动检测单元从摄像单元(参见图I和图2所示的摄像部件107)的输出信号中检测抖动。换句话说，摄像机CPU106利用摄像部件107的图像输出来检测在摄像光学系统的主点周围发生的平移抖动。
图15和图8所示的结构之间的差异如下。
■代替加速度计109y、HPF积分滤波器809以及加速度计BPF单元810，提供了图像运动检测单元1501y和运动矢量BPF单元1504。
■用HPF积分延迟调整单元1502代替了 HPF相位调整单元807。
■用HPF积分延迟调整单元1503代替了 HPF相位调整单元815。
用于通过比较按时间顺序从摄像部件107输出的图像信号来检测手抖动或合成偏移的方法是公知的，并且作为“电子图像稳定性”或“图像组合”技术被广泛采用。然而， 在如上所述的用于计算旋转半径的长度“L”的方法中，可以通过在拍摄静止图像之前使用拍摄准备状态(运动图片拍摄状态)下的图像信息来校正角速度输出。因此，传统上仅在拍摄运动图像的情况下使用的图像输出可以用于拍摄静止图像的情况下的平移抖动校正。
图16是运动矢量的示例图。图像1601a示出了在特定时间拍摄主要物体(花)的示例性图像。针对图像1601a,用细线例示的图像1601b包括在经过预定时间段后(例如， 在经过1/30秒后)的花的图像。两个图像具有由角旋转抖动和平移抖动引起的不同构图。 在图16中所示的上下和左右方向上，主物体图像在位置上相互偏离。
在图像1601a中，作为图像1601a的主要物体的花1602a的轮廓部1603a是高对比度区域。当将此定义为特征点时，可以基于关于特征点1603a的位置信息和关于图像 1601b的花1602b的轮廓部的图像信息，来计算对应于特征点1603a的特征点1603b。当连接这两个特征点的运动矢量1604被分解为水平方向和垂直方向上的两个分量时，由箭头 1604y (水平方向分量)和箭头1604p (垂直方向分量)不出两个分量。可以通过针对各图像连接已被分解为两个方向上的分量的该运动矢量，来获取图像上的抖动的位移。
以水平方向上的运动矢量(参见箭头1604y)为例，执行用于累积针对各定时的图像之间的运动矢量的处理。图15所示的图像运动检测单元1501y检测图像运动。图像运动检测单元1501y的输出被输入给运动矢量BPF单元1504。运动矢量BPF单元1504仅通过预定频带分量(例如，2Hz)。根据该配置，本实施例可以去除叠加在运动矢量上的噪声和可能因物体的移动而出现的低频偏移，因此，可以高精度地检测仅手抖分量。运动矢量BPF 单元1504的输出被发送给比较单元y 811和比较单元r 817中的各个。
偏航方向上的角速度传感器108y的输出被发送给HPF积分延迟调整单元1502，以通过积分将角速度转换为角度。因此，可以设置与运动矢量相同的量纲。随后，角速度传感器y BPF单元808去除可能叠加在角度波形上的低频漂移分量。
输出通过累积从图像信息获得的运动矢量而获取的图像上的图像偏移量，使得其相位是相对于以下角度的偏移，该角度是角速度传感器108y的输出的积分值。该相位偏移是由于摄像部件107读取图像的时间的延迟引起的。因此，为了校正该相位偏移，提供了 HPF积分延迟调整单元1502。将角速度传感器108y的输出通过HPF积分延迟调整单元 1502。随后，对角速度进行积分，并且添加与摄像部件107中的延迟等效的延迟。由此，可以使角速度传感器I BPF单元808的输出的相位与运动矢量BPF单元1504的输出的相位相同。
角速度传感器y BPF单元808的输出和运动矢量BPF单元1504的输出被输入给比较单元y 811。比较单元y 811计算用于校正增益调整单元805的输出的校正值(第一校正系数)。输出校正单元806利用变焦和聚焦信息802来计算摄像倍率，并且基于所确定的摄像倍率和校正系数来校正增益调整单元805的输出。这样，计算出了偏航方向上的平移抖动的校正目标值。19
同样，以与上述类似的方式计算滚转方向上的平移抖动的校正目标值。将角速度传感器108r的输出通过HPF积分延迟调整单元1503。随后，对角速度进行积分以转换为角度，并且添加与摄像部件107中的延迟等效的延迟。由此，可以使角速度传感器r BPF单元 816的输出的相位与运动矢量BPF单元1504的输出的相位相同。角速度传感器r BPF单元 816的输出和运动矢量BPF单元1504的输出被输入给比较单元r 817。比较单元r 817计算用于校正增益调整单元813的输出的校正值(第二校正系数)。输出校正单元814利用变焦和聚焦信息802来计算摄像倍率，并且基于所确定的摄像倍率和校正系数来校正增益调整单元813的输出。这样，计算出了滚转方向上的平移抖动的校正目标值。
输出校正单元806和输出校正单元814的输出被输入给输出选择单元818，由此确定平移抖动校正目标值。加法器819将平移抖动校正目标值与从灵敏度调整单元803获得的角旋转抖动校正目标值相加，并且将相加的结果输出给驱动单元112。通过驱动单元112 来驱动抖动校正单元110,由此针对角旋转抖动和平移抖动两者校正了图像抖动。
在本实施例中，在开始图像拍摄之前，仅执行了角旋转抖动校正，而没有执行平移抖动校正。即使如上所述延迟了摄像部件107的输出信号，也可以通过也延迟角速度信号来将该输出信号和角速度信号相互比较。这是因为，仅在图像拍摄期间需要旋转半径，因此不需要实时计算旋转半径。
在本实施例中，由图像运动检测单元1501来检测在摄像部件107中发生的图像抖动。随后，利用图像运动检测单元1501、俯仰角速度传感器或偏航角速度传感器以及滚转角速度传感器来执行角旋转抖动校正和平移抖动校正。因此，由于不需要专用的加速度计，所以可以减小摄像机的尺寸和重量。而且，本实施例即便在拍摄准备状态下也能以稳定的方式执行电子图像稳定化，从而以并行的方式执行角旋转抖动校正和平移抖动检测。
下面描述这些实施例的概要。
■针对摄像机的水平方向上的平移抖动，利用偏航方向上的角速度检测单元的输出、滚转方向上的角速度检测单元的输出以及水平方向上的加速度检测单元或者图像运动检测单元的输出，来执行水平方向上的抖动校正。
■针对摄像机的垂直方向上的平移抖动，利用俯仰方向上的角速度检测单元的输出、滚转方向上的角速度检测单元的输出以及垂直方向上的加速度检测单元或者图像运动检测单元的输出，来执行垂直方向上的抖动校正。
本发明的图像稳定性控制装置可以实现在单反镜头数字摄像机或小型数字摄像机中。本发明不限于此。该图像稳定性控制装置也可以实现在诸如数字录像机、监视摄像机、Web摄像机或移动电话的各种光学装置中。
尽管已参照示例性实施例描述了本发明的实施例，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被最宽泛地解释为涵盖所有这种修改例和等同结构和功能。
本申请要求2010年10月19日提交的日本专利申请第2010-234208号的优先权， 通过引用将该日本专利申请全部并入于本文。
权利要求
1.一种校正摄像装置中的图像抖动的图像稳定性控制装置，该图像稳定性控制装置包括抖动校正单元，其被配置为能够在除所述摄像装置的摄像光轴方向以外的其他方向上移动；第一抖动检测单元，其被配置为检测在垂直于光轴的第一方向上的角旋转抖动；第二抖动检测单元，其被配置为检测在围绕光轴的第二方向上的角旋转抖动，所述第二方向是与所述第一方向不同的方向；第三抖动检测单元，其被配置为检测所述摄像装置的平移抖动；控制单元，其被配置为使用所述第一抖动检测单元、所述第二抖动检测单元以及所述第三抖动检测单元的输出，来计算用于校正由摄像机在所述第一方向和所述第二方向上的旋转抖动引发的平移抖动的校正量；以及驱动单元，其被配置为根据所述校正量来驱动所述抖动校正单元。
2.根据权利要求I所述的图像稳定性控制装置，其中，所述控制单元基于所述第一抖动检测单元和所述第三抖动检测单元的输出来计算用于校正所述第一方向上的平移抖动的第一校正量，并且基于所述第二抖动检测单元和所述第三抖动检测单元的输出来计算用于校正所述第二方向上的平移抖动的第二校正量，并且其中，所述驱动单元根据所述第一校正量和所述第二校正量来驱动所述抖动校正单元
3.根据权利要求2所述的图像稳定性控制装置，其中，所述控制单元被布置为基于所述第一抖动检测单元的输出以及利用所述第一抖动检测单元和所述第三抖动检测单元的输出计算出的第一校正系数来计算所述第一校正量，并且基于所述第二抖动检测单元的输出以及利用所述第二抖动检测单元和所述第三抖动检测单元的输出计算出的第二校正系数来计算所述第二校正量。
4.根据权利要求3所述的图像稳定性控制装置，其中，所述控制单元根据所述第一抖动检测单元的输出来计算用于校正所述第一方向上的角旋转抖动的校正量，并且将该校正量与所述第一校正量或所述第二校正量进行组合以将得到的组合量输出给所述驱动单元。
5.根据权利要求3所述的图像稳定性控制装置，其中，所述控制单元还包括第一比较单元，其被配置为通过利用所述第一抖动检测单元获得的第一信号与所述第三抖动检测单元获得的第三信号之间的比较运算，来计算所述第一校正系数；以及第二比较单元，其被配置为通过利用所述第二抖动检测单元获得的第二信号与所述第三抖动检测单元获得的第三信号之间的比较运算，来计算所述第二校正系数。
6.根据权利要求5所述的图像稳定性控制装置，其中，所述第一比较单元通过执行所述第一信号与所述第三信号之间的相关度确定，来确定第一确定值，其中，所述第二比较单元通过执行所述第二信号与所述第三信号之间的相关度确定， 来确定第二确定值，并且其中，所述控制单元在所述第一确定值具有比所述第二确定值大的相关度的情况下将所述第一校正量输出给所述驱动单元，而在所述第二确定值具有比所述第一确定值大的相关度的情况下将所述第二校正量输出给所述驱动单元。
7.根据权利要求5所述的图像稳定性控制装置，其中，所述第一比较单元通过执行所述第一信号与所述第三信号之间的相关度确定，来确定第一确定值，其中，所述第二比较单元通过执行所述第二信号与所述第三信号之间的相关度确定， 来确定第二确定值，并且其中，所述控制单元通过利用以所述第一确定值和所述第二确定值对所述第一校正系数进行加权的加权运算来计算所述第一校正量，通过利用以所述第一确定值和所述第二确定值对所述第二校正系数进行加权的加权运算来计算所述第二校正量，并且将所述第一校正量和所述第二校正量进行合成以将得到的合成量输出给所述驱动单元。
8.根据权利要求3所述的图像稳定性控制装置，其中，所述控制单元计算所述第一校正系数，然后生成从所述第三抖动检测单元获得的信号中去除了与所述第一方向上的角旋转抖动相关联的平移抖动分量后的信号，由此利用所述第二抖动检测单元获得的信号和所述平移抖动分量被去除了的信号来计算所述第二校正系数。
9.根据权利要求I所述的图像稳定性控制装置，其中，所述第一抖动检测单元检测设备在俯仰方向或偏航方向上的角速度，并且所述第二抖动检测单元检测设备在滚转方向上的角速度。
10.一种摄像装置，该摄像装置包括根据权利要求I所述的图像稳定性控制装置。
11.一种图像稳定性控制装置的控制方法，该图像稳定性控制装置包括抖动校正单元， 所述抖动校正单元被配置为能够在与摄像光轴方向不同的方向上移动，该控制方法包括以下步骤检测在垂直于光轴的第一方向上的角旋转抖动；检测在围绕光轴的第二方向上的角旋转抖动，所述第二方向与所述第一方向不同；检测设备的平移抖动；利用所述第一方向、所述第二方向以及第三方向上的检测结果，来计算用于校正所述第一方向和所述第二方向上的平移抖动的校正量；以及根据所述校正量来驱动所述抖动校正单元。
全文摘要
本发明提供一种图像稳定性控制装置、摄像装置以及图像稳定性控制方法。该图像稳定性控制装置利用抖动校正单元来校正因摄像机的抖动而引起的图像抖动。一个角速度传感器检测偏航方向上的角旋转抖动，另一个角速度传感器检测滚转方向上的角旋转抖动。加速度计检测水平方向上的加速度。摄像机CPU利用一个角速度传感器和加速度计的输出来计算用于校正偏航方向上的平移抖动的第一校正量，并且利用另一个角速度传感器和加速度计的输出来计算用于校正滚转方向上的平移抖动的第二校正量。驱动单元根据平移抖动的校正量来驱动抖动校正单元。
文档编号G03B5/00GK102540627SQ20111032497
公开日2012年7月4日 申请日期2011年10月19日 优先权日2010年10月19日
发明者若松伸茂 申请人:佳能株式会社