专利名称：数字拍摄设备及其控制方法和记录介质的制作方法
技术领域：
本发明涉及一种数字拍摄设备、控制该数字拍摄设备的方法以及其上记 录有用于执行该方法的程序的记录介质。更具体地讲，本发明涉及这样一种 数字拍摄设备、控制该数字拍摄设备的方法以及其上记录有用于执行该方法 的程序的记录介质，其中，通过该数字拍摄设备，尽管在拍摄操作过程中该 数字拍摄设备抖动，仍可获得清晰的图像。
背景技术：
数字拍摄设备通常存储通过拍摄模式下的拍摄操作获得的图像的数据。 图像通常被存储到存储介质中，数字拍摄设备使用在存储介质中存储的数据 将图像显示在显示单元上。
近年来，随着数字拍摄设备已广受欢迎，消费者对获得高质量图像的要 求已增加。然而，传统数字拍摄设备的问题在于，如果传统数字拍摄设备由 于例如外部的振动或手抖动而抖动，则捕获的图像的清晰度大大降低。具体 地讲，由于在低环境光条件下快门速度降低，所以传统数字拍摄设备的成像 装置曝光时间相对较长。因此，在成像装置曝光时间相对较长时，传统数字 拍摄设备抖动的可能性大大增加。因此，拍摄的图像的清晰度大大降低。
发明内容
本发明提供这样一种数字拍摄设备、控制该数字拍摄设备的方法以及其 上记录有用于执行该方法的程序的记录介质，其中，通过该数字拍摄设备， 尽管在拍摄操作过程中该数字拍摄设备抖动，仍可获得清晰的图像。
根据本发明实施例，提供一种数字拍摄设备。所述数字拍摄设备包括 数据获得单元，获得使用长时间曝光捕获的第一图像的第一数据，并获得使用短时间曝光捕获的第二图像的第二数据；运动矢量提取单元，提取第一图 像中的对象的位置和第二图像中的对象的位置之间的运动矢量；模糊确定单 元，确定第一图像中是否存在模糊；对象位置确定单元，确定第一图像中的 对象的位置与第二图像中的对象的位置是否相同；数据结合单元，创建具有 第二数据的亮度数据并具有通过结合第一数据和第二数据的颜色数据获得的 复合颜色数据的数据作为最终数据。
如果运动矢量提取单元无法提取运动矢量，则第二数据可被当作最终数 据，如果运动矢量提取单元成功提取运动矢量，则^^糊确定单元可确定第一 图像中是否存在模糊，如果模糊确定单元确定第一图像中存在模糊，则第二 数据可被当作最终数据，如果模糊确定单元确定第一图像中不存在模糊，则 对象位置确定单元可确定第一图像中的对象的位置与第二图像中的对象的位 置是否相同，如果对象位置确定单元确定第一图像中的对象的位置与第二图 像中的对象的位置相同，则第一数据可被当作最终数据，如果对象位置确定 单元确定第一图像中的对象的位置与第二图像中的对象的位置不同，则数据 结合单元可创建具有第二数据的亮度数据并具有通过结合第一数据和第二数 据的颜色数据获得的复合颜色数据的数据作为最终数据。
运动矢量提取单元可使用数据获得单元获得的第 一数据和第二数据的亮 度数据，来提取第一图像中的对象的位置和第二图像中的对象的位置之间的 运动矢量。
假设I! (x,y)指示第一图像的U,y)像素的亮度数据，12 (x,y)指示第
二图像的(x,y)像素的亮度数据，(dxi,dy,)指示匹配的第一图像和第二图像
之一沿一个方向移动以使彼此不匹配的移动量，(dx2，dy2)指示匹配的第一图
像和第二图像之一沿另 一方向移动以使彼此不匹配的移动量，模糊确定单元
可使第一图像和第二图像彼此匹配，可在第一图像和第二图像彼此重叠的区
域A中分别使用等式1、等式2和等式3计算R(0)、 R(-l)和R(l)，可使用等
式4计算C,如果C小于预设值，则可确定第一图像中存在模糊。 i (0)= Sl/^j) — / ";^2 ................................................(1)
1)= Zl/,(x + ^q，y +办,)一/20,力|2 ..............................(2)
柳=》/,(X +么2 J + ^2)-/2C^)|2 ................................ (3)<formula>formula see original document page 9</formula>
假设Area指示第 一 图像和第二图像彼此重叠的区域的面积，k指示调整
参数，可使用等式5计算预设值。
k x Area.................................................................................(5)
k可具有值14。
假设I, (x,y)指示第一图像的(x,y)像素的亮度数据，12 (x,y)指示第 二图像的(x,y)像素的亮度数据，Area指示第一图像和第二图像彼此重叠的
区域的面积，(72指示第一图像的噪音分布，k指示调整参数，模糊确定单元
可使第一图像和第二图像彼此匹配，可在第一图像和第二图像彼此重叠的区
域A中使用等式1计算R(O)，如果R(0)大于使用等式6计算的值，则可确定
第一图像中存在模糊。
/ (0)= ^i/^,力—/2(义，力|2 ...............................................
2 x /4m3 x (t2 x a: ....................... ..............................................(6)
如果第一图像中的对象的位置与第二图像中的对象的位置之间的运动矢 量小于预设大小，则对象位置确定单元可确定第一图像中的对象的位置与第 二图像中的对象的位置相同。
如果第一图像中的对象的位置与第二图像中的对象的位置之间的差在水 平和垂直两个方向均等于或小于两个像素，则对象位置确定单元可确定第一 图像中的对象的位置与第二图像中的对象的位置相同。'
根据本发明另一实施例，提供一种控制数字拍摄设备的方法。所述方法 包括(a)获得使用长时间曝光捕获的第一图像的第一数据，并获得使用短 时间曝光捕获的第二图像的第二数据；(b)确定第一图像中的对象的位置与 第二图像中的对象的位置之间是否存在运动矢量；(c)如果在(b)确定不存 在运动矢量，则将第二数据当作最终数据；(d)如果在(b)确定存在运动矢 量，则确定第一图像中是否存在模糊；(e)如果在(d)确定第一图像中存在 模糊，则将第二数据当作最终数据；(f)如果在(d)确定第一图像中不存在 模糊，则确定第一图像中的对象的位置与第二图像中的对象的位置是否相同； (g)如果在(f)确定位置相同，则将第一数据当作最终数据；(h)如果在 (f)确定位置不同，则将具有第二数据的亮度数据并具有通过结合第一数据和第二数据的颜色数据获得的复合颜色数据的数据当作最终数据。
(b)可包括如果第一图像中的对象的位置与第二图像中的对象的位置 相同，从而运动矢量具有值O，则确定存在运动矢量。
(b )可包括使用第 一数据和第二数据的亮度数据来确定第 一 图像中的 对象的位置与第二图像中的对象的位置之间是否存在运动矢量u
假设I, (x,y)指示第一图像的(x，y)像素的亮度数据，12 (x,y)指示第 二图像的(x,y)像素的亮度数据，(dx,，dy,)指示匹配的第一图像和第二图像 之一沿一个方向移动以使彼此不匹配的移动量，(dx2,dy2)指示匹配的第一图 像和第二图像之一沿另一方向移动以使彼此不匹配的移动量，(d)可包括 使第一图像和第二图像彼此匹配；在第一图像和第二图像彼此重叠的区域A 中分别使用等式l、等式2和等式3计算R(0)、 R(-1)和R(1);使用等式4计 算C;如果C小于预设值，则确定第一图像中存在模糊。
/ (0)= Sl/,(义,力—/2(义,力|2 ................................................(1)
/ (一1)= J]l/,(;c +血,，7 + ^y,) — /2(;c，；;)12 ..............................(2)
尺(l)二 Sl/,(Jc + dx2,y + o[y2) —/2(x,j/) |2 ................................(3)
"A(-l) +柳一2，) //(、
2 \ '
假设Area指示第一图像和第二图像彼此重叠的区域的面积，k指示调整
参数，可使用等式5计算预设值。
k x Area.................................................................................(5)
K可具有值14。
假设Ii (x,y)指示第一图像的(x，y)像素的亮度数据，12 (x,y)指示第 二图像的(x，y)像素的亮度数据，Area指示第一图像和第二图像彼此重叠的
区域的面积，072指示第一图像的噪音分布，K指示调整参数，(d)可包括
使第一图像和第二图像彼此匹配；在第一图像和第二图像彼此重叠的区域A 中使用等式1计算R(0);如果R(0)大于使用等式6计算的值，则确定第一图 像中存在模糊。
/ (0)= Si/,"力-/2"力|2 ................................................(1)2 x /imj! x cr2 x at ..................................................................... ( 6 )
(f)可包括如果第一图像中的对象的位置与第二图像中的对象的位置 之间的运动矢量小于预设大小，则确定第一图像中的对象的位置与第二图像 中的对象的位置相同。
(f)可包括如果第一图像中的对象的位置与第二图像中的对象的位置 之间的差在水平和垂直两个方向均等于或小于两个像素，则确定第一图像中 的对象的位置与第二图像中的对象的位置相同。
根据本发明另 一实施例，提供一种其上记录有用于执行所述方法的程序 的记录介质。
通过参照附图对本发明的示例性实施例进行详细描述，本发明的以上和
其它特征和优点将更清楚，其中
图1是根据本发明实施例的数字拍摄设备的例子的示意框图2是根据本发明实施例的图1所示的数字拍摄设备的一部分的例子的
示意框图3A是根据本发明实施例的由图1所示的数字拍摄设备使用长时间曝 光捕获的第 一 图像的例子的概念示图3B是根据本发明实施例的由图1所示的数字拍摄设备使用短时间曝 光捕获的第二图像的例子的概念示图3C是根据本发明实施例的当在图3A和图3B中分别示出的第一图像 和第二图像中的对象相互匹配时的情况的例子的概念示图3D是根据本发明实施例的通过将在图3A和图3B中分别示出的第一 图像和第二图像简单结合获得的第三图像的例子的概念示图4是根据本发明实施例的用于描述提取图3A所示的第一图像中的对 象的位置和图3B所示的第二图像中的对象的位置之间的运动矢量的方法的 例子的概念示图5是根据本发明实施例的用于描述精确提取图3A所示的第一图像中
的对象的位置和图3B所示的第二图像中的对象的位置之间的运动矢量的方
法的例子的概念示图6是根据本发明实施例的控制数字拍摄设备的方法的例子的流程图。
具体实施例方式
以下，将通过参照附图解释本发明的实施例来对本发明进行详细描述。图1是根据本发明实施例的数字拍摄设备的例子的示意框图。图2是根据本发明实施例的图1所示的数字拍摄设备的一部分的例子的示意框图。
通过中央处理单元(CPU) 100管理根据本发明当前实施例的数字拍摄设备的一般操作。此外，数字拍摄设备包括操作单元200，包括例如基于用户的输入产生电信号的键。操作单元200产生的电信号被发送到CPU 100,使得CPU 100可根据电信号控制数字拍摄设备。
在拍摄模式下，当基于用户输入的电信号被施加到CPU 100时，CPU 100控制透镜驱动单元ll、光圈驱动单元21和成像装置控制单元31,从而分别调整透镜10的位置、光圏20的开度和成像装置30的灵敏度。成像装置30创建从输入光获得的图像的数据，数据获得单元40获得成像装置30创建的数据。更具体地讲，数据获得单元40获得使用长时间曝光捕获的对象的第一图像的第 一数据和使用短时间曝光捕获的对象的第二图像的第二数据。稍后将提供详细的描述。例如，数据获得单元40可以是模数(A/D)转换单元，或者可以包括A/D转换单元。在这种情况下，明显的是，根据成像装置30的特点，A/D转换单元可以不包括在数字拍摄设备中。例如，数据获得单元40可以是稍后将描述的数字信号处理单元50的一部分。同时，明显的是，可对数据获得单元40作出各种改变。例如，因为图像的数据是由透镜10、光圈20和成像装置30创建的，所以数据获得单元40可以不是图1所示的单独组件，而可以是透镜IO、光圈20和成像装置30的至少一个的组件。以下，用于创建或获得通过拍摄对象获得的图像的数据的组件^t称为数据获得单元40。
可通过存储器60将数据获得单元40获得的数据输入到数字信号处理单元50，或可直接将数据获得单元40获得的数据输入到数字信号处理单元50。必要时，可将数据输入到CPU 100。这里，存储器60的例子包括只读存储器(ROM)和随机存取存储器(RAM)。必要时，数字信号处理单元50可执行数字信号处理，如，伽玛校正和白平衡Sl整。此外，如图2所示，数字信号处理单元50可包括其他组件，例如，运动矢量提取单元52、模糊确定单元54、对象位置确定单元56和数据结合单元58。这里，可作出各种改变。例如，运动矢量提取单元52、模糊确定单元54、对象位置确定单元56和数据 结合单元58的每一个可以是例如不包括在数字信号处理单元50中的单独的 组件。换句话说，例如，只要运动矢量提取单元52、模糊确定单元54、对象 位置确定单元56和数据结合单元58包括在根据本发明当前实施例的数字拍 摄设备中，就是可以的。以下，为说明的方便，假设例如运动矢量提取单元 52、模糊确定单元54、对象位置确定单元56和数据结合单元58包括在数字 信号处理单元50中。稍后将详细描述运动矢量提取单元52、模糊确定单元 54、对象位置确定单元56和数据结合单元58的搡作。
例如，可通过存储器60将从数字信号处理单元50输出的数据发送到显 示控制单元81,或可直接将从数字信号处理单元50输出的数据发送到显示 控制单元81。显示控制单元81控制显示单元80以显示图像。通过存储器60 将从数字信号处理单元50输出的数据输入到存储/读取控制单元71,或可直 接将从数字信号处理单元50输出的数据输入到存储/读取控制单元71 。存储/ 读取控制单元根据基于用户输入的信号将数据存储到存储介质70中，或可自 动地存储数据。明显的是，存储/读取控制单元71可从在存储介质70中存储 的图像文件读取图像的数据，并通过存储器60或通过任何其他路径将数据输 入到显示控制单元81,从而将图像显示到显示单元80上。存储介质70可从 数字拍摄设备拆卸或可永久固定在数字拍摄设备中。
图3A是根据本发明实施例的由图1所示的数字拍摄设备使用长时间曝 光捕获的第一图像Iml的例子的概念示图。图3B是根据本发明实施例的由 图1所示的数字拍摄设备使用短时间曝光捕获的第二图像Im2的例子的概念 示图。图3C是根据本发明实施例的在图3A和图3B中分别示出的第一图像 Iml和第二图像Im2中的对象相互匹配的情况的例子的概念示图。图3D是根 据本发明实施例的通过将在图3A和图3B中分别示出的第一图像Iml和第二 图像lm2简单结合获得的第三图像Im3的例子的概念示图。图4是根据本发 明实施例的用于描述提取图3A所示的第一图像Iml中的对象的位置和图3B 所示的第二图像Im2中的对象的位置之间的运动矢量的方法的例子的概念示 图。图5是根据本发明实施例的用于描述精确提取图3A所示的第一图像Iml 中的对象的位置和图3B所示的第二图像Im2中的对象的位置之间的运动矢 量的方法的例子的概念示图。现在将参照图3A至图3D、图4和图5对图1 所示的数字拍摄设备的操作进行描述。现在将结合图1和图2对3A至图3D、图4和图5进行描述。
例如，当在拍摄模式下从用户接收到拍摄信号时，数据获得单元恥获得
关于图3A所示的使用长时间曝光捕获的第一图像Iml的第一数据，然后获 得关于图3B所示的使用短时间曝光捕获的第二图像Im2的第二数据。这里， 明显的是，可对数据获得顺序进行各种改变。例如，可使用短时间曝光捕获 关于第二图像Im2的第二数据，然后可使用长时间曝光捕获关于第一图像lml
的第一数据。
当使用长时间曝光捕获关于第一图像Iml的第一数据时，由于低的快门 速度，所以存在这样一种更大的可能性，即，在成像装置30正在曝光时数字 拍摄设备抖动，从而如图3A所示第一图像Iml的清晰度可能大大降低。具 体地讲，在低环境光条件下，由于为了获得具有适当亮度的第一图像Iml, 快门速度不得不变慢，所以第一图像Iml的清晰度可能大大降低。
当使用短时间曝光捕获关于第二图像Im2的第二数据时，由于快的快门 速度，所以成像装置30曝光时间较短，因此如图3B所示获得相对清楚的第 二图像Im2。然而，在第二图像Im2中，由于快的快门速度，所以为了获得 具有适当亮度的第二图像Im2,不得不增加成像装置30的灵敏度，从而第二 图像Im2可能具有相对大量的噪音。如果当获得关于第二图像Im2的第二数 据时，为了防止噪音而未增加成像装置30的灵敏度，则由于快的快门速度， 所以成像装置30曝光时间较短，因此可获得清楚但比较暗的第二图像Im2。
在根据本发明实施例的数字拍摄设备中，通过结合使用长时间曝光捕获 的第一图像Iml的第一数据和使用短时间曝光捕获的关于第二图像Im2的第 二数据，获得关于清楚且噪音小的最终图像的数据。稍后将提供详细的描述。
运动矢量提取单元52提取第一图像Iml中的对象的位置和第二图像Im2 中的对象的位置之间的运动矢量。更详细地讲，运动矢量提取单元52提取运 动矢量，该运动矢量是具有用于移动第一图像Iml或第二图像Im2以使第一 图像Iml中的对象和第二图像Im2中的对象匹配的大小和方向的矢量。
如图4所示，从第二图像Im2检测到与第一图像Iml的Iml，部分相应 的部分。从概念上讲，通过在第二图像Im2中移动第一图像Iml的Iml，部 分的位置，在每个位置使用等式7在第一图像Iml的Iml，部分中计算差平 方和(SSD)。这里，I,(x，y)指示第一图像Iml的像素U, y)的亮度数据， l2(x,y)指示第二图像Im2的像素(x, y)的亮度数据。在计算的SSD具有较小值时的第一图像Iml的Iml，部分的位置，第一图像Iml的Iml，部分与第
二图像1m2的相应部分重叠。
W(0)二 Sl/,(义,力—/2"力|2 .............................................(7)
当第一图像Iml的Iml，部分与第二图像Im2的相应部分重叠时，可如 图3C所示概念性地表示第一图像Iml和第二图像Im2之间的相关性。这样， 运动矢量提取单元52提取运动矢量，该运动矢量是具有用于移动第一图像 lml或第二图像Im2以使第一图像Iml中的对象和第二图像Im2中的对象匹 配的大小和方向的矢量，所述第一图像Iml与由数据获得单元40获得的第一 数据一致，所述第二图像Im2与由数据获得单元40获得的第二数据一致。
然而，虽然第一图像Iml和第二图像Im2彼此匹配，但如果不管任何其 他条件如何，总是将使用长时间曝光捕获的第一图像Iml的第一数据与使用 短时间曝光捕获的第二图像Im2的第二数据结合，则最终图像的高质量数据 可能无法得到保证。换言之，例如，如果如图3C所示第一图像Iml和第二 图像Im2彼此匹配以产生图3D所示的作为最终图像的第三图像Im3，则关于 第一图像Iml的信息是区域A中的主要信息，关于第二图像Im2的信息是区 域B中的主要信息。因此，虚线C指示的形状可出现在区域A和区域B之间 的边缘区域。因此，在根据本发明实施例的数字拍摄设备中，通过根据第一 图像hnl和第二图像Im2的条件获得最终图像，来获得关于清楚且噪音小的 最终图像的数据。
如上参照图3A至图3C和图4所述，运动矢量提取单元52提取第一图
像Iml中的对象的位置和第二图像Im2中的对象的位置之间的运动矢量。如
果有必要更精确地提取运动矢量，则可使用例如以下参照图5所述的方法。
即，如上参照图4所述，通过在第二图像Im2中移动第一图像Iml的hnl，部
分的位置，在每个位置使用等式7在作为第一图像Im的部分的区域A中计
算SSD, SSD的最小值被称为R(O)。然后，通过从与R(O)相应的位置沿一个
方向将Iml，部分的位置移动(dx,, dyj来计算SSD,其计算的值被称为
R(-l)(参照等式8),通过沿另一方向将Iml，部分的位置移动(dx2, dy2)来
计算SSD,其计算的值被称为R(l)(参照等式9 )。
尺(一1)= Zl/i^ + c^j + ^v,) —/20,力卩...........................(8)<formula>formula see original document page 16</formula>在图5中，R(-l)、 R(O)和R(l)以及作为第一图像Iml的Iml，部分的位 置且与R(-l)、 R(O)和R(l)相应的PL、 Po和Pr被表示在坐杯系中，并执行二 维曲线拟合处理，例如，对R(-l)、 R(O)和R(l)执行最小二乘法。通过执行 二维曲线拟合处理，明显的是，存在具有最小值且小于R(O)的R(M)。可以以 子像素顺序的精确度确定与R(M)相应的第一图像Iml的Iml，部分的PM,以 更4青-角;t也，是耳又运动矢量。在"Algorithms for Subpixel Registration", Qi Tian and Michael N. Huhns， Computer Vision, Graphics, and Image Processing, vol. 35, pp. 220-233, August 1986中提供了关于精确地提取运动矢量的方法的详细信息， 其公开完整地包含于此，以资参考。
当如上所述提取了运动矢量时，运动矢量提取单元52可通过使用数据获 得单元40获得的第一数据和第二数据的亮度数据，来提取第一图像Iml中的 对象的位置和第二图像Im2中的对象的位置之间的运动矢量。第一数据和第 二数据的每个可包括亮度数据和颜色数据。当第一图像Iml和第二图像Im2 之间的运动矢量被提取时，每个图像中的对象的位置很重要，因此可仅使用 亮度数据而不是颜色数据来提取运动矢量。因此，可大大减少将被计算的数 据量。
当运动矢量提取单元52提取第一图像Iml和第二图像Im2之间的运动 矢量时，在某些情况下，由于种种原因，运动矢量提取单元52可能无法提取 运动矢量。例如，如果由于手抖动或正被拍摄的对象的运动导致使用长时间 曝光捕获的第一图像Iml中的对象的清晰度大大降低，则运动矢量提取单元 52可能无法提取运动矢量。在这种情况下，根据本发明实施例的数字拍摄设 备将数据获得单元40在短时间曝光过程中捕获的第二图像Im2的第二数据当 作最终图像的数据。明显的是，如果运动矢量的值为0,则运动矢量提取单 元52确定运动矢量存在。这是因为运动矢量的值为0的这个事实可意味着第 一图像Iml和第二图像Im2彼此相同。
如果运动矢量提取单元52成功提取第一图像Iml和第二图像Im2之间 的运动矢量，则模糊确定单元54确定第一图像Imi中是否存在模糊。模糊确 定单元54可使用各种方法。例如，^t糊确定单元54可使用以下方法。
首先，使第一图像Iml和第二图像Im2彼此匹配，以在第一图像Iml和第二图像Im2彼此重叠的区域A中分别使用等式1、等式2和等式3计算R(0)、 R(-i)和R(l)。在等式2， (dxM dy,)指示在第一图像Iml和第二图像Im2彼 此匹配之后沿一个方向将第一图像Iml的位置移动(dx,， dyi), (dx2, dy2) 指示在第一图像Iml和第二图像Im2彼此匹配之后沿另一方向将第一图像 Iml的位置移动(dx2， dy2)。此后，使用等式4计算C。如果C小于预设值， 则确定第一图像Iml中存在模糊。
<formula>formula see original document page 17</formula> ................................................(1)<formula>formula see original document page 17</formula>..............................(2)
<formula>formula see original document page 17</formula> ................................(3)<formula>formula see original document page 17</formula>
C根据R(O)变化，而不是根据R(-l)和R(l)变化。如果第一图像Iml中 不存在模糊，则R(O)的值为0。即，第一图像Iml中存在模糊越少，则与R(-l) 和/或R(l)相比R(O)的值越小，因此C的值越大。第一图像Iml中存在模糊 越多，则R(O)的值越大，因此C的值越小。因此，C小于预设值的这个事实 意味着第一图像lml中存在更多模糊或第一图像Iml中不存在边缘。这样， 如果模糊确定单元54确定第一图像Iml中存在模糊，则第一图像Iml的第
—数据和第二图像Im2的第二数据不结合，并且其上不存在模糊的第二数据
被当作最终数据，这是因为，虽然模糊确定单元54确定第一图像Iml中存在
模糊，但如果第一图像Iml的第一数据和第二图像Im2的第二数据被结合，
则最终图像的质量较低。
假设Area指示第一图像Iml和第二图像Im2彼此重叠的区域A中的面
积，k指示调整参数，可使用等式5计算当模糊确定单元54确定第 一 图像Im 1
中是否存在模糊时使用的预设值。<formula>formula see original document page 17</formula>.................................................................................(5)
第一图像Iml中存在模糊的这个事实意味着满足C〈KxArea的条件。从
C7 Area< k导出C< k xArea。 C除以Area以使得用于计算C的R(-l)、 R(l)
和R(O)标准化，通过使像素之间的差平方获得C,因此C较大。通过反复执
行测试来确定k， k可根据数字拍摄设备的组件(如，透镜10"和/或成像装置30)的特性而变化。优选地，k可具有值14。
模糊确定单元54还可使用不同的方法确定第一图像Iml中是否存在模
糊。例如，使第一图像Iml和第二图像Im2彼此匹配，以使用等式l在第一
图像lm 1和第二图像Im2彼此重叠的区域A中计算R(O)。假设Area指示第
一图像iml和第二图像lm2彼此重叠的区域A中的面积，(72指示第一图像
Iml的噪音分布，k指示调整参数，如果R(0)大于使用等式6计算的值，则
确定第一图像Iml中存在模糊。
2 x /in " x ct2 x /r .....................................................................(6)
使用长时间曝光捕获的第一图像Iml中存在的模糊越多，则从第一图像 Iml和第二图像Im2获得的SSD值越大。在这种情况下，SSD值的大小与图 像的噪音水平成正比。
如果模糊确定单元54确定第一图像Iml中不存在模糊，则对象位置确 定单元56确定第一图像Iml中的对象的位置与第二图像Im2中的对象的位 置是否相同。例如，如果运动矢量提取单元52提取的运动矢量小于预设大小， 则对象位置确定单元56可确定第一图像Iml中的对象的位置与第二图像Im2 中的对象的位置相同。此外，如果第一图像Iml中的对象的位置与第二图像 1m2中的对象的位置之间的差在水平和垂直两个方向均等于或小于两个像 素，则对象位置确定单元56可确定第一图像Iml中的对象的位置与第二图像 lm2中的对象的位置相同。
确定第一图像Iml中不存在模糊以及第一图像lml中的对象的位置与第 二图像Im2中的对象的位置相同的这个事实这意味着第一图像Iml本身是没 有抖动的清晰图像。因此，如果对象位置确定单元56确定第一图像Iml中的 对象的位置与.第二图像Im2中的对象的位置相同，则第一数据被当作最终数 据。如果对象位置确定单元56确定第一图像Iml中的对象的位置与第二图像 1m2中的对象的位置不相同，则数据结合单元58创建的复合数据被当作最终 数据。数据结合单元58创建具有第二数据的亮度数据和通过结合第一数据和 第二数据的颜色数据获得的复合颜色数据的数据作为最终数据。
如上所述，与不管任何其他条件如何，都将使用长时间曝光捕获的第一 图像Im 1的第 一数据与使用短时间曝光捕获的第二图像Im2的第二数据结合 的传统数字拍摄设备不同，在根据本发明实施例的数字拍摄设备中，'运动矢 量提取单元52确定运动矢量是否被提取，模糊确定单元54确定第 一图像Im 1中是否存在模糊，对象位置确定单元56确定第一图像Iml中的对象的位置与 第二图像Im2中的对象的位置是否相同。根据确定结果，第一图像lml的第 一数据、第二图像Im2的第二数据，或通过结合第一图像Iml的第一数据和 第二图像Im2的第二数据获得的复合数据可被当作最终数据。因此，可获得 清楚、噪音小且根据不同条件优化的图像作为最终图像。
图6是根据本发明实施例的控制数字拍摄设备的方法的例子的流程图。 参照图6，在操作SIO,使用长时间曝光捕获第一图像的第一数据，使用 短时间曝光捕获第二图像的第二数据。然后，在操作S20确定第一图像中的 对象的位置和第二图像中的对象的位置之间是否存在运动矢量。如果确定运 动矢量不存在，则在操作S51将第二数据当作最终数据。如果确定运动矢量 存在，则在操作S30确定第一图像中是否存在模糊。如果确定第一图像中存 在模糊，则在操作S51将第二数据当作最终数据。如果确定第一图像中不存 在模糊，则在操作S40确定第一图像中的对象的位置与第二图像中的对象的 位置是否相同。如果相同，则在操作S53将第一数据当作最终数据。如果不 相同，则在操作S55将具有第二数据的亮度数据和通过结合第一数据和第二 数据的颜色数据获得的复合颜色数据的数据当作最终数据。
考虑到上述各种条件，通过从第一图像、第二图像和通过结合第一数据 和第二数据获得的复合图像中确定哪个图像被确定为最终图像，可获得根据 不同条件优化的图像作为最终图像。
以上参照图1、图2、图3A至图3D、图4和图5提供上述操作中的确 定标准和方法的描述。例如，在操作S20,可使用第一数据和第二数据的亮 度数据确定第一图像中的对象的位置和第二图像中的对象的位置之间是否存 在运动矢量。此外，在操作S30，可参照以上关于等式1至等式6的描述确 定第一图像中是否存在模糊。此外，在操作S40,如果第一图像中的对象的 位置和第二图像中的对象的位置之间的运动矢量小于预设大小，或者如果第 一图像中的对象的位置和第二图像中的对象的位置之间的差在水平方向和垂 直方向均等于或小于两个像素，则可确定第一图像中的对象的位置与第二图 像中的对象的位置相同。
例如，根据本发明上述实施例的用于执行控制数字拍摄设备的方法的程 序可记录在记录介质中。这里，例如，记录介质可以是图1所示的存储器60 或存储介质70,或任何其他存储介质。这里，记录介质的例子包括磁存储介质(如，ROM、软盘、硬盘等)和光学记录介质(如，CD-ROM或DVD)。 如上所述，根据本发明，尽管在拍摄操作过程中数字拍摄设备抖动，仍
可获得清楚的图像。
尽管参照本发听示例性实施例具体表示和描述了本发明，但本领域的普
通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情
况下，可以在形式和细节上进行各种改变。应该理解，上述的示例性实施例
只是解释的目的，并不应该被理解为限制性目的。因此，本发明的范围由权
利要求限定，而不是由本发明的详细描述限定，落入该范围内的所有的不同
被认为是包含在本发明中。
权利要求
1、一种数字拍摄设备，包括数据获得单元，获得使用长时间曝光捕获的第一图像的第一数据，并获得使用短时间曝光捕获的第二图像的第二数据；运动矢量提取单元，提取第一图像中的对象的位置和第二图像中的对象的位置之间的运动矢量；模糊确定单元，确定第一图像中是否存在模糊；对象位置确定单元，确定第一图像中的对象的位置与第二图像中的对象的位置是否相同；数据结合单元，创建具有第二数据的亮度数据并具有通过结合第一数据和第二数据的颜色数据获得的复合颜色数据的数据作为最终数据。
2、 如权利要求1所述的数字拍摄设备，其中，如果运动矢量提取单元无 法提取运动矢量，则第二数据被当作最终数据，其中，如果运动矢量提取单元成功提取运动矢量，则模糊确定单元确定 第一图像中是否存在模糊，其中，如果模糊确定单元确定第一图像中存在模糊，则第二数据被当作 最终数据，其中，如果模糊确定单元确定第一图像中不存在模糊，则对象位置确定 单元确定第一图像中的对象的位置与第二图像中的对象的位置是否相同，其中，如果对象位置确定单元确定第 一图像中的对象的位置与第二图像 中的对象的位置相同，则第 一数据被当作最终数据，其中，如果对象位置确定单元确定第一图像中的对象的位置与第二图像 中的对象的位置不同，则数据结合单元创建具有第二数据的亮度数据并具有 通过结合第 一数据和第二数据的颜色数据获得的复合颜色数据的数据作为最 终数据。
3、 如权利要求1所述的数字拍摄设备，其中，运动矢量提取单元使用数 据获得单元获得的第一数据和第二数据的亮度数据，来提取第 一图像中的对 象的位置和第二图像中的对象的位置之间的运动矢量。
4、 如权利要求1所述的数字拍摄设备，其中，假设I, (x,y)指示第一 图像的(x,y)像素的亮度数据，12 (x,y)指示第二图像的(x,y)像素的亮度数据，(dxi,dy,)指示匹配的第一图像和第二图像之一沿一个方向移动以使彼 此不匹配的移动量，(dx2,dy2)指示匹配的第一图像和第二图像之一沿另一方 向移动以使彼此不匹配的移动量，模糊确定单元使第 一 图像和第二图像彼此 匹配，在第一图像和第二图像彼此重叠的区域A中分别使用等式1、等式2 和等式3计算R(0)、 R(-l)和R(l)，使用等式4计算C,如果C小于预设值，则确定第 一 图像中存在模糊，/ (0)二 Zl/,"力—/2(义,力|2 ................................................ (1)，/ (—1)= Zl/," + fl^，j/十办J —/2(义,少)|2 ..............................(2),W(l)= /iO + i/x^jz + o^) —/20,3/) |2 ................................(3)，
5、 如权利要求4所述的数字拍摄设备，其中，假设Area指示第一图像 和第二图像彼此重叠的区域的面积，K指示调整参数，使用等式5计算预设值，k x Area.................................................................................(5)。
6、 如权利要求5所述的数字拍摄设备，其中，K具有值14。
7、 如权利要求1所述的数字拍摄设备，其中，假设I, (x,y)指示第一图像的U，y)像素的亮度数据，12 (x,y)指示第二图像的(x,y)像素的亮度数据，Area指示第一图像和第二图像彼此重叠的区域的面积，(12指示第一图像的噪音分布，K指示调整参数，模糊确定单元使第一图像和第二图像彼此匹配，在第一图像和第二图像彼此重叠的区域A中使用等式1计算R(O)，如果R(0)大于使用等式6计算的值，则确定第一图像中存在模糊，<formula>formula see original document page 3</formula> ................................................(l),<formula>formula see original document page 3</formula> ..................................................................... (6)。
8、 如权利要求1所述的数字拍摄设备，其中，如果第一图像中的对象的 位置与第二图像中的对象的位置之间的运动矢量小于预设大小，则对象位置 确定单元确定第一图像中的对象的位置与第二图像中的对象的位置相同。
9、 如权利要求1所述的数字拍摄设备，其中，如果第一图像中的对象的 位置与第二图像中的对象的位置之间的差在水平和垂直两个方向均等于或小 于两个像素，则对象位置确定单元确定第一图像中的对象的位置与第二图像 中的对象的位置相同。
10、 一种控制数字拍摄设备的方法，所述方法包括(a) 获得使用长时间曝光捕获的第一图像的第一数据，并获得使用短时 间曝光捕获的第二图像的第二数据；(b) 确定第一图像中的对象的位置与第二图像中的对象的位置之间是否 存在运动矢量；(c) 如果在(b)确定不存在运动矢量，则将第二数据当作最终数据；(d) 如果在(b)确定存在运动矢量，则确定第一图像中是否存在模糊；(e) 如果在(d)确定第一图像中存在模糊，则将第二数据当作最终数据；(f) 如果在(d)确定第一图像中不存在模糊，则确定第一图像中的对 象的位置与第二图像中的对象的位置是否相同；(g) 如果在(f)确定位置相同，则将第一数据当作最终数据；(h) 如果在(f)确定位置不同，则将具有第二数据的亮度数据并具有 通过结合第 一数据和第二数据的颜色数据获得的复合颜色数据的数据当作最 终数据。
11、如权利要求IO所述的方法，其中，(b)包括如果第一图像中的对 象的位置与第二图像中的对象的位置相同，从而运动矢量具有值0，则确定 荀-在运动矢量。
12、 如权利要求IO所述的方法，其中，(b)包括使用第一数据和第二 数据的亮度数据来确定第一图像中的对象的位置与第二图像中的对象的位置 之间是否存在运动矢量。
13、 如权利要求10所述的方法，其中，假设I; (x,y)指示第一图像的 (x,y)像素的亮度数据，12 (x,y)指示第二图像的(x,y)像素的亮度数据，(dxi,dyi )指示匹配的第一图像和第二图像之一沿一个方向移动以使彼此不 匹配的移动量，(dx2,dy2)指示匹配的第一图像和第二图像之一沿另一方向移 动以使彼此不匹配的移动量，(d)包括 使第一图像和第二图像彼此匹配；在第一图像和第二图像彼此重叠的区域A中分别使用等式i、等式2和等式3计算R(0)、 R(-1)和R(1); 使用等式4计算C;如果C小于预设值，则确定第一图像中存在模糊， / (0)二 SK(义,力—/2(义,力|2 ...............................................A(l)= 5^/,(X + ^2,少+办2) —/2(义,力|2 ................................ (3),、'，re/Iy (—i) +尺(i)一2尺(0)
14、 如权利要求13所述的方法，其中，假设Area指示第一图像和第二图像彼此重叠的区域的面积，K指示调整参数，使用等式5计算预设值， k x Area.................................................................................(5)。
15、 如权利要求14所述的方法，其中，K具有值14。
16、 如权利要求10所述的方法，其中，假设I, (x,y)指示第一图像的 (x,y)像素的亮度数据，12 (x，y)指示第二图像的(x,y)像素的亮度数据，Area指示第一图像和第二图像彼此重叠的区域的面积，a"旨示第一图像的噪 音分布，K指示调整参数，(d)包括 使第一图像和第二图像彼此匹配；在第一图像和第二图像彼此重叠的区域A中使用等式1计算R(O);如果R(O)大于使用等式6计算的值，则确定第一图俸中存在模糊， / (0)二 Zl/^j)-/^,^2 ................................................(1)，2 xx cr2 x ..................................................................... ( 6 )。
17、 如权利要求IO所述的方法，其中，(f)包括如果第一图像中的对 象的位置与第二图像中的对象的位置之间的运动矢量小于预设大小，则确定 第一图像中的对象的位置与第二图像中的对象的位置相同。
18、 如权利要求IO所述的方法，其中，(f)包括如果第一图像中的对 象的位置与第二图像中的对象的位置之间的差在水平和垂直两个方向均等于或小于两个像素，则确定第一图像中的对象的位置与第二图像中的对象的位置相同。
19、一种其上记录有用于执行如权利要求10所述的方法的程序的记录介质。
全文摘要
提供一种数字拍摄设备及其控制方法和记录介质，其中，通过该数字拍摄设备，尽管在拍摄操作过程中该数字拍摄设备抖动，仍可获得清晰的图像。所述数字拍摄设备包括数据获得单元，获得使用长时间曝光捕获的第一图像的第一数据，并获得使用短时间曝光捕获的第二图像的第二数据；运动矢量提取单元，提取第一图像中的对象的位置和第二图像中的对象的位置之间的运动矢量；模糊确定单元，确定第一图像中是否存在模糊；对象位置确定单元，确定第一图像中的对象的位置与第二图像中的对象的位置是否相同；数据结合单元，创建具有第二数据的亮度数据并具有通过结合第一数据和第二数据的颜色数据获得的复合颜色数据的数据作为最终数据。
文档编号H04N5/232GK101516001SQ20091000754
公开日2009年8月26日 申请日期2009年2月17日 优先权日2008年2月18日
发明者安垠宣, 张驯槿, 郭晋杓 申请人:三星Techwin株式会社