专利名称：用于录制并传输数字视频图像的图像录制系统、用于接收并处理数字图像数据的图像数 ...的制作方法
技术领域：
本发明涉及用于录制并传输数字视频图像的一种图像录制系统、用于接收并处理数字图像数据的一种图像数据处理系统、用于生成无抖动数字视频图像的一种图像稳定系统和一种方法。
背景技术：
已知图像稳定系统用于避免和/或校正在录制和再现视频图像时的抖动模糊。在此区分光学图像稳定系统、机械图像稳定系统和电子图像稳定系统。在光学图像稳定系统中，诸如棱镜或透镜的光学元件或者还有摄像机的图像传感器被移动，以对导致抖动模糊的移动进行补偿。机械图像稳定系统大多采用费事的机械布置，例如以所谓悬浮三脚架(steadicam,摄影机稳定器)的形式，以稳定摄像机的位置。电子图像稳定系统通常基于图像传感器的自动敏感性提升。由此可以实现更短的曝光时间，这导致视频图像的抖动模糊降低。但是，提升敏感性由于图像噪声增大或由于必要的去噪而导致图像质量下降。此外已知电子图像稳定系统，其中借助移动传感器来检测导致抖动模糊的摄像机的加速度和/或转速，并通过诸如微控制器的数据处理单元加以校正。这种方法虽然避免了采用费事的机械解决方案，避免了由于曝光时间缩短而造成的图像质量降低或计算强度大的图像分析和校正方法，但是，如果摄像机或图像传感器除了导致抖动模糊的不期望的移动之外还实施期望的、也即故意造成的移动，那么所述方法到达其极限。例如针对在用于目标监控的机动车或飞行设备上的被遥控的摄像机就出现这种应用情况。由DE 10 2005 029 230 Al已知一种显示装置，其具有图像再现装置和图像录制装置。所述图像再现装置包括显示模块，并且所述图像录制装置录制要关注的对象并产生相应的图像数据。此外还设置传感器，所述传感器检测所述图像录制装置的导致图像录制抖动的移动，并产生相应的移动信号。所述图像再现装置借助所述显示模块基于图像数据和移动信号以图像稳定的方式来再现图像，使得用户能够观察到无抖动的图像。图像再现装置和图像录制装置在此固定在能够放置在用户头上的支承装置上。为了避免也把例如为改变所关注的图像细节而进行的故意头部移动识别为抖动，设置了合适的低通或带通滤波。在此假定不期望的移动总是导致移动传感器的高频输出信号，但并不总是这种情况。此外还需要附加的元件来实现滤波。
发明内容
因此本发明所基于的任务是，说明具有用于录制并传输数字视频图像的图像录制系统和用于接收并处理数字图像数据的图像数据处理系统的一种图像稳定系统以及用于生成无抖动数字视频图像的一种方法，其在所述图像录制系统或所述图像录制系统的图像传感器也执行期望的移动时也基于移动传感器的输出信号保证可靠的和造价合理的电子图像稳定。所述任务一方面通过用于录制并传输数字视频图像的一种图像录制系统得到解决，所述图像录制系统具有用于检测数字图像数据的图像传感器、用于基于机电模型来调节图像传感器和/或图像录制系统的位置的位置调节装置、用于检测图像传感器和/或图像录制系统的位置变化的至少一个移动传感器以及数据接口，能够通过该数据接口把所检测的图像数据以及所属的元数据传输到数据分析单元。所述元数据在此包括以下的数据
-位置调节装置在图像 数据检测时间点的当前控制数据 -所述机电模型在图像数据检测时间点的当前参数组，以及
-至少一个移动传感器在图像录制时间点与前一次图像录制时间点之间的累加输出数据。另一方面本发明所基于的任务通过用于接收并处理数字图像数据的一种图像数据处理系统得到解决，所述图像数据处理系统具有接口，通过所述接口能够从图像录制系统接收图像数据和所属的元数据，其中所述元数据包括以下的数据
-位置调节装置在图像数据检测时间点的当前控制数据，其中所述位置调节装置基于机电模型来调节图像录制系统的位置和/或图像录制系统的图像传感器的位置。-所述机电模型在图像数据检测时间点的当前参数组，以及
-至少一个移动传感器在图像录制时间点与前一次图像录制时间点之间的累加输出数据，其中所述移动传感器检测所述图像传感器和/或所述图像录制系统的位置变化。图像数据校正单元基于所述元数据和所述机电模型的接收侧拷贝将所述图像传感器和/或所述图像录制系统的不期望的位置变化与期望的位置变化相区分，并校正所述图像数据，使得对所述图像传感器和/或所述图像录制系统的不期望的位置变化进行补
\-ZX O本发明所基于的想法是，从所述图像录制系统向所述图像数据处理系统不仅传输了图像数据和传感器数据，而且还传输了附加信息，所述附加信息涉及在所述图像录制系统中所使用的位置调节装置，并允许所述图像数据处理系统把所述图像传感器和/或所述图像录制系统的不期望的移动与期望的移动相分离，以接着校正所述图像数据，使得仅仅对不期望的移动进行补偿。在此有利地采用的是，基于模型地进行所述图像传感器和/或所述图像录制系统的位置调节，使得在接收侧通过所述图像数据处理系统能够基于位置调节装置在图像录制时间点的当前控制数据和所述机电模型在图像录制时间点的当前参数组以及所述机电模型的接收侧拷贝来精确地重建所期望的移动、也即所述图像传感器和/或所述图像录制系统的故意进行的位置变化。根据本发明的一个实施方式，所述图像录制系统具有编码器，所述编码器把元数据以注解的形式与所属的图像数据逻辑联结。把元数据以注解的形式、也即注释的形式传输给所述图像数据，是一种特别简单的数据共同传输方式，该方式允许在接收侧元数据向图像数据的简单而明确的分配，并且不需要同步耗费。本发明的另一实施方式规定，所述图像传感器被构造为，使得所录制的图像区域大于为再现而设置的图像区域。在此有利地根据所期待的抖动幅度来确定由所述图像传感器所录制的图像区域。抖动通常导致所录制的图像区域与期望的图像区域的偏移。如果在抖动补偿的范畴内所述图像可以说与所述偏移相反地被“移动”，那么这在所录制的图像区域和为了再现而设置的图像区域大小一致的情况下，导致在图像的边缘区域中不存在图像信息的效应。为了避免这种效应，有利地录制大一些的图像，使得在“移动”之后对于要再现的图像的所有子区域也都存在图像信息。
根据本发明的另一实施方式，通过所述图像数据处理系统附加地根据在视频流的连续单个图像中显著图像元素的移动而对图像数据进行校正。例如由于支承结构一在所述支承结构上固定了所述图像录制系统一的机械固有振荡，所述移动传感器的输出信号还包含噪声分量。这些噪声分量例如在对加速度传感器的输出数据进行积分时导致积分错误，所述积分错误对抖动的补偿造成负面影响。这种积分错误例如可以通过以下方式来校正或消除，即在连续的单个图像中对显著图像元素或图像对象的位置变化进行分析。这种用于图像稳定的算法原则上是已知的，因此在此不再阐述。本发明所基于的任务还通过用于生成无抖动数字视频图像的一种图像稳定系统得到解决，所述图像稳定系统包括根据本发明的图像录制系统和根据本发明的图像数据处理系统，其中图像数据和所属的元数据由所述图像录制系统传输到所述图像数据处理系统，并通过所述图像数据处理系统产生经校正的图像数据。本发明所基于的任务最后还通过用于生成无抖动数字视频图像的一种方法得到解决，在所述方法中数字图像数据通过图像录制系统的图像传感器来检测，其中所述图像录制系统和/或所述图像传感器的位置通过位置调节装置基于机电模型来调节。所述图像传感器和/或所述图像录制系统的位置变化通过至少一个移动传感器来检测。所检测的图像数据连同元数据一起以位置调节装置在图像数据检测时间点的当前控制数据的形式、所述机电模型在图像数据检测时间点的当前参数组的形式以及至少一个移动传感器在图像录制时间点与前一次图像录制时间点之间的累加输出数据的形式被传输到图像数据处理系统。通过所述图像数据处理系统，基于所述元数据以及所述机电模型的接收侧拷贝，把所述图像传感器和/或所述图像录制系统的不期望的位置变化与期望的位置变化区分开来，并校正所述图像数据，使得对所述图像传感器和/或图像录制系统的不期望的位置变化进行补偿。
本发明的其他特征和优点由在下文中借助附图阐述的实施例给出，附图示出了根据本发明的图像稳定系统的示意连接框图。
具体实施例方式根据本发明的图像稳定系统I具有图像录制系统2以录制数字视频图像，并具有图像数据处理系统3以处理由所述图像录制系统2所录制的视频图像。所述图像录制系统2包括至少一个数字图像传感器4。所述图像传感器4或还有整个图像录制系统2的位置借助未示出的位置调节装置而被调节。所述位置调节装置在此作为机电系统来实施，其中不同的执行器借助控制逻辑而被控制，使得所述图像传感器4或所述图像录制系统2采取期望的额定位置。用于位置调节的各自实际位置在此基于至少一个移动传感器5的输出信号或输出数据而被检测。所述移动传感器5在此例如可以作为加速度传感器、转速传感器或还作为陀螺测量仪来实施。基于模型地基于机电模型6来进行位置调节。所述图像录制系统2此外还包括编码器7-通常还被称作encoder，所述编码器把所述图像传感器4所检测的图像数据与元数据逻辑联结，并转换为针对要传输的视频流8所预定的传输格式。所述元数据在此一方面包括位置调节装置在图像数据检测时间点的当前控制数据以及所述机电模型在图像数据检测时间点的当前参数组(综合在数据箭头9中)，以及另一方面包括所述移动传感器5在图像录制时间点与前一次图像录制时间点之间的累加输出数据10。所述元数据有利地以注解的形式与所属的图像数据逻辑联结，并由此可以说是嵌入到图像数据中。
所述图像数据然后与元数据一同通过输出接口 11以视频流8的形式传输到所述图像数据处理系统3。所述传输可以有线地或还可以无线地进行。为了接收所述视频流以及由此接收图像数据和元数据，所述图像数据处理系统3具有输入接口 12。如果所述图像录制系统2例如设置在飞行设备上，以录制要监控对象的图像，那么所述图像数据处理系统3可以同样设置在所述飞行设备上。但是替换于此的，所述图像数据处理系统3也可以设置在所述飞行设备外部，例如设置在地面站或实验室中。通过这种方式在所述飞行设备上除了所述图像录制系统之外不需要附加的部件，这导致简单的构造并导致在飞行设备上空间需求的降低。在所述图像数据处理系统3中设置有解码器13，所述解码器把视频流8的数据转换为可由所述图像数据处理系统3处理的数据格式并在此把图像数据与元数据相分离。所述元数据14然后在校正数据确定单元15中被进一步处理。借助位置调节装置在图像数据检测时间点的当前控制数据以及所述机电模型6在图像数据检测时间点的当前参数组，可以借助所述机电模型的拷贝在所述校正数据确定单元15中确定所述图像传感器4或所述图像录制系统2的期望的额定位置或额定移动。另一方面基于所述移动传感器在图像录制时间点与前一次图像录制时间点之间的累加输出数据，可以在所述校正数据确定单元15中确定所述图像传感器4或所述图像录制系统2在图像录制时间点的当前实际位置，或者还确定从前一次图像录制以来所述图像传感器4或所述图像录制系统2已进行的实际移动。通过实际数据与额定数据的比较，所述图像传感器4或所述图像录制系统2的不期望的位置变化可以与期望的、通过对位置调节装置的执行器的相应控制而造成的位置变化相区分和分离。接着通过所述校正数据确定单元15产生图像校正数据16，所述图像校正数据校正通过所述视频流8所接收的图像数据，使得对所述图像传感器4和/或所述图像录制系统4的不期望的位置变化进行补偿。在此尤其由抖动、也即不期望的位置变化所引起的图像区域的偏移通过该图像的相应反向移动而得到补偿。为了防止在此针对经移动的图像的边缘区域不存在图像数据，有利地是，由所述图像传感器4所录制的图像区域大于为再现而设置的图像区域，其中所录制的图像区域根据所期待的抖动幅度来确定。然后在图像校正单元17中基于所述图像数据和图像校正数据16来产生经校正的图像数据18。所述校正数据确定单元15和所述图像校正单元17共同构成了图像数据校正单元19。由所述图像数据校正单元19所产生的经校正的图像数据可以通过在所述图像数据处理系统3中所设置的另一编码器20而被转换为适合用于进一步传输的数据格式，从而最终能够由所述图像数据处理系统3输出经校正的视频流21。在图I中作为在所述图像数据校正单元16中分离的单元而示出了所述校正数据确定单元15和所述图像校正单元17。但这些单元当然也可以集成在一个上级单元中，或者还可以划分到其他的子单元。还可能的是，图像稳定的一部分已经通过所述图像录制系统2 进行，例如以光学图像稳定的形式来进行。
权利要求
1.ー种用于录制并传输数字视频图像的图像录制系统(2)，其具有 -图像传感器(4)，用于检测数字图像数据， -位置调节装置，其基于机电模型(6 )来调节所述图像传感器(4 )和/或所述图像录制系统(2)的位置， -至少ー个移动传感器(5)，用于检测所述图像传感器(4)和/或所述图像录制系统(2)的位置变化，以及 -输出接ロ(11)，通过所述输出接ロ能够把所检测的图像数据以及所属的元数据传输到图像数据处理系统(3)，其中所述元数据具有以下的数据 位置调节装置在图像数据检测时间点的当前控制数据， 所述机电模型(6)在图像数据检测时间点的当前參数组，以及 至少ー个移动传感器(5)在图像录制时间点与前一次图像录制时间点之间的累加输出数据。
2.根据权利要求I所述的图像录制系统， 其特征在于，所述图像录制系统(2)具有编码器(7)，所述编码器把所述元数据以注解的形式与所述图像数据逻辑联结。
3.根据权利要求I或2之一所述的图像录制系统， 其特征在于，所述图像传感器(4)被构造为，使得所录制的图像区域大于为再现而设置的图像区域。
4.根据权利要求3所述的图像录制系统， 其特征在干，由所述图像传感器(4)所录制的图像区域根据期待的抖动幅度来确定。
5.一种用于接收并处理数字图像数据的图像数据处理系统(3)，其具有 -输入接ロ( 12)，通过所述输入接ロ能够从图像录制系统(2)接收图像数据和所属的元数据，其中所述元数据具有以下的数据 位置调节装置在图像数据检测时间点的当前控制数据，其中所述位置调节装置基于机电模型(6)来调节所述图像录制系统(2)和/或所述图像录制系统(2)的图像传感器(4)的位置， 所述机电模型(6)在图像数据检测时间点的当前參数组，以及 至少ー个移动传感器(5)在图像录制时间点与前一次图像录制时间点之间的累加输出数据，其中移动传感器(5)检测所述图像传感器(4)和/或所述图像录制系统(2)的位置变化， -图像数据校正単元(19)，所述图像数据校正単元基于所述元数据以及所述机电模型的接收侧拷贝把所述图像传感器(4)和/或所述图像录制系统(2)的不期望的位置变化与期望的位置变化相区分，并校正所述图像数据，使得对所述图像传感器(4)和/或所述图像录制系统(2)的不期望的位置变化进行补偿。
6.根据权利要求5所述的图像数据处理系统， 其特征在于，所述图像数据校正単元(19)借助位置调节装置的当前控制数据和所述机电模型(6)的当前參数组以及所述机电模型的接收侧拷贝来确定所述图像传感器(4)和/或所述图像录制系统(2)的期望的位置变化，并通过与至少ー个移动传感器(5)的累加输出数据相比较，来确定所述图像传感器(4)和/或所述图像录制系统(2)的不期望的位置变化。
7.根据权利要求5或6之一所述的图像数据处理系统， 其特征在于，所述图像数据附加地根据在视频流的连续单个图像中显著图像元素的移动而被校正。
8.一种用于生成无抖动数字视频图像的图像稳定系统，其具有根据权利要求I至4之一所述的图像录制系统(2)和根据权利要求5至7之一所述的图像数据处理系统(3)，其中图像数据和所属的元数据由所述图像录制系统(2)传输到所述图像数据处理系统(3)，并通过所述图像数据处理系统(3)来产生经校正的图像数据。
9.一种用于生成无抖动数字视频图像的方法，其中 -数字图像数据通过图像录制系统(2)的图像传感器(4)检测，其中所述图像录制系统(2)和/或所述图像传感器(4)的位置通过位置调节装置基于机电模型(6)调节， -所述图像传感器(4)和/或所述图像录制系统(2)的位置变化通过至少ー个移动传感器(5)检测， -所检测的图像数据与元数据一同以位置调节装置在图像数据检测时间点的当前控制数据的形式、以所述机电模型(6)在图像数据检测时间点的当前參数组的形式以及以至少一个移动传感器(5)在图像录制时间点和前一次图像录制时间点之间的累加输出数据的形式传输到图像数据处理系统(3)，以及 -通过所述图像数据处理系统(3)基于所述元数据以及所述机电模型的接收侧拷贝把所述图像传感器(4)和/或所述图像录制系统(2)的不期望的位置变化与期望的位置变化相区分，并校正所述图像数据，使得对所述图像传感器(4)和/或所述图像录制系统(2)的不期望的位置变化进行补偿。
全文摘要
本发明涉及用于视频图像的一种图像稳定系统。在此数字图像数据通过图像录制系统(2)的图像传感器(4)检测，其中所述图像录制系统(2)的位置通过位置调节装置基于模型来调节。所述图像录制系统(2)的位置变化通过移动传感器(5)检测，并且所述图像数据与位置调节装置的当前控制数据、所述模型(6)的当前参数组和所述移动传感器(5)的累加输出数据一同被传输到图像数据处理系统(3)。在所述图像数据处理系统中基于所述控制数据、所述参数组和所述模型的接收侧拷贝把图像录制系统(2)的不期望的位置变化与期望的位置变化相区分，并且校正所述图像数据，使得不期望的位置变化得到补偿。本发明可以例如用于借助飞行设备的对象监控，并且所提供的优点是能够可靠地区分抖动与期望的移动。
文档编号H04N5/77GK102652430SQ201080057342
公开日2012年8月29日 申请日期2010年11月8日 优先权日2009年12月17日
发明者R.施密德 申请人:西门子公司