专利名称：摄像机阵列同步视频采集处理系统的制作方法
技术领域：
本发明涉及摄像机阵列视频采集处理系统，特别涉及一种摄像机阵列视频 帧同步的处理系统及其同步的操作方法。
背景技术：
随着视频技术的发展，三维电视及其相关技术成为继数字电视后视频处理 技术的新的发展方向。在三维视频信号的采集过程中，通常要用到摄像机阵列， 阵列中的各个摄像机会从多个角度、多个视点同时捕获图像来为三维视频提供 更为丰富的信息。因此，摄像机阵列中各个摄像机之间的同步显得尤其重要。
在三维视频信号的采集过程中，需要在相同时刻从各个摄像机采集视频信 号。因此，保证摄像机之间同时采集视频的帧同步就显得非常重要。在摄像机 阵列视频系统中，各个摄像机应在统一的同歩信号控制下，在同一个时刻各自 采集一帧图像，然后传送到处理器子系统(比如DSP处理器系统)进行相应的 图像处理。处理器子系统在对采集到的某一时刻的图像帧的处理过程中，需要 融合来自其他摄像机的图像帧，且需要确定图像帧之间的同步关系。因此，需
要依据采集时间对这些采集到的帧进行编号。这样，处理器子系统才能够依据 帧编号匹配各个摄像机在相同时刻采集到的帧，并对这些帧进行处理。
在已有的多摄像机视频采集处理系统中， 一般采用外同步信号对各摄像机 进行同步，使各图像帧的摄取时刻得到同步，处理器子系统根据接收图像数据 的时间实现处理器中各帧图像的同步。但对于基于图像传感器直接构成的摄像 机阵列，使用以往摄像机外同步的方法有如下不足之处1、实现摄像机间外同 步的电路较为复杂；2、处理器子系统一般对各路视频进行独立采集，只依据接 收数据时间对图像帧编号，容易在处理器中失去同步，这是因为处理器子系统 接收图像数据时会受到处理器中断或其它进程的影响。
发明内容
本发明为克服已有技术的不足，提出了一种摄像机阵列同步视频采集处理系统，采用同步信号实现摄像机阵列的同步采集(摄像单元采集同步)，利用帧 编号实现视频图像采集处理系统的同步，包括图像帧编号的产生和标识(时间
戳)方法。
本发明提出的摄像机阵列同步视频图像采集处理系统包括视频采集子系 统，同步信号产生单元，帧编号产生单元与由多个接收和处理视频信号的数据 处理器组成的处理器子系统，其结构示意如图1所示。其中，视频采集子系统 与处理器子系统采用并行或串行数据接口进行通信，同步信号产生单元产生的 同步信号同时输入视频采集子系统和帧编号产生单元。
视频采集子系统包括多个视频采集单元，各视频采集单元包括具有外同步 输入接口的视频摄像单元和模数转换单元；视频摄像单元可以接收来自同步信 号产生单元产生的同步信号，其中包括行同步信号和场或帧同步信号，或者像 素有效信号和场指示信号，有时还包括曝光开始信号和曝光结束信号。视频采 集子系统的模数转换单元可以置入摄像机内部，摄像机与处理器子系统采用数 字方式连接；视频采集子系统的模数转换单元也可以不在摄像机内部，如与处 理器子系统在一块电路板上。
行同步信号用于指示一帧图像中一行的起始或行有效。场或帧同步信号用 于指示一场或一帧的起始或指示奇偶场。曝光开始信号和曝光结束信号用于控 制摄像单元每帧图像的曝光。同步信号产生单元可采用计数器和组合逻辑电路， 或计数器和ROM查表方式产生同步信号。采用同步信号对视频摄像单元进行同 步，可保证各摄像单元在同一时刻曝光并采集一帧图像。
帧编号产生单元由n位计数器和帧编号输出接口组成，n位计数器的计数时 钟为场或帧同步信号，帧编号产生单元的输出接口为n位并行输出接口或串行 输出接口。帧编号是一个n位二进制数，用于指示各个视频采集单元采集到的 帧的顺序。其中的帧编号输出接口可以是串行接口，从而生成一个串行帧编号 信号输入视频采集子系统的各摄像单元，或输入处理器子系统；帧编号输出接 口也可以是n位并行接口，从而产生n位并行帧编号输入视频采集子系统的各 视频摄像单元，或输入处理器子系统。
在帧编号产生单元采用串行或并行接口方式将帧编号信号输入视频采集子 系统的各视频摄像单元时，帧编号产生单元还产生一个帧编号嵌入控制信号，输入并控制帧编号在指定位置像素的嵌入。
视频采集子系统的各视频摄像单元包括一个帧编号嵌入电路，帧编号产生 单元通过并行或串行方式将帧编号输入帧编号嵌入电路，但采用串行方式更易 实现，即以串行信号方式将帧编号输入帧编号嵌入电路。帧编号嵌入电路实际 上是一个由帧编号嵌入控制信号控制的二选一开关，视频采集子系统根据帧编 号嵌入控制信号来选择原图像像素最低位或串行帧编号信号作为输出，进而实 现帧编号在指定位置像素的嵌入。因只有图像边沿处很少像素的最低位被帧编 号修改，所以一般不会引起可觉察的图像质量损失。
视频采集子系统的各视频采集单元接收来自帧编号产生单元的帧编号，并
将其置入当前帧图像中n个指定位置像素的最低位。由于处理器一般能及时对 各帧图像进行处理，帧编号能够以较短的周期循环，即n可取得较小，如n取2、 3或4，则帧编号的循环周期对应为4、 8、 16。
采集到的各帧图像输入处理器子系统后，为了知道哪些帧是同时产生的以 及各图像帧采集的先后顺序，需要对每个图像帧进行标识，即给每个图像帧加 上时间戳。本发明用帧编号产生单元产生帧编号，通过将帧编号嵌入指定位置 几个像素(如起始行的开始几个像素， 一般在图像边沿处)的最低位，处理器 子系统收到视频数据后从该像素最低位取回帧编号。处理器子系统利用帧编号 同步后，处理器可给每个图像帧一个内部使用的时间戳，如16位或32位时间 戳。
处理器子系统得到帧编号的另一种方案是在接收一帧图像时，如在接收图 像信号的中断响应例程中，或接收完一帧图像数据后，直接读取从帧编号产生 单元产生的帧编号，此时帧编号产生单元通过并行接口或串行接口或GPIO接口 与处理器子系统直接相连。此时，处理器子系统能直接从帧编号产生单元得到 各图像帧的相应帧编号，从而实现图像帧在处理器子系统中的同步。其结构图 如图3所示。
视频采集子系统的各视频釆集单元将帧编号嵌入图像数据的另一种方案 是，用所接收到的n位帧编号直接代替当前帧图像中某个指定位置m位像素数 据的n位。如在图像四个角上的像素，将其最低的n位数据用帧编号代替，四 个角上的像素即使损坏也不容易被人眼察觉。处理器子系统中接收和处理视频信号的数据处理器在收到一帧图像数据后，取出该指定位置像聿中的n位帧编 号，并以该帧编号标识该图像帧。同时该数据处理器还可用该像素的邻近像素 插值修补该被嵌入帧编号的像素的值，从而减少对视觉的影响。其结构如图5 所示。
本发明的方法具有如下特点
1、 装置简单，易于实现。
2、 在视频采集阶段完成了帧编号的嵌入，方便了处理器子系统的后续处理, 确保了图像帧在采集和处理过程中的同步。
3、 适用于3DTV或机器视觉等多路同步视频信号的采集和处理。
图1为本发明的一种帧编号嵌入像素最低位的结构示意图。 图2为图1一种实施例的结构示意图。
图3为本发明的一种帧编号直接输入处理器子系统的结构示意图。 图4为图3的一种实施例结构示意图。
图5为本发明的一种帧编号嵌入一个指定像素的结构示意图。
图6为图5的一种实施例结构示意图。
具体实施例方式
下面，结合附图及具体实施例进一步说明本发明。
本发明提出的一种基于帧编号嵌入数据的摄像机阵列同步视频图像采集处 理系统，其特征在于在视频数据信号采集的过程中， 一帧视频数据信号的同步 通过在视频数据内嵌入帧编号来完成，并在处理子系统中对帧编号进行恢复， 从而获取各个帧的编号，以实现各个处理器之间帧的同步。
本发明提出的摄像机阵列同步视频图像采集处理系统，结合图1和2及实 施例详细说明如下
如图1所示为本发明提出的摄像机阵列视频图像采集处理系统的一种结构 示意图，图2为图1更具体的一个实施例，其中同步信号产生单元和帧编号产 生单元合用一片CPLD实现，用来产生行同步信号、场或帧同步信号、帧编号信号和帧编号嵌入控制信号，视频摄像单元采用CMOS图像传感器(也可以采用CCD 或其它传感器)。在图2中，视频采集子系统中的视频采集单元由一片CMOS传 感器和帧编号嵌入电路组成，其中CMOS传感器作为视频摄像单元和模数转换单 元完成图像数据的采集和模数转换。处理器子系统中的数据处理器为DSP。系统 按如下方式实现视频信号的同步采集和处理
CPLD产生行同步信号和场或帧同步信号并将其送入CMOS传感器。同时，帧
编号计数器以场或帧同步信号为触发时钟，在每帧或每场开始时帧编号计数器 加1。 CPLD同时产生帧编号嵌入控制信号，它在每一帧起始行的起始n个像素 有效，帧编号计数器以串行方式输出，n位数据对应上述n个像素数据。本实施 例中将帧编号计数器设置为3位计数器，并以帧同步信号为触发时钟。
各CMOS传感器根据接收到的CPLD送出的行同步信号和场或帧同步信号， 同步采集图像数据，并进行模数转换。每个像素的图像数据以并行方式输出。 帧编号嵌入电路根据帧编号嵌入控制信号将n位帧编号数据嵌入n个像素数据 的最低位。
DSP以并行方式接收图像数据，并取出帧编号嵌入电路所嵌入在n个指定位 置像素的最低位重建帧编号，并利用该帧编号给图像帧赋予时间戳。本实施例 中，采用16位时间戳，使不同摄像机同步采集的图像具有相同的时间戳。
图3所示为本发明提出的摄像机阵列同步视频图像采集处理系统的另一种 实施例结构示意图。其中，帧编号直接输入处理器子系统。图4为图3更具体 的一个实施例，其中同步信号产生单元和帧编号产生单元合用一片CPLD实现， 用来产生行同步信号、场或帧同步信号、帧编号信号。图4中，视频采集子系 统中的视频采集单元由一片CMOS传感器及其外围元件组成，其中CMOS传感器 作为视频摄像单元和模数转换单元完成图像数据的采集和模数转换。处理器子 系统中的数据处理器为DSP。系统按如下方式实现视频信号的同步采集和处理
CPLD产生行同步信号和场或帧同步信号并将其送入CMOS传感器。同时，帧 编号计数器以场或帧同步信号为触发时钟，在每帧或每场开始时帧编号计数器 加1。 DSP通过GPIO与CPLD直接相连，CPLD中帧编号计数器产生的n位帧编号 直接通过GPIO送入处理子系统的DSP中。
各CMOS传感器根据接收到CPLD送出的行同步信号和场或帧同步信号后，
8同步采集图像数据，并进行模数转换。最后将每一个像素的图像数据以并行数 字信号的形式输出。
DSP以并行方式接收CMOS传感器输出的数字图像数据。DSP在接收到每帧 图像后，根据由帧编号产生单元产生的对应该帧的帧编号给图像帧赋予时间戳。 本实施例中，采用16位时间戳，使不同摄像机同步采集的图像具有相同的时间 戳。
图5所示为本发明提出的摄像机阵列同步视频图像采集处理系统的另一种 结构示意图。其中，n位帧编号直接代替当前帧图像中某个指定位置像素m位数 据中的n位数据。图6为图5更具体的一个实施例，其中同步信号产生单元和 帧编号产生单元合用一片CPLD实现，用来产生行同步信号、场或帧同步信号、 帧编号信号和帧编号嵌入控制信号。图6中，视频采集子系统中的视频采集单 元由一片CMOS传感器或外围元件组成，其中CMOS传感器作为视频摄像单元和 模数转换单元完成图像数据的采集和模数转换。处理器子系统中的数据处理器 为DSP。系统按如下方式实现视频信号的同步采集和处理
CPLD产生行同步信号和场或帧同步信号并将其送入CMOS传感器。同时，帧 编号计数器以场或帧同步信号为触发时钟，在每帧或每场开始时帧编号计数器 加1。 CPLD同时产生帧编号嵌入控制信号，它在每一帧起始行的第一个起始像 素有效，帧编号计数器以并行方式输出，n位帧编号数据对应这个m位像素数据 的n个最低位。本实施例中将帧编号计数器设置为3位计数器。
各CMOS传感器接收到CPLD送出的行同步信号和场或帧同步信号后，同步 采集图像数据，并进行模数转换。每个像素的图像数据以并行方式输出。帧编 号嵌入电路根据帧编号嵌入控制信号将n位帧编号数据嵌入每一帧起始行第一 个像素m位数据的n个最低位。
DSP以并行方式接收图像数据，并取出帧编号嵌入电路所嵌入在每一帧起始 行第一个像素数据的n个最低位来重建帧编号，并利用该帧编号给图像帧赋予 时间戳。
权利要求
1、一种摄像机阵列同步视频采集处理系统，其特征在于，它包括视频采集子系统、同步信号产生单元、帧编号产生单元、接收和处理视频信号的处理器子系统，视频采集子系统与处理器子系统采用并行或串行接口进行通信，同步信号产生单元产生的同步信号输入视频采集子系统和帧编号产生单元。
2、 如权利要求1所述的摄像机阵列同步视频采集处理系统，其特征在于， 所述的帧编号产生单元由计数器和帧编号输出接口组成，计数器的计数时钟为 场或帧同歩信号，帧编号输出接口为n位并行输出接口或串行输出接口。
3、 如权利要求2所述的摄像机阵列同步视频采集处理系统，其特征在于， 所述的帧编号产生单元通过并行接口或串行接口或GPIO接口直接输入处理器子 系统。
4、 如权利要求1或2或3所述的摄像机阵列同步视频采集处理系统，其特 征在于，所述的视频采集子系统包括多个视频采集单元，各视频采集单元包括 具有外同步输入接口的视频摄像单元、模数转换单元和帧编号嵌入电路，同步信号产生单元产生的同步信号同时输入视频采集子系统的各视频摄像单元和帧 编号产生单元。
5、 如权利要求1或2或3所述的摄像机阵列同步视频采集处理系统，其特 征在于，所述的视频采集子系统包括多个视频采集单元，各视频采集单元包括 具有外同步输入接口的视频摄像单元和模数转换单元，所述帧编号产生单元产 生帧编号并直接输入处理器子系统，处理器子系统接收到每帧图像后用所接收 到的对应该帧的帧编号标识该图像帧。
6、 如权利要求4所述的摄像机阵列同步视频采集处理系统，其特征在于， 所述的帧编号产生单元产生一个串行帧编号信号或并行帧编号信号并输入到视 频采集子系统的各视频摄像单元。
7、 如权利要求6所述的摄像机阵列同步视频采集处理系统，其特征在于， 所述的帧编号产生单元还产生一个帧编号嵌入控制信号，输入视频采集子系统的各视频摄像单元并通过帧编号嵌入电路控制帧编号在指定位置像素的嵌入。
8、 如权利要求6所述的摄像机阵列同步视频采集处理系统，其特征在于， 帧编号信号在帧编号嵌入控制信号的控制下嵌入当前帧图像中n个指定位置像 素的最低位，处理器子系统中接收和处理视频信号的数据处理器在收到一帧图 像数据后，取出该n个指定位置像素的最低位重建帧编号，并利用该帧编号标识该图像帧。
9、 如权利要求6所述的摄像机阵列同步视频采集处理系统，其特征在于，帧编号信号在帧编号嵌入控制信号的控制下嵌入当前帧图像中某个指定位置像 素的n位数据中，处理器子系统中接收和处理视频信号的数据处理器在收到一 帧图像数据后，取出该指定位置像素中的n位帧编号，并以该帧编号标识该图 像帧。
全文摘要
本发明涉及一种摄像机阵列同步视频采集处理系统，它包括视频采集子系统、同步信号产生单元、帧编号产生单元、接收和处理视频信号的处理器子系统，同步信号产生单元产生的同步信号输入视频采集子系统和帧编号产生单元。帧编号产生单元产生帧编号，视频采集子系统的各视频采集单元接收帧编号并将其置入当前帧图像数据中，处理器子系统中的数据处理器再从收到的图像数据中获得帧编号；帧编号也可直接输入数据处理子系统。本发明可以实现摄像机阵列中多个摄像机的视频图像的同步。
文档编号H04N13/00GK101321301SQ20081006287
公开日2008年12月10日 申请日期2008年7月8日 优先权日2008年7月8日
发明者于慧敏, 刘云海, 唐慧明, 名 杨, 露 虞, 超 郭 申请人:浙江大学