Cmos输入图像数据的延时校正系统的制作方法
【专利摘要】CMOS输入图像数据的延时校正系统，涉及一种输入图像数据的延时校正系统，解决现有满足航天应用环境的器件内部未集成IODELAY和BITSLIP模块，导致难以实现高速串行输入数据的train工作模式的问题，本发明采用FPGA内部的DCM模块产生各独立的采样时钟，可在线实时调整以获得各位数据的最佳相位，实现位校正；通过内部可置位的移位寄存器进行输入数据的串并转换和字校正；采用DCM来产生不同相位的时钟，避免了采用比高速数据高数倍的采样时钟来进行数据采样，降低了功耗，提高了可靠性，本发明中把数据通道分类进行DCM的共用，减少FPGA内部DCM的使用数量。
【专利说明】
CMOS输入图像数据的延时校正系统
技术领域
[0001] 本发明涉及一种输入图像数据的延时校正系统，具体涉及一种高速CMOS输入图像 数据的延时校正方法。
【背景技术】
[0002] 目前，CMOS图像传感器通常采用一个频率较低的主频时钟和与之同步控制信号输 入，而输出的高速图像数据通常采用DDR方式输出，输出的图像数据频率为输出主频时钟的 数倍。由于数据通道的输出信号存在延时，不同通道间的延时不尽相同，且各通道的数据与 DDR的伴随时钟在每次上电的相对延迟也不同，故需要在接受数据前先进行延时校正。该过 程是通过将一个已知的数据包存入芯片内的寄存器，然后再通过给芯片发一个读出指令， 最后再收取该数据包，并记录下延时时间。这样就能获得每个通道的延时时间。
[0003] 对于高档的可编程逻辑器件，如virtex 6等，在器件内部集成有I0DELAY和 BITSLIP模块，可方便实现位校正和字校正。而对于特殊的应用如航天应用，低档的可编程 逻辑器件如virtex 2等，内部未集成I0DELAY和BITSLIP模块，需要采用新的方法和芯片内 别的资源来实现。
【发明内容】
[0004] 本发明为解决现有满足航天应用环境的器件内部未集成I0DELAY和BITSLIP模块， 进而导致难以实现高速串行输入数据的train工作模式的问题，提供一种CMOS输入图像数 据的延时校正系统。
[0005] CMOS输入图像数据的延时校正系统，包括主处理器和从处理器，多数据通道的 CMOS图像传感器输出的图像数据分组同时传送至主处理器和从处理器，所述主处理器和从 处理器同时对CMOS图像传感器输出的多数据通道的图像数据进行处理；
[0006] 所述主处理器的工作过程为：主处理器在加电后进行上电初始化，初始化完毕后 配置CMOS图像传感器的train模式，并等待从处理器发出准备好的信号，当主处理器接收到 从处理器发出的准备好的信号后，启动CMOS图像传感器的train模式，同时所述主处理器向 从处理器发出train模式开始命令;然后主处理器开始接收CMOS图像传感器输出的train数 据，直到train模式完成；
[0007] 所述主处理器等待接收从处理器的train模式完成信号，当接收到从处理器的 train模式完成信号后，配置所述CMOS图像传感器摄像模式，同时向从处理器发出摄像开始 命令;所述主处理器接收CMOS图像传感器输出的图像数据并进行处理；
[0008] 所述从处理器的工作过程为：从处理器在加电后进行上电初始化，初始化完毕后 向主处理器发出准备好的信号，然后从处理器开始等待；
[0009] 当接收到主处理器发出train开始命令后，开始接收CMOS图像传感器输出的train 数据，直到train模式完成，所述从处理器向主处理器发送train模式完成信号;开始等待； 当接收到主处理器发出摄像开始命令后接收CMOS图像传感器输出的图像数据并进行处理。
[0010] 本发明的有益效果：
[0011] 1、本发明可使用低档的可编程逻辑器件实现高档器件的功能，满足高速CMOS图像 数据的延时校正；
[0012] 2、本发明采用DCM来产生不同相位的时钟，避免了采用比高速数据高数倍的采样 时钟来进行数据采样，降低了功耗，提高了可靠性；
[0013] 3、本发明采用各数据通道间的相对延迟在每次上电为固定的物理延迟，可事先测 量通道间的延迟值，把数据通道分类进行DCM的共用，减少FPGA内部DCM的使用数量；
[0014] 4、本发明采用伴随数据通道输出的同步像素时钟，利用其上升沿和串行数据的首 位在每次上电的相对延迟固定，通过检测其上升沿来确定串行数据首位的位置，减少字校 验的步骤和时间。
【附图说明】
[0015] 图1为本发明所述的CMOS输入图像数据的延时校正系统的结构示意图；
[0016] 图2为本发明所述的CMOS输入图像数据的延时校正系统中主处理器的工作流程 图；
[0017] 图3为本发明所述的CMOS输入图像数据的延时校正系统中从处理器的工作流程 图；
[0018] 图4为本发明所述的CMOS输入图像数据的延时校正系统中主从处理器进行字校验 的原理不意图；
[0019] 图5为本发明所述的CMOS输入图像数据的延时校正系统中字校验的流程图。
【具体实施方式】
【具体实施方式】 [0020] 一、结合图1至图5说明本实施方式，CMOS输入图像数据的延时校正 系统，包括主处理器和从处理器，针对输入图像数据的通道数，本实施方式中对输入图像数 据的延时校正可采用单片处理器或多片处理器来实现。对于采用多片处理器，结合图1，主 处理器与从处理器进行通信，确认从处理器的状态，实现对CMOS图像传感器进行不同工作 模式的控制。
[0021] 所述主处理器和从处理器同时对CMOS图像传感器输出的不同通道的图像数据进 行处理。所述主处理器的工作过程为：
[0022]主处理器在加电后实现进行上电初始化，在初始化完毕后配置CMOS传感器的 train模式，配置CMOS传感器的train模式完毕后，等待从处理器发出的准备好信号；当接收 到从处理器发出的准备好信号后启动CMOS传感器的train工作模式，同时向从处理器发出 train开始命令;然后开始接收CMOS传感器输出的train数据，直到train过程完成;接着等 待接收从处理器的train过程完成信号；当接收到接收从处理器的train过程完成信号后， 配置CMOS传感器的正常摄像模式，同时向从处理器发出摄像开始命令;最后主处理器接收 CMOS传感器正常摄像模式输出的图像数据，进行相关处理。
[0023]所述从处理器的工作过程:从处理器在加电后实现进行上电初始化，在初始化完 毕后向处理器发出的准备好信号，然后开始等待；当接收到主处理器发出train开始命令， 开始接收CMOS传感器输出的train数据，直到train过程完成，向主处理器发送train过程完 成信号;然后开始等待；当接收到主处理器发出摄像开始命令，接收CMOS传感器正常摄像模 式输出的图像数据，进行相关处理。
[0024] 本实施方式中基于内部无 I0DELAY和BITSLIP专用模块的FPGA，采用各数据通道间 的相对延迟在每次上电的物理延迟相对变化不大，可事先测量通道间的延迟值，把各数据 通道分类进行内部DCM的共用，可共用的标准是通道间的延迟t delay小于输出图像数据周期T 的一半减去2倍采样保持时间的最大值tat+hoid，并减去时钟和数据的抖动的最大值tjitta; 即
[0025] 根据上述标准把输入的图像数据分为多组，即确定产生不同相位的采样时钟的 DCM个数，同时计算出各DCM输出时钟的相对相位延迟;可在线实时调整采样时钟的相位来 获得数据的最佳相位，实现位校正。每次上电时位校正的步骤为:首先测量出第一组图像数 据对应的DCM最佳相位值;然后根据之前计算出的各组图像数据对应的DCM最佳相位值的偏 差值，计算出其余组图像数据对应的DCM最佳相位值，即实现位校正。
[0026] 针对输出图像数据和时钟会随供电电压和温度的漂移而出现输出图像数据和时 钟的相对相位发生漂移，导致采样数据错误的风险;可在每行图像数据的消隐期间进行漂 移相对的检测，然后调整采样时钟相位，避免出现采样数据错误的风险。
[0027] 本实施方式的主处理器和从处理器采用FPGA，通过在FPGA内部采用可置位的移位 寄存器进行输入图像数据串行转换和字校正，同时产生各数据通道对应数据有效信号，通 过FIFO将不同采样时钟域的数据转换为在同一个时钟域数据。利用数据有效信号的上升沿 和串行数据的首位在每次上电的相对延迟变化小，通过检测数据有效信号上升沿来确定串 行数据首位的位置范围，减少字校验的步骤和时间。
[0028]确定输入串行数据首位位置的步骤：首先采用FPGA内部工作时钟，即fclk = 2fddrclk，fddrclk为伴随数据通道输出的DDR时钟的频率，对输入伴随数据通道输出的同步像 素时钟进行采样，并在同步像素时钟的上升沿，产生脉冲宽度为1/fcdk的正脉冲;然后把此 正脉冲的位置作为移位寄存器转移的起始位置，进行字校验，结合图5，若校验正确，则此位 置即为串行数据首位;若校验不正确，把此正脉冲的位置作为移位寄存器转移的起始位置 的前一位置，进行字校验，若校验正确，则此位置即为串行数据首位;若不正确，把此正脉冲 的位置作为移位寄存器转移的起始位置的后一位置。
[0029]本实施方式中，针对CMOS图像传感器，在输出数据的同时伴随数据通道输出的DDR 时钟频率
为伴随数据通道输出的同步像素时钟的频率，n为数据通道 中串行数据位数。
[0030] 结合图4说明本实施方式，各数据通道对应数据有效信号和对应时钟，通过FIFO将 各通道数据转换为在同一个时钟下同步输出的数据，同时产生新的数据有效信号，然后进 行后续处理。
[0031] 本实施方式所述的主处理器和从处理器均采用virtex 2器件及其内部资源;所述 CMOS图像传感器采用长光辰芯公司的全局快门的GSENSE2020。
【主权项】
1. CMOS输入图像数据的延时校正系统，包括主处理器和从处理器，多数据通道的CMOS 图像传感器输出的图像数据分组同时传送至主处理器和从处理器，所述主处理器和从处理 器同时对CMOS图像传感器输出的多数据通道的图像数据进行处理;其特征是;所述主处理 器的工作过程为： 主处理器在加电后进行上电初始化，初始化完毕后配置CMOS图像传感器的train模式， 并等待从处理器发出准备好的信号，当主处理器接收到从处理器发出的准备好的信号后， 启动CMOS图像传感器的train模式，同时所述主处理器向从处理器发出train模式开始命 令;然后主处理器开始接收CMOS图像传感器输出的train数据，直到train模式完成； 所述主处理器等待接收从处理器的train模式完成信号，当接收到从处理器的train模 式完成信号后，配置所述CMOS图像传感器摄像模式，同时向从处理器发出摄像开始命令;所 述主处理器接收CMOS图像传感器输出的图像数据并进行处理； 所述从处理器的工作过程为： 从处理器在加电后进行上电初始化，初始化完毕后向主处理器发出准备好的信号，然 后从处理器开始等待； 当接收到主处理器发出train开始命令后，开始接收CMOS图像传感器输出的train数 据，直到train模式完成，所述从处理器向主处理器发送train模式完成信号;开始等待； 当接收到主处理器发出摄像开始命令后接收CMOS图像传感器输出的图像数据并进行 处理。2. 根据权利要求1所述的CMOS输入图像数据的延时校正系统，其特征在于，所述主处理 器和从处理器将多数据通道分类进行内部DCM共用，共用DCM的标准为：式中，tdelaACMOS图像传感器多通道间的延迟，T为CMOS图像传感器输出图像数据的周 期，tset+hold为主从处理器内电路采样时间的最大值，t jitter为CMOS图像传感器输出时钟和数 据的抖动的最大值。3. 根据权利要求2所述的CMOS输入图像数据的延时校正系统，其特征在于，根据共用 DCM的标准，将主处理器和从处理器接收的图像数据分为多组，并计算各DCM输出时钟的相 对相位延迟，实时调整采样时钟的相位，获得数据的最佳相位，实现位校正。4. 根据权利要求3所述的CMOS输入图像数据的延时校正系统，其特征在于，所述位校正 的步骤为:首先测量出第一组图像数据对应的DCM最佳相位值;然后根据计算出的各组图像 数据对应的DCM最佳相位值的偏差，计算出其余组图像数据对应的DCM最佳相位值，实现位 校正。5. 根据权利要求1所述的CMOS输入图像数据的延时校正系统，其特征在于，在所述主处 理器和从处理器采用FPGA，且FPGA内部采用可置位的移位寄存器进行输入图像数据串行转 换和字校验，同时产生各数据通道对应数据有效信号，通过检测数据有效信号上升沿来确 定串行数据首位的位置。6. 根据权利要求5所述的CMOS输入图像数据的延时校正系统，其特征在于，确定输入串 行数据首位位置的步骤:首先采用FPGA内部工作时钟fca k对输入的伴随数据通道输出的同 步像素时钟进行采样，并在同步像素时钟的上升沿，产生脉冲宽度为?/fcdk的正脉冲;所述 fclk = 2f ddrcdk，f ddrcdk为伴随数据通道输出的DDR时钟的频率； 然后把所述正脉冲的位置作为移位寄存器转移的起始位置进行字校验，如果校验正 确，将所述正脉冲的位置是移位寄存器转移的起始位置;如果校验不正确，则将所述正脉冲 的位置作为移位寄存器转移的起始位置的前一位置进行字校验，若校验正确，则所述正脉 冲的位置是移位寄存器转移的起始位置的前一位置;若校验不正确，则正脉冲的位置是移 位寄存器转移的起始位置的后一位置。7.根据权利要求5所述的CMOS输入图像数据的延时校正系统，其特征在于，各数据通道 对应数据有效信号和时钟，通过FIFO将多数据通道不同采样时钟域的数据转换为在同一个 时钟下同步输出的数据。
【文档编号】H04N5/376GK105847714SQ201610348757
【公开日】2016年8月10日
【申请日】2016年5月24日
【发明人】余达, 刘金国, 周怀得, 徐东, 李广泽, 孔德柱, 宁永慧
【申请人】中国科学院长春光学精密机械与物理研究所