一种实时全高清2d转3d系统行读写时序设计方法
【专利摘要】本发明公开了一种实时全高清2D转3D系统行读写时序设计方法，对转换过程中的行读写时序设计进行合理设计并在深度估计系统的边缘图数据缓存、深度估计系统的深度图数据缓存中分别增加两片Block?RAM，使读操作或写操作分配到不同的时间区域，避免了对DDR2同时进行读操作或写操作，实现对DDR2的正常读写功能，保障了深度估计与深度图像绘制的进行，保障了实时全高清2D转3D的正常运行。
【专利说明】一种实时全高清2D转3D系统行读写时序设计方法
【技术领域】
[0001]本发明属于3D电视【技术领域】，更为具体地讲，涉及一种实时全高清2D转3D系统行读写时序设计方法。
【背景技术】
[0002]随着显示技术的发展，3D电视已成为电视技术发展的主流趋势，人们越来越强烈地渴望在家中就能体验到3D电视带来的震撼效果。然而，3D片源的短缺，制作成本的昂贵，严重制约了 3D电视技术的发展。如果能将目前大量的2D视频实时转为3D视频，则不仅可以为3D显示提供丰富的素材，而且能大大节省制作成本。因此，2D转3D技术成为当前3D技术发展的主流方向。
[0003]2D转3D技术首先从普通的2D视频序列中获取每一帧对应的深度信息，进而根据深度信息将2D视频合成为3D视频。因而，2D转3D系统可分为两部分:深度估计和视图合成。深度估计技术能从一幅或多幅彩色图中有效地估计出物体对应的深度信息，目前已有许多成熟的算法，如基于聚焦/散焦、基于图像分类、基于机器学习、基于边缘值、基于视觉注意机制等方法，然而，深度估计算法复杂度大都比较高，不利于硬件设计与实现。
[0004]在综合考虑算法效果和硬件实现难易后， 申请人:重点研究了基于相对高度线索的深度估计算法，并对其改进使其便于硬件实现。该改进于2013年05月13日申请了名称为“一种实时高清深度估计系统”，并于2013年09月04日公布，公布号为CN103281548A。
[0005]传统的3D视频信号传输时需要传送左眼和右眼两路视频流，而基于DIBR技术的3D电视系统只需要传输一路视频流及其对应的深度信息，从而可以减少传输带宽。同时，采用DIBR技术能够方便地实现2D-3D视频转换，方便支持各种自由立体显示器。正因为这些优点，DIBR技术已成为视图合成的主流技术。
[0006]在视图合成方面， 申请人:提出了一种基于硬件实现的DIBR系统，采用基于深度图像绘制(DIBR)技术来合成3D视频，并于2013年09月22日申请了中国发明专利，在2014年01月22日公布，公布号为CN10353327。这样基于实时高清深度估计系统得到的深度图和参考图，可以方便地实现目标图像的合成，得到两幅图像，实现2D到3D的转换。
[0007]但是，在现有技术中，将深度估计与深度图像绘制(DIBR)结合起来，实现2D到3D的转换。如图1所示，实时全高清IOSOp的2D转3D系统主要由以下子模块构成:边缘检测、边缘图数据缓存、MPMC、边缘图数据拆分、深度图估计、深度图数据缓存、深度图数据拆分和DIBR模块，各子模块的功能在 申请人:前面申请的“一种实时高清深度估计系统”、“一种基于硬件实现的DIBR系统”中有全面的描述。
[0008]帧读写时序如图1所示，与DDR2进行交互的数据主要分为三类:输入的原始彩色图数据Col，边缘检测后得到的边缘图数据Edge和深度估计后得到的深度图数据D印。因而DDR2会有六种操作:写彩色图、读彩色图、写边缘图、读边缘图、写深度图和读深度图。
[0009]需要注意的是，在第一帧时，系统接收彩色图并进行边缘检测，因而第一帧时只有写彩色图和写边缘图的操作；第二帧时，系统接收第二帧彩色图并进行边缘检测，同时读取第一帧边缘图进行深度估计，将第一帧对应的深度图写入DDR2，因而第二帧包含写彩色图、写边缘图、读边缘图、写深度图四种操作；第三帧往后系统开始同时读取彩色图和深度图，因而包含了全部六种操作。
[0010]然而，对DDR2来讲，读、写数据必须进行合理的设计，以避免同时进行读操作或写操作，实现对DDR2的正常读写功能。
【发明内容】
[0011]本发明的目的在于提供一种实时全高清2D转3D系统行读写时序设计方法，实现对DDR2的正常读写功能。
[0012]为实现上述目的，本发明实时全高清2D转3D系统行读写时序设计方法，包括:
[0013](I)、写彩色图
[0014]系统经过HDMI接口接收彩色图数据，在hdmi_de为高时以像素时钟148.5MHz将其即当前帧缓存在Block RAM中；hdmi_de为低时，用480个时钟周期的写彩色图wr_col，以200MHz时钟频率从Block RAM中读出并作为当前帧彩色图像每4个32_bit彩色图数据构成I个128-bit的数据写入到DDR2中；
[0015](2)、读彩色图
[0016]在写彩色图wr_C0l之后执行读彩色图的操作，用480个时钟周期的读彩色图rd_col从DDR2中读取已存储的前二帧彩色图像中的一行数据，从DDR2中读出的数据是128-bit的数据，原为32-bit的彩色图像数据，并送入DIBR系统中，结合深度估计系统输出深度数据生成目标图像；
[0017](3)、读边缘图:
[0018]在读彩色图rd_Col之后执行读边缘图操作，用270个时钟周期的读边缘图rd_edge从DDR2中读取前一帧的128-bit边缘图数据，每次读边缘图操作会将四列的边缘图数据同时读出，送入深度估计系统中；
[0019]读边缘图是每两个数据使能信号hdmi_de执行一次的；
[0020](4)、读深度图
[0021]在四个读彩色图rd_col之后执行读深度图操作，用480个时钟周期将已存储的前一帧深度图的四行数据同时读出，读深度图操作是每4个数据使能信号hdmi_de执行一次的；
[0022](5)、写边缘图
[0023]在深度估计系统的边缘图数据缓存中增加两片Block RAM，即用18片Block RAM进行缓存，每次对其中16片Block RAM进行边缘图数据读出和组合写入DDR2，读取和组合写入过程中，边缘检测输出的边缘图数据依次缓存在另外两片Block RAM，读取和组合写入过程结束后，该16片Block RAM继续进行缓存，然后对另外两片Block RAM缓存的边缘图数据以及16片Block RAM的前14片Block RAM缓存的边缘图数据进行边缘图数据读出和组合写入DDR2，剩下的两片Block RAM在读取和组合写入过程中依次缓存边缘检测输出的边缘图数据，这样循环；
[0024]其中读取和和组合写入即写边缘图在16个数据有效信号data_valid后的低电平区域内即16行边缘图数据存满后分为三次连续，每次用640个时钟周期写边缘图信号wr_edge读取缓存的当前帧的边缘图数据并组合写入DDR2中；
[0025](6)、写深度图
[0026]在深度估计系统的深度图数据缓存中增加两片Block RAM，即用18片Block RAM进行缓存，每次对其中16片Block RAM进行深度图数据读出和组合写入DDR2，读取和组合写入过程中，深度图估计输出的边缘图数据依次缓存在另外两片Block RAM，读取和组合写入过程结束后，该16片Block RAM继续进行缓存，然后对另外两片Block RAM缓存的深度图数据以及16片Block RAM的前14片Block RAM缓存的深度图数据进行深度图数据读出和组合写入DDR2，剩下的两片Block RAM在读取和组合写入过程中依次缓存深度图估计输出的深度图数据，这样循环；
[0027]其中读取和组合写入即写深度图在16个数据有效信号data_valid后的低电平区域内即16行深度图数据存满后分为三次连续，每次用360个时钟周期写深度图信号Wr_cbp读取缓存的前一帧的深度图数据并组合写入DDR2中；
[0028]其中，步骤(5)、(6)中的写边缘图信号wr_edge、写深度图信号wr_dep位于数据有效信号data_valid后的低电平区域内的不同位置。
[0029]本发明的发明目的是这样实现的:
[0030]本发明实时全高清2D转3D系统行读写时序设计方法，对转换过程中的行读写时序设计进行合理设计并在深度估计系统的边缘图数据缓存、深度估计系统的深度图数据缓存中分别增加两片Block RAM，使读操作或写操作分配到不同的时间区域，避免了对DDR2同时进行读操作或写操作，实现对DDR2的正常读写功能，保障了深度估计与深度图像绘制的进行，保障了实时全高清2D转3D的正常运行。
【专利附图】
【附图说明】
[0031]图1是实时全高清1080p的2D转3D系统的结构图；
[0032]图2是本发明中的写彩色图、读彩色图、读边缘图、读深度图时序图；
[0033]图3是720p写边缘图时序图；
[0034]图4是本发明中的写边缘图时序图；
[0035]图5是本发明中的写深度图时序图。
【具体实施方式】
[0036]下面结合附图对本发明的【具体实施方式】进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0037]1、1080p行场信号分析
[0038]表I详细描述了 1080p视频行场的参数配置。1080p视频的像素时钟为148.5MHz,在该像素时钟下，每一行数据有效区域为1920个时钟,数据无效区域为88+48+144 = 280个时钟，即hdmi_de为高占据1920个时钟，hdmi_de为低为280个时钟。在200MHz系统时钟频率下，hdmi_de为高占据1920/148.5X200 = 2586个时钟周期，hdmi_de为低占据280/148.5X200 = 377 个时钟周期。
[0039]
【权利要求】
1.一种实时全高清2D转3D系统行读写时序设计方法，其特征在于，包括以下步骤: (1)、写彩色图 系统经过HDMI接口接收彩色图数据，在hdmi_de为高时以像素时钟148.5MHz将其即当前帧缓存在Block RAM中；hdmi_de为时，用480个时钟周期的写彩色图wr_col，以200MHz时钟频率从Block RAM中读出并作为当前帧彩色图像，每4个32_bit彩色数据构成I个128-bit的数据写入到DDR2中； (2)、读彩色图 在写彩色图wr_col之后执行读彩色图的操作，用480个时钟周期的读彩色图rd_Col从DDR2中读取已存储的前二帧彩色图像中的一行数据，从DDR2中读出的数据是128-bit的数据，原为32-bit的彩色图像数据，并送入DIBR系统中，结合深度估计系统输出深度数据生成目标图像； (3)、读边缘图: 在读彩色图rd_col之后执行读边缘图操作，用270个时钟周期的读边缘图rcLedge从DDR2中读取前一帧的128-bit边缘图数据，每次读边缘图操作会将四列的边缘图数据同时读出，送入深度估计系统中； 读边缘图操作是每两个数据使能信号hdmi_de执行一次的； (4)、读深度图 在四个读彩色图rd_col之后执行读深度图操作，用480个时钟周期将已存储的前一帧深度图的四行数据同时读出，读深度图操作是每4个数据使能信号hdmi_de执行一次的； (5)、写边缘图 在深度估计系统的边缘图数据缓存中增加两片Block RAM，即用18片Block RAM进行缓存，每次对其中16片Block RAM进行边缘图数据读出和组合写入DDR2，读取和组合写入过程中，边缘检测输出的边缘图数据依次缓存在另外两片Block RAM，读取和组合写入过程结束后，该16片Block RAM继续进行缓存，然后对另外两片Block RAM缓存的边缘图数据以及16片Block RAM的前14片Block RAM缓存的边缘图数据进行边缘图数据读出和组合写入DDR2，剩下的两片Block RAM在读取和组合写入过程中依次缓存边缘检测输出的边缘图数据，这样循环； 其中读取和和组合写入即写边缘图在16个数据有效信号data_valid后的低电平区域内即16行边缘图数据存满后分为三次连续，每次用640个时钟周期写边缘图信号wr_edge读取缓存的当前帧的边缘图数据并组合写入DDR2中； (6)、写深度图 在深度估计系统的深度图数据缓存中增加两片Block RAM，即用18片Block RAM进行缓存，每次对其中16片Block RAM进行深度图数据读出和组合写入DDR2，读取和组合写入过程中，深度图估计输出的边缘图数据依次缓存在另外两片Block RAM，读取和组合写入过程结束后，该16片Block RAM继续进行缓存，然后对另外两片Block RAM缓存的深度图数据以及16片Block RAM的前14片Block RAM缓存的深度图数据进行深度图数据读出和组合写入DDR2，剩下的两片Block RAM在读取和组合写入过程中依次缓存深度图估计输出的深度图数据，这样循环； 其中读取和组合写入即写深度图在16个数据有效信号data_valid后的低电平区域内即16行深度图数据存满后分为三次连续，每次用360个时钟周期写深度图信号wr_dep读取缓存的前一帧的深度图数据并组合写入DDR2中； 其中，步骤(5)、(6)中的写边缘图信号wr_edge、写深度图信号Wr_dep位于数据有效信号data_valid后 的低电平区域内的不同位置。
【文档编号】H04N15/00GK103957402SQ201410191184
【公开日】2014年7月30日 申请日期:2014年5月7日 优先权日:2014年5月7日
【发明者】刘然, 曹东华, 田逢春, 李博乐, 黄振伟, 邓泽坤, 贾瑞双, 徐苗, 谭迎春, 谭伟敏, 邰国钦 申请人:四川虹微技术有限公司, 重庆大学