视频三维格式自动检测方法
【专利摘要】本发明揭示了一种视频三维格式自动检测方法，利用了同一视频节目格式唯一这一事实条件，只是在每个新节目时做必要的计算/检测。同时，本发明方法根据3D视频垂直视差和水平视差的特点，通过提取图像角点的特征点、特征点集匹配的方式来快速估计视差，从而实现格式的初步判断；再次在时间域上进行多帧投票判别，最后输出当前视频节目的格式，控制显示装置按照检测出来的视频格式进行播放。使用该方法在保证高的检测准确率的前提下，大大减少了视频格式检测的计算复杂度。使得本发明的自动检测视频节目格式方法相比现有技术，特别适用于移动设备(平板电脑、笔记本电脑)这类对功耗、制造成本要求非常苛刻的系统。
【专利说明】
视频三维格式自动检测方法
技术领域
[0001 ]本发明属于视频格式检测技术领域，涉及一种视频格式检测方法，尤其涉及一种视频三维格式自动检测方法。
【背景技术】
[0002]随着三维(3D)视频的影片在视频网站上越来越普及和3D数字电视节目的开播，3D视频数量将成爆发式增长。在这些3D视频中有一大类是将3D内容排列2D帧中，以便于现有2D显示系统兼容。根据3D子帧在2D帧中的排列格式，此类3D视频分为以下几种格式:
[0003](I)左右3D格式(SBS):3D左右视图并排排列在2D帧中；
[0004](2)上下3D格式(TB):3D左右视图排列在2D帧中的上部和下部；
[0005](3)行交织3D格式(LI):交织3D左右视图的行让左右视图排列在2D帧中；
[0006](4)列交织3D格式(Cl):交织3D左右视图的列让左右视图排列在2D帧中；
[0007](5)方格-交错3D格式(CB):以方格模式交错让3D左右视图排列在2D帧中；
[0008](6)方格-并排3D格式(CBS):以方格模式让3D左右视图并排排列在2D帧中；
[0009](7)2D+深度格式(2D+D):将2D子帧和深度信息子帧并排排列在2D帧中。
[0010]其中，左右3D格式和上下3D格式是最常见的2种3D格式。与此同时，2D视频内容将长期(并一直)存在。如何自动检测视频节目格式是2D还是3D，若是3D视频格式，又属于3D格式哪种，对于正确显示是不可缺少的。
[0011 ]同时根据现有视频节目制作的惯例，每个节目的格式都是确定并唯一的。要么是2D视频，要么是3D视频采用左右格式，要么是3D视频采用上下格式。不存在一个节目里面包含多种视频格式。
[0012]同时为保证观看的舒适性，三维视频内容制作时除了要求左右视图的亮度/色度等各方面特征具有高度一致性，还只允许存在水平视差，并且水平视差必须控制在一定范围，只有这样的左右图像对才能被融合成单一的立体图像;否则人的眼睛和大脑就无法协调晶状体调节、双眼会聚与双眼视差异多种生理立体视觉因素所提供的深度信息之间的关系，将左、右图像融合成单一的立体图像，其结果会给观看者造成很大的不舒适感。
[0013]有鉴于此，如今迫切需要设计一种新的三维视频格式检测方式，以便克服现有格式检测方式存在的上述缺陷。
【发明内容】
[0014]本发明所要解决的技术问题是:提供一种视频三维格式自动检测方法，可提高检测准确率，同时减少视频格式检测的计算复杂度。
[0015]为解决上述技术问题，本发明采用如下技术方案:
[0016]一种视频三维格式自动检测方法，其特征在于，所述检测方法包括如下步骤:
[0017]步骤S1.新视频节目开始，对第一计数器、第二计数器清零；
[0018]步骤S2.获取一帧图像，对输入图像进行视图划分；按左右3D格式化，第一左视图在左边，第一右视图在右边;按上下3D格式化，第二左视图在上边，第二右视图在下边；
[0019]步骤S3.检测各个子区域的特征点，采用图像中的角点作为特征点进行检测，角点检测方法采用成熟的SUSAN或者Harris算法;得到第一左视图区域、第一右视图区域、第二左视图区域、第二右视图区域各自的角点集合(:11、(:12、021、022;
[0020]步骤S4.全图角点集合用集合{C11，C12}近似，判断该集合中角点数目是否大于第一预设阈值;若是则认为是有效帧，执行步骤S5，否则执行步骤S2;
[0021]步骤S5.对角点集合CU与C12、角点集合C21与C22进行特征点匹配;匹配原则根据特征点匹配对的垂直视差最小原则进行；
[0022]步骤S6.根据角点集合Cl I与Cl2特征点匹配对统计垂直视差Disparity_l V和Disparity_lh，根据C21与C22特征点匹配对统计垂直视差Disparity_2v和Disparity_2h;
[0023]步骤S7.如果Disparity_lv小于垂直视差阈值Thv，并且Disparity_lh小于水平视差阈值Thh，则第一计数器值加I ;如果Di spar i ty_2v小于垂直视差阈值Thv，并且Disparity_2h小于水平视差阈值Thh，则第二计数器值加I;
[0024]步骤S8.重复步骤S2?S7，直至判别步骤S7被执行了 m次；
[0025]步骤S9.若第一计数器的值大于等于k*m，(ke (0.5，I ])，则检测到的当前视频节目格式为左右3D视频格式；
[0026]步骤S10.若第二计数器的值大于等于k*m,(ke (0.5，I])，贝Ij检测到的当前视频节目格式为上下3D视频格式；
[0027]步骤SI1.若以上两个计数器的值都不满足条件，则检测到的当前视频节目为2D视频格式。
[0028]一种视频三维格式自动检测方法，所述检测方法包括如下步骤:
[0029]步骤S1.新视频节目开始，对第一计数器、第二计数器清零；
[0030]步骤S2.获取一帧图像，对输入图像进行视图划分；按左右3D格式化，第一左视图在左边，第一右视图在右边;按上下3D格式化，第二左视图在上边，第二右视图在下边；
[0031]步骤S3.检测各个子区域的特征点，采用图像中的角点作为特征点进行检测，得到第一左视图区域、第一右视图区域、第二左视图区域、第二右视图区域各自的角点集合C11、C12、C21、C22;
[0032]步骤S4.全图角点集合用集合{C11，C12}近似，判断该集合中角点数目是否大于第一预设阈值;若是则认为是有效帧，执行步骤S5，否则执行步骤S2;
[0033]步骤S5.对角点集合CU与C12、角点集合C21与C22进行特征点匹配;匹配原则根据特征点匹配对的垂直视差最小原则进行；
[0034]步骤S6.根据角点集合Cl I与Cl2特征点匹配对统计垂直视差Disparity_l V和Dispar ity_lh，根据C21与C22特征点匹配对统计垂直视差Dispar ity_2v和Dispar ity_2h;
[0035]步骤S7.如果Disparity_lv小于垂直视差阈值Thv，并且Disparity_lh小于水平视差阈值Thh，则第一计数器值增加；如果Disparity_2v小于垂直视差阈值Thv，并且Disparity_2h小于水平视差阈值Thh，则第二计数器值增加；
[0036]步骤S8.重复步骤S2?S7，直至判别步骤S7被执行了设定次数；
[0037]步骤S9.若第一计数器的值大于等于设定值，则检测到的当前视频节目格式为左右3D视频格式；
[0038]步骤S10.若第二计数器的值大于等于设定值，则检测到的当前视频节目格式为上下3D视频格式；
[0039]步骤SI1.若以上两个计数器的值都不满足条件，则检测到的当前视频节目为2D视频格式。
[0040]作为本发明的一种优选方案，步骤S3中，角点检测方法采用成熟的SUSAN或者Harr is 算法。
[0041 ]作为本发明的一种优选方案，所述步骤S7中，如果Disparity_lV小于垂直视差阈值111￥，并且0丨8卩31'；^7_111小于水平视差阈值1'1111，则第一计数器值加1;如果0丨8卩31'；^7_2￥小于垂直视差阈值Thv，并且Disparity_2h小于水平视差阈值Thh，则第二计数器值加I;
[0042]所述步骤S8中，重复步骤S2?S7，直至判别步骤S7被执行了m次；
[0043]所述步骤S9中，若第一计数器的值大于等于k*m, (ke (0.5，I])，贝Ij检测到的当前视频节目格式为左右3D视频格式；
[0044]所述步骤SlO中，若第二计数器的值大于等于k*m，(ke (0.5，I])，则检测到的当前视频节目格式为上下3D视频格式。
[0045]本发明的有益效果在于:本发明提出的视频三维格式自动检测方法，首先利用了同一视频节目格式唯一这一事实条件，只是在每个新节目时做必要的计算/检测。
[0046]同时，根据3D视频垂直视差和水平视差的特点，通过提取图像角点的特征点、特征点集匹配的方式来快速估计视差，从而实现格式的初步判断;再次在时间域上进行多帧投票判别，最后输出当前视频节目的格式，控制显示装置按照检测出来的视频格式进行播放。使用该方法在保证高的检测准确率的前提下，大大减少了视频格式检测的计算复杂度。使得本发明的自动检测视频节目格式方法相比现有技术，特别适用于移动设备(平板电脑、笔记本电脑)这类对功耗、制造成本要求非常苛刻的系统。
[0047]本发明根据左右视图估计视差可以基于图像的特征点匹配完成，由于左右视图是对同一场景同一时刻的采样，成像条件高度一致，因此左右视图检测到的特征点也具有高度一致性，这一点跟普通2D视频具有显著差异。因此可以通过左右视图特征点集合估计水平视差和垂直视差，检测出视频的3D/2D格式。
【附图说明】
[0048]图1为本发明视频三维格式自动检测方法的流程图。
【具体实施方式】
[0049 ]下面结合附图详细说明本发明的优选实施例。
[0050]实施例一
[0051]请参阅图1，本发明揭示了一种视频三维格式自动检测方法，所述检测方法包括如下步骤:
[0052]【步骤SI】新视频节目开始，对第一计数器、第二计数器清零；
[0053]【步骤S2】获取一帧图像，对输入图像进行视图划分;按左右3D格式化，第一左视图在左边，第一右视图在右边;按上下3D格式化，第二左视图在上边，第二右视图在下边；
[0054]【步骤S3】检测各个子区域的特征点，采用图像中的角点作为特征点，角点检测方法采用成熟的SUSAN或者Harris算法;得到第一左视图区域、第一右视图区域、第二左视图区域、第二右视图区域各自的角点集合(:11、(:12、021、022;
[0055]【步骤S4】全图角点集合用集合{C11，C12}近似，判断该集合中角点数目是否大于第一预设阈值;若是则认为是有效帧，执行步骤S5，否则执行步骤S2;
[0056]【步骤S5】对角点集合CU与C12、角点集合C21与C22进行特征点匹配;匹配原则根据特征点匹配对的垂直视差最小原则进行；
[0057]【步骤S6】根据角点集合Cll与C12特征点匹配对统计垂直视差Disparity_lv和Dispar ity_lh，根据C21与C22特征点匹配对统计垂直视差Dispar ity_2v和Dispar ity_2h;
[0058]【步骤S7】如果0丨8口31'；^7_1￥小于垂直视差阈值1'11￥，并且0丨8口31'；^7_111小于水平视差阈值Thh，则第一计数器值加I ；如果Disparity_2v小于垂直视差阈值Thv，并且Disparity_2h小于水平视差阈值Thh，则第二计数器值加I;
[0059]【步骤S8】重复步骤S2?S7，直至判别步骤S7被执行了m次；
[0060]【步骤39】若第一计数器的值大于等于1^111，仏￡(0.5，1])，则检测到的当前视频节目格式为左右3D视频格式；
[0061 ]【步骤S10】若第二计数器的值大于等于k*m，(ke (0.5，I ])，则检测到的当前视频节目格式为上下3D视频格式；
[0062]【步骤S11】若以上两个计数器的值都不满足条件，则检测到的当前视频节目为2D视频格式。
[0063]实施例二
[0064]一种视频三维格式自动检测方法，所述检测方法包括如下步骤:
[0065]步骤S1.新视频节目开始，对第一计数器、第二计数器清零；
[0066]步骤S2.获取一帧图像，对输入图像进行视图划分；按左右3D格式化，第一左视图
(11)在左边，第一右视图(12)在右边;按上下3D格式化，第二左视图(21)在上边，第二右视图(22)在下边；
[0067]步骤S3.检测各个子区域的特征点，采用图像中的角点作为特征点进行检测，得到第一左视图区域、第一右视图区域、第二左视图区域、第二右视图区域各自的角点集合C11、C12、C21、C22;
[0068]步骤S4.全图角点集合用集合{C11，C12}近似，判断该集合中角点数目是否大于第一预设阈值;若是则认为是有效帧，执行步骤S5，否则执行步骤S2;
[0069]步骤S5.对角点集合CU与C12、角点集合C21与C22进行特征点匹配;匹配原则根据特征点匹配对的垂直视差最小原则进行；
[°07°] 步骤S6.根据角点集合Cl I与Cl2特征点匹配对统计垂直视差Disparity_l V和Disparity_lh，根据C21与C22特征点匹配对统计垂直视差Disparity_2v和Disparity_2h;[0071 ] 步骤S7.如果Disparity_lv小于垂直视差阈值Thv，并且Disparity_lh小于水平视差阈值Thh，则第一计数器值增加；如果Di spar ity_2v小于垂直视差阈值Thv，并且Disparity_2h小于水平视差阈值Thh，则第二计数器值增加；
[0072]步骤S8.重复步骤S2?S7，直至判别步骤S7被执行了设定次数；
[0073]步骤S9.若第一计数器的值大于等于设定值，则检测到的当前视频节目格式为左右3D视频格式；
[0074]步骤S10.若第二计数器的值大于等于设定值，则检测到的当前视频节目格式为上下3D视频格式；
[0075]步骤SI1.若以上两个计数器的值都不满足条件，则检测到的当前视频节目为2D视频格式。
[0076]综上所述，本发明提出的视频三维格式自动检测方法，首先利用了同一视频节目格式唯一这一事实条件，只是在每个新节目时做必要的计算/检测。
[0077]同时，根据3D视频垂直视差和水平视差的特点，通过提取图像角点的特征点、特征点集匹配的方式来快速估计视差，从而实现格式的初步判断;再次在时间域上进行多帧投票判别，最后输出当前视频节目的格式，控制显示装置按照检测出来的视频格式进行播放。使用该方法在保证高的检测准确率的前提下，大大减少了视频格式检测的计算复杂度。使得本发明的自动检测视频节目格式方法相比现有技术，特别适用于移动设备(平板电脑、笔记本电脑)这类对功耗、制造成本要求非常苛刻的系统。
[0078]这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。
【主权项】
1.一种视频三维格式自动检测方法，其特征在于，所述检测方法包括如下步骤: 步骤S1.新视频节目开始，对第一计数器、第二计数器清零； 步骤S2.获取一帧图像，对输入图像进行视图划分;按左右3D格式化，第一左视图(11)在左边，第一右视图(12)在右边；按上下3D格式化，第二左视图(21)在上边，第二右视图(22)在下边; 步骤S3.检测各个子区域的特征点，采用图像中的角点作为特征点进行检测，角点检测方法采用成熟的SUSAN或者Harris算法;得到第一左视图区域、第一右视图区域、第二左视图区域、第二右视图区域各自的角点集合(:11、(:12、021、022; 步骤S4.全图角点集合用集合{C11，C12}近似，判断该集合中角点数目是否大于第一预设阈值;若是则认为是有效帧，执行步骤S5，否则执行步骤S2; 步骤S5.对角点集合CU与C12、角点集合C21与C22进行特征点匹配;匹配原则根据特征点匹配对的垂直视差最小原则进行； 步骤S6.根据角点集合C11与CI 2特征点匹配对统计垂直视差Di spar ity_l V和Dispar ity_lh，根据C21与C22特征点匹配对统计垂直视差Dispar ity_2v和Dispar ity_2h; 步骤S7.如果Disparity_lv小于垂直视差阈值Thv，并且Disparity_lh小于水平视差阈值Thh，则第一计数器值加I;如果Disparity_2v小于垂直视差阈值Thv，并且Disparity_2h小于水平视差阈值Thh，则第二计数器值加I; 步骤S8.重复步骤S2?S7，直至判别步骤S7被执行了 m次； 步骤S9.若第一计数器的值大于等于k*m，(ke (0.5，I])，则检测到的当前视频节目格式为左右3D视频格式； 步骤S10.若第二计数器的值大于等于k*m，(ke (0.5，1])，则检测到的当前视频节目格式为上下3D视频格式； 步骤SI 1.若以上两个计数器的值都不满足条件，则检测到的当前视频节目为2D视频格式。2.一种视频三维格式自动检测方法，其特征在于，所述检测方法包括如下步骤: 步骤S1.新视频节目开始，对第一计数器、第二计数器清零； 步骤S2.获取一帧图像，对输入图像进行视图划分;按左右3D格式化，第一左视图(11)在左边，第一右视图(12)在右边；按上下3D格式化，第二左视图(21)在上边，第二右视图(22)在下边; 步骤S3.检测各个子区域的特征点，采用图像中的角点作为特征点进行检测，得到第一左视图区域、第一右视图区域、第二左视图区域、第二右视图区域各自的角点集合C11、C12、C2UC22； 步骤S4.全图角点集合用集合{C11，C12}近似，判断该集合中角点数目是否大于第一预设阈值;若是则认为是有效帧，执行步骤S5，否则执行步骤S2; 步骤S5.对角点集合CU与C12、角点集合C21与C22进行特征点匹配;匹配原则根据特征点匹配对的垂直视差最小原则进行； 步骤S6.根据角点集合C11与CI 2特征点匹配对统计垂直视差Di spar ity_l V和Dispar ity_lh，根据C21与C22特征点匹配对统计垂直视差Dispar ity_2v和Dispar ity_2h; 步骤S7.如果Disparity_lv小于垂直视差阈值Thv，并且Disparity_lh小于水平视差阈值11111，则第一计数器值增加；如果0丨8卩31'；^7_2￥小于垂直视差阈值1'11￥，并且0丨8卩31'；^7_211小于水平视差阈值Thh，则第二计数器值增加； 步骤S8.重复步骤S2?S7，直至判别步骤S7被执行了设定次数； 步骤S9.若第一计数器的值大于等于设定值，则检测到的当前视频节目格式为左右3D视频格式； 步骤Sl0.若第二计数器的值大于等于设定值，则检测到的当前视频节目格式为上下3D视频格式； 步骤SI 1.若以上两个计数器的值都不满足条件，则检测到的当前视频节目为2D视频格式。3.根据权利要求2所述的视频三维格式自动检测方法，其特征在于: 所述步骤S3中，角点检测方法采用成熟的SUSAN或者Harris算法。4.根据权利要求2所述的视频三维格式自动检测方法，其特征在于: 所述步骤S7中，如果018口31'；^7_1￥小于垂直视差阈值1'11￥，并且018口31'；^7_111小于水平视差阈值Thh，则第一计数器值加I ；如果Disparity_2v小于垂直视差阈值Thv，并且Disparity_2h小于水平视差阈值Thh，则第二计数器值加I; 所述步骤S8中，重复步骤S2?S7，直至判别步骤S7被执行了m次； 所述步骤S9中，若第一计数器的值大于等于k*m，(ke (0.5，I])，则检测到的当前视频节目格式为左右3D视频格式； 所述步骤SlO中，若第二计数器的值大于等于k*m，(ke (0.5，I])，则检测到的当前视频节目格式为上下3D视频格式。
【文档编号】H04N17/00GK106067966SQ201610374718
【公开日】2016年11月2日
【申请日】2016年5月31日 公开号201610374718.6, CN 106067966 A, CN 106067966A, CN 201610374718, CN-A-106067966, CN106067966 A, CN106067966A, CN201610374718, CN201610374718.6
【发明人】石岩, 张伟香, 方勇
【申请人】上海易维视科技股份有限公司