一种在足球场地画面上叠加虚拟图形的操作方法及装置制造方法
【专利摘要】本发明公开了一种在足球场地画面上叠加虚拟图形的操作方法及装置，其中，所述方法包括：在足球场地画面的图像上识别参考标志线；依据所述参考标志线确定所述足球场地的实际标志线；依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上。本发明提高了对足球场地的识别精度，提高了虚拟图形叠加的匹配度，能更适配足球比赛转播的要求。
【专利说明】一种在足球场地画面上叠加虚拟图形的操作方法及装置
【技术领域】
[0001]本发明涉及图像处理的【技术领域】，具体涉及一种在足球场地画面上叠加虚拟图形的操作方法，以及一种在足球场地画面上叠加虚拟图形的操作装置。
【背景技术】
[0002]在电视转播过程中，常需要在电视画面上叠加虚拟图形以帮助观众更好的理解和欣赏所收看的电视节目。尤其是在体育赛事的转播过程中，针对不同的体育项目，需要因地制宜地在比赛场上展示比赛成绩、场地特征、运动员数据、赞助商等信息，例如，需要在田径项目的比赛中展示世界记录线，在游泳项目的比赛中展示泳道上所铺设的国旗，以及，在足球项目的比赛中展示越位线和罚球9码线等，这些虚拟图形往往需要作为实际场景的一部分，融合到实际场景之中。
[0003]为了实现虚实融合的效果，需要计算机能实时跟踪摄像机的变化，以求在摄像机转动或变焦的同时，虚拟图形也能进行相应地变化，让虚拟图形和实际场景始终贴合。
[0004]为了保证计算机能实时跟踪摄像机的变化，通常采用的技术主要有两种方法，传感器方法和图像方法。具体而言，传感器方法是通过在摄像机云台的齿轮中内嵌传感器，实时记录摄像机转动或变焦信息，从而计算出虚拟图形的相应变化；图像方法是通过对场景的直接识别，计算出摄像机转动或变焦时场景在图像空间的变化，从而计算出虚拟图形的相应变化。
[0005]在足球比赛的转播过程中，由于叠加虚拟图形的准确性将影响观众的理解判断，因此实现在场地画面上叠加虚拟图形的操作，需要对足球场地有较高的识别精度要求；由于足球场地面积较大，足球比赛过程形势多变，因而需要布置繁多的摄像机机位。若采用传感器方法，为了捕捉到需要的比赛画面，通常需要在每一台摄像机上都安装传感器，则成本过高，而且，每台摄像机在转播过程中的作用不同，构成不同的软件系统，由这些传感器和摄像机分类部属组成的硬件系统将过于复杂；若采用图像方法，由于足球场地容易受到人员或其它物体遮挡或污损，极易造成在实际中无法选点或者选点不准确的情况，对足球场地的识别就难以完成或者识别不够准确，从而虚拟图形的叠加就难以完成或者叠加不够准确，达不到足球比赛转播的要求。
[0006]因此，目前需要本领域技术人员迫切解决的一个技术问题就是:提供一种在足球场地画面上叠加虚拟图形的操作方法及装置，用以提高对足球场地的识别精度，提高虚拟图形叠加的匹配度，以更适配足球比赛转播的要求。
【发明内容】
[0007]本申请所要解决的技术问题是提供一种在足球场地画面上叠加虚拟图形的操作方法，用以提高对足球场地的识别精度，从而能提高虚拟图形叠加的匹配度，以更适配足球比赛转播的要求。
[0008]本发明还提供了一种在足球场地画面上叠加虚拟图形的操作装置，用以保证上述方法的实现及应用。
[0009]为了解决上述问题，本申请公开了一种在足球场地画面上叠加虚拟图形的操作方法，包括:
[0010]在足球场地画面的图像上识别参考标志线；
[0011]依据所述参考标志线确定所述足球场地的实际标志线；
[0012]依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上。
[0013]优选地，所述依据所述参考标志线确定所述足球场地的实际标志线的步骤包括:
[0014]遍历各条参考标志线，提取形成夹角的直线对；
[0015]当所述直线对形成的夹角在预设的角度阈值范围内时，则计算所述直线对的长度之和；
[0016]将所述长度之和最大的直线对所对应的参考标志线标注为基准标志线；
[0017]获取与所述基准标志线关联的其他参考标志线，并按照预置规则验证所述其他参考标志线与所述基准标志线的关联关系是否成立；
[0018]若成立，则判定所述基准标志线为当前足球场地上相应的实际标志线；
[0019]采用已标注出的实际标志线，对未标注出的参考标志线进行标注，直至标注出的实际标志线至少满足预设条件，所述预设条件为获得不完全平行的四条及以上的直线。
[0020]优选地，所述在足球场地画面的图像上识别参考标志线的步骤包括:
[0021]获取所述足球场地画面的图像的场地蒙板；
[0022]从所述场地蒙板中提取草皮区域之上的标志线为参考标志线。
[0023]优选地，所述基准标志线为所述足球场地的禁区端线和底线；
[0024]所述预置规则包括:
[0025]所述禁区的左边线应同时与底线和禁区端线相交；
[0026]所述禁区的左边线若与底线相交，则应形成丁状交点；
[0027]所述禁区的左边线若与禁区端线相交，则应形成角状交点；
[0028]其中，所述丁状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与一条直线有两个交点，另一条直线有一个交点；所述角状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与相交两线各有一个交点。
[0029]优选地，所述依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上的步骤包括:
[0030]计算所述实际标志线的交点；
[0031]依据所述交点计算单应矩阵；
[0032]将所述单应矩阵扩充为投影矩阵；
[0033]采用所述投影矩阵生成虚拟图形；
[0034]将所述虚拟图形叠加至当前足球场地画面的图像上。
[0035]优选地，所述依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上的步骤还包括:
[0036]在依据所述交点计算单应矩阵的子步骤之前，
[0037]接收输入点；[0038]采用所述输入点矫正所述交点；
[0039]以及，
[0040]在将所述单应矩阵扩充为投影矩阵的子步骤之前，
[0041 ] 对所述单应矩阵进行滤波。
[0042]本申请还公开了一种在足球场地画面上叠加虚拟图形的操作装置，包括:
[0043]参考标志线标定模块，用于在足球场地画面的图像上标定参考标志线；
[0044]实际标志线标定模块，用于依据所述参考标志线确定所述足球场地的实际标志线.[0045]虚拟图形叠加模块，用于依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上；
[0046]其中，所述实际标志线标定模块包括:
[0047]直线提取子模块，用于遍历各条参考标志线，提取形成夹角的直线对；
[0048]长度计算子模块，用于当所述直线对形成的夹角在预设的角度阈值范围内时，则计算所述直线对的长度之和；
[0049]基准标志线标注子模块，用于将所述长度之和最大的直线对所对应的参考标志线标注为基准标志线；
[0050]验证子模块，用于获取与所述基准标志线关联的其他参考标志线，并按照预置规则验证所述其他参考标志线与所述基准标志线的关联关系是否成立；
[0051]判定子模块，用于在所述其他参考标志线与所述基准标志线的关联关系成立时，判定所述基准标志线为当前足球场地上相应的实际标志线；
[0052]识别子模块，用于采用已标注出的实际标志线，对未标注出的参考标志线进行识另IJ，并将识别出的参考标志线作为实际标志线进行标注；
[0053]确认完成子模块，用于在标注出的实际标志线满足预设条件时，完成所述实际标志线的确定，所述预设条件为不完全平行的四条及以上的直线。
[0054]优选地,所述参考标志线标定模块包括:
[0055]蒙板获取子模块，用于获取所述足球场地画面的图像的场地蒙板；
[0056]参考标志线提取子模块，用于从所述场地蒙板中提取草皮区域之上的标志线为参考标志线。
[0057]优选地，所述基准标志线为所述足球场地的禁区端线和底线；
[0058]所述预置规则包括:
[0059]所述禁区的左边线应同时与底线和禁区端线相交；
[0060]所述禁区的左边线若与底线相交，则应形成丁状交点；
[0061]所述禁区的左边线若与禁区端线相交，则应形成角状交点；
[0062]其中，所述丁状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与一条直线有两个交点，另一条直线有一个交点；所述角状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与相交两线各有一个交点。
[0063]优选地，所述虚拟图形叠加模块包括:
[0064]交点计算子模块，用于计算所述实际标志线的交点；
[0065]单应矩阵计算子模块，用于依据所述交点计算单应矩阵；[0066]投影矩阵扩充子模块，用于将所述单应矩阵扩充为投影矩阵；
[0067]虚拟图形生成子模块，用于采用所述投影矩阵生成虚拟图形；
[0068]虚拟图形叠加子模块，用于将所述虚拟图形叠加至当前足球场地画面的图像上。
[0069]与现有技术相比，本申请包括以下优点:
[0070]本发明通过判定基准标志线为当前足球场地上相应的实际标志线，以及采用已标注出的实际标志线，对未标注出的参考标志线进行识别，并将识别出的参考标志线作为实际标志线进行标注，从而将参考标志线和实际标志线一一对应，精确地识别出场景的基本位置和方位，以及实际标志线在足球场地画面的图像上的位置，因而，提高了对足球场地的识别精度。
[0071]本发明通过依据实际标志线的交点计算单应矩阵，采用由单应矩阵扩充的投影矩阵生成虚拟图形，避免了虚拟图形的叠加难以完成或者叠加不够准确的问题，从而提高了虚拟图形叠加的匹配度，可以更适配足球比赛转播的要求。
[0072]本发明通过采用输入点矫正交点，避免了以局部平面标定整体平面单应矩阵的问题，通过对单应矩阵进行滤波，避免了当摄像机移动时，单应矩阵因噪声而晃动的问题，进一步提高了对足球场地的识别精度。
【专利附图】
【附图说明】
[0073]图1是本发明实施例的一种在足球场地画面上叠加虚拟图形的操作方法实施例的步骤流程图；
[0074]图2是本发明实施例的一种示例中足球场地画面的输入图像的示意图；
[0075]图3是本发明实施例的一种示例中绿色色键的键二值的示意图；
[0076]图4是本发明实施例的一种示例中场地蒙板的示意图；
[0077]图5是本发明实施例的一种示例中白色色键的键二值的示意图；
[0078]图6是本发明实施例的一种示例中一种步骤102的优选示例的实际标志线标定的示意图；
[0079]图7是本发明实施例的一种示例中事件发生时刻足球场地画面的输入图像的示意图；
[0080]图8是本发明实施例的一种示例中9码线叠加效果示意图；
[0081]图9是本发明实施例的一种示例中越位线叠加效果示意图；
[0082]图10是本发明实施例的一种在足球场地画面上叠加虚拟图形的操作装置实施例的结构框图。
【具体实施方式】
[0083]为使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图和【具体实施方式】对本发明实施例作进一步详细的说明。
[0084]本发明实施例的核心构思之一在于，在输入的足球场地画面的图像中，根据基准标志线判断足球场地的基本位置和方位，再根据判断出来的足球场地的基本位置和方位信息，标注参考标志线，相较于现有技术而言，本发明所采用的参考标志线具有准确性，即使其部分受到遮挡或者污损，仍然能够准确与实际标志线一一对应，从而可以建立足球场地和图像平面之间的单应矩阵，有效解决对足球场地的识别难以完成或者识别不够准确的问题，提高对足球场地的识别精度。
[0085]参照图1，示出了本发明实施例的一种在足球场地画面上叠加虚拟图形的操作方法实施例的步骤流程图，具体可以包括如下步骤:
[0086]步骤101，在足球场地画面的图像上识别参考标志线；
[0087]需要说明的是，足球场地画面的图像可以为通过连接摄像机采集的足球场地画面的输入图像，标志线是指足球场地上的边线、底线、中线、中圈线、禁区线(大禁区、小禁区)、禁区弧线和角球线，在本发明实施例中，所述参考标志线，是指初步识别出来的参考用的足球场地上的标志线。
[0088]在本发明的一种优选实施例中，所述步骤101具体可以包括如下子步骤:
[0089]子步骤S11，获取所述足球场地画面的图像的场地蒙板；
[0090]子步骤S12，从所述场地蒙板中提取草皮区域之上的标志线为参考标志线。
[0091]作为本发明实施例具体应用的一种示例，针对摄像机采集的足球场地画面的输入图像可以通过内置的绿色色键进行扣像，之后，可以通过在绿色色键的键二值图上找出等值线，以最大的等值线为草皮区域，剔除草皮区域之外的背景；以最大等值线内一级子等值线为球员，将其剔除。这样就得到了一个场地蒙板，该场地蒙板只露出草皮区域和白色标志线。
[0092]然后，输入 图像可以通过内置的白色色键，将足球场地上的白色标志线提取出来，并将其余部分置零。
[0093]最后，在经过两个色键处理得到的输入图像上，利用霍夫变换识别出白色线段，然后对白色线段进行合并，将断线连成一整条参考标志线。此时参考标志线未必对应于实际标志线，可能由噪声产生。
[0094]在具体实现中，扣像的原理就是把图像中特有的颜色扣除，从而加上想要的效果。等值线具有以下性质:通常为一条光滑连续曲线；对于给定的某个高度值的平面，相应的等值线数量不止一条；由于定义域是有界的，等值线可能是闭合的，也可能是不封闭的；等值线一般不相互交错。
[0095]当然，上述标定参考标志线的处理方法只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他标定参考标志线的处理方法，本发明实施例对此不加以限制。另外，除了上述标定参考标志线的处理方法外，本领域技术人员还可以根据实际需要采用其它标定参考标志线的处理方法，本发明实施例对此也不加以限制。
[0096]步骤102，依据所述参考标志线确定所述足球场地的实际标志线；
[0097]在本发明实施例中，所述实际标志线是指依据参考标志线进一步识别判定出来的足球场地上的实际的标志线。
[0098]在本发明的一种优选实施例中，所述步骤102具体可以包括如下子步骤:
[0099]子步骤S201，遍历各条参考标志线，提取形成夹角的直线对；
[0100]子步骤S202，当所述直线对形成的夹角在预设的角度阈值范围内时，则计算所述直线对的长度之和；
[0101]子步骤S203，将所述长度之和最大的直线对所对应的参考标志线标注为基准标志线.-^4 ，[0102]子步骤S204，获取与所述基准标志线关联的其他参考标志线，并按照预置规则验证所述其他参考标志线与所述基准标志线的关联关系是否成立；
[0103]子步骤S205，若成立，将判定所述基准标志线为当前足球场地上相应的实际标志线.[0104]子步骤S206，采用已标注出的实际标志线，对未标注出的参考标志线进行标注，直至标注出的实际标志线至少满足预设条件，所述预设条件为获得不完全平行的四条及以上的直线。
[0105]在具体实现中，上述子步骤可以由推断器实现。在本发明实施例中，所述推断器的一个任务是标注足够多的参考标志线，推断器主要有两部分组成:自下而上推断场地部分和自上而下标示场地部分。自下而上推断场地部分是指通过场地里的一些元素和片断，来判断场地的核心信息，比如说“这有一个鼻子，这有两个眼睛，所以这应该有一个人脸”；自上而下标示场地部分是指通过场地的核心信息判断元素和片断的属性信息，比如说“虽然开始并没有在这找到一个耳朵，但通过鼻子和眼睛的信息我知道了这有一个人脸，所以我猜测这应该是一个耳朵，再去图像上找一找，是不是真有”。
[0106]自下而上推断场地部分实现的主要依据是:一是，足球场地为长方形，主要由两组平行线段组成，由于投影效应，平行线在图像空间不平行，但是通常摄像机机位离足球场地都有一定距离，平行线之间在图像空间夹角较小；二是，实际标志线通常较长。
[0107]具体而言，自下而上推断场地部分采用了建议-确认-修改的模式，即根据某些依据，推断器首先建议一个推断结果，再通过其它参考标志线验证这一推断，如果建议成功，则进入自上而下标示场地部分，否则修改建议。无论自下而上推断场地部分是否找到足够多的直线，推断器都进入自上而下标示场地部分，利用已识别出来的足球场地信息，对未识别成功的参考标志线进行标示。经过自上而下标示场地部分，如果推断器识别出足够多的实际标志线，则推断器推断成功；如果推断器仍未标注出足够多的实际标志线，则推断器返回错误。未成功标注出实际标志线的原因主要有两个:一是，足球场地画面中的参考标志线不够多，原则上无法标注；二是，由于参考标志线被球员遮挡或者草皮被污损，导致个别实际标志线未成功标注。
[0108]此外，推断器的设计还要考虑防错机制，即如果推断器推断错误，则不应该由错误的推断结果计算单应矩阵，因为错误的单应矩阵，会导致虚拟图形剧烈波动，因此，推断器的另一个任务是判断自身是否工作正常，如果推断器工作不正常，则跳过此帧，此时的单应矩阵拷贝上次成功推断时得到的单应矩阵。
[0109]需要说明的是，足够多的直线是指能成功识别出球场的直线数目，严格来说是不完全平行的四条及以上的直线。不完全平行的四条及以上的直线指的是，四条及以上的直线中任一的直线至少有一条与其平行的直线，且所有直线不全平行。
[0110]为使本领域技术人员更好地理解本发明，以下通过一个具体示例对本发明实施例的步骤102作进一步说明。
[0111]参照图6，示出了本发明实施例的一种步骤102的优选示例的实际标志线标定图像，具体可以包括如下子步骤:
[0112]第一步，将直线O、直线1、直线2、直线3、直线4、直线5、直线6两两组合成直线对；[0113]第二步，直线O与直线1、直线O与直线2、直线I与直线2、直线3与直线4、直线3与直线5和直线4与直线5组成的直线对在预设的角度阈值范围(pi/8?pi/6)内，计算各直线对的长度之和；
[0114]第三步，所述长度之和最大的直线对为直线O与直线2的组合，标注为禁区端线和底线的组合；
[0115]第四步，获取与直线对为直线O与直线2的组合关联的直线3，并按照预置规则验证所述其他参考标志线与所述基准标志线的关联关系是否成立；所述预置规则包括:
[0116]所述禁区的左边线应同时与底线和禁区端线相交；
[0117]所述禁区的左边线若与底线相交，则应形成丁状交点；
[0118]所述禁区的左边线若与禁区端线相交，则应形成角状交点；
[0119]其中，所述丁状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与一条直线有两个交点，另一条直线有一个交点；所述角状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与相交两线各有一个交点。
[0120]第五步，直线3与直线对为直线O与直线2的组合关联关系成立，判定直线O与直线2为禁区端线和底线的组合；
[0121]第六步，采用标注为禁区端线和底线的组合，对未标注的禁区的左边线进行识别，直线3经过直线2的左端点，将直线3标注为禁区的左边线；
[0122]第七步，采用标注为禁区端线和底线的组合，对未标注的禁区的右边线进行识别，直线6经过直线2的右端点，将直线6标注为禁区的右边线；
[0123]第八步，标注的禁区端线和底线、禁区的左边线以及禁区的右边线满足预设条件，完成所述实际标志线的确定，所述预设条件为不完全平行的四条及以上的直线。
[0124]在本发明实施例的示例中，自下而上推断场地部分就是通过参考标志线判断足球场地，自上而下标示场地部分就是通过被判断的足球场地标示其余参考标志线。
[0125]更具体地说，在计算机中预设了两条直线间夹角阈值的一个范围，对于输入图像中满足此阈值的直线对，计算其长度之和，按照排序算法，对所述长度之和进行从大到小排序，得到长度之和最大的直线组合被建议为禁区端线和底线的组合，推断器进而通过其他直线和这两条直线的相交关系来验证此建议，建议直接被验证，推断器自下而上推断场地部分推断成功，进入自上而下标示场地部分，利用已识别出来的禁区端线和底线的组合，对其余的参考标志线进行标示。
[0126]所述排序算法为任意一种排序算法，比如快速排序，所述排序算法可以由本领域技术人员任意选用，本发明对此无需加以限制。
[0127]当然，上述确定实际标志线的处理方法只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他确定实际标志线的处理方法，本发明实施例对此不加以限制。另夕卜，除了上述确定实际标志线的处理方法外，本领域技术人员还可以根据实际需要采用其它确定实际标志线的处理方法，本发明实施例对此也不加以限制。
[0128]步骤103，依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上；
[0129]需要说明的是，虚拟图形可以为表示越位线的直线、表示9码线的圆等等其他图形，本领域技术人员可以根据足球比赛转播需要制定相应的图形，本发明实施例对此不加以限制。
[0130]在本发明的一种优选实施例中，所述步骤103具体可以包括如下子步骤:
[0131]子步骤S301，计算所述实际标志线的交点；
[0132]子步骤S302，依据所述交点计算单应矩阵；
[0133]子步骤S303，将所述单应矩阵扩充为投影矩阵；
[0134]子步骤S304，采用所述投影矩阵生成虚拟图形；
[0135]子步骤S305，将所述虚拟图形叠加至当前足球场地画面的图像上。
[0136]在具体实现中，单应矩阵是表示两个平面单应关系的矩阵，通过实际标志线可由任意优化算法获得，比如最小二乘法计算单应矩阵。
[0137]将单应矩阵扩充为投影矩阵，即为将单应矩阵中其它元素置零。因此，可以先将3D图形渲染成2D图形，之后再利用单应矩阵进行投影，所谓进行投影，就是乘以单应矩阵。
[0138]在本发明的另一种优选实施例中，所述步骤103具体可以包括如下子步骤:
[0139]子步骤S301，计算所述实际标志线的交点；
[0140]子步骤S302，接收输入点；
[0141]子步骤S303，采用所述输入点矫正所述交点；
[0142]子步骤S304，依据所述交点计算单应矩阵；
[0143]子步骤S305，对所述单应矩阵进行滤波。
[0144]子步骤S306，将所述单应矩阵扩充为投影矩阵；
[0145]子步骤S307，采用所述投影矩阵生成虚拟图形；
[0146]子步骤S308，将所述虚拟图形叠加至当前足球场地画面的图像上。
[0147]在具体实现中，如果识别出来的实际标志线的交点比较集中，则会有以局部平面标定整体平面单应矩阵的问题，此时场地的识别精度可能会达不到足球比赛转播的要求，因此需要接收输入点信息，输入点可以是大禁区弧线与端线的交点，矫正可以是计算输入点和平均位移之和，平均位移可以通过计算其余交点的位移平均值得到，滤波可以通过将单应矩阵代入卡尔曼滤波器中进行，从而保证当摄像机移动时，单应矩阵不会因噪声而晃动。在采用卡尔曼滤波的时候，动力学模型为惯性模型，即如果没有新的测量量，卡尔曼滤波器将预测单应矩阵的元素匀速变化。
[0148]为便于本领域技术人员更好地理解本发明，以下以在足球比赛转播中叠加9码线和越位线为例，简单说明虚拟图形叠加至当前足球场地画面的图像上的方法。
[0149]例如，
[0150]为了在足球场地画面的图像上预定位置叠加9码线，需要知道9码线在足球场地的位置和该9码线在足球场地画面的图像上的位置之间的对应关系，即需要建立足球场和图像平面之间投影映射关系。
[0151]将多机位的摄像机信号接给计算机，摄像机机位之间利用板卡切换，摄像机实时采集选中机位的比赛画面，在计算机内存中缓存5秒左右的比赛画面以供回放系统使用，需要叠加9码线时，摄像机对准罚球点，获得如图7所示场地，令计算机识别场地，计算足球场平面和图像平面之间的单应矩阵，依据前述单应矩阵描述即可得知，至此，即求出了单应矩阵。单应矩阵进行投影得到投影矩阵；选取球的位置，依据投影矩阵生成表示9码线的圆，此圆以球为圆心，虚拟图形就叠加至当前足球场地画面的图像上了，如图8所示，操作渲染单元播出9码线的圆。
[0152]又如，
[0153]为了在足球场地画面的图像上预定位置叠加越位线，需要知道越位线在足球场地的位置和该越位线在足球场地画面的图像上的位置之间的对应关系，即需要建立足球场和图像平面之间投影映射关系。
[0154]将多机位的摄像机信号接给计算机，摄像机机位之间利用板卡切换，摄像机实时采集选中机位的比赛画面，在计算机内存中缓存5秒左右的比赛画面以供回放系统使用，需要叠加越位线时，回放系统回放输入图像到越位发生时刻，获得如图7所示场地，令计算机识别场地，计算足球场和图像平面之间的单应矩阵，依据前述单应矩阵描述即可得知，至此，即求出了单应矩阵。单应矩阵进行投影得到投影矩阵；选取最后一名防守队员位置，依据投影矩阵生成表示越位线的直线，虚拟图形就叠加至当前足球场地画面的图像上了，如图9所示，进一步回放到越位发生时刻之前，在播放到越位发生时刻时，操作渲染单元播出越位线。
[0155]对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0156]参考图10，示出了本发明实施例的一种在足球场地画面上叠加虚拟图形的操作装置实施例的结构框图，具体可以包括以下模块:
[0157]参考标志线标定模块1001，用于在足球场地画面的图像上识别参考标志线；
[0158]实际标志线标定模块1002，用于依据所述参考标志线确定所述足球场地的实际标志线；
[0159]虚拟图形叠加模块1003，用于依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上；
[0160]作为一种优选实施例，所述实际标志线标注模块1002包括:
[0161]直线提取子模块，用于遍历各条参考标志线，提取形成夹角的直线对；
[0162]长度计算子模块，用于当所述直线对形成的夹角在预设的角度阈值范围内时，则计算所述直线对的长度之和；
[0163]基准标志线标注子模块，用于将所述长度之和最大的直线对所对应的参考标志线标注为基准标志线；
[0164]作为另一优选实施例，所述基准标志线为所述足球场地的禁区端线和底线；
[0165]验证子模块，用于获取与所述基准标志线关联的其他参考标志线，并按照预置规则验证所述其他参考标志线与所述基准标志线的关联关系是否成立；
[0166]判定子模块，用于在所述其他参考标志线与所述基准标志线的关联关系成立时，则判定所述基准标志线为当前足球场地上相应的实际标志线；
[0167]标注子模块，用于采用已标注出的实际标志线，对未标注出的参考标志线进行标注，直至标注出的实际标志线至少满足预设条件，所述预设条件为获得不完全平行的四条及以上的直线。
[0168]作为另一优选实施例,所述参考标志线标定模块1001包括:[0169]蒙板获取子模块，用于获取所述足球场地画面的图像的场地蒙板；
[0170]参考标志线提取子模块，用于从所述场地蒙板中提取草皮区域之上的标志线为参考标志线。
[0171]作为另一优选实施例，所述基准标志线为所述足球场地的禁区端线和底线；
[0172]所述预置规则包括:
[0173]所述禁区的左边线应同时与底线和禁区端线相交；
[0174]所述禁区的左边线若与底线相交，则应形成丁状交点；
[0175]所述禁区的左边线若与禁区端线相交，则应形成角状交点；
[0176]其中，所述丁状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与一条直线有两个交点，另一条直线有一个交点；所述角状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与相交两线各有一个交点。
[0177]作为另一优选实施例，所述虚拟图形叠加模块1003包括:
[0178]交点计算子模块，用于计算所述实际标志线的交点；
[0179]单应矩阵计算子模块，用于依据所述交点计算单应矩阵；
[0180]投影矩阵扩充子模块，用于将所述单应矩阵扩充为投影矩阵；
[0181]虚拟 图形生成子模块，用于采用所述投影矩阵生成虚拟图形；
[0182]虚拟图形叠加子模块，用于将所述虚拟图形叠加至当前足球场地画面的图像上。
[0183]作为另一优选实施例，所述虚拟图形叠加模块1003还包括:
[0184]输入点接收子模块，用于接收输入点；
[0185]交点矫正子模块,用于采用所述输入点矫正所述交点；
[0186]以及，
[0187]滤波子模块，用于对所述单应矩阵进行滤波。
[0188]由于本发明的装置实施例基本相应于前述的方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此就不赘述了。
[0189]尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0190]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者移动设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者移动设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者移动设备中还存在另外的相同要素。
[0191]以上对本发明实施例所提供的一种在足球场地画面上叠加虚拟图形的操作方法及装置，进行了详细介绍，本文中应用了具体个例对本发明实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明实施例的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明实施例的限制。
【权利要求】
1.一种在足球场地画面上叠加虚拟图形的操作方法，其特征在于，包括: 在足球场地画面的图像上识别参考标志线； 依据所述参考标志线确定所述足球场地的实际标志线； 依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上。
2.根据权利要求1所述的方法，其特征在于，所述依据所述参考标志线确定所述足球场地的实际标志线的步骤包括: 遍历各条参考标志线，提取形成夹角的直线对； 当所述直线对形成的夹角在预设的角度阈值范围内时，则计算所述直线对的长度之和； 将所述长度之和最大的直线对所对应的参考标志线标注为基准标志线； 获取与所述基准标志线关联的其他参考标志线，并按照预置规则验证所述其他参考标志线与所述基准标志线的关联关系是否成立； 若成立，则判定所述基准标志线为当前足球场地上相应的实际标志线； 采用已标注出的实际标志线，对未标注出的参考标志线进行标注，直至标注出的实际标志线至少满足预设条件，所述预设条件为获得不完全平行的四条及以上的直线。
3.根据权利要求1所述的方法，其特征在于，所述在足球场地画面的图像上识别参考标志线的步骤包括: 获取所述足球场地画面的图像的场地蒙板； 从所述场地蒙板中提取草皮区域之上的标志线为参考标志线。
4.根据权利要求2所述的方法，其特征在于，所述基准标志线为所述足球场地的禁区端线和底线； 所述预置规则包括: 所述禁区的左边线应同时与底线和禁区端线相交； 所述禁区的左边线若与底线相交，则应形成丁状交点； 所述禁区的左边线若与禁区端线相交，则应形成角状交点； 其中，所述丁状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与一条直线有两个交点，另一条直线有一个交点；所述角状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与相交两线各有一个交点。
5.根据权利要求1或2或3或4所述的方法，其特征在于，所述依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上的步骤包括: 计算所述实际标志线的交点； 依据所述交点计算单应矩阵； 将所述单应矩阵扩充为投影矩阵； 采用所述投影矩阵生成虚拟图形； 将所述虚拟图形叠加至当前足球场地画面的图像上。
6.根据权利要求5所述的方法，其特征在于，所述依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上的步骤还包括: 在依据所述交点计算单应矩阵的子步骤之前，接收输入点； 采用所述输入点矫正所述交点； 以及， 在将所述单应矩阵扩充为投影矩阵的子步骤之前， 对所述单应矩阵进行滤波。
7.—种在足球场地画面上叠加虚拟图形的操作装置，其特征在于，包括: 参考标志线标定模块，用于在足球场地画面的图像上标定参考标志线； 实际标志线标定模块，用于依据所述参考标志线确定所述足球场地的实际标志线；虚拟图形叠加模块，用于依据所述实际标志线生成虚拟图形，将所述虚拟图形叠加至当前足球场地画面的图像上； 其中，所述实际标志线标定模块包括: 直线提取子模块，用于遍历各条参考标志线，提取形成夹角的直线对； 长度计算子模块，用于当所述直线对形成的夹角在预设的角度阈值范围内时，则计算所述直线对的长度之和； 基准标志线标注子模块 ，用于将所述长度之和最大的直线对所对应的参考标志线标注为基准标志线； 验证子模块，用于获取与所述基准标志线关联的其他参考标志线，并按照预置规则验证所述其他参考标志线与所述基准标志线的关联关系是否成立； 判定子模块，用于在所述其他参考标志线与所述基准标志线的关联关系成立时，判定所述基准标志线为当前足球场地上相应的实际标志线； 识别子模块，用于采用已标注出的实际标志线，对未标注出的参考标志线进行识别，并将识别出的参考标志线作为实际标志线进行标注； 确认完成子模块，用于在标注出的实际标志线满足预设条件时，完成所述实际标志线的确定，所述预设条件为不完全平行的四条及以上的直线。
8.根据权利要求7所述的装置，其特征在于，所述参考标志线标定模块包括: 蒙板获取子模块，用于获取所述足球场地画面的图像的场地蒙板； 参考标志线提取子模块，用于从所述场地蒙板中提取草皮区域之上的标志线为参考标志线。
9.根据权利要求7所述的装置，其特征在于，所述基准标志线为所述足球场地的禁区端线和底线； 所述预置规则包括: 所述禁区的左边线应同时与底线和禁区端线相交； 所述禁区的左边线若与底线相交，则应形成丁状交点； 所述禁区的左边线若与禁区端线相交，则应形成角状交点； 其中，所述丁状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与一条直线有两个交点，另一条直线有一个交点；所述角状交点为，若以交点为圆心，画一个半径为相交两线较小者长度1/4的圆，应该与相交两线各有一个交点。
10.根据权利要求7或8或9所述的装置，其特征在于，所述虚拟图形叠加模块包括: 交点计算子模块，用于计算所述实际标志线的交点；单应矩阵计算子模块，用于依据所述交点计算单应矩阵；投影矩阵扩充子模块，用于将所述单应矩阵扩充为投影矩阵；虚拟图形生成子模块，用于采用所述投影矩阵生成虚拟图形； 虚拟图形叠加子模块，用于将所述虚拟图形叠加至当前足球场地画面的图像上。
【文档编号】G06T11/00GK103606174SQ201310557133
【公开日】2014年2月26日 申请日期:2013年11月11日 优先权日:2013年11月11日
【发明者】阎鹤凌 申请人:新奥特（北京）视频技术有限公司