乒乓球桌的标定方法、标定装置及存储介质与流程

1.本技术属于机器视觉技术领域，具体涉及一种乒乓球桌的标定方法、标定装置及存储介质。


背景技术：

2.随着国家对全民健康的重视，乒乓球以其占用场地少、对抗性低、老少咸宜等优点，得到了全国人民的喜爱。目前，市面上已出现能够辅助检测乒乓球的运动轨迹、判断比赛得分的乒乓球视觉系统。
3.通过乒乓球视觉系统对乒乓球进行检测时，得到的坐标为乒乓球在相机坐标系下的坐标，通过该坐标很难判断乒乓球相对于乒乓球桌的位置。因此，需要通过坐标转换将相机坐标系下乒乓球的坐标转化为球桌坐标系下的坐标。
4.现有技术中，在已知相机参数的情况下，通常在乒乓球桌上人工精准放置标定板或标准尺寸标定物，通过人工干预，使标定板或标定物坐标系与球桌坐标系完全对齐，得到标定板或标准尺寸标定物上特征点阵在球桌坐标系下的实际三维坐标，并结合标定板或标准尺寸标定物的特征点阵在相机图像上的像素坐标，得到相机坐标系与球桌坐标系的转换关系。然而，利用标定板或标准尺寸标定物进行标定意味着需要人为地在乒乓球桌上设置标定板或标准尺寸标定物，并在标定完成后撤回标定板或标准尺寸标定物。当乒乓球桌与相机的相对位置发生改变时，则需要重新标定。因此，这种标定方式操作复杂度高，需要耗费大量的人工成本和时间成本。


技术实现要素：

5.为至少在一定程度上克服相关技术中存在的问题，本技术提供了一种乒乓球桌的标定方法、标定装置及存储介质。
6.根据本技术实施例的第一方面，本技术提供了一种乒乓球桌的标定方法，其包括以下步骤：
7.获取乒乓球桌顶面的图像；
8.获取球桌坐标系下的特征点阵，所述球桌坐标系下的特征点阵包括乒乓球桌的四个角点以及乒乓球桌长度方向的中线与乒乓球桌的两短边的交点；
9.利用计算机视觉算法检测球桌坐标系下的特征点阵对应在相机坐标坐标系下的像素坐标点阵；
10.根据球桌坐标系下的特征点阵、相机坐标系下的像素坐标点阵以及已知的相机参数，计算得到相机坐标系与球桌坐标系的转换关系。
11.上述乒乓球桌的标定方法中，所述利用计算机视觉算法检测球桌坐标系下的特征点阵对应在相机坐标坐标系下的像素坐标点阵的过程为：
12.利用迁移学习训练的yolov3-tiny网络模型对乒乓球桌顶面的图像进行深度学习目标检测，得到乒乓球桌的六个关键点区域；其中，所述六个关键点区域分别对应包含球桌
坐标系下的特征点阵中的特征点；
13.根据关键点区域在乒乓球桌顶面的图像中提取出六个感兴趣区域图像；
14.使用角点提取算法在关键点区域中分别进行角点检测，得到六个特征点在相机图像中的像素坐标点阵。
15.进一步地，所述迁移学习训练的yolov3-tiny网络模型的获取过程为：
16.在乒乓球桌一侧布置相机，调整相机视野，以保证乒乓球桌完全出现在相机的视野中；
17.调整相机与乒乓球桌的相对位置，并且更换不同的场景，重复采集多组含乒乓球桌的场景图片，作为数据集；
18.对得到的数据集进行标注，分别将乒乓球桌的六个关键点区域标注为六个类别，以确保对应的像素坐标点阵中的各特征点在标注的区域中，且靠近区域中心位置；
19.利用yolov3-tiny网络作为基准的网络模型，在标注好的数据集上做迁移学习训练，得到迁移学习训练的yolov3-tiny网络模型。
20.更进一步地，所述角点提取算法采用shi-tomasi角点检测。
21.上述乒乓球桌的标定方法中，所述计算得到相机坐标系与球桌坐标系的转换关系所用的求解关系式为：
[0022][0023]
式中，imagepoints{bi}表示相机坐标系下的像素坐标点阵，objectpoints{ai}表示球桌坐标系下的特征点阵，m表示相机的参数矩阵，其为3*3的矩阵；r表示旋转矩阵，其为3*3的矩阵；t表示平移矩阵，其为3*1的矩阵；
[0024]
对所述求解关系式进行拟合求解，得到旋转矩阵r和平移矩阵t。
[0025]
上述乒乓球桌的标定方法中，所述求解关系式的等效表达式为：
[0026][0027]
式中，b_u[i]表示像素坐标点阵中的各特征点在相机坐标系下的u像素坐标，b_v[i]表示像素坐标点阵中的各特征点在相机坐标系下的v像素坐标。
[0028]
根据本技术实施例的第二方面，本技术还提供了一种乒乓球桌的标定装置，其包括图像获取模块、特征点阵获取模块、视觉算法检测模块和坐标系转换模块；
[0029]
所述图像获取模块用于获取乒乓球桌顶面的图像；
[0030]
所述特征点阵获取模块用于获取球桌坐标系下的特征点阵，其中，所述球桌坐标系下的特征点阵中包括乒乓球桌的四个角点以及乒乓球桌长度方向的中线与乒乓球桌的两短边的交点；
[0031]
所述视觉算法检测模块用于检测球桌坐标系下的特征点阵对应在相机坐标坐标系下的像素坐标点阵；
[0032]
所述坐标系转换模块用于根据球桌坐标系下的特征点阵、相机坐标系下的像素坐
标点阵以及已知的相机参数，计算得到相机坐标系与球桌坐标系的转换关系。
[0033]
上述乒乓球桌的标定装置中，所述视觉算法检测模块被配置为：
[0034]
利用迁移学习训练的yolov3-tiny网络模型对乒乓球桌顶面的图像进行深度学习目标检测，得到乒乓球桌的六个关键点区域；
[0035]
根据关键点区域在乒乓球桌顶面的图像中提取出六个感兴趣区域图像；
[0036]
使用角点提取算法在关键点区域中分别进行角点检测，得到六个特征点在相机图像中的像素坐标点阵。
[0037]
根据本技术实施例的第三方面，本技术还提供了一种存储介质，其上存储有可执行程序，当可执行程序被调用时，执行上述任一项所述的乒乓球桌的标定方法中的步骤。
[0038]
根据本技术的上述具体实施方式可知，至少具有以下有益效果：本技术提供的乒乓球桌的标定方法利用计算机视觉算法检测球桌坐标系下的特征点阵对应在相机坐标坐标系下的像素坐标点阵；并根据球桌坐标系下的特征点阵、相机坐标系下的像素坐标点阵以及已知的相机参数，计算得到相机坐标系与球桌坐标系的转换关系，无需人工操作即可对乒乓球桌进行自动标定校准，且标定效率高，标定结果更准确。
[0039]
应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本技术所欲主张的范围。
附图说明
[0040]
下面的所附附图是本技术的说明书的一部分，其示出了本技术的实施例，所附附图与说明书的描述一起用来说明本技术的原理。
[0041]
图1为本技术具体实施方式提供的一种乒乓球桌的标定方法的流程图。
[0042]
图2为本技术具体实施方式提供的一种乒乓球桌的标定方法中球桌坐标系与球桌坐标系下的特征点阵的对应关系示意图。
[0043]
图3为本技术具体实施方式提供的一种乒乓球桌的标定方法中利用计算机视觉算法检测球桌坐标系下的特征点阵对应在相机坐标坐标系下的像素坐标点阵的流程图。
具体实施方式
[0044]
为使本技术实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本技术所揭示内容的精神，任何所属技术领域技术人员在了解本技术内容的实施例后，当可由本技术内容所教示的技术，加以改变及修饰，其并不脱离本技术内容的精神与范围。
[0045]
本技术的示意性实施例及其说明用于解释本技术，但并不作为对本技术的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
[0046]
关于本文中所使用的“第一”、“第二”、
…
等，并非特别指称次序或顺位的意思，也非用以限定本技术，其仅为了区别以相同技术用语描述的元件或操作。
[0047]
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
[0048]
关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。
[0049]
关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。
[0050]
某些用以描述本技术的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本技术的描述上额外的引导。
[0051]
如图1所示，本技术实施例提供的乒乓球桌的标定方法包括以下步骤：
[0052]
s1、获取乒乓球桌顶面的图像。
[0053]
具体地，可以利用相机对乒乓球桌的顶面进行拍摄。
[0054]
s2、获取球桌坐标系下的特征点阵。
[0055]
球桌坐标系下的特征点阵objectpoints包括乒乓球桌的四个角点以及乒乓球桌长度方向的中线与乒乓球桌的两短边的交点。
[0056]
s3、利用计算机视觉算法检测球桌坐标系下的特征点阵对应在相机坐标坐标系下的像素坐标点阵imagepoints。
[0057]
s4、根据球桌坐标系下的特征点阵objectpoints、相机坐标系下的像素坐标点阵imagepoints以及已知的相机参数，计算得到相机坐标系与球桌坐标系的转换关系。
[0058]
具体地，相机坐标系与球桌坐标系的转换关系包括旋转矩阵r和平移矩阵t。
[0059]
在一个具体的实施例中，如图2所示，以乒乓球桌顶面的中心为原点o，乒乓球桌宽度方向的中线为x轴，乒乓球桌长度方向的中线为y轴，过原点o且垂直于乒乓球桌顶面的直线为z轴，建立球桌坐标系。
[0060]
在球桌坐标系下，乒乓球桌的四个角点分别为a0,a1,a2,a3，乒乓球桌长度方向的中线与乒乓球桌的两短边的交点分别为a4,a5，则球桌坐标系下的特征点阵objectpoints为：{a0,a1,a2,a3,a4,a5}。
[0061]
具体地，特征点阵objectpoints中的六个特征点在球桌坐标系下的坐标如表1所示：
[0062]
表1特征点阵中的六个特征点在球桌坐标系下的坐标
[0063]
objectpoints中的特征点x(mm)y(mm)z(mm)a0762.513700a1762.5-13700a2-762.513700a3-762.5-13700a4013700a50-13700
[0064]
球桌坐标系下的特征点阵objectpoints{a0,a1,a2,a3,a4,a5}对应的相机坐标系下的像素坐标点阵imagepoints为{b0,b1,b2,b3,b4,b5}，且球桌坐标系下的特征点阵objectpoints{a0,a1,a2,a3,a4,a5}中的各特征点依次与相机坐标系下的像素坐标点阵imagepoints{b0,b1,b2,b3,b4,b5}中的各特征点对应。
[0065]
像素坐标点阵imagepoints{b0,b1,b2,b3,b4,b5}中的六个特征点在相机坐标系下的像素坐标如表2所示。
[0066]
表2像素坐标点阵中的六个特征点在相机坐标系下的像素坐标
[0067][0068][0069]
在一个具体的实施例中，如图3所示，上述步骤s3中，利用计算机视觉算法检测球桌坐标系下的特征点阵对应在相机坐标坐标系下的像素坐标点阵imagepoints的过程为：
[0070]
s31、利用迁移学习训练的yolov3-tiny网络模型对乒乓球桌顶面的图像进行深度学习目标检测，得到乒乓球桌的六个关键点区域imagerect{c0,c1,c2,c3,c4,c5}，其中，c0,c1,c2,c3,c4,c5这六个区域分别对应包含球桌坐标系下的特征点阵objectpoints中的六个点a0,a1,a2,a3,a4,a5，得到的关键点区域imagerect[i]可以表示为：
[0071]
imagerect[i]＝{x(i),y(i),w(i),h(i)},i＝0,1,2,3,4,5。
[0072]
其中，x(i)表示第i个区域中心在图像中的列数，y(i)表示第i个区域中心在图像中的行数，w(i)表示第i个区域的列宽度，h(i)表示第i个区域的行高度。
[0073]
s32、根据关键点区域imagerect[i]在乒乓球桌顶面的图像中提取出六个感兴趣区域图像imageroi[i]，i＝0,1,2,3,4,5。
[0074]
s33、使用角点提取算法分别在imageroi[i]，i＝0,1,2,3,4,5中进行角点检测，得到六个特征点在相机图像中的像素坐标点阵imagepoints{b0,b1,b2,b3,b4,b5}。
[0075]
具体地，角点提取算法可以为shi-tomasi角点检测。
[0076]
在上述步骤s31中，迁移学习训练的yolov3-tiny网络模型的获取方法为：
[0077]
在乒乓球桌一侧布置相机，调整好相机视野，以保证乒乓球桌完全出现在相机的视野中。
[0078]
不断变换调整相机与乒乓球桌的相对位置，并且更换不同的场景，重复采集多组含乒乓球桌的场景图片，作为数据集。
[0079]
对得到的数据集进行标注，分别将乒乓球桌的六个关键点区域c0,c1,c2,c3,c4,c5标注为d0,d1,d2,d3,d4,d5六个类别，以确保对应的像素坐标点阵imagepoints{b0,b1,b2,b3,b4,b5}中的各特征点在标注的区域中，且靠近区域中心位置。
[0080]
利用yolov3-tiny网络作为基准的网络模型，在标注好的数据集上做迁移学习训练，得到迁移学习训练的yolov3-tiny网络模型。
[0081]
在一个具体的实施例中，上述步骤s4中，根据球桌坐标系下的特征点阵objectpoints、相机坐标系下的像素坐标点阵imagepoints以及已知的相机参数，计算得到
相机坐标系与球桌坐标系的转换关系所用的求解关系式为：
[0082][0083]
对上述求解关系式进行拟合求解，得到最佳的旋转矩阵r和平移矩阵t。其中，m表示相机的参数矩阵，其为3*3的矩阵；旋转矩阵r为3*3的矩阵；平移矩阵t为3*1的矩阵。
[0084]
上述求解关系式可以等效表示为：
[0085][0086]
本技术提供的乒乓球桌的标定方法能够对乒乓球桌进行自动标定校准，无需人工操作即可建立相机坐标系到球桌坐标系的转换关系，且标定过程快速，标定结果更准确。
[0087]
基于本技术提供的乒乓球桌的标定方法，本技术还提供了一种乒乓球桌的标定装置。乒乓球桌的标定装置包括图像获取模块、特征点阵获取模块、视觉算法检测模块和坐标系转换模块。
[0088]
其中，图像获取模块用于获取乒乓球桌顶面的图像。特征点阵获取模块用于获取球桌坐标系下的特征点阵。具体地，球桌坐标系下的特征点阵中包括乒乓球桌的四个角点以及乒乓球桌长度方向的中线与乒乓球桌的两短边的交点。视觉算法检测模块用于检测球桌坐标系下的特征点阵对应在相机坐标坐标系下的像素坐标点阵。坐标系转换模块用于根据球桌坐标系下的特征点阵、相机坐标系下的像素坐标点阵以及已知的相机参数，计算得到相机坐标系与球桌坐标系的转换关系。
[0089]
需要说明的是：上述实施例提供的乒乓球桌的标定装置仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将物体锚定系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的乒乓球桌的标定装置与乒乓球桌的标定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0090]
在示例性实施例中，本技术实施例还提供了一种存储介质，是计算机可读存储介质，例如，包括计算机程序的存储器，上述计算机程序可由处理器执行，以完成前述乒乓球桌的标定方法中的所述步骤。
[0091]
上述的本技术实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本技术的实施例也可为在数据信号处理器中执行上述方法的程序代码。本技术也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列执行的多种功能。可根据本技术配置上述处理器执行特定任务，其通过执行定义了本技术揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为不同的目标平台编译软件代码。然而，根据本技术执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本技术的精神与范围。
[0092]
以上所述仅为本技术示意性的具体实施方式，在不脱离本技术的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本技术保护的范围。