一种将二维图像信息进行三维重建的方法和设备的制作方法
【专利摘要】本发明实施例涉及投影几何【技术领域】，特别涉及一种将二维图像信息进行三维重建的方法和设备，用以解决现有的将二维图像信息恢复成对应的三维物体信息的过程比较复杂，不利于大规模使用的问题。本发明实施例提供的将二维图像信息进行三维重建的方法包括：确定位置参数和硬件参数、以及二维图像上的本征点信息；根据确定的位置参数、硬件参数和本征点信息确定映射矩阵；根据确定的映射矩阵，将二维图像上的像素点转换为三维坐标中的坐标点；并根据转换得到的三维坐标中的各个坐标点，确定二维图像对应的三维物体信息。本发明实施例实现了简化了将二维图像信息恢复成对应的三维物体信息的过程，进而有利于进一步扩大应用范围。
【专利说明】一种将二维图像信息进行三维重建的方法和设备
【技术领域】
[0001]本发明涉及投影几何【技术领域】，特别涉及一种将二维图像信息进行三维重建的方法和设备。
【背景技术】
[0002]固定在制高点处的摄像机在进行拍摄时会获得一系列的图像。通过这些图像，能获得物体的二维图像信息，然而却无法获得物体的三维信息，比如物体的速度信息、尺寸信息以及形状信息等。为了获取这些信息，必须将物体的二维图像信息恢复成对应的三维信息，即三维重建。进行三维重建需要借助相机或者摄像机将三维场景转化为二维图像，分析三维物体点与二维图像点的对应关系，并利用这种对应关系，通过二维图像信息计算物体的三维信息。其中，映射矩阵是表征二维图像信息和三维物体之间的对应关系的矩阵。
[0003]现有的做法是将标定器放置在监控场景中，通过分析与处理拍摄到的含有标定器的图像来确定二维图像和三维物体之间的对应关系，并根据这种对应关系，将二维图像信息恢复成对应的三维物体信息。由于要求在每个监控场景中必须放置标定器，并要求标定器的摆放位置要合适，因此操作起来比较麻烦，导致将二维图像信息恢复成对应的三维信息过程会比较复杂，不利于大规模的使用。
[0004]综上所述，目前的三维重建方法必须要在监控场景中放置标定器，而且要求标定器的摆放位置要合适，由于对标定器与监控场景的要求比较高，因此操作起来比较麻烦，导致将二维图像信息恢复成对应的三维信息的过程会比较复杂，不利于大规模的使用。
【发明内容】
[0005]本发明实施例提供一种将二维图像信息进行三维重建的方法和设备，用以解决现有的将二维图像信息恢复成对应的三维物体信息的过程比较复杂，不利于大规模使用的问题。
[0006]本发明实施例提供的一种将二维图像信息进行三维重建的方法，包括:
[0007]确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；
[0008]根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵；
[0009]根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；
[0010]根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。
[0011]本发明提供的一种将二维图像信息进行三维重建的设备，包括:
[0012]第一确定模块，用于确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；[0013]第二确定模块，用于根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵；
[0014]转换模块，用于根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；
[0015]处理模块，用于根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。
[0016]在本发明实施例中，确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；根据确定的位置参数、硬件参数和本征点信息确定用于表征二维图像与三维物体之间对应关系的映射矩阵；根据确定的映射矩阵，将二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；并根据转换得到的三维坐标中的各个坐标点，确定二维图像对应的三维物体信息。由于对在场景中是否放置标定器没有具体要求，从而实现了简化标定的过程，相应地，简化了将二维图像信息恢复成对应的三维物体信息的过程，进而有利于进一步扩大应用范围。
【专利附图】
【附图说明】
[0017]图1为本发明实施例将二维图像信息进行三维重建的方法流程示意图；
[0018]图2为本发明实施例三维坐标系中的标定点与二维坐标系中像素点的对应关系示意图；
[0019]图3为本发明实施例灭线示意图；
[0020]图4为本发明实施例将二维图像信息进行三维重建的设备结构示意图。
【具体实施方式】
[0021]本发明实施例，确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；根据确定的位置参数、硬件参数和本征点信息确定用于表征二维图像与三维物体之间对应关系的映射矩阵；根据确定的映射矩阵，将二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；并根据转换得到的三维坐标中的各个坐标点，确定二维图像对应的三维物体信息。由于对在场景中是否放置标定器没有具体要求，从而实现了简化标定的过程，相应地，简化了将二维图像信息恢复成对应的三维物体信息的过程，进而有利于进一步扩大应用范围。
[0022]较佳地，取景设备可以是摄像机、是相机、具有照相功能的手机，还可以是带有摄像头的任何设备。
[0023]下面结合说明书附图对本发明实施例作进一步详细描述。
[0024]如图1所示，本发明实施例将二维图像信息进行三维重建的方法包括下列步骤:
[0025]步骤101、确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息；
[0026]步骤102、根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵；
[0027]步骤103、根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点；[0028]步骤104、根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。[0029]较佳地，步骤101、确定取景设备在拍摄二维图像过程中的位置参数和硬件参数，具体包括:
[0030]确定取景设备在拍摄二维图像过程中的多组位置参数和硬件参数；
[0031]从确定的多组位置参数和硬件参数中选择一组位置参数和硬件参数；
[0032]将选择的一组位置参数和硬件参数作为取景设备在拍摄二维图像过程中的位置参数和硬件参数。
[0033]其中，所述取景设备在拍摄二维图像过程中的位置参数包括:
[0034]所述取景设备绕X轴旋转角度，所述取景设备绕Y轴旋转角度，所述取景设备绕Z轴旋转角度以及所述取景设备距离地面的高度，其中，X轴、Y轴与Z轴构成左手坐标系；
[0035]所述取景设备在拍摄二维图像过程中的硬件参数包括:取景设备的焦距和畸变系数。
[0036]较佳地，硬件参数取景设备的焦距是根据位置参数取景设备绕X轴旋转角度以及位置参数取景设备绕Y轴旋转角度确定的。
[0037]具体实施中，确定取景设备在拍摄二维图像过程中的多组位置参数包括:
[0038]确定取景设备绕X轴旋转角度的取值范围，取景设备绕Y轴旋转角度的取值范围，以及取景设备距离地面的高度的取值范围；
[0039]根据确定的取景设备绕X轴旋转角度的取值范围，取景设备绕Y轴旋转角度的取值范围，以及取景设备距离地面的高度的取值范围确定取景设备在拍摄二维图像过程中的多组位置参数。
[0040]以取景设备距离地面的高度为定值Im (米)，取景设备绕X轴旋转角度以及取景设备绕Y轴旋转角度为在一定范围内变化的值为例，介绍根据确定的取景设备绕X轴旋转角度的取值范围，取景设备绕Y轴旋转角度的取值范围，以及取景设备距离地面的高度的取值范围确定取景设备在拍摄二维图像过程中的多组位置参数的具体过程。
[0041]具体实施中，取景设备绕X轴旋转角度α取值范围为:0°~360°，取景设备绕Y轴旋转角度β取值范围为:0°~360°。
[0042]以1°的间隔为例进行介绍，α的可能值为0° , 1° ,2°......360°，β的可能
值为0° , 1° ,2°......360°，则α和β的所有可能组合包括:(0° ,0° )，(0°，1°
)，……，(0° ,360° )，(1。,0° ), (I。，1。)，……，(1。，360° )，……，(360°，0。)，(360°，
I。)，......，(360。，360。)共130321中组合，则可以确定取景设备在拍摄二维图像过程
中的130321组位置参数。
[0043]较佳地，可以根据需要选择130321组位置参数中的部分组位置参数作为确定的取景设备在拍摄二维图像过程中的多组位置参数。
[0044]较佳地，可以根据需要缩小α和β的取值范围或改变取值的间隔，相应地，确定的取景设备在拍摄二维图像过程中的位置参数组合也会改变。
[0045]较佳地，取景设备距离地面的高度可以为在一定范围内变化的值，假设取景设备距离地面的高度取值为Im或1.5m，则可以确定取景设备在拍摄二维图像过程中的260642(130321与2的乘积)组位置参数。[0046]较佳地，取景设备距离地面的高度可以为定值，α和β可以为在一定范围内变化的值；α可以为定值，取景设备距离地面的高度和β可以为在一定范围内变化的值，取景设备距离地面的高度、α和β可以均为在一定范围内变化的值，或者其它取景设备距离地面的高度、α和β的随机组合均适用本发明，具体地可以根据需要和应用场景而定。
[0047]在实施中，针对从确定的多组位置参数中选择一组位置参数，可以任意选择，也可以根据要求进行选择，下面以位置参数中的α和β作为要进行选择的位置参数组合中的元素进行具体介绍，实施中，可以仅以α作为要进行选择的位置参数组合中的元素，可以仅以β作为要进行选择的位置参数组合中的元素，可以以取景设备距离地面的高度作为要进行选择的位置参数组合中的元素，也可以以α、β和取景设备距离地面的高度的随机组合作为要进行选择的位置参数组合中的元素，任意一种选择位置参数组合中的元素的方法都适用本发明，由于其他种参数组合的实施情况与以α和β作为要进行选择的位置参数组合中的元素的实施情况类似，在此就不作具体介绍。
[0048]方式一、任意从多组位置参数中选择一组位置参数；
[0049]从所有组α和β中任意选择一组位置参数；
[0050]以I。的间隔为例进行介绍，α的可能值为0°，1。，2。......360。，β的可能
值为0° , 1° ,2°......360°，则α和β的所有可能组合包括:(0° ,0° )，(0°，1°
)，……，(0° ,360° )，(1。,0° ), (I。，1。)，……，(1。，360° )，……，(360°，0。)，(360°，I。)，......，(360。, 360° )共 130321 中组合。
·[0051]较佳地，可以从130321个组合中任意选择一组位置参数。
[0052]较佳地，可以随机选择，可以从最小值选择(先选择(0°，0° )组合)，可以从最大值选择(先选择(360°，360° )组合)，也可以从中间选择。
[0053]实施中，选择不同的α和β组合，确定的像素点对应的三维坐标的误差不同。
[0054]较佳地，α和β的取值是以1°为间隔，较佳地，可以以2°为间隔，也可以以0.5°为间隔，具体地可以根据需要设定。
[0055]方式二、根据要求进行选择；
[0056]为了满足确定的像素点对应的三维坐标的精度最高，根据下列方法从所有组α和β中选择一组位置参数。具体实施中，也可以根据其他要求进行选择，比如具体应用场景的要求。
[0057]根据下列步骤从确定的多组位置参数中选择一组位置参数:
[0058]S1、针对每一组位置参数，分别确定任意两个标定点在所述二维图像上分别对应的像素点在三维坐标系中的坐标点；
[0059]S2、确定三维坐标系中的坐标点对应的两个点在三维坐标系中的距离和两个标定点之间的实际物理距离的误差值；
[0060]S3、将对应最小误差值的一组位置参数作为选择的一组位置参数。
[0061]较佳地，步骤S1、针对每一组位置参数，根据该组位置参数对应的映射矩阵确定任意两个标定点在所述二维图像上分别对应的像素点在三维坐标系中的坐标点。
[0062]在实施中，本发明实施例将二维图像信息进行三维重建的方法可以在场景的地平面上确定标定点，也可以在置于场景中的物体上确定标定点，只要选取的标定点在同一参考平面上即可。[0063]本发明实施例不需要在场景中放置标定器，对于确定的标定点也没有严格的要求，从而提高了使用的灵活性，扩大了应用范围。
[0064]假设确定的任意两个标定点之间的实际物理距离为d，两个标定点在图像上对应的两个像素点坐标分别为(UpV1)和(u2，v2)。
[0065]其中，三维坐标系中的标定点与二维坐标系中像素点的对应关系如图2所示，在图2中，点M为三维坐标系中一个标定点，点m为标定点M经过取景设备成像后在用取景设备拍摄的图像上的像素点，点M所在的坐标系为满足左手坐标系原则的三维坐标系，点m所在的坐标系为二维坐标系。
[0066]针对一组由<^和P i构成的位置参数,确定该组位置参数对应的映射矩阵Pi,根据Pi确定(UuV1)和(u2，v2)在三维坐标系中的坐标点对应的两个点(XuYdZ1)和(X2, Y2, Z2)，并计算两个点(X1, Y1, Z1)和(X2，Y2, Z2)之间的距离屯。
[0067]较佳地，根据下列公式确定两个点(X1, Y1, Z1)和(X2，Y2, Z2)之间的欧氏距离(Ii:
[0068]
【权利要求】
1.一种将二维图像信息进行三维重建的方法，其特征在于，该方法包括: 确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息； 根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵； 根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点； 根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。
2.如权利要求1所述的方法，其特征在于，确定取景设备在拍摄二维图像过程中的位置参数和硬件参数，具体包括: 确定取景设备在拍摄二维图像过程中的多组位置参数和硬件参数； 从确定的多组位置参数和硬件参数中选择一组位置参数和硬件参数； 将选择的一组位置参数和硬件参数作为取景设备在拍摄二维图像过程中的位置参数和硬件参数。
3.如权利要求2所述的方法，其特征在于，从确定的多组位置参数和硬件参数中选择一组位置参数和硬件参数，包括: 针对每一组位置参数和硬件参数，分别确定任意两个标定点在所述二维图像上分别对应的像素点在三维坐标系中的坐标点；并 确定三维坐标系中的坐标点对应的两个点在三维坐标系中的距离和两个标定点之间的实际物理距离的误差值； 将对应最小误差值的一组位置参数和硬件参数作为选择的一组位置参数和硬件参数。
4.如权利要求1~3任一所述的方法，其特征在于，所述取景设备在拍摄二维图像过程中的位置参数包括: 所述取景设备绕X轴旋转角度，所述取景设备绕Y轴旋转角度，所述取景设备绕Z轴旋转角度以及所述取景设备距离地面的高度，其中，X轴、Y轴与Z轴构成左手坐标系； 所述取景设备在拍摄二维图像过程中的硬件参数包括:取景设备的焦距和畸变系数。
5.如权利要求4所述的方法，其特征在于，确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵，具体包括: 根据所述二维图像的本征点信息、畸变系数以及取景设备的焦距，确定内部参数矩阵；以及 根据取景设备绕X轴旋转角度，取景设备绕Y轴旋转角度以及取景设备绕Z轴旋转角度，确定旋转矩阵； 根据确定的内部参数矩阵、旋转矩阵以及取景设备距离地面的高度，确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵。
6.如权利要求1所述的方法，其特征在于，根据确定的映射矩阵，基于下述公式将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点:
7.如权利要求4所述的方法，其特征在于，所述取景设备绕Z轴旋转角度等于灭线vanishing line相对于水平方向的倾角； 其中，灭线是指三维坐标系中选取的标定点所在的参考平面上的所有平行线经过透视之后在二维平面上的交点构成的直线。
8.一种将二维图像信息进行三维重建的设备，其特征在于，该设备包括: 第一确定模块，用于确定取景设备在拍摄二维图像过程中的位置参数和硬件参数、以及用取景设备拍摄的二维图像上的本征点信息； 第二确定模块，用于根据确定的位置参数、硬件参数和本征点信息确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵； 转换模块，用于根据确定的映射矩阵，将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点； 处理模块，用于根据转换得到的三维坐标中的各个坐标点，确定用取景设备拍摄的二维图像对应的三维物体信息。
9.如权利要求8所述的设备，其特征在于，所述第一确定模块具体用于: 确定取景设备在拍摄二维图像过程中的多组位置参数和硬件参数；从确定的多组位置参数和硬件参数中选择一组位置参数和硬件参数；并将选择的一组位置参数和硬件参数作为取景设备在拍摄二维图像过程中的位置参数和硬件参数。
10.如权利要求9所述的设备，其特征在于，所述第一确定模块具体用于: 针对每一组位置参数和硬件参数，分别确定任意两个标定点在所述二维图像上分别对应的像素点在三维坐标系中的坐标点；确定三维坐标系中的坐标点对应的两个点在三维坐标系中的距离和两个标定点之间的实际物理距离的误差值；并将对应最小误差值的一组位置参数和硬件参数作为选择的一组位置参数和硬件参数。
11.如权利要求8~10任一所述的设备，其特征在于，所述取景设备在拍摄二维图像过程中的位置参数包括: 所述取景设备绕X轴旋转角度，所述取景设备绕Y轴旋转角度，所述取景设备绕Z轴旋转角度以及所述取景设备距离地面的高度，其中，X轴、Y轴与Z轴构成左手坐标系； 所述取景设备在拍摄二维图像过程中的硬件参数包括:取景设备的焦距和畸变系数。
12.如权利要求11所述的设备，其特征在于，所述第二确定模块具体用于: 根据所述二维图像的本征点信息、畸变系数以及取景设备的焦距，确定内部参数矩阵；根据取景设备绕X轴旋转角度，取景设备绕Y轴旋转角度以及取景设备绕Z轴旋转角度，确定旋转矩阵；以及根据确定的内部参数矩阵、旋转矩阵以及取景设备距离地面的高度，确定用于表征取景设备拍摄的二维图像与三维物体之间对应关系的映射矩阵。
13.如权利要求8所述的设备，其特征在于，所述转换模块具体用于: 基于下述公式将所述用取景设备拍摄的二维图像上的与物体相关的像素点转换为三维坐标中的坐标点:
14.如权利要求11所述的设备，其特征在于，所述取景设备绕Z轴旋转角度等于灭线vanishing line相对于水平方向的倾角； 其中，灭线是指三维坐标系中选取的标定点所在的参考平面上的所有平行线经过透视之后在二维平面上的交点构成的直线。
【文档编号】G06T17/00GK103578133SQ201210276338
【公开日】2014年2月12日 申请日期:2012年8月3日 优先权日:2012年8月3日
【发明者】王磊, 潘石柱, 张兴明, 傅利泉, 朱江明, 吴军, 吴坚 申请人:浙江大华技术股份有限公司