专利名称：一种利用多台摄像机生成鱼眼效果图片的方法
技术领域：
本发明涉及数字电影技术，具体涉及一种采用光学原理和计算机图形学技术，利用9台摄像机对真实视场拍摄，生成具有鱼眼效果图片适合于在曲面屏幕上投影成像的方法。
背景技术：
随着高科技娱乐设备的不断发展，出现许多新型的娱乐设备，其中半球幕电影，其巨大的曲幕能环绕在观众面前，使观众有身临其境的感觉；现有技术中制作半球幕有不同的拍摄和制作方法，主要包括用鱼眼摄像机实景拍摄、全数码制作，或用实景与数码共同制作等方式。实景用鱼眼拍摄，数码制作同样要用能生成鱼眼效果与之相匹配，数码制作鱼眼效果的方法有下列几种方法，但各自都有自身的缺点1、直接渲染成像，但这样的方法会受至于软件的功能，因为不是所有软件都支持直接渲染鱼眼效果。2、光线跟踪的方法，这样的方法受软件制约相对较小，但由于光线跟踪计算巨大，使渲染成本大大增加。3、使用21台摄像机根据光线可逆的方法得出鱼眼效果，这样的方法不受软件的影响，而且只是用一般的方法进行图片渲染，不用增加运算量，所以不用加大渲染成本，但由于是多台摄像机渲染图像拼接，如果要编辑这些图像的时候，如果涉及修改的效果需要跨越多张(两张或两张以上)图片的时候，就会出现拼接的问题，使后期编辑能力降低，这样必须在三维环境中制作， 不能在工作量更低的二维环境中编辑。所以现有技术存在不足，需要改进和提高。
发明内容
本发明的目的在于提供一种利用多台摄像机生成鱼眼效果图片的方法，解决了现有技术图片渲染成本大，运算复杂的问题。本发明是这样实现的，一种利用多台摄像机生成鱼眼效果图像的方法，其特征在于，所述方法包括如下步骤
A、将至少3组摄像机组合排列，所述3组摄像机中的一台摄像机被放置在中间作为定位参考摄像机，所述定位参考摄像机周围均勻分布多台不同角度的摄像机；
B、利用所述3组摄像机组合采集不同视角的图像，通过对所述3组摄像机渲染出来的所述图像进行合并，将合并后的所述图像进行变形处理得到具有鱼眼效果图像。其中，所述步骤A中所述3组摄像机的组合排列具体包括如下处理
Al、所述3组摄像机为顶部组，中间组和底部组，所述顶部组，中间组和底部组每组均包括3台摄像机，所述每组中的三台摄像机以左中右排列形式被分别对应排列在顶部，中间和底部位置；
A2、所述中间组的中间位置摄像机作为所述定位参考摄像机，所述定位参考摄像机周围均勻分布8台摄像机，所述8台摄像机为所述中间组左右两台摄像机以及所述顶部组和底部组中的6台摄像机；
A3、所述8台摄像机分别以所述定位参考摄像机为基准进行不同角度和方向的旋转。其中，围绕所述定位参考摄像机纵向和横向位置处的所述中间组左右两侧的摄像机以及所述顶部组或底部组中间位置的摄像机是以所述定位参考摄像机为基准来设置转角和方向，所述顶部组或底部组左右两侧的摄像机分别以所述顶部组和底部组中间位置的所述摄像机为基准来设置其转角和方向。其中，所述中间组左右两侧的摄像机以所述定位参考摄像机为基准分别向左或向右旋转60度，所述顶部组或底部组中间位置的摄像机以所述定位参考摄像机为基准分别向上仰角或向下俯角60度，所述顶部组左右两侧的摄像机以所述顶部组中间位置的摄像机为基准分别向左旋转45度并向上仰角60度或向右旋转45度并向上仰角60度，所述底部组左右两侧的摄像机分别以所述底部组中间位置的所述摄像机为基准分别向左旋转45 度并向下俯角60度或向右旋转45度并向下俯角60度。其中，设置所述定位参考摄像机可视角度为60度。其中，所述步骤B中对所述3组摄像机渲染出来的图像进行合并，变形具体包括如下处理
Bi、所述3组摄像机组合拍摄，获取所需画面，将各角度摄像机渲染出来的图像重叠部分剪切，使所述定位参考摄像机的投影平面为等边八边形，围绕所述定位参考摄像机周围的8台不同角度摄像机投影平面分别为大小相等的梯形，所述8个梯形被平均分布在所述等边八边形的周围形成一拱形结构三维图形；
B2、将所述拱形结构三维图形中的每个梯形以所述定位参考摄像机的投影平面为基准进行旋转，使所述8台摄像机投影平面投影至所述定位参考摄像机的投影平面上，形成二维图形投影面；
B3、将所述二维图形投影面与鱼眼摄像机投影面相对关系进行比对，对所述二维图形投影面进行变形处理，生成具有鱼眼效果图像。其中，将所述拱形结构立体图形中的每个梯形以所述定位参考摄像机的投影平面为基准旋转60度。本发明的有益效果为本发明提供一种利用9台摄像机生成鱼眼效果图片的方法，通过将其中一台摄像机放置在其它8台摄像机中间作为定位参考，对置于其相邻位置的其它8台摄像机进行不同角度的旋转，将9台摄像机拍摄出来不同角度的图片进行渲染， 合并和变形处理生成具有鱼眼效果的图片，该方法所采用的多台摄像机以特定角度组合拍摄的方式无缝接合半球形图，其图片渲染成本低，运算简单，实现适合在曲面屏幕上投影真实影像画面。
图1是本发明的方法流程图。图2是本发明9台摄像机的位置示意图。图3是本发明9台摄像机图像采集后的投影平面示意图。图4是摄像机图像之间重叠部分示意图。图5是是本发明9台摄像机投影平面示意图。
图6是本发明9台摄像机旋转后形成的二维图形投影面。图7为本发明9台摄像机投影平面与鱼眼摄像机投影平面对应图。图8为鱼眼摄像机成像原理示意图。图9为本发明变形后的鱼眼效果图。
具体实施例方式为了解决现有技术中所存在的渲染成本大，运算复杂等的问题，本发明提供了一种利用多台摄像机生成鱼眼效果图片的方法，该方法核心为本发明是采用光学原理和计算机图形学技术，根据真实视场与成像的对应关系，把生成鱼眼效果的过程分成两步进行， 首先利用9台摄像机组合拍摄不同视角的画面，通过将其中一台摄像机放置在其它8台摄像机中间作为定位参考，对置于其相邻位置的其它8台摄像机进行不同角度的旋转，对9 台摄像机拍摄出来不同角度的图片进行渲染，其对应的空间位置，利用投影的方法投影到平面上并合并，生成二维图形实现在二维环境下对合并后的图像进行编辑；然后根据真实视场与鱼眼图片的对应关系，将处理后的二维图形投影面与鱼眼摄像机投影面的相对关系进行比对，对二维图形投影面进行变形处理，生成具有的鱼眼效果图像并输出最终图像，由于本发明采用9台摄像机以特定角度组合拍摄的方式实现无缝接合半球形图，不受软件影响，不需要增加计算量，并可以进行二维环境编辑的多图片合成生成鱼眼效果的方法。为使本发明的目的、技术方案及优点更加清楚、明确，以下参考附图并举实施例对本发明进一步详细说明。附图1所示，本发明的方法具体包括如下步骤
5201、利用9台摄像机进行组合拍摄，每个摄像机旋转角度，采集不同视角的图像；
5202、利用空间投影合并图像；
5203、在二维环境下编辑图像；
5204、根据鱼眼摄像机投影面的相对关系，对编辑后的图像进行变形处理得到鱼眼效果的图像。根据上面描述的方法，下面根据附图2至附图9进行详细说明；本发明是通过9 个角度渲染出来的图片合并后制作而成的，因为人的一只眼睛正对前方时，可视角度大约为60度，所以根据这个原理，利用3组数码摄像机，分别是顶部组，中间组，底部组，每个组里分别有左、中、右的摄像机，详见附图2所示，其中9台摄像机可使用支架进行固定，但并不受此限制，9台摄像机包括三组摄像机，每组中的三台摄像机以左中右排列形式被分别对应置于支架的顶部，中间和底部位置，所述顶部组包括摄像机101置于顶部的左侧位置， 摄像机102置于顶部的中间位置，摄像机103置于顶部的右侧位置，所述中间组包括摄像机 104置于中间的左侧位置，摄像机105置于中间的中间位置，摄像机106置于中间的右侧位置，所述底部组包括摄像机107置于底部的左侧位置，摄像机108置于底部的中间位置，摄像机109置于底部的右侧位置，其中摄像机105为本发明的定位参考摄像机，其它8台摄像机均勻分布在定位参考摄像机105的周围，为了拍摄具有180度的图像，本发明将9台摄像机按如下方法设置摄像机105的视角为60度，围绕摄像机105周围的所有摄像机以中间组的中摄像机(用M表示)为基础，中间组的左侧摄像机104 (用ML表示)就是以中摄像机 105为基准往左旋转60度，中间组右侧摄像机106 (用MR表示)就是以中摄像机105为基准往右旋转60度，顶部组里的中摄像机102 (用UM表示)就是以中间组的中摄像机105为基准往向上旋转60度(仰角60度)，顶部组里的左侧摄像机101 (用UL表示)以顶部组里面的中摄像机102为基准往左旋转45度并仰角60度，顶部组里的右摄像机103 (用UR表示) 以顶部组里面的中摄像机102为基准往右旋转45度并仰角60度，底部组里的中摄像机108 (用DM表示)以中间组里面的中摄像机105为基准往向下旋转60度(俯角60度)，底部组里的左侧摄像机107 (用DL表示)就是以顶部组里面的中摄像机108为基准往左旋转45度并俯角60度，底部组里的右侧摄像机109 (用DR表示)就是以底部组里面的中摄像机108 为基准往右旋转45度并俯角60度，由此得到9个数码摄像机的三维图像，摄像机以上述形式布置后可得到的四面八方(即180度)的光线连续平均进入到人的观看点。假设摄像机所视角度的所有光线沿路返回，在某平面相交，此平面为投影平面，附图3为9台摄像机在离各自距离N处的投影平面示意图，9台摄像机的视角存在重叠(每台摄像机拍摄后的图像为正方形)，由于摄像机设置的角度不同，每相邻两台摄像机之间都有重叠部分，重叠部分为图中虚线部分显示，由于图像重叠，所显示的色彩信息是相同的；由于8台摄像机是由中间组的中摄像机105基础生成出来的，8台摄像机是为了补齐中间组的中摄像机105无法观看到的角度，由图3可见其它8台摄像机是平均分布在中间组中摄像机105的的八个方向；以附图4说明两个相邻摄像机之间的图像重叠，图4中以两台摄像机104和摄像机105为例说明两者的重叠部分，其中Nm是摄像机105在离距离N处的投影平面，而NMl是摄像机104在离距离N处的投影平面，L为摄像机104和摄像机105两个投影平面的相交线，、和SML分别是摄像机105和摄像机104投影面的重叠部分(图中虚线和相交线构成了、和Stt的重叠面)，去除重叠部分。下面根据图3进一步说明如何剪切图像重叠部分，由于本发明9台摄像机是以中间一台摄像机为基准，其它8台摄像机围绕中间摄像机组合成像，中间摄像机105视角60度，而外围的8台摄像机以中间摄像机为基准上下左右不同方向旋转拍摄图像，设置中间摄像机105拍摄的图像为正方形，周围8台摄像机 (成像也为正方形)与中间摄像机105图像有60度的角度差，而且8台摄像机相邻摄像机之间也互有角度，每相邻两台摄像机之间都有相交面，相交面就是每相邻两台摄像机之间的实线(例如图3中用Ll所指示的实线部分就是相邻两个摄像机101和摄像机104投影面的交线，用L2所指示的实线部分就是相邻两个摄像机101和摄像机105投影面的交线)，并且Sml和Sul分别是摄像机104与摄像机101相邻两个投影面之间的重叠部，而S2是摄像机105和摄像机101之间的重叠部，中间摄像机105与周围所有摄像机重叠部分都与S2相同，图中呈三角形(两条虚线和实线L2部分)，将中间摄像机105与周围每台摄像机重叠部分(例如S2部分)剪切，使中间摄像机105的成像为等边八边形；
而围绕四周的8台摄像机每相邻两个图像之间的重叠部都具有与Sml和Sul相同部分的重叠，Sml就是与摄像机UL (101)重叠部分，Sul就是与摄像机ML (104)重叠部分，将图 3中每相邻部分重叠的面积剪切(如剪切摄像机104与摄像机101相互之间的重叠面积Sml 和Sul)，同样道理，每个相邻两个摄像机之间都有相同于Sml和Sul的重叠部，从图3中可得到摄像机104减去与它相邻的摄像机101和摄像机107的重叠部分后其呈梯形形状，围绕中间组中间位置摄像机105的其它摄像机和摄像机104的剪切重叠部分的方法相同，此处不做详述。剪切后使所述定位参考摄像机105的投影平面为等边八边形，围绕定位参考摄像机105周围的8台不同角度摄像机投影平面分别为大小相等的梯形，8个梯形被平均分布在等边八边形的周围形成一拱形结构立体图形，见图5所示，图5为去除重叠部分后的示意图，由图可以看出，这9个摄像机的视角全部覆盖180度半球的所有角度(即与180度鱼眼相机视角相同)。如前所述，其他8个摄像机图像都是由M摄像机105旋转60度得到的，将上面拱形结构立体图形中的每个梯形以M摄像机105的投影平面为基准进行旋转，使8台摄像机投影平面投影至M摄像机105105的投影平面上，形成二维图形投影面，其实现方法如图5， 以UM摄像机102为例来说明该平面图像的旋转，利用矢量旋转公式，od直接旋转60度得到od 〃 (0e d 〃为M摄像机投影平面上的线)，(od中的d是平面UM上的一个点，od是从 ο指向d点的空间矢量)，这样使UM摄像机102投影平面与M摄像机105的投影平面为同一平面；用这样的方法就可以得到其它7台摄像机投影平面投影到M摄像机105平面的结果(如图6所示)，得到的图片为拼接后的结果，在形成的二维图形投影面这个结果上，可以加入大量二维环境下的编辑命令以及元素，比如可以根据图像需要分别加入色彩、亮度等用于美化图像的元素，由于二维环境的制作效率比三维环境的高，所以就能使效率提高。
将处理编辑后的二维图形投影面与鱼眼摄像机投影面相对关系进行比对，对该二维图形投影面进行变形处理，生成具有半球形形状的鱼眼效果图像，见图7所示，由于9个摄像机渲染出来的图片的视角是连续均勻的，图像是无缝、平滑、连续，这些特征都与鱼眼摄像机渲染出来的图像特征一样，那么它们就存在相对应的关系，通过鱼眼摄像机，利用光线沿路返回计算得出鱼眼相机的投影到距离N处的投影面，由于鱼眼图像的每个点都离摄像距离为N，所以鱼眼的投影面是个半球型。由于光线是是直线传播的，所有只要在同一矢量方向的图像色彩信息都相同，将9 个摄像的所有投影平面的点沿光的方向移动到距离为N的鱼眼摄像的投影面上，这样就能计算出9个摄像机与鱼眼的相对应关系，然后按鱼眼摄像机成像原理，如图8所示，可利用折射公式计算出鱼眼摄像机与本发明9台摄像机的成像对应关系，根据光线的折射原理， 通过折射率计算鱼眼投影面上的点与成像平面上的点的对应关系，具体如何计算两者之间的对应关系和变形技术是本领域的惯用技术，此处不做详述；按照两者的对应关系合并图像，对合并的图像进行变形最终得到具有鱼眼效果的图像，如图9所示，最后将该图像输出至适合于在曲面屏幕上放映。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种利用多台摄像机生成鱼眼效果图像的方法，其特征在于，所述方法包括如下步骤A、将至少3组摄像机组合排列，所述3组摄像机中的一台摄像机被放置在中间作为定位参考摄像机，所述定位参考摄像机周围均勻分布多台不同角度的摄像机；B、利用所述3组摄像机组合采集不同视角的图像，通过对所述3组摄像机渲染出来的图像进行合并，将合并后的所述图像进行变形处理得到具有鱼眼效果图像。
2.根据权利要求1所述的利用多台摄像机生成鱼眼效果图像的方法，其特征在于所述步骤A中所述3组摄像机的组合排列具体包括如下处理Al、所述3组摄像机为顶部组，中间组和底部组，所述顶部组，中间组和底部组每组均包括3台摄像机，所述每组中的三台摄像机以左中右排列形式被分别对应排列在顶部，中间和底部位置；A2、所述中间组的中间位置摄像机作为所述定位参考摄像机，所述定位参考摄像机周围均勻分布8台摄像机，所述8台摄像机为所述中间组左右两台摄像机以及所述顶部组和底部组中的6台摄像机；A3、所述8台摄像机分别以所述定位参考摄像机为基准进行不同角度和方向的旋转。
3.根据权利要求2所述的利用多台摄像机生成鱼眼效果图像的方法，其特征在于围绕所述定位参考摄像机纵向和横向位置处的所述中间组左右两侧的摄像机以及所述顶部组或底部组中间位置的摄像机是以所述定位参考摄像机为基准来设置转角和方向，所述顶部组或底部组左右两侧的摄像机分别以所述顶部组和底部组中间位置的所述摄像机为基准来设置其转角和方向。
4.根据权利要求3所述的利用多台摄像机生成鱼眼效果图像的方法，其特征在于所述中间组左右两侧的摄像机以所述定位参考摄像机为基准分别向左或向右旋转60度，所述顶部组或底部组中间位置的摄像机以所述定位参考摄像机为基准分别向上仰角或向下俯角60度，所述顶部组左右两侧的摄像机以所述顶部组中间位置的摄像机为基准分别向左旋转45度并向上仰角60度或向右旋转45度并向上仰角60度，所述底部组左右两侧的摄像机分别以所述底部组中间位置的所述摄像机为基准分别向左旋转45度并向下俯角60 度或向右旋转45度并向下俯角60度。
5.根据权利要求2所述的利用多台摄像机生成鱼眼效果图像的方法，其特征在于设置所述定位参考摄像机可视角度为60度。
6.根据权利要求1所述的利用多台摄像机生成鱼眼效果图像的方法，其特征在于所述步骤B中对所述3组摄像机渲染出来的图像进行合并，变形具体包括如下处理Bi、所述3组摄像机组合拍摄，获取所需画面，将各角度摄像机渲染出来的图像重叠部分剪切，使所述定位参考摄像机的投影平面为等边八边形，围绕所述定位参考摄像机周围的8台不同角度摄像机投影平面分别为大小相等的梯形，所述8个梯形被平均分布在所述等边八边形的周围形成一拱形结构三维图形；B2、将所述拱形结构三维图形中的每个梯形以所述定位参考摄像机的投影平面为基准进行旋转，使所述8台摄像机投影平面投影至所述定位参考摄像机的投影平面上，形成二维图形投影面；B3、将所述二维图形投影面与鱼眼摄像机投影面相对关系进行比对，对所述二维图形投影面进行变形处理，生成具有鱼眼效果的图像。
7.根据权利要求6所述的利用多台摄像机生成鱼眼效果图像的方法，其特征在于将所述拱形结构立体图形中的每个梯形以所述定位参考摄像机的投影平面为基准旋转60度。
全文摘要
本发明一种利用多台摄像机生成鱼眼效果图片的方法涉及数字电影技术，具体涉及一种采用光学原理和计算机图形学技术，利用9台摄像机对真实视场拍摄，生成具有鱼眼效果图片适合于在曲面屏幕上投影成像的方法，该方法包括将9台摄像机组合排列，其中一台摄像机被放置在中间作为定位参考摄像机，定位参考摄像机周围均匀分布8台不同角度的摄像机；利用9台摄像机组合采集不同视角的图像，通过对9台渲染出来的图像进行合并，将合并后的图像进行变形处理得到具有鱼眼效果图像，该方法所采用的多台摄像机以特定角度组合拍摄的方式可实现无缝接合半球形图，其图片渲染成本低，运算简单，适合于在曲面屏幕上投影真实影像画面。
文档编号G03B37/00GK102340633SQ20111031638
公开日2012年2月1日 申请日期2011年10月18日 优先权日2011年10月18日
发明者杨兵, 潘勇, 章乐平 申请人:深圳市远望淦拓科技有限公司