专利名称:图像合成装置和方法
技术领域：
本发明涉及一种图像合成装置和方法，特别涉及一种适用于转化/合成由多个车用摄象装置所获取的影像的图像合成装置和方法，摄象装置用来给司机提供汽车周围影像以便在停车场等地方辅助驾驶。而且，它还涉及一种图像显示装置、一种图像获取/警告装置、和一种汽车位置识别/判断装置。
背景技术：
在迄今为止的图像合成装置中，为了通过图像合成在多个影像的基础上产生宽视野图像例如全景图像，多个影像需要从各自的摄象装置投影到一个表现为圆柱面的普通曲面上，然后被虚拟摄象装置来获得。这种常规过程在下面通过附图14至15B来说明。
图14是全景图像55合成过程的示意图，通过设置在汽车A上的两个摄象装置(未示出)依次来获得影像53和54，然后将它们投影到圆柱面66上形成场景52。图15A从三维角度表现了将从一个摄象装置61a上所获得的影像62和从另一个摄象装置61b上所获得的影像63投影到圆柱面66上形成合成图像的过程。影像62上的点64投影到点67，然后通过虚拟摄象装置72投影到合成图像平面73上的点69。此外，影像63上的点65投影到圆柱面66上的点68，然后通过使用同样的虚拟摄象装置72投影到合成图像平面73上的点70。图15B三维地表现了投影到与圆柱面66的轴垂直的平面71上的情况。通过上述过程，影像53和54上的每个点都被映像合成如图14所示的全景图像那样的图像。
上述常规技术已经被日本未审查专利(平)5-14751所公开。另外，向一个平面三维投影的技术也已经被日本未审查专利(平)6-20189和日本未审查专利2000-134537所公开。还有，球面投影技术被日本未审查专利(平)9-322040所公开。
而且，这样常规图像合成方法是用来将定位在不同投影中心的摄象装置所获取的多个影像合成一个合成图像；因此，就会产生如图14中的合成全景图像55中所示的不连续的点56a、56b和56c，这样就很难使不同影像在结合处成一条直线。而且，当投影到一个圆柱面的时候，不仅影像会在靠近和远离摄象装置处严重扭曲使得驾驶员很难掌握远处的景物，而且在车身后部例如图12中所示全景图像平面上临近图像57中的汽车保险杠或挡泥板处，影像也会发生扭曲，从而很难将这种方法用于辅助汽车安全驾驶例如停车辅助中。
发明内容
本发明就是为了消除上述问题，其一个目的是提供能提供一个非常宽的范围(宽虚拟视野)内信息的图像合成装置和方法，通过多个从不同视点所获得影像来很容易掌握汽车和周围环境(或情况)的，并将这些影像组合在一起，而不会损害合成天然图像的清晰度，很容易观看。
为了达到这个目的，按照本发明，所提供的图像合成装置包括多个摄象装置；用来探测所述摄象装置的摄象位置的摄象位置探测装置，所述摄象位置包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据由摄象位置探测装置探测的摄象位置将由摄象装置获取的多个影像投影到所述平面以形成多个第一投影影像的第一投影装置，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到三维投影模型上来产生第二投影影像的第二投影装置；用来虚拟摄象第二投影影像的虚拟摄象装置；用来确定三维模型位置和形状的三维投影模型确定装置；用来确定所述虚拟摄象装置的摄象位置的摄象位置确定装置；在由所述摄象位置确定装置确定的摄象位置，由所述虚拟摄象装置获取所述第二投影影像以合成由所述多个摄象装置所获得的多个影像。
根据这种结构，因为由摄象装置所获得的影像被投影到第一投影部分，然后投影到三维投影模型上，可以使所合成图像的结合处不明显突出。
而且，在本发明所述的图像合成装置中，多个摄象装置是设置在汽车上，图像合成装置还包括一个汽车行驶方向探测装置来探测汽车的行驶方向。因此，视点是通过三维投影模型的投影部分投影中心的直线上，直线平行于汽车行驶方向探测装置所探测到汽车行驶方向，探测装置可以显示满足特殊条件比如在合成图像上还是直线的特殊的直线。
因此，在本发明所述的图像合成装置中，多个摄象装置是设置在汽车上，图像合成装置还包括一个汽车行驶车体位置探测机构来探测汽车的车体位置。在这种结构中，虚拟摄象装置的视点是位于通过平面投影影像和三维投影模型投影部分投影中心的平面内，这样可以允许满足特殊条件比如在合成图像上还是直线的直线。
因此，根据本发明，所提供的图像合成装置包括多个摄象装置；用来探测摄象装置的摄象位置的摄象位置探测装置，所述摄象位置包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据由摄象位置探测装置探测的摄象位置将由摄象装置获取的多个影像投影到所述平面以形成多个第一投影影像的第一投影装置，其中分别位于各个第一投影影像并表示平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到一个球面上形成第二投影影像的第二投影装置；将第二投影影像在过球面上一点的第二平面上展开的转换装置。使用这种装置，即使球面的位置不同，也可以投影一条直线在合成图像上的作为调整在一个平面上影像的中心点的直线。
而且，根据本发明，影像合成方法包括由多个摄象装置获取多个影像的摄象步骤；探测摄象步骤中摄象位置的摄象位置探测步骤，以在所述摄象位置中包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据在摄象位置探测步骤中探测的摄象位置将所获取的影像投影到所述平面以形成多个第一投影影像的第一投影步骤，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到三维投影模型上来产生第二投影影像的第二投影步骤；用来虚拟摄象第二投影影像的虚拟摄象步骤；用来确定三维模型位置和形状的三维投影模型确定步骤；用来确定所述虚拟摄象步骤中摄象位置的摄象位置确定步骤；在由所述摄象位置确定步骤确定的摄象位置，在所述虚拟摄象步骤中获取所述第二投影影像以合成在所述多个摄象步骤中获得的多个影像。
这样的布置可能组成一个在合成部分连接处不突出的图像，并且不会出现不相容的感觉，还能减小在使用结合物如圆柱或者球面作为三维模型时所产生的合成图像的扭曲。
而且，根据本发明，所提供的图像合成方法包括由多个摄象装置获取多个影像的摄象步骤；探测摄象步骤中摄象位置的摄象位置探测步骤，以在所述摄象位置中包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据在摄象位置探测步骤中探测的摄象位置将在摄象步骤中获取的影像投影到所述平面以形成多个第一投影影像的第一投影步骤，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到一个球面上形成第二投影影像的第二投影步骤；将第二投影影像在过球面上一点的第二平面上展开的平面伸展步骤，从而将在平面伸展步骤中获得多个影像合成以产生合成图像；以及确定球面位置的球面位置确定步骤。
在这种结构中，满足特殊条件的直线可以在合成图像中表现为均匀并连续的直线，合成图像可以认为是没有不相容感觉的天然图像。
而且，根据本发明，图像显示装置多个摄象装置；用来探测所述摄象装置的摄象位置的摄象位置探测装置，所述摄象位置包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据由摄象位置探测装置探测的摄象位置将由摄象装置获取的多个影像投影到所述平面以形成多个第一投影影像的第一投影装置，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到三维投影模型上来产生第二投影影像的第二投影装置；用来虚拟摄象第二投影影像的虚拟摄象装置；用来确定三维模型位置和形状的三维投影模型确定装置；用来探测所述虚拟摄象装置的摄象位置的摄象位置探测装置；显示影像的显示装置；用来将所要显示的影像转换成适用于显示装置的数据的显示数据转换控制装置，在由所述摄象位置确定装置确定的摄象位置，由所述虚拟摄象装置获取所述第二投影影像以产生合成影像，并且所述合成影像由显示数据转换控制装置转换成适用于显示装置的数据。
根据这种结构，可能显示从摄象装置获得的影像、投影影像或者是合成图像在显示装置上，这样就可以使驾驶员很容易掌握周围的情况和相对于汽车的位置关系。
而且，根据本发明，还有一种图像获取/警告装置包括多个摄象装置；用来探测摄象装置的摄象位置的摄象位置探测装置，所述摄象位置包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据由摄象位置探测装置探测的摄象位置将由摄象装置获取的多个影像投影到所述平面以形成多个第一投影影像的第一投影装置，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到三维投影模型上来产生第二投影影像的第二投影装置；用来虚拟摄象第二投影影像的虚拟摄象装置；用来确定三维模型位置和形状的三维投影模型确定装置；用来探测所述虚拟摄象装置的摄象位置的摄象位置探测装置；用来探测物体接近位置的探测装置；以及当探测装置探测到的物体接近位置到达预定物体接近位置就会发出报警信息的警告装置。
使用这种结构，一旦所要连接的物体靠近了车身后部，警告装置根据连接物体接近状态显示警告信息，这样就警告了驾驶员。而且，如果连接物体的连接完成，连接的情况可以得到确认。
此外，根据本发明，汽车位置识别/确认装置一种汽车位置识别/确认装置包括多个摄象装置；用来探测摄象装置的摄象位置的摄象位置探测装置，所述摄象位置包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据由摄象位置探测装置探测的摄象位置将由摄象装置获取的多个影像投影到所述平面以形成多个第一投影影像的第一投影装置，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到三维投影模型上来产生第二投影影像的第二投影装置；用来虚拟摄象第二投影影像的虚拟摄象装置；用来确定三维模型位置和形状的三维投影模型确定装置；用来探测所述虚拟摄象装置的摄象位置的摄象位置探测装置；影像探测装置，用于当多个摄象装置中的至少一个是设置在车身后部的后部摄象装置时，探测由后部摄象装置获取的影像、通过将所获取影像投影到三维投影模型所获得的影像或通过在虚拟摄象装置中合成所获取的影像而获得的合成图像中的任意物体影像；用来识别影像探测装置所获得的影像和汽车影像之间位置关系的识别装置；用来在所述识别装置所识别的位置关系的基础上判断在所述汽车和所述物体之间位置偏差的判断装置。
在这种结构中，从摄象装置所获得的影像、投影影像和合成影像可以显示在显示装置上，可以使操作者(驾驶员)掌握周围情况，特别是从任意物体的影像中显示的物体(包括物体显示)位置或者是相对于汽车的位置关系。
本发明的其他目的和特点可以在下面对较好实施例的详细描述中更明显，
具体实施方式
参照附图，下面将描述本发明的实施例。在本发明实施例的描述中，虽然只有两个摄象装置所获得的图像合成了一个图像，但是使用三个或者更多的摄象装置，通过相同的过程也可以获得合成图像。
(第一实施例)图1是是本发明第一实施例所述图像合成装置结构的框图。如图1所示，这个图像合成装置由摄象装置1、摄象位置探测装置2、平面投影部分3、三维投影模型确定部分4、三维投影模型投影部分5、虚拟摄象装置摄象位置探测装置6和虚拟摄象装置7组成。
摄象装置1包括第一摄象装置1a和第二摄象装置1b。摄象位置探测装置2包括第一摄象位置探测装置2a和第二摄象位置探测装置2b，分别探测两个摄象装置1a和1b的摄象位置，平面投影部分3接收第一摄象装置1a和第二摄象装置1b、第一摄象位置探测装置2a和第二摄象位置探测装置2b的输出信号。平面投影部分3和三维投影模型探测装置4的输出信号被输入到三维投影模型投影部分5中。此外，三维投影模型投影部分5和虚拟摄象装置摄象位置探测装置6的输出信号被输入到虚拟摄象装置7中。
在本实施例中，在投影平面部分3中的一个投影部分是汽车停留的平面，即路面。然而，严格来说，路面并不完全是平面，它可以被认为基本是一个平面。而且，在三维投影模型投影部分5中使用的三维投影模型是圆柱面和球面的光滑结合光滑结合所构成的曲面，圆柱面垂直于路面，球面的投影中心位于圆柱面的轴线上。
第一，摄象位置探测装置2将路面上多个可以确认位置或者是可以找到的点和第一摄象装置1a或第二摄象装置1b所获得的影像上多个点结合，就可以探测到摄象装置1a或1b的摄象位置。摄象位置可以意味着下面的参数(1)摄象装置相对于路面的定位位置；(2)摄象装置相对于路面的定位方向；(3)摄象的典型值，例如视场角、焦距和透镜应变(lens strain)。
如果探测到了这些参数，得到了相对于摄象装置的物体的形状和位置，通过合理的数值计算可以获得摄象装置所获得影像上物体的状态。实际上，为了收集必要的参数并将它们保存在存储器等中，光栅状的物体在从工厂运输之前就经过调整，在三维空间内设置坐标，投影平面影像的数值在计算机中进行调整以便获得参数的估计值，二者择一地，代表摄象装置安装状态的位置和角度由传感器探测并被输入计算机中来机械地(自动地)获得参数。
而且，除了上述方法之外，摄象位置探测装置2还可以通过获得从影像到路面的变换矩阵来探测每个摄象装置的摄象位置。将已经定位的路面上多个点和影像上多个点结合起来就可以得到变换矩阵。变换矩阵可以使影像平面投影到路面上。
其次，如图2和3A所示，下面将描述每个投影部分的工作过程。图2是本发明第一实施例的图像合成装置工序的流程图，图3A是用来解释将投影摄象装置1a和1b所获得影像形成合成图像的工作原理示意图。
在图2中，通向步骤2的流程表示的工序是平面投影部分3将摄象装置1a和1b在步骤1中所获得影像按照摄象位置探测装置2所得到的摄象位置投影到投影部分(路面)上。如图3A三维表示的那样，图像摄象装置1a所获得的影像8上的点15和图像摄象装置1b所获得的影像9上的点16被转换投影到点17上。在这个阶段，变化是用来获取路面上同一物体的影像并使图8和9能够准确重合。例如，路面上的一条白线不会被投影两次显示出来。平面投影部分3将图8上点15和图9上点16的坐标转换成路面上点17的坐标。
此外，在图2中，通向步骤3的流程表示的工序是三维投影模型投影部分5将被平面投影部分3投影到路面上的影像投影到三维模型11上。向三维模型11上的投影表示路面上的点17被投影到连接三维投影模型的投影中心12和点17的直线与三维投影模型11表面的交点18上。
另外，在图2中，通向步骤4的流程表示的工序是虚拟摄象装置7按照虚拟摄象装置摄象位置探测部分6所确定的摄象位置获取在三维投影模型11的三维投影模型投影部分5上的影像。如图3A所示，这次摄象是转换到连接点18和虚拟摄象装置7的视点13的直线与图像合成表面14的交点19上。由虚拟摄象装置7获得的影像成为合成图像。
当如图14所示的影像52在这种条件下被合成的时候，就可以获得如图3B所示的全景图像。路面上的直线和其他的线就会在连接部分20光滑地连接在一起。而且，即使是远离摄象装置的三维物体的连接部分也不会象连接部分21那样突出。
而且，当三维投影模型11的位置或者投影中心12沿着与路面垂直的方向发生了变化，可以改变投影到圆柱面的区域和球面区域的范围。如图4A所示，当圆柱面和三维投影模型11的球面之间的分界线和投影中心12高度相等的时候，比投影中心12位置低的影像就投影到球面上，其他的投影到圆柱面上。此外，如图4B所示，当三维投影模型11的位置低于图4A所示的位置，而投影中心的位置不变，这时，被投影到球面的区域仅覆盖投影中心12的附近，而投影到圆柱面的区域扩大了。这样，就可以产生驾驶员想要的合成图像。
如上所述，根据本发明的第一实施例，因为投影部分是设置在路面上，即使是用不同位置的多个摄象装置获得的影像来合成，路面上白线等的影像在不同影像的结合点也可以完全连接起来，所以路面的情况对于驾驶员来说是清楚的。一般在这种情况下，虽然路面上的三维物体在不同的结合点不能象其他物体那样完全结合，一个相对于不同摄象装置距离不同的处于移动位置的三维物体也会在不同影像之间结合点完全连接起来。因此，合成影像是一个不会有不相容感觉的天然图像。
此外，摄象位置探测装置还会事先探测到至少摄象装置相对于投影部分的一个位置、姿势和摄象特征，这样使摄象装置所获得的影像与路面的平面投影相一致。
另外，平面投影部分通过使用从获得影像和投影部分上相应点合成的投影变换矩阵将所获得的影像上的点投影到投影部分，这样就可以将摄象装置获得的影像投影到路面上。
此外，因为多个形状不同的平面结合在一起形成三维投影模型，到模型上的投影也可以尽可能象投影的物体那样靠近。
此外，因为多个形状不同的平面结合在一起以便使它们之间的结合点不会非常突出，也会防止在被合成的路面上的直线等在合成图像上发生弯曲，这样就可以提供一个没有不相容感觉的完整的天然图像。
而且，三维投影模型包括球面和圆柱面的合成，当投影发生在三维投影模型时，远处投影到圆柱面上，而其他的位置投影到球面上，这样靠近汽车的位置就投影到球面上，而远离的部分就投影到圆柱面上；因此，与仅仅投影到圆柱面的投影相比，在近处的影像扭曲就可以减小且距离感很容易捕捉。在本实施例中，如果球面的中心是设置在圆柱面的轴线上，球面与圆柱面的半径相等，球面和圆柱面的边界线就会很光滑。而且，跟平面与圆柱面结合且边界部分也很光滑连接的情况相比，在近处的扭曲会大大减少，这样就可以合成一个没有不相容感觉的天然图像。
在上面的描述中，虽然三维投影模型是由圆柱面和球面结合成的，也可以只采用球面。在这种情况下，在宽视野图像的组合物中，可以完全避免图像的扭曲变形。在三维投影模型中使用球面可以生成象使用鱼眼镜头所拍摄一样的图像，虽然整幅图像都会发生相同的扭曲，驾驶员还是很容易认出周围物体的类型。
而且，如果使用圆柱面和椭圆面来组合使得结合处光滑并使远处投影到圆柱面上其他位置投影到椭圆面上，也可以获得跟圆柱面和球面组合相类似的效果。
而且，还可以采用平面与圆柱面相结合来形成三维投影模型，在这种三维投影模型的投影中，远处投影到圆柱面上，其他位置投影到平面上。这样，汽车附近的位置投影到平面上，直线例如路面上的白线可以在合成图像中仍然投影成直线。此外，因为远处已经投影到圆柱面上，影像就不会发生扭曲。因此，汽车可以很容易沿着停车场等处的白线停车，周围的环境也可以很容易捕捉到。此外，如果在三维投影模型中仅使用圆柱面，靠近摄象装置的区域在合成图像上就会变大，很难掌握距离感。但是，可以用将附近区域投影到平面上来解决这个问题。
此外，在三维投影模型中还可以使用圆柱面、平面和曲面在边界处彼此光滑结合的形式。这样，当远处景物的影像被合成的时候，可以认为远处的景物在圆柱面上还是垂直地影像。另一方面，摄象装置正下方的物体被投影到圆柱面上所引起的影像极度扭曲的问题也可以在远处投影到圆柱面上时在某种程度上消除，中间位置被投影到曲面上以便光滑地形成圆柱面和平面之间的边界线，其他的位置被投影到平面上。
因此，假如通过一个在汽车上的销使车厢与汽车连接在一起，在初始状态下车厢与车处于分离状态，也就是说，当汽车靠近车厢的时候，车厢投影到上述圆柱投影面上并显示出来，因此就可以很容易掌握周围的情况和与其它物体的关系，并通过上述的平面投影部分或者是球面投影部分很快地在与车厢结合之前了解到销的位置关系，这样就可以使车厢与车顺利结合。
而且，显然，在有限的停车位置停车或者是在拥挤的路上显示相对于后面的车的位置关系时，它可以提供更容易被驾驶员理解的图像。
(第二实施例)图5是是本发明第二实施例所述图像合成装置的框图。其中，与图1功能相同的部分用相同的数字标明，为了简明，其详细描述也将被省略。除了图1中所显示的影像合成装置结构外，本图还包括用来探测汽车行驶方向的汽车行驶方向探测部分22，它也可以将探测结果输入到虚拟摄象装置摄象位置探测部分6中。
在第一实施例和第二实施例中，在平面投影部分3中使用的投影面就是路面，在三维投影模型投影部分中使用的三维投影部分是基于圆柱面特别是路面和球面之间的光滑连接的曲面，投影中心在圆柱面的轴线上。
图6A三维地显示了当汽车直线行驶的时候虚拟摄象装置生成合成图像的情景。在图6A中，省略的步骤(图2中的步骤2)是平面投影部分3根据一个摄象位置将摄象装置1a和1b所获得的影像都投影到路面上。
在第二实施例中，在虚拟摄象装置7获取影像的时候，虚拟摄象装置7的视点13是在通过三维投影模型投影部分5的投影中心12的直线上，直线与汽车行驶方向探测部分22所探测到的汽车行驶方向平行。这时，平行于汽车行驶方向的直线即使是在合成图像上也是直线，在合成图像上的直线在一点相交，当汽车直线行驶时，因为从汽车上看其周围的固定物体相对汽车的运动方向与行驶方向平行，所以这些物体在合成图像上也是直线运动。
下面描述的原理是使用图6A中虚拟摄象装置7和三维投影模型11之间的几何关系。连接了三维投影模型11的投影中心12和虚拟摄象装置7视点13的线段23平行于汽车行驶方向24。这时，位于路面上的与汽车行驶方向24平行的线25和线段23处于相同平面26中。由将上述平行线25投影到三维投影模型11所生成的影像27形成了在三维投影模型11和平面26之间的交叉线，当虚拟摄象装置7获取的影像27时，所生成的影像28位于图像合成表面14和平面26之间的交叉线上。作为在平面和平面之间的交叉线，影像28是一条直线，并通过线段23和图像合成表面14的交点29。
上述描述并不限于路面，也可以是在线段23所在平面上的任意直线，或者是汇集在点29的所有影像的延伸。
当汽车直线行驶时，从汽车上看其周围的固定物体相对汽车的运动方向与行驶方向平行。因此，如图6B，固定物体的影像30是向点29的直线运动。
这样，根据本发明第二实施例，多个摄象装置设置在汽车上，汽车行驶方向探测装置也设置在这里，虚拟摄象装置视点的位置设置在通过三维投影模型投影部分投影中心并与汽车行驶方向平行的直线上，作为一个特征，平行于汽车行驶方向的直线投影在合成图像上也是一条直线。因此，当汽车直线行驶时，从汽车上看其周围的固定物体相对汽车的运动方向与行驶方向平行，在合成图像上固定物体也是沿着直线运动，这样就给驾驶员提供了可以理解环境的影像。
(第三实施例)图7是本发明第三实施例所述图像合成装置的框图。其中，与图1功能相同的部分用相同的数字标明，为了简明，其详细描述也将被省略。除了图1中所显示的影像合成装置结构外，本图还包括用来探测汽车身位置的汽车身位置探测部分3 1，并将探测结果输入到虚拟摄象装置摄象位置探测部分6中。
在第一实施例和第二实施例中，在平面投影部分3中使用的投影面就是路面，在三维投影模型投影部分中使用的三维投影部分是基于圆柱面特别是路面和球面之间的光滑连接的曲面，投影中心在圆柱面的轴线上。
图8A示意性表示了第三实施例中为了获得车身后部32投影的过程，被第一摄象装置1a获得汽车A车身后部32L通过使用设置在汽车A上的车身位置探测部分31所探测到的车身位置被投影到路面上。图8B是三维的表示了当使用设置在汽车A上的车身位置探测部分31所探测到的车身位置将车身后部32投影到路面上所获得的车身后部32投影时，使用虚拟摄象装置7生成合成图像31的布置。跟图6A一样，图8B也省略了图2中的步骤2，也就是，平面投影部分3根据一个摄象位置将摄象装置1a和1b所获得的影像都投影到路面上。
虚拟摄象装置7的视点13位置由下面工序确定。假定汽车A的车身后部32L是直线，车身后部32L平面投影所获得的影像32也是直线。虚拟摄象装置7的视点13位置设置在包括影像32和投影中心12的平面33上。这时，将影像32投影到三维投影模型所获得影像34也在平面33上，影像34基础上的合成图像上的影像35也在平面33上。这样，影像35就位于平面33和图像合成平面14之间的交叉线上，也是直线形状。因此，如图8C中的全景图像所示，在合成图像上，车身后部36是不弯曲或间断的直线。此外，如图8D所示，汽车侧面也可以转化成直线来合成用于监视汽车侧面情况的图像。另外，还可以合成汽车所行驶的道路的情况的图像，或者是在十字路口交叉中心线的图像，也可以显示的是直线。
如上所述，根据本发明第三实施例，多个摄象装置设置在汽车上，汽车车身位置探测装置可以用来探测车身位置，虚拟摄象装置视点的位置位于包括了车身后部平面投影影像和第二投影装置的平面内；这样在合成图像中，车身后部投影成一条直线。
(第四实施例)图9是本发明第四实施例所述图像合成装置的框图。
其中，与图1功能相同的部分用相同的数字标明，为了简明，其详细描述也将被省略。
如图9所示，影像合成装置还包括作为三维投影模型的球面，用来三维投影模型投影部分5；还包括用来探测球面位置的球面探测部分37。而且，为了合成图像，球面延伸部分38用来代替图1中的虚拟摄象装置。
如图10A和10B所示，下面描述第四实施例影像合成方法。图10A几何地、三维地表示了投影到球面模型后在平面内伸展或发展球面的过程。跟第一实施例一样，摄象装置所获得的影像被平面投影到路面上，然后投影到如图10A所示的球面上。这时，投影中心就是球心。投影到球面上的影像40在球面上的点41伸展。通过这个操作，影像40转化成点42。图10B是球面的截面图，图10A中的合成图像14由通过点19、40、41和42的平面切开。如图所示，球面伸展部分38完成了伸展操作，以便从点41到点40的圆弧等于从点41到点42的线段的长度。这样在图像合成表面14上伸展的影像构成合成图像。
通过这个变化，位于平面上包括连接点39和41的直线43在内的直线即使在合成图像上也是直线。因此，点39和41的位置是为了使直线43平行于汽车的行驶方向，不管球面的位置如何，平行于汽车的行驶方向的直线即使在合成图像上也是平行的，这样就可以获得跟第二实施例相似的效果。此外，当点39和41选择使车身后部投影的路面10和直线43在一个平面内，车身后部在合成图像中也是直线，这样就可以获得跟第三实施例相似的效果。
如上所述，根据第四实施例，摄象装置获得的多个影像平面投影到路面上，平面投影影像被投影到球面上，然后球面投影影像沿着球面上一点所在平面延伸；这样，不管球面的位置如何，通过调整所要延伸的平面的中心，都可以将一条特殊的直线投影成在合成图像上的一条直线。
(第五实施例)图11是本发明第五实施例所述图像合成装置的框图。如图1所示，第五实施例中的影像显示装置除了上述的结构外，还包括显示数据转换控制装置80和显示装置81例如具有显示功能的镜子。显示数据转换控制装置80用来将影像转换成能适用于在显示装置81上显示的数据。使用了这种结构，在具有显示功能的镜子上显示的图像可以使驾驶员很容易掌握周围情况或者是汽车的位置。作为具有显示功能的镜子，第一镜子结构中的一半是设置在显示装置显示部分的表面上，显示装置可以是液晶或者是有机电致发光(organic EL)。这时，液晶或者是有机电致发光部分可以仅包括一个显示部分或者是很多显示部分的组合。
此外，第一镜子结构是可以在普通镜子状态和图像显示屏幕状态之间切换的。另外，当天黑的时候，通过汽车上的照明传感器可以自动切换到图像显示状态。另外，切换操作也可以与驾驶员的大灯照明操作响应。还有，切换到图像显示状态还可以这样触发，例如，当后窗因为下雨变得浑浊或者是因为冬天下雪或结冰而完全看不清的时候，通过后窗中的加热丝的操作开关来打开显示状态。还有，还可以使开关连接到齿轮上，只有当齿轮位于后部时，才打开图像显示状态。
这样，因为镜子的整个表面都可以在普通镜子状态和图像显示状态之间切换，所以驾驶员可以很容易通过宽显示面掌握车后的情况，从而保障了安全驾驶。
另一方面，作为第二镜子结构，也可以使用普通结构的镜子和液晶或者是有机电致发光的显示部分。使用第二镜子结构，普通镜子可以用来示意性的显示后面的情况，而附加的显示部分可以放大显示普通镜子所不能显示的死角，或者是放大需要特别注意的物体。
顺便说一句，这些显示装置不限于镜子，还可以是在仪表板上的显示部分、是连接到巡航系统上的显示部分、便携式信息终端或者是平面显示器等可以接受的装置。
(第六实施例)图12是根据本发明第六实施例的图像获取/警告装置的框图。如图12所示，这种图像获得/警告装置除了如图11所示的图像显示装置结构之外，还包括探测装置82和一个警告装置83。例如，探测装置82通过接近传感器探测连接到车上的野营车的接近程度。探测装置82所获得的信号输入到警告装置83中。这样，驾驶员通过显示装置81上所显示的图像就可以掌握接近程度。当野营车是通过设置在汽车侧面和野营车侧面的销子与汽车连接在一起的时候，当汽车上的销子距离为1m或者更少到小于50cm，警告装置83例如是喇叭，就可以向驾驶员发出警告的声音。比较好的是，警告装置83根据销子的距离不同发出不同的声音。这样，在销子结合操作中，可以根据接近程度(可以任意设定结合操作的距离)来合适的发出警告，同时结合操作还可以通过图像来保证。这样就可以保证安全和准确的结合操作。
顺便说一句，警告装置83并不限于喇叭，可以是连接到如图12点划线所标记的显示数据转换控制装置80，并向其发送警告信号，这样警告符号影像、闪动影像或能引起注意的彩色影像就可以出现在显示装置81的图像上。此外，发出警告信号的条件可以根据汽车或接近物体的形状、重量、速度等来任意设定。
因此，摄象装置可以设置在销子上来保证完全结合。另外，作为显示影像，平面投影部分3的输出信号或平面投影部分3的合成影像和虚拟摄象装置7的影像都可以使用，来代替虚拟摄象装置7的影像。
而且，探测装置可以是超声波的、电磁的、光学的(包括红外线)等。另外，它也可以采用直接从影像上来计算警告距离的类型。
虽然这里说的接近物体是野营车，它也可以是其他物体例如用来装小艇的车厢。
(第七实施例)图13是根据本发明第七实施例的汽车识别/确认装置的框图。如图13所示，第七实施例中的汽车识别/确认装置除了图1中所示的结构之外还包括一个影像探测装置84、一个识别装置85和一个比较/确认装置86。
影像探测装置是用来当至少一个摄象装置是设置在车后部的后部摄象装置时，探测后部摄象装置所获得的影像、其投影影像和或其组合影像中的任意物体的影像。识别系统是用来识别影像探测系统所探测的影像与汽车影像的距离关系的。比较/确认装置是用来根据任意设定的条件作出比较/确认的。更具体点说，在本实施例的汽车识别/确认装置中，安装在汽车后部作为后部摄象装置的照相机获取停车位置的白线，影像探测装置从所获得的影像、将所获得的影像投影到由圆柱面和球面合成的三维投影模型上所获得的影像或者是由虚拟摄象装置7所合成的影像中探测白线的影像。此外，识别装置85计算并确认由影像探测装置84所探测的白线和根据影像探测装置84所探测影像的汽车影像的位置关系，比较/确认装置84根据识别装置85所确定的位置关系比较/确认汽车和白线的不同(根据识别装置所获得的影像位置或者是确认数据作出比较/确认)，这样汽车就可以位于左右白线之间。
通过这些结构，驾驶员可以很容易掌握汽车和后面及周围环境的位置关系，这样就可以保证安全驾驶。
本发明并不被上述实施例所限制，它应该包括在不背离发明精神和范围的情况下对实施例作出的所有变化和修改。
图11a---第一摄象装置1b---第二摄象装置2a---第一摄象位置探测装置2b---第二摄象位置探测装置3---平面投影部分4---三维投影模型确定部分5---三维投影模型投影部分6---虚拟摄象装置摄象位置确定部分7---虚拟摄象装置图2a---第一摄象装置获取的影像b---第二摄象装置获取的影像c---所探测的第一摄象装置的摄象位置d---所探测的第二摄象装置的摄象位置e---路面的平面投影f---所确定的三维模型g---向三维投影模型的投影h---所探测的虚拟摄象装置的摄象位置I---虚拟摄象装置所获得的影像图4Aa---圆柱面投影部分b---球面投影部分图4Ba---圆柱面投影部分b---球面投影部分图51a---第一摄象装置
1b---第二摄象装置2a---第一摄象位置探测装置2b---第二摄象位置探测装置3---平面投影部分4---三维投影模型确定部分5---三维投影模型投影部分6---虚拟摄象装置摄象位置确定部分7---虚拟摄象装置22---汽车行驶方向探测部分图6Ba---车身后部图71a---第一摄象装置1b---第二摄象装置2a---第一摄象位置探测装置2b---第二摄象位置探测装置3---平面投影部分4---三维投影模型确定部分5---三维投影模型投影部分6---虚拟摄象装置摄象位置确定部分7---虚拟摄象装置31---车身位置探测部分图8Aa---路面图8Ba---路面图8C36---车身后部图8Da---汽车侧面图91a---第一摄象装置1b---第二摄象装置2a---第一摄象位置探测装置2b---第二摄象位置探测装置3---平面投影部分5---球面投影部分37---球面位置确定部分38---球面伸展部分图10A17---点图10Ba---相同长度图111a---第一摄象装置1b---第二摄象装置2a---第一摄象位置探测装置2b---第二摄象位置探测装置3---平面投影部分4---三维投影模型确定部分5---三维投影模型投影部分6---虚拟摄象装置摄象位置确定部分7---虚拟摄象装置80---显示数据转换控制装置81---显示装置图121a---第一摄象装置1b---第二摄象装置2a---第一摄象位置探测装置2b---第二摄象位置探测装置
3---平面投影部分4---三维投影模型确定部分5---三维投影模型投影部分6---虚拟摄象装置摄象位置确定部分7---虚拟摄象装置22---汽车行驶方向探测部分80---显示数据转换控制装置81---显示装置82---探测装置83---警告装置图131a---第一摄象装置1b---第二摄象装置2a---第一摄象位置探测装置2b---第二摄象位置探测装置3---平面投影部分4---三维投影模型确定部分5---三维投影模型投影部分6---虚拟摄象装置摄象位置确定部分7---虚拟摄象装置84---影像探测装置85---识别装置86---比较/确认装置图14现有技术a---汽车保险杠
权利要求
1.一种图像合成装置包括多个摄象装置；用来探测所述摄象装置的摄象位置的摄象位置探测装置，所述摄象位置包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据由摄象位置探测装置探测的摄象位置将由摄象装置获取的多个影像投影到所述平面以形成多个第一投影影像的第一投影装置，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到三维投影模型上来产生第二投影影像的第二投影装置；用来虚拟摄象第二投影影像的虚拟摄象装置；用来确定三维模型位置和形状的三维投影模型确定装置；用来确定所述虚拟摄象装置的摄象位置的摄象位置确定装置；在由所述摄象位置确定装置确定的摄象位置，由所述虚拟摄象装置获取所述第二投影影像以合成由所述多个摄象装置所获得的多个影像。
2.如权利要求
1所述的图像合成装置，其特征在于所述摄象位置探测装置还会事先探测到所述摄象装置相对于投影部分的至少一个位置、姿势和摄象特征。
3.如权利要求
1所述的图像合成装置，其特征在于所述第一投影装置通过使用变换矩阵将所述摄象装置所获得的影像上的点投影到所述投影部分，变换矩阵是将所获得的影像上多个点与所述投影部分上多个点相结合得到的。
4.如权利要求
1所述的图像合成装置，其特征在于所述投影部分基本上是一个平面。
5.如权利要求
1所述的图像合成装置，其特征在于所述三维投影模型是球面。
6.如权利要求
1所述的图像合成装置，其特征在于所述三维投影模型是多个不同形状的表面合成的。
7.如权利要求
6所述的图像合成装置，其特征在于所述三维投影模型是圆柱面与平面合成的，当所述第二投影装置向所述三维投影模型投影的时候，所述虚拟摄象装置所获得的投影影像上远处投影到所述圆柱面上，其他位置投影到所述平面上。
8.如权利要求
6所述的图像合成装置，其特征在于所述不同形状表面被合成使结合处不突出。
9.如权利要求
6所述的图像合成装置，其特征在于所述三维投影模型是圆柱面与球面合成的，当所述第二投影装置向所述三维投影模型投影的时候，所述虚拟摄象装置所获得的投影影像上远处投影到所述圆柱面上，其他位置投影到所述球面上，所述虚拟摄象装置获取投影影像。
10.如权利要求
8所述的图像合成装置，其特征在于所述三维投影模型是圆柱面、平面和曲面合成的，所述圆柱面和平面间的边界很光滑。
11.如权利要求
1所述的图像合成装置，其特征在于所述摄象装置获得影像上的线段在合成图像上转化成直线。
12.如权利要求
1所述的图像合成装置，其特征在于所述多个摄象装置是设置在汽车上，还有一个汽车行驶方向探测装置来探测汽车的行驶方向。
13.如权利要求
12所述的图像合成装置，其特征在于所述虚拟摄象装置的视点是在通过所述第二投影装置投影中心的直线上直线平行于汽车行驶方向。
14.如权利要求
12所述的图像合成装置，其特征在于表示所述汽车行驶方向的线段在合成图像上转化成直线。
15.如权利要求
1所述的图像合成装置，其特征在于还包括汽车车身位置探测装置，用于探测汽车的车身位置，其中所述多个摄象装置设置在汽车上。
16.如权利要求
15所述的图像合成装置，其特征在于虚拟摄象装置的视点是位于一平面内，该平面通过所述车身后部平面投影所获得的影像并通过所述第二投影装置的投影中心。
17.如权利要求
11所述的图像合成装置，其特征在于所述摄象装置设置在车身后部，所述车身后部在合成图像上转化成直线。
18.如权利要求
11所述的图像合成装置，其特征在于所述摄象装置设置在车身侧面，所述车身侧面在合成图像上转化成直线。
19.如权利要求
1所述的图像合成装置，其特征在于所述摄象装置设置在汽车侧面以摄取靠近所述汽车所行驶道路的道路的中心线，并且所述虚拟摄像装置在合成图像上将所述中心线转化成直线。
20.如权利要求
1所述的图像合成装置，其特征在于所述摄象装置设置在汽车后部以摄取垂直于所述汽车所行驶道路的道路的中心线，并且所述虚拟摄像装置在合成图像上将所述中心线转化成直线。
21.如权利要求
1所述的图像合成装置，其特征在于所述虚拟装置设置在汽车前部以摄取垂直于所述汽车所行驶道路的道路的中心线，并且所述虚拟摄像装置在合成图像上将所述中心线转化成直线。
22.一种图像合成装置包括多个摄象装置；用来探测摄象装置的摄象位置的摄象位置探测装置，所述摄象位置包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据由摄象位置探测装置探测的摄象位置将由摄象装置获取的多个影像投影到所述平面以形成多个第一投影影像的第一投影装置，其中分别位于各个第一投影影像并表示平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到一个球面上形成第二投影影像的第二投影装置；将第二投影影像在过球面上一点的第二平面上展开的转换装置。
23.一种图像合成方法包括由多个摄象装置获取多个影像的摄象步骤；摄象位置探测步骤，用于探测摄象步骤中的摄象位置，从而在所述摄象位置中包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据在摄象位置探测步骤中探测的摄象位置将所获取的影像投影到所述平面以形成多个第一投影影像的第一投影步骤，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到三维投影模型上来产生第二投影影像的第二投影步骤；用来虚拟摄象第二投影影像的虚拟摄象步骤；用来确定三维模型位置和形状的三维投影模型确定步骤；用来确定所述虚拟摄象步骤中摄象位置的摄象位置确定步骤；在由所述摄象位置确定步骤确定的摄象位置，在所述虚拟摄象步骤中获取所述第二投影影像以合成在所述摄象步骤中获得的多个影像。
24.如权利要求
23所述的图像合成方法，其特征在于还包括以下步骤将对汽车行驶方向进行探测的信号信息从汽车行驶方向探测装置发送到用于所述摄象位置确定步骤的摄象位置确定装置。
25.如权利要求
23所述的图像合成方法，其特征在于还包括以下步骤将探测车身位置的信号信息从车身位置探测装置发送到用于所述摄象位置确定步骤的摄象位置确定装置。
26.一种图像合成方法包括由多个摄象装置获取多个影像的摄象步骤；探测摄象步骤中摄象位置的摄象位置探测步骤，以在所述摄象位置中包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据在摄象位置探测步骤中探测的摄象位置将在摄象步骤中获取的影像投影到所述平面以形成多个第一投影影像的第一投影步骤，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到一个球面上形成第二投影影像的第二投影步骤；将第二投影影像在过球面上一点的第二平面上展开的平面伸展步骤，从而将在平面伸展步骤中获得多个影像合成以产生合成图像；以及确定所述球面的位置的球面位置确定步骤。
27.一种图像显示装置包括多个摄象装置；用来探测所述摄象装置的摄象位置的摄象位置探测装置，所述摄象位置包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据由摄象位置探测装置探测的摄象位置将由摄象装置获取的多个影像投影到所述平面以形成多个第一投影影像的第一投影装置，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到三维投影模型上来产生第二投影影像的第二投影装置；用来虚拟摄象第二投影影像的虚拟摄象装置；用来确定三维模型位置和形状的三维投影模型确定装置；用来探测所述虚拟摄象装置的摄象位置的摄象位置探测装置；显示影像的显示装置；用来将所要显示的影像转换成适用于显示装置的数据的显示数据转换控制装置，在由所述摄象位置确定装置确定的摄象位置，由所述虚拟摄象装置获取所述第二投影影像以产生合成影像，并且所述合成影像由显示数据转换控制装置转换成适用于显示装置的数据。
28.一种图像获取/警告装置包括多个摄象装置；用来探测摄象装置的摄象位置的摄象位置探测装置，所述摄象位置包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据由摄象位置探测装置探测的摄象位置将由摄象装置获取的多个影像投影到所述平面以形成多个第一投影影像的第一投影装置，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到三维投影模型上来产生第二投影影像的第二投影装置；用来虚拟摄象第二投影影像的虚拟摄象装置；用来确定三维模型位置和形状的三维投影模型确定装置；用来探测所述虚拟摄象装置的摄象位置的摄象位置探测装置；用来探测物体接近位置的探测装置；以及当探测装置探测到的物体接近位置到达预定物体接近位置就会发出报警信息的警告装置。
29.一种汽车位置识别/确认装置包括多个摄象装置；用来探测摄象装置的摄象位置的摄象位置探测装置，所述摄象位置包括平面和每一摄象装置之间的位置关系以及位于该平面上预定位置的多个观察点；用来根据由摄象位置探测装置探测的摄象位置将由摄象装置获取的多个影像投影到所述平面以形成多个第一投影影像的第一投影装置，其中分别位于各个第一投影影像并对应平面上一个观察点的多个影像点对于每一观察点分别相互重合；将多个第一投影影像投影到三维投影模型上来产生第二投影影像的第二投影装置；用来虚拟摄象第二投影影像的虚拟摄象装置；用来确定三维模型位置和形状的三维投影模型确定装置；用来探测所述虚拟摄象装置的摄象位置的摄象位置探测装置；影像探测装置，用于当多个摄象装置中的至少一个是设置在车身后部的后部摄象装置时，探测由后部摄象装置获取的影像、通过将所获取影像投影到三维投影模型所获得的影像或通过在虚拟摄象装置中合成所获取的影像而获得的合成图像中的任意物体影像；用来识别影像探测装置所获得的影像和汽车影像之间位置关系的识别装置；用来在所述识别装置所识别的位置关系的基础上判断在所述汽车和所述物体之间位置偏差的判断装置。
专利摘要
一种用来合成从多个摄象装置中获取的影像的图像合成装置。在本装置中，第一投影部件将摄象装置所获得的多个影像投影到根据摄象位置的投影部分上，以生成多个第一投影影像，第二投影部件将第一投影影像投影到三维投影模型上以生成第二投影影像。在本装置中还有用来虚拟摄象第二投影影像的虚拟摄象装置，还有用来确定虚拟摄象装置摄象位置的摄象位置确定装置，在虚拟摄象位置确定装置所确定的摄象位置由虚拟摄象装置获取的第二投影影像被用来与多个摄象装置获取的影像合成，这样就可以生成高质量的合成图像。这种装置就可以提供在不同影像结合处没有突出的天然合成图像。此外，当设置在汽车上时，本装置可以很容易掌握周围情况以及汽车相对于别的物体的位置关系。
文档编号G06T19/00GKCN1212724SQ01124844
公开日2005年7月27日 申请日期2001年7月6日
发明者冈田毅, 饭田亮介, 西泽真人, 恩田胜政, 三轮道雄 申请人:松下电器产业株式会社导出引文BiBTeX, EndNote, RefMan