专利名称：多摄像机图像校正方法和设备的制作方法
技术领域：
本发明实施例涉及图像技术，尤其涉及一种多摄像机图像校正方法和设备。
背景技术：
在远程会议系统中，例如Tekpresence系统，需要多台摄像机从多角度呈现会场画面，以使与会者能够感觉处于相同的会议地点，从而确保不同会议地点的感受一致性。图1为现有技术中会议室系统的布局示意图，如图1所示，本系统可以采用三台平板显示器1、2和3，这三台显示器用于呈现接近真人大小尺寸的高清画面。三台显示器以折面的方式放置，其中，中间的显示器2和两边的显示器1和3紧靠在一起，三台显示器的图像构成了会议室场景的一个完整呈现。在中间的显示器2的位置，设置有3台高清摄像机4、5和6。这三台摄像机以汇聚方式设置。通过对三台摄像机的位置进行调节，可以使每个摄像机的拍摄范围正好覆盖会议桌的一个区域。例如，摄像机4对应座位14，15的区域，摄像机5对应座位16，17的区域，摄像机6对应座位18，19的区域，因此，三台摄像机采集的3幅图像近似拼接成会议室场景的全景图像。由此可知，只有在每两台摄像机拍摄角相交的地方才能获得可以无缝拼接的图像，相交点之前的区域为摄像机无法拍到的缺失区域，而相交点之后的区域为重叠区域。为了使三台摄像机拍摄的图像在几何位置上和颜色亮度上具有一致，需要对三台摄像机拍摄的图像进行几何校正和颜色校正。对于有较大重叠区域的情况来说，现有技术可以在重叠区域放置模板或检测重叠区域中已有特征物的几何特征点来进行图像的几何校正和颜色校正。对于没有重叠区域或者重叠区域很小的情况来说，现有技术则只能采用手动方式调整摄像机的机械位置和摄像机的亮度/颜色参数来进行图像的几何校正和颜色校正。对于后者，维护人员必须现场调整，因此调整效率较低， 且很难保证几何校正精度和颜色校正精度。
发明内容
本发明实施例提供一种多摄像机图像校正方法和设备。本发明实施例提供一种多摄像机图像校正方法，包括获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息；根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数；根据所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。本发明实施例提供一种多摄像机图像校正设备，包括获取模块，用于获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息；根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数；处理模块，用于根据所述获取模块获取的图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。本发明实施例中，对于没有重叠区域或者重叠区域很小的情况来说，并不需要采用手动方式调整摄像机的机械位置和调节摄像机的亮度/颜色参数来进行图像的几何校正和颜色校正，而是通过图像数据采集和校正等图像处理方法对摄像机拍摄的图像进行离线和在线处理。因此，本发明实施例节约了维护人员的劳动力，调整效率较高，并且可以远程维护。此外，通过数据处理方式对图像进行校正，有效保证了对图像进行校正的精度。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为现有技术中会议室系统的布局示意图；图2为本发明多摄像机图像校正方法实施例一的流程图；图3为本发明多摄像机图像校正方法实施例二的流程图；图4为应用图3所示方法实施例二进行图像校正之前的示意图；图5为应用图3所示方法实施例二进行图像校正之后的示意图；图6为本发明多摄像机图像校正方法实施例三的流程图；图7为图6所示方法实施例三中多个摄像机校正时的场景示意图；图8为图6所示方法实施例三中单个摄像机内部校正时的场景示意图；图9为在图8所示场景下单个摄像机内部的校正图像示意图；图10为在图7所示场景下多个摄像机之间的校正图像示意图；图11为在图7所示场景下多个摄像机之间校正的颜色分量值的分级曲线和目标曲线的一种示意图；图12为在图7所示场景下多个摄像机之间校正的颜色分量值的分级曲线和目标曲线的另一种示意图；图13为本发明多摄像机图像校正设备实施例一的结构示意图；图14为本发明多摄像机图像校正设备实施例二的结构示意图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图2为本发明多摄像机图像校正方法实施例一的流程图，如图2所示，对于没有重叠区域或者重叠区域很小的情况来说，本实施例可以采用图像处理设备对各摄像机拍摄的图像进行校正处理。具体来说，本实施例中的图像处理设备可以包括在线处理设备和离线处理设备。本实施例的方法可以包括步骤201、获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息。具体来说，离线处理设备可以向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息，从而获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息。因此，各摄像机采集到的图像之间没有重叠或者存在小范围重叠。本领域技术人员可以根据需要设定上述重叠区域重叠范围的阈值，例如该阈值可以取总区域的水平分辨率的5% 10%。步骤202、根据所述独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数。一般来说，图像校正处理可以包括图像的亮度颜色校正、几何校正以及后续的其它图像校正处理。因此，本实施例中的图像校正参数既可以是用于对图像进行亮度颜色校正的颜色校正参数，也可以是对图像进行几何校正的几何校正参数，还可以是其它图像校正参数，本实施例并不限定。在本实施例中，离线处理设备可以根据各摄像机采集的独立图像信息，获取与各摄像机分别对应的几何校正参数和/或颜色校正参数，获取的几何校正参数可以将相邻独立图像校正成几何位置上连续的图像，获取的颜色校正参数可以将相邻独立图像校正成颜色亮度上连续的图像。步骤203、根据所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。在离线处理设备获取图像校正参数后，在线处理设备即可根据图像校正参数，例如几何校正参数和/或颜色校正参数，对对应的摄像机的视频数据进行逐帧实时处理。需要说明的是，本发明各实施例中的离线处理设备和在线处理设备，都只是示例而非限定。在线处理设备的功能也可以通过离线处理设备来实现，反之亦然。本发明各实施例中对图像处理设备采用在线处理设备还是离线处理设备，是根据图像处理的实际要求的优化选择。例如，对于实时性要求较高的图像处理环节，优选的采用在线处理设备；而对于实时性要求较低而质量要求较高的图像处理环节，优选的采用离线处理设备。由于在线处理部分算法相对简单但对实时性要求很高，因此在线处理设备可以采用数字信号处理(Digital Signal Processing，以下简称DSP)，可编程逻辑器件 (Programable Logic Device，以下简称PLD)、现场可编程门阵列(Field Programable Gate Array,以下简称FPGA)或图形处理器(Graphic Processing Unit,以下简称GPU) 等方式实现；而离线部分对实时性没有要求，但是算法复杂，因此离线处理设备比较适合采用基于CPU的计算机进行实现。在线处理设备和离线处理设备只是逻辑上的实体，两者可以在物理上分属不同的设备，之间通过数据传输接口进行通信，例如数据传输接口可以采用以太网，USB等接口方式，传输协议可以采用文件传输协议(File Transfer Protocol，以下简称FTP)、超文本传输协议(HyperText Transfer Protocol,以下简称HTTP)、自定义传输控制协议 / 网间网协议(Transmission Control Protocol/Internet Protocol，以下简称TCP/UDP)或是USB协议等；两者也可以位于同一物理设备中，例如采用PC作为在线处理设备和离线处理设备，CPU作为离线设备计算参数，采用GPU作为在线处理设备进行实时的图像处理。本实施例中，对于没有重叠区域或者重叠区域很小的情况来说，并不需要采用手动方式调整摄像机的机械位置和调节摄像机的亮度/颜色参数来进行图像的几何校正和颜色校正，而是通过图像数据采集和校正等图像处理方法对摄像机拍摄的图像进行离线和在线处理。因此，本实施例节约了维护人员的劳动力，调整效率较高，并且可以远程维护。此外，通过数据处理方式对图像进行校正，有效保证了对图像进行校正的精度。下面分别针对几何校正和颜色校正的处理过程对本发明的技术方案进行详细说明。图3为本发明多摄像机图像校正方法实施例二的流程图，如图3所示，本实施例可以对多摄像机拍摄的图像进行几何校正处理，本实施例的方法可以包括步骤301、向各摄像机发送位置调节指令，以使各摄像机之间相互对齐。在Tekpresence系统中，几何校正处理过程用于解决多个摄像机图像在几何位置上的拼接对齐问题，保证多个摄像机图像在几何位置上的连续一致性。多摄像机的几何校正可以分为两个阶段粗略校正阶段和精确校正阶段。步骤 301即为粗略校正阶段。在步骤301中，通过向多个摄像机发送调节指令，使得多个摄像机在垂直方向、水平方向上的位置达到粗略对齐。摄像机的调节可以是对摄像机的定位螺丝或是云台等进行的全方位移动及镜头变倍、变焦控制。在调节时，可以先选择一个基准摄像机，例如中间的摄像机，调整基准摄像机使之达到理想效果，然后再调节其余的摄像机，使之与基准摄像机近似对齐。需要说明的是，步骤301也可以省略。例如通过固定摄像机的位置确定摄像机之间的几何关系，从而不需要进行摄像机的结构位置调节。由于不能进行摄像机位置调节，因此要求固定摄像机机的位置精度在下一步精确校正的可调范围内。步骤302、向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息。步骤303、对各独立图像信息进行联合校正处理，获取与各独立图像信息分别对应且相邻图像连续的各校正图像信息，并根据各校正图像信息和对应的独立图像信息获取各几何校正参数。所谓联合校正处理，即为从各独立图像信息中选择一幅图像作为基准图像信息， 并对该基准图像信息进行校正处理；以该校正处理后的基准图像信息为参考图像信息，对其余各独立图像信息进行校正处理。在步骤301进行粗略校正后，步骤302和步骤303即为精确几何校正，其通过图像变形的方法使多个摄像机的图像达到精确对齐。几何变换操作包括平移、旋转、缩放、透视寸。举例来说，离线处理设备可以命令各摄像机分别采集一帧图像，每帧图像对应于需要校正的一台摄像机。图像采集命令可以通过网络发送，并且通过网络传输得到采集的独立图像信息。离线处理设备可以根据采集的独立图像信息进行联合校正处理。在进行联合校正处理的具体操作时，离线处理设备可以选择一个摄像机的图像作为基准，先将基准图像校正好，然后再对其它图像进行校正，使其它图像和基准图像对齐， 最后获得一个在视觉上连续一致的宽视角图像。图4为应用图3所示方法实施例二进行图像校正之前的示意图，图5为应用图3所示方法实施例二进行图像校正之后的示意图，如图4和5所示，取中间的图像Ib为基准，从
8中间图像的桌面边沿可以看出，中间图像Ib存在一个小角度的旋转，导致整体图像倾斜， 因此离线处理设备可以做一个反旋转使桌面边沿变为水平，中间图像校正后的图像如2b 所示。基准图像变换完成后，离线处理设备同样可以对左右图像Ia和Ic进行变换，通过旋转平移等变换操作使变换后图像加和2c中的桌面边沿与图像2b的桌面边沿对齐并且在几何上保持连续关系。在实际校正过程中，可以通过一些辅助手段协助离线处理设备更容易地作出如何对图像进行调整的判断，从而提高校正的速度和精度。例如在拍摄图像时可以在 Tel印resence场景中放置一些模板，如棋盘格，使摄像机各拍摄到该模板的一部分，这样在进行图像对齐时可以将模板作为参照物。另外在实现几何校正时，也可以提供一些测量功能用于衡量校正效果，例如提供距离检测功能用于测量多个图像中桌面边沿的对齐程度， 或是提供面积检测功能测量相对每个摄像机都处于相同位置的一个物体在图像中的大小是否相等，用以检测摄像机的焦距设置是否相同等。离线处理设备可以采用不同的校正参数对各摄像机的独立图像信息进行校正，例如旋转变换等，直到达到满意程度为止，然后离线处理设备即可得到各独立图像信息的几何校正参数。该几何校正参数即为用于在线处理设备进行逐帧的图像变换所需的参数。步骤304、根据所述几何校正参数，对与该几何校正参数对应的摄像机的视频数据进行校正处理。在线处理设备在接收到几何校正参数后，即可与该几何校正参数对应的摄像机的视频数据进行校正处理。为了更加清楚地说明联合校正处理的过程，本实施例提供一种图像变换的具体实现方式。根据射影几何原理，空间中的三维点投影到摄像机成像平面上的变换关系为
权利要求
1.一种多摄像机图像校正方法，其特征在于，包括获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息； 根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数；根据所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。
2.根据权利要求1所述的方法，其特征在于，所述获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息，包括向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息；所述根据所述独立图像信息，获取与各摄像机分别对应的图像校正参数，包括 根据所述独立图像信息，获取与各摄像机分别对应的几何校正参数和/或颜色校正参数；所述根据所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理，包括根据所述几何校正参数和/或颜色校正参数，对对应的摄像机的视频数据进行校正处理。
3.根据权利要求2所述的方法，其特征在于，根据所述独立图像信息，获取与各摄像机分别对应的几何校正参数，包括对各独立图像信息进行联合校正处理，获取与各独立图像信息分别对应且相邻图像连续的各校正图像信息，并根据各校正图像信息和对应的独立图像信息获取各几何校正参数。
4.根据权利要求3所述的方法，其特征在于，所述对各独立图像信息进行联合校正处理，包括从各独立图像信息中选择一幅图像作为基准图像信息，并对该基准图像信息进行校正处理；以该校正处理后的基准图像信息为参考图像信息，对其余各独立图像信息进行校正处理。
5.根据权利要求4所述的方法，其特征在于，所述向各摄像机的图像采集系统发送采集命令之前，还包括向各摄像机发送位置调节指令，以使各摄像机之间相互对齐。
6.根据权利要求2所述的方法，其特征在于，向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息，包括向各摄像机的图像采集系统发送拍摄模板图像的采集命令，并接收各摄像机采集并发送的多个曝光时间下的模板图像信息；根据所述独立图像信息，获取与各摄像机分别对应的颜色校正参数，包括根据所述多个曝光时间下的模板图像信息，获取与各摄像机分别对应的颜色校正参数。
7.根据权利要求6所述的方法，其特征在于，所述根据所述多个曝光时间下的模板图像信息，获取与各摄像机分别对应的颜色校正参数，包括根据所述多个曝光时间下的模板图像信息，获取各摄像机之间相邻的每个图像区域在各曝光时间下的颜色分量值的分级；对每个图像区域在各曝光时间下的像素颜色分量值的分级进行插值处理，获取各摄像机在各曝光时间下的像素颜色分量值的分级曲线；根据目标曲线和像素颜色分量值的分级曲线，获取各摄像机的颜色亮度校正参数。
8.根据权利要求6所述的方法，其特征在于，所述根据所述多个曝光时间下的模板图像信息，获取与各摄像机分别对应的颜色校正参数，包括根据所述多个曝光时间下的模板图像信息，获取每个摄像机内部多个图像分区之间相邻的图像区域在各曝光时间下的颜色分量值的分级；对每个图像区域在各曝光时间下的颜色分量值的分级进行插值处理，获取各图像分区在各曝光时间下的颜色分量值的分级曲线；根据目标曲线和颜色分量值的分级曲线，获取每个摄像机内部各图像分区的颜色校正参数。
9.根据权利要求7或8所述的方法，其特征在于，所述目标曲线包括所述颜色分量值的分级曲线中的任一条曲线、所述颜色分量值的分级曲线的平均曲线或者像素基准分布曲线。
10.根据权利要求6 8中任一项所述的方法，其特征在于，根据所述颜色校正参数，对对应的摄像机的视频数据进行校正处理，包括根据所述颜色校正参数确定颜色查找表，并根据所述颜色查找表对所述视频数据进行校正处理。
11.一种多摄像机图像校正设备，其特征在于，包括获取模块，用于获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息；根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数；处理模块，用于根据所述获取模块获取的图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。
12.根据权利要求11所述的设备，其特征在于，所述获取模块包括第一获取单元，用于向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息；第二获取单元，用于根据所述第一获取单元接收的独立图像信息，获取与各摄像机分别对应的几何校正参数和/或颜色校正参数；所述处理单元具体用于根据所述第二获取单元获取的几何校正参数和/或颜色校正参数，对对应的摄像机的视频数据进行校正处理。
13.根据权利要求12所述的设备，其特征在于，所述第二获取单元具体用于对各独立图像信息进行联合校正处理，获取与各独立图像信息分别对应且相邻图像连续的各校正图像信息，并根据各校正图像信息和对应的独立图像信息获取各几何校正参数。
14.根据权利要求12所述的设备，其特征在于，所述第一获取单元具体用于向各摄像机的图像采集系统发送拍摄模板图像的采集命令，并接收各摄像机采集并发送的多个曝光时间下的模板图像信息；所述第二获取单元具体用于根据所述多个曝光时间下的模板图像信息，获取各摄像机之间相邻的每个图像区域在各曝光时间下的颜色分量值的分级；对每个图像区域在各曝光时间下的像素颜色分量值的分级进行插值处理，获取各摄像机在各曝光时间下的像素颜色分量值的分级曲线；根据目标曲线和像素颜色分量值的分级曲线，获取各摄像机的颜色亮度校正参数；或者，具体用于根据所述多个曝光时间下的模板图像信息，获取每个摄像机内部多个图像分区之间相邻的图像区域在各曝光时间下的颜色分量值的分级；对每个图像区域在各曝光时间下的颜色分量值的分级进行插值处理，获取各图像分区在各曝光时间下的颜色分量值的分级曲线；根据目标曲线和颜色分量值的分级曲线，获取每个摄像机内部各图像分区的颜色校正参数。
全文摘要
本发明实施例提供一种多摄像机图像校正方法和设备。多摄像机图像校正方法，包括获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息；根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数；根据所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。本发明实施例，对于没有重叠区域或者重叠区域很小的情况来说，节约了维护人员的劳动力，调整效率较高，并且可以远程维护。此外，通过数据处理方式对图像进行校正，有效保证了对图像进行校正的精度。
文档编号G03B37/02GK102438153SQ201010500209
公开日2012年5月2日 申请日期2010年9月29日 优先权日2010年9月29日
发明者刘源, 王静, 赵光耀, 赵嵩 申请人:华为终端有限公司