多摄像头自动标定方法及系统、监控方法及系统与流程

本申请属于视频监控技术领域，特别涉及一种多摄像头自动标定方法及系统、多相机协同监控方法及系统。

背景技术：

随着经济环境、政治环境、社会环境的变化和日趋复杂，各行业对安防的需求不断增加，同时对于安防技术的应用性、灵活性、人性化也提出了更高的要求。视频监控系统作为最直接、最有效的的系统集成方案，近年来也成为了科研和工业领域最热门的研究方向。以摄像头为输入的安防解决方案近年来凭借其高性能、高便捷性、高稳定性等优良特点迅速占据了市场的有利位置。智能视频监控(ivs)通过分析摄像头传入的视频信号完成行人识别、车牌识别、人体检测等功能，依照识别出的内容做出进一步的思考和判断，并在此基础上采取行动，通过这一系列的流程我们就可以真正让视频监控代替人类去观察世界。

市场上成熟的ivs大都是基于单摄像头系统或是非级联式摄像头组来完成的，单摄像头提供了一种2d的画面，在信息处理的精确度上存在着一定的缺陷，同时不能很好的应对物体遮挡、多目标追踪等实际场景问题。所以，多摄像头协同模式成为了新的发展和研究热点。多摄像头协同，即通过多个摄像头之间信息的交互，融合多个摄像头端信息，为每个摄像头分配最合适当前环境的任务，协同完成系统总目标，可以解决单摄像头存在的视野狭窄、目标遮挡的问题，同时可以满足安放领域的一些其他需求。这种集成方式在当前的行人检测、目标跟踪、行人再识别的科学研究中有了比较好的效果，同时在智能安防系统中也慢慢占据了重要地位。

尽管多摄像头在信息处理和整合上具有很大的优势，但是精准的标定流程才能使得多摄像头系统正常工作，通常来讲摄像机标定主要包括传统相机标定方法、主动视觉摄像机标定方法以及摄像机自标定方法。

传统标定方法是要利用已知景物结构信息来进行标定，通常会涉及到复杂的标定过程和高精度的已知标定信息，需要专业人士进行复杂操作。并且，之后每更换一次相机组的位置，都需要进行一次重新标定的操作。

主动视觉相机标定的方法是已知某些相机的运动信息，通过运动方程求解的方式来获得标定结果，这种方法不能适用于摄像机运动未知和无法控制的场合。

摄像机自标定算法是依靠多幅图像之间的对应关系进行标定，这种方法仅仅需要建立图像之间的关系，从而完成相机标定；但是，这种方法属于非线性标定，鲁棒性不高。

技术实现要素：

为了解决上述技术问题至少之一，本申请提供了一种多摄像头自动标定方法及系统、多相机协同监控方法及系统。

第一方面，本申请公开了一种多摄像头自动标定方法，包括如下步骤：

获取指定区域的第一图像信息；

根据所述第一图像信息构建所述指定区域的视觉地图；

获取多个待标定摄像头所捕获的多个第二图像信息，并将多个所述第二图像信息逐一与所述视觉地图进行特征点匹配；

根据匹配结果逐一获得每个所述待标定摄像头的位姿信息和预定参数信息，再根据所述位姿信息和预定参数信息逐一对每个所述待标定摄像头进行标定。

根据本申请的至少一个实施方式，所述第一图像信息包括视频帧数据和每个图像帧所对应的初始摄像机位姿，其中

根据所述第一图像信息构建所述指定区域的视觉地图，包括：

按照所述视频帧数据的采集时间线，依次将全部的图像帧的3d点云进行叠加，生成所述指定区域的初步3d模型；

按照所述视频帧数据的采集时间线，抽取每个图像帧中的2d特征点，将所有图像帧之间进行特征点匹配，生成所有图像帧的3d结构；

将所述3d结构映射到所述初步3d模型上，从而生成所述视觉地图。

根据本申请的至少一个实施方式，所述的多摄像头自动标定方法还包括：

将得到的所述视觉地图进行实时传输；和/或；

获取所述待标定摄像头完成标定后的信息，并将所述信息同步至所述视觉地图，再将同步后的所述视觉地图进行实时传输。

根据本申请的至少一个实施方式，将多个所述第二图像信息逐一与所述视觉地图进行特征点匹配，包括：

将所述第二图像信息中的2d特征点和3d视觉地图中对应点云的特征点进行匹配。

第二方面，本申请公开了一种多摄像头自动标定系统，包括：

初始摄像机，用于获取指定区域的第一图像信息；

视觉地图构建模块，用于根据所述第一图像信息构建所述指定区域的视觉地图；

特征点匹配模块，用于获取多个待标定摄像头所捕获的多个第二图像信息，并将多个所述第二图像信息逐一与所述视觉地图进行特征点匹配；

标定模块，用于根据匹配结果逐一获得每个所述待标定摄像头的位姿信息和预定参数信息，再根据所述位姿信息和预定参数信息逐一对每个所述待标定摄像头进行标定。

根据本申请的至少一个实施方式，所述初始摄像机为rgbd相机，且具备视觉slam功能，其中

所述第一图像信息包括视频帧数据和每个图像帧所对应的初始摄像机位姿。

根据本申请的至少一个实施方式，所述视觉地图构建模块包括：

初步3d模型构建单元，用于按照所述视频帧数据的采集时间线，依次将全部的图像帧的3d点云进行叠加，生成所述指定区域的初步3d模型；

3d结构生成单元，用于按照所述视频帧数据的采集时间线，抽取每个图像帧中的2d特征点，将所有图像帧之间进行特征点匹配，生成所有图像帧的3d结构；以及

视觉地图生成单元，用于将所述3d结构映射到所述初步3d模型上，从而生成所述视觉地图。

根据本申请的至少一个实施方式，所述视觉地图构建模块还用于获取所述待标定摄像头完成标定后的信息，并将所述信息同步至所述视觉地图；其中

所述多摄像头自动标定系统还包括：

可视化单元，用于根据所述视觉地图构建模块实时传输的视觉地图信息，对所述视觉地图进行实时显示。

第三方面，本申请公开了一种多相机协同监控方法，包括如下步骤：

通过上述第一方面任一项所述的多摄像头自动标定方法对指定区域内的每个相机进行标定；

通过完成标定后的多个相机捕获所述指定区域的多个第三图像信息；

根据多个所述第三图像信息进行目标检测处理和/或多目标追踪处理和/或行人重识别处理；

将处理结果在多摄像头自动标定步骤中得到的视觉地图中进行3d形态的动态展示。

第四方面，本申请公开了一种多相机协同监控系统，包括：

多摄像头标定系统，所述多摄像头标定系统采用上述第二方面任一项所述的多摄像头标定系统，用于对指定区域内的每个相机进行标定；

多个相机，用于在完成标定后的捕获所述指定区域的多个第三图像信息；

监控处理模块，用于根据多个所述第三图像信息进行目标检测处理和/或多目标追踪处理和/或行人重识别处理；

显示模块，用于将处理结果在视觉地图中进行3d形态的动态展示，其中，所述视觉地图由所述多摄像头标定系统对指定区域内的每个相机进行标定时生成。

本申请至少存在以下有益技术效果：

本申请的多摄像头自动标定方法及系统、多相机协同监控方法及系统中，通过生成指定区域3d模型，再根据已有的模型进行待标定摄像头标定，解决现有的摄像机标定方法存在的复杂性高、普适性低等缺点，实现了一种只需操作单个摄像机就可以完成的半自动化的多摄像机自标定方式；同时，经过标定的多摄像机协作模式可以更好的实现一系列智能分析处理的过程，给出3d的分析信息。

附图说明

图1是本申请多摄像头自动标定方法的一优选实施例的流程图；

图2是本申请多摄像头自动标定方法中的视觉地图构建方法的一优选实施例的流程图；

图3是本申请多摄像头自动标定系统的一优选实施例的框架图；

图4是本申请多摄像头自动标定系统中的视觉地图构建模块的一优选实施例的框架图；

图5是本申请多相机协同监控方法的一优选实施例的流程图；

图6是本申请多相机协同监控系统的一优选实施例的框架图。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。

在正式对本申请的各方法和系统进行描述之前，先对涉及到的行业内的一些专用术语、专用英文缩略语进行英文全文、中文全文解释，具体如下：

1)slam

slam(simultaneouslocalizationandmapping)，即时定位与地图构建。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图，所谓完全的地图(aconsistentmap)是指不受障碍行进到房间可进入的每个角落。slam要求实时性。

2)visualslam

视觉slam，基于图像匹配算法的slam技术。

3)sfm

sfm(structurefrommotion)，即运动恢复结构是一种通过分析图像序列得到相机参数并进行三维重建的技术。sfm不要求实时性，可以离线处理。

4)3d地图

slam或sfm将二位相机图片中的特征点投射到三维空间，生成3d的点云地图。这些3d点云是做相机定位的关键信息。

5)相机标定

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。

6)智能视频监控

智能视频监控(ivsintelligentvideosurveillance)是采用图像处理、模式识别和计算机视觉技术，通过在监控系统中增加智能视频分析模块，借助计算机强大的数据处理能力过滤掉视频画面无用的或干扰信息、自动识别不同物体，分析抽取视频源中关键有用信息，快速准确的定位事故现场，判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其它动作，从而有效进行事前预警，事中处理，事后及时取证的全自动、全天候、实时监控的智能系统。

下面将结合附图1-图6对本申请的多摄像头自动标定方法及系统、多相机协同监控方法及系统进一步详细说明。

由背景技术部分的论述可知，在智能监控系统中，多摄像头模式可以带来安防效果的大幅度提升；但是，如何完成多摄像机协作、如何完成标定成为了这项任务中的重点难点，因此使用slam/sfm的思路，去完成精确快速的半自动化相机标定，是本申请的重点。

第一方面，如图1所示，本申请公开了一种多摄像头自动标定方法，包括如下步骤：

步骤s11、获取指定区域的第一图像信息。

其中，指定区域可以根据用户需要选择为多种适合的场景区域，例如用户室内的客厅、办公区前台、学校教室等区域。

进一步地，在本步骤s11中，指定区域的第一图像信息的捕获可以通过多种适合的扫描采集装置；本实施例中，定义扫描采集装置为初始摄像机，需要说明的是，该初始摄像机可以独立于后续的待标定摄像头而存在，当然，在一些情况下，也可以将待标定摄像头作为初始摄像机进行使用。

进一步，本实施例中，优选扫描采集装置是rgbd(即具有彩色+深度模式)相机，其具体可以是双目相机、tof(timeoflight)或结构光与rgb组成的模组等等；并且，扫描采集装置具备visualslam功能。采用rgbd相机的好处是，rgbd相机可以生成3d点云，同时将rgb纹理与点云对应，从而提高模型的精度。如果只采用rgb相机，模型的精度和点云密度会大大降低。

进一步地，通过初始摄像机对定区域的拍摄(或叫扫描)是一个持续过程，可以采用多种适合的拍摄方式；本实施例中，优选为用户手动模式和机器人自动模式。

用户手动模式是用户手持rgbd相机进行扫描；同时，还可以设置一个可视化设备(手机、电脑、vr眼镜等)，实时显示当前已经建立模型，从而帮助用户更方便地完成扫描过程。

机器人自动建模是采用相应的家用机器人、无人机等具有自主移动能力的摄像头，通过slam+自主导航算法(扫描路径规划)，自动完成全屋扫描。

步骤s12、根据第一图像信息构建指定区域的视觉地图(3d地图)。

其中，视觉地图的构建可以采用目前已知的多种适合的方式。本实施例中，如上所述，初始摄像机为rgbd相机，且具备visualslam功能，通过初始摄像机进行采集时，可以记录初始摄像机的移动轨迹和初始摄像机的实时位姿；具体地，使得采集到的第一图像信息中包括视频帧数据和每个图像帧所对应的初始摄像机位姿。

基于此，如图2所示，本实施例中，上述步骤s12具体可以分为：

步骤s121、按照视频帧数据的采集时间线，依次将全部的图像帧的3d点云进行叠加，经过预定的优化和网格化方法处理，就能实时的生成指定区域的初步的3d模型。

步骤s122、同样按照上述视频帧数据的采集时间线，抽取每个图像帧中的2d特征点(featurepoint)，进一步优选采用sfm的技术，将所有2d图像帧之间进行特征点匹配，生成所有图像帧的3d结构。

步骤s123、将3d结构映射到初步3d模型上，从而生成视觉地图。其中，选用的对应算法会对所有点云做全局优化，以保证最佳的映射效果。

上述步骤s122-步骤s123的过程，相当于是将2d图像纹理映射到3d点云上的过程，因此可以生成带纹理的全屋模型。另外，2d图像上的特征点也和空间中3d点有了映射关系，所以可以生成视觉地图。其中，视觉地图是由特征点的3d坐标和2d图像特征和对应相机位姿构成，用于后续的相机标定。

还需要说明的是，上述视觉地图生成过程可以是离线，也可以是在线，取决于服务器(处理器)计算能力，服务器可以部署在云端，也可以部署在本地(如家用pc，甚至也可以是机器人、手机等具有足够算力的设备)。并且，本申请并不限定具体的sfm算法、关键点算法和映射优化算法。

步骤s13、获取多个待标定摄像头所捕获的多个第二图像信息，并将多个第二图像信息逐一与视觉地图进行特征点匹配。

具体地，本实施例中，用户可以自如安防多个待标定摄像头，在上述获取到室内3d视觉地图之后，通过每个待标定摄像头之中获取的每个第二图像信息的2d特征点和3d视觉地图中对应点云的特征点进行匹配(又叫关键点匹配)。

步骤s14、根据匹配结果逐一获得每个待标定摄像头的位姿信息和预定参数信息，再根据位姿信息和预定参数信息逐一对每个待标定摄像头进行标定。

在本步骤s14中进行关键点匹配之后，能够获得拍摄该特征图片(即第二图像)所对应摄像机(即待标定摄像头)的位姿，之后调整待标定摄像机的参数，即可完成摄像机的标定。

上述步骤s13-步骤s14相当于相机自标定过程，整个过程是全自动的。另外，待标定摄像头的位置可以更新到3d视觉地图中，并在3d可视化模型中显示相机的视场范围。

进一步地，本申请的多摄像头自动标定方法中，构建完成视觉地图后，还可以包括：

步骤s15、将得到的视觉地图进行实时传输；和/或；

获取待标定摄像头完成标定后的信息，并将信息同步至视觉地图，再将同步后的视觉地图进行实时传输。

需要说明的是，本步骤s15并不限定其一定在哪一步骤之后；其可以紧随步骤s12，即将得到的视觉地图进行实时传输；另外，其也可以是紧随步骤s14，即将同步处理后的视觉地图进行实时传输。具体地，视觉地图可以传输至对应可视化设备上，例如手机、电脑、vr眼镜等。

本申请的多摄像头自动标定方法中，支持待标定摄像头完成实时动态标定，对应一些具有移动云台的相机，或者自主移动的摄像头(机器人等)，可以实时完成标定，将相机的平面图像直接投射到三维模型上。因此，在使用过程中，待标定摄像头可以把标定好的信息同步到视觉地图当中，以适应室内环境的变化。

综上所述，本申请的多摄像头自动标定方法，通过生成指定区域3d模型，再根据已有的模型进行待标定摄像头标定，解决现有的摄像机标定方法存在的复杂性高、普适性低等缺点，实现了一种只需操作单个摄像机就可以完成的半自动化的多摄像机自标定方式。

第二方面，如图3所示，本申请公开了一种多摄像头自动标定系统，可以包括初始摄像机21、视觉地图构建模块22、特征点匹配模块23、标定模块24等部分。

初始摄像机21，用于获取指定区域的第一图像信息。其中，初始摄像机21的类型、拍摄方式等，可以参见上述第一方面的多摄像头自动标定方法中关于扫描采集装置的陈述，此处不再赘述。

视觉地图构建模块22，用于根据第一图像信息构建指定区域的视觉地图。

同样地，由于初始摄像机为rgbd相机，且具备视觉slam功能，使得第一图像信息包括视频帧数据和每个图像帧所对应的初始摄像机位姿；因此，如图4所示，本实施例中，视觉地图构建模块22具体又可以包括初步3d模型构建单元221、3d结构生成单元222以及视觉地图生成单元223。

初步3d模型构建单元221，用于按照视频帧数据的采集时间线，依次将全部的图像帧的3d点云进行叠加，生成指定区域的初步3d模型。

3d结构生成单元222，用于按照视频帧数据的采集时间线，抽取每个图像帧中的2d特征点，将所有图像帧之间进行特征点匹配，生成所有图像帧的3d结构。

视觉地图生成单元223，用于将3d结构映射到初步3d模型上，从而生成视觉地图。

特征点匹配模块23，用于获取多个待标定摄像头所捕获的多个第二图像信息，并将多个第二图像信息逐一与视觉地图进行特征点匹配。

标定模块24，用于根据匹配结果逐一获得每个待标定摄像头的位姿信息和预定参数信息，再根据位姿信息和预定参数信息逐一对每个待标定摄像头进行标定。

进一步地，上述视觉地图构建模块22还能够用于获取待标定摄像头完成标定后的信息，并将信息同步至视觉地图，最后再将同步后的视觉地图进行传输。

其中，本申请的多摄像头自动标定系统进一步还包括可视化单元25，用于根据视觉地图构建模块实时传输的视觉地图(包括最开始生成的视觉地图和/或后续同步处理后的视觉地图)信息，对视觉地图进行实时显示。同样地，可视化单元25可以是例如手机、电脑、vr眼镜等。

综上所述，本申请的多摄像头自动标定系统，通过生成指定区域3d模型，再根据已有的模型进行待标定摄像头标定，解决现有的摄像机标定方法存在的复杂性高、普适性低等缺点，实现了一种只需操作单个摄像机就可以完成的半自动化的多摄像机自标定方式。

进一步地，在完成多个摄像机标定之后，可以获得一个3d的多相机空间模型，可以整合多个摄像头信息，能够在目标检测、多目标追踪、行人重识别等业务上获得更好的效果。

为此，第三方面，如图5所示，本申请公开了一种多相机协同监控方法，包括如下步骤：

步骤s31、通过上述第一方面任一项所述的多摄像头自动标定方法对指定区域内的每个相机进行标定。

步骤s32、通过完成标定后的多个相机捕获所述指定区域的多个第三图像信息。

步骤s33、根据多个第三图像信息进行目标检测处理和/或多目标追踪处理和/或行人重识别处理。

步骤s34、将处理结果在多摄像头自动标定步骤中得到的视觉地图中进行3d形态的动态展示。

第四方面，如图6所示，本申请公开了一种多相机协同监控系统，包括多摄像头标定系统41、多个相机42、监控处理模块43以及显示模块44。

多摄像头标定系统41，采用上述第三方面中任一项所述的多摄像头标定系统，用于对指定区域内的每个相机42进行标定；

多个相机42安装在指定区域预定位置处，用于在完成标定后的捕获指定区域的多个第三图像信息。

监控处理模块43，用于根据多个第三图像信息进行目标检测处理和/或多目标追踪处理和/或行人重识别处理。其中，目标检测、多目标追踪以及行人重识别的具体处理方法可以采用目前已知的智能视频监控中的对应处理方法，此处不再赘述。

显示模块44，用于将处理结果在视觉地图中进行3d形态的动态展示，其中，视觉地图由多摄像头标定系统(即是第一方面中步骤s12中描述的视觉地图)对指定区域内的每个相机进行标定时生成。另外，本实施例中的显示模块44可以是上述第一、第二方面中描述的可视化单元和设备。

综上，本申请的多相机协同监控方法及系统，根据3d模型和相机位姿，直接计算出相机之间的几何关系，可以将多个相机的2d的图像信息，整合成3d的空间信息，从而实现3d的目标检测跟踪算法。可以更好处理，物体遮挡，多目标跟踪等任务。

进一步地，本申请的多相机协同监控方法及系统，将2d监控升级为3d监控方案，所有的摄像机信息真个到一个空间模型里，所有被监控的动态信息(人、宠物、移动设备等)、以及一些环境的变化(桌椅移动，等)都可以以3d的形态动态的展示在3d的房间模型里，从而实现整个室内场景的全方位智能监控。

下面将以一具体实例运用对本申请的多摄像头自动标定方法及系统、多相机协同监控方法及系统做进一步陈述。

具体地，是在家庭场景中安装多个标定过的摄像头，从而实现全方位的宠物运动追踪、电子看护和危险预警等功能，步骤如下：

首先使用一个摄像头在家中拍摄视频，根据手机端app的提示完成家庭场景的3d建模；这个过程上内置的计算机视觉算法根据采集到的视频序列重建3d模型，并且可以在手机端看到重构之后可视化的结果。

之后，将四个相机安装在之前计划的位置，同样根据上述标定方法操作在手机端实现标定；此刻，所使用的相机就是经过标定和校准可以协同工作的多摄像头系统。

最后，在其中加入了宠物的检测、运动追踪等智能化应用，可以实现更为高效、准确的宠物运动轨迹生成和分析。同时，还根据上述结果加入电子看护和危险预警功能，可以全方位实现宠物的无人看管。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。