专利名称：用于基本计算机的视觉监视的最佳多摄像机设置的制作方法
本申请请求已于2001年9月27日提交的美国临时申请NO.60/325,399的优先权，代理人卷号US010482P。
本发明涉及安全系统领域，并且特别是涉及有助于计算机视觉应用的多台摄像机的放置。
摄像机常用于安全系统和其它视觉监视应用中。不断地开发出来计算机程序和应用程序以用于处理从一台摄像机或多台摄像机获取的图像信息。脸部和图形识别系统提供当被识别人或物品在一个视场或多个视场中移动时对他们进行跟踪的能力。
US专利6,359,647“用于在多摄像机系统中图形跟踪的自动摄像机移交系统(Automated camera handoff system for figuretracking in a multiple camera system)”，于2002年3月19日颁发给Soumitra Sengupta，Damian Lyons，Thomas Murphy和Daniel Reese，其中公开了一种自动跟踪系统，这种跟踪系统被配置成用来在多摄像机环境下在一个受保护的建筑物或区域中，当目标从一间房间到另一间房间或从一个区域到另一个区域时自动指引摄像机保持目标图像至少在一台摄像机的视场内，其在这里引用作为参考。其它的多摄像机图像处理系统在本技术领域内是常见的。
在多摄像机系统中，每一台摄像机的放置影响图像处理系统的性能和有效性。典型地，每台摄像机正确放置的判定都是人工操作，其中保安专业人员评定区域并且将摄像机放置能够提供有效和充分的覆盖的位置。有效的覆盖通常定义为可以最小化每一个摄像机的视场内的“盲点”的摄像机放置。充分覆盖通常定义为尽可能的少使用摄像机，以降低花费和复杂性。
由于在多摄像机调配中可能出现摄像机视场的交集，并且由于与每台摄像机位置相关的障碍物所产生的不同的隐藏视场，所以决定最佳的摄像机放置通常并非一件无足轻重的事情。持续地开发算法，以便最优化摄像机的放置，从而有效和充分地覆盖受保护区域。PCT申请PCT/US00/40011“用于视频覆盖的最优化方法(Method foroptimization of video coverage)”，作为WO 00/56056于2000年9月21日为Moshe Levin和Ben Mordechai公布，在这里引用作为参考，讲授一种使用了遗传算法和模拟锻炼算法来决定多台摄像机最佳覆盖的位置和角度方向的方法。生成并且评估可供选择的潜在的位置，直到该算法找到一种使系统所提供的覆盖最优化的解决方案。
在用于在受保护区域内最优地放置多台摄像机的常规方案中，无论是人工的方案还是自动的方案，或者是两者的结合，放置的目标都是使用最少数量的摄像机来最大化受保护区域的视觉覆盖。然而，达到这一目标对于计算机视觉应用来说通常既不有效也不充分。
本发明的一个目标就是提供一种有助于计算机视觉应用的用于在多台摄像机环境下决定摄像机放置的方法和系统。本发明更进一步的目标是在传统的多摄像机调配中决定附加的摄像机放置以有助于计算机视觉应用。
这些目标和其它目标通过定义摄像机调配的有效性测量值来实现，摄像机调配的有效性包括提供图像信息给计算机视觉应用的摄像机有效性。除了基于多台摄像机调配所提供的视觉覆盖的测量值以外，或作为其替代，调配的有效性包括在一个或更多计算机视觉应用的能力基础上使用调配的摄像机提供的图像信息来执行他们预期功能的测量。特别要注意的是，摄像机的调配还要考虑该调配提供的透视信息。
参考附图使用举例的方法更详细地解释了发明，在附图中
图1说明依照本发明的多摄像机调配系统示例的流程图。
图2说明依照本发明的多摄像机调配系统第二个示例的流程图。
在这些图中，同样的标记数字表明相似或者相应的特征或功能。
本发明基于这样的观察为前提提供有效地视觉覆盖的摄像机调配不必要为有效的计算机视觉处理提供充分的图像信息。提供宽的覆盖范围的摄像机位置可以不提供透视信息；提供透视辨别力的摄像机位置可以不提供可辨别的范围信息；诸如此类。在典型的“最优”摄像机调配中，例如，一间没有障碍物的规则形状的房间将分配一台摄像机，位于房间的上部拐角处，并且对准方向和房间对角线一致，稍微地朝向下方。假定摄像机的视场足够宽，足以包含整个房间，或者可以通过调整来扫视整个房间，一台摄像机足够用于房间的视觉覆盖。如在作为参考的US专利6,359,647中所阐明的，房间或走廊很少包含超过一台摄像机，附加的摄像机仅仅在障碍物干扰摄像机视场时才被使用。
为了识别观察范围并基于场景内物体的三维位置提供对于该场景的解释，计算机视觉系统通常要求对于一个场景的超过一台摄像机的视图。同样地，通过放置摄像机来提供视觉覆盖通常是不够的。尽管已经可以得到多个算法以用于根据单幅2-D图像或根据多幅来自于具有pan-tilt-zoom功能的摄像机的2-D图像来估计3-D尺寸，但这样的方法与使用来自不同视点的同一场景的图像的算法相比，基本上缺乏有效性或者充分性。
一些来自单一摄像机的2-D图像提供极好的3-D尺寸确定，例如一台悬挂式的摄像机的自顶向下的视图，因为图像标识出目标对象在房间中的位置，并且这种对象标识出它的大概高度。然而，这样的图像明显地不足于决定场景的范围，特别地，不足以用于典型的计算机视觉应用，例如图像或姿态识别。
图1说明一种依照本发明的包含调配的计算机视觉有效性考虑的多摄像机调配系统示例流程图。在110，定义了一种建议的初始摄像机调配，例如，通过识别在受保护区域的显示平面图上的摄像机位置。可选地，在120，使用在本技术领域内常用的技术，评定调配提供的视觉覆盖。在130，确定了调配的“计算机视觉有效性”，这一点在下文中进一步地讨论。
每个计算机视觉应用基于从图像中提取的选择参数执行自己的函数。特殊的参数和每个函数的灵敏度是可识别的。例如，姿态识别函数可以对水平和垂直运动(挥舞胳膊等)非常敏感，又对纵深运动有些不敏感。分别地定义x、y和z为水平、垂直和纵深方向，姿态识别函数可以说成是对delta-x和delta-y检测敏感。因此，在这个例子中，确定用于姿态识别的计算机视觉调配的有效性将基于该调配提供的来自图像的delta-x和delta-y参数的好坏程度。这样的一种确定基于每台摄像机相对于受保护区域的位置和方向，例如使用一种几何模型和传统的微分学。试探法和其他简化也可以使用。明显地，例如，一台朝向下方瞄准的摄像机将提供最小的(如果有的话)delta-y信息，并且它的用于图形识别的有效性测量值将是不佳的。可以应用一种评价系统代替正式的几何模型，其中基于每台摄像机的相对于水平方向的视角赋予它一个值。
同样地，图像识别函数也许对图像在x和y方向上的分辨率敏感，并且将基于在所覆盖区域上可实现的分辨率来测量图像识别的有效性。在这个例子中，房间中墙上的摄像机可以为墙附近的对象提供好的x和y分辨率，但是对于远在对面墙附近的对象只能提供差的x和y辨析率。在这样的例子中，在远在对面的墙上放置附加的摄像机将增加在整个房间内可以得到的分辨率，但是相对于提供房间的视觉覆盖来说则是多余的。
另一方面，预测在受保护区域内入侵者路线的运动估计函数在不提供垂直出口的区域(例如房间内)也许对于水平和纵深运动(delta-x和delta-z)敏感，但是对垂直运动(delta-y)相对地不敏感，在提供垂直出口的区域(例如楼梯内)对垂直运动敏感。在这样的应用中，计算机视觉有效性的测量值将包括由房间内摄像机提供的delta-x和delta-z敏感性测量值和走廊上摄像机提供的delta-y敏感性测量值。
要注意的是，计算机视觉系统的敏感性不只局限于以上讨论的例子x，y，z参数。无论被识别人面向什么方向，面部识别系统都希望识别出这个人。同样地，除了x和y分辨率之外，系统将对每台摄像机的视场方向敏感，并且调配的有效性将依赖于来自很多方向的相交视场。
调配的有效性的评估是一种典型的基于每台摄像机的有效性以及多个摄像机组合的有效性的复合测量。例如，如果计算机视觉应用对delta-x，delta-y和delta-z敏感，那么即使两台摄像机都不提供全部三个参数，两台摄像机相互之间以及和受保护区域之间的关系都可以提供充分的透视信息用以确定delta-x，delta-y和delta-z。在这样的情况下，当这台摄像机和另一台摄像机的组合确定了一个较高的值时，本发明的调配系统配置成“忽略”由单独摄像机确定的较差的值。
考虑到这个公开以及考虑到计算机视觉应用所执行的特别的函数，这些和其它的用于确定调配的计算机视觉有效性的方法对于本技术领域内普通技术人员将是明显的。
在优选的实施例中，如果特殊的计算机视觉应用是未知的，则调配系统配置为假定调配必须为在受保护区域内的对象提供正确的x，y和z坐标，并且根据调配所提供的透视信息测量计算机视觉有效性。如上所述，这种透视测量值通常是基于两台或者更多台在受保护区域内具有视场交集的摄像机的位置和方向确定的。
在140，基于从130测量的计算机视觉有效性，以及可选地，基于从120测量的该调配所提供的视觉覆盖来评估调配的可接受性。如果调配不可接受，则在150对其进行修改，并且过程130-140(可选地120-130-140)将重复直到找到一种可接受的调配。在150处的修改可以包括对现存的摄像机重新定位或者给调配增加新的摄像机，或者两者兼有。
在150处的修改可以是自动的或是人工的，或是两者的结合。在优选的实施例中，调配系统突出显示具有不足的计算机视觉有效性的一个或多个区域，并且为附加的摄像机建议一个位置。因为初始的调配110被典型地设计为保证充分的视觉覆盖，所以假定提供一台附加的摄像机是对于改变初始摄像机的位置的优选替换方案，尽管用户可以选择改变这些初始的位置。并且，这个调配系统特别适于增强现有的多摄像机系统，而且增加摄像机通常是比移动一台以前安装的摄像机更容易的任务。
图2说明依照本发明的多摄像机调配系统第二个示例的流程图。在这个实施例中，为了提供充分的视觉覆盖，在210确定摄像机位置。在210的这个调配可以跟现有的已经安装用于提供视觉覆盖的调配一致，或者可以跟提议的调配一致，例如像以上参考PCT申请PCT/US00/40011所公开的技术提供的，或在本技术领域内常用的其它自动调配方法。
与以上讨论的关于图1的块130一样，调配的计算机视觉有效性在220确定。在230，确定调配的可接受性。在这个实施例中，因为在210初始的调配是明确地被设计为提供充分的视觉覆盖，所以在230调配的可接受性只取决于在220确定的计算机视觉有效性。
在240，将一台新的摄像机加入到调配，而在250，确定每台新摄像机的位置。在本发明的优选实施例中，确定现有调配在前述特殊计算机视觉应用的敏感性方便的特殊不足。例如，如果当前的调配没有提供delta-z敏感性，则悬挂式的摄像机位置是一种可能的解决方案。在优选的实施例中，让用户选择识别在其中可以加入和/或不加入新的摄像机的区域。例如，在外部区域中，将标出现有的杆或其它可以在上边安装摄像机的结构的位置。
需要注意的是，在本发明优选的实施例中，过程250被配置为，每当加入一台新的摄像机，都要重新确定加入的每台摄像机的位置。更确切地说，正如在本技术领域内众所周知的如果另一台摄像机也要放置，那么一台摄像机的最佳放置也许不符合该摄像机的最佳放置。同样地，如果第三台摄像机加入，最初的两台摄像机的最佳位置也许会改变。
在优选的实施例中，为了在复杂的环境中使处理任务容易，将受保护区域分割成多个子区域，在其中在一个子区域中的摄像机的调配实质上和另一个子区域中的调配是相互独立的。换句话说，例如，因为在一间房间中调配的摄像机的计算机视觉有效性很可能和在与第一间房间基本视觉隔离的另一间房间中调配的摄像机的计算机视觉有效性相互独立，所以每间房间内摄像机的调配作为独立的调配过程来处理。
上述仅仅说明了本发明的原理。应该理解，在本技术领域内的普通技术人员将能设计各种装置，这些装置尽管不能在这里明确地描述或说明，但是体现了本发明的原理并且因此属于权利要求的范围和精神内。
权利要求
1.一种在多摄像机系统中调配摄像机的方法，包含至少部分地基于由位于多个摄像机位置处的摄像机的调配提供的对于期望的计算机视觉有效性的测量值，确定(130，220)有效性的测量值，并且基于该调配的有效性的测量值来确定(140，230)该调配是否可接受。
2.权利要求1的方法，进一步包括修改(150，240-250)多个摄像机位置中的一个或多个摄像机位置，以提供可供选择的调配，至少部分地基于可供选择的调配来确定(130，220)有效性的第二测量值，并且基于有效性的第二测量值来确定(140，230)可供选择的调配是否可接受。
3.权利要求1的方法，进一步包括通过向多个摄像机位置增加一个或更多的摄像机位置来修改(240-250)调配以提供可供选择的调配，至少部分地基于可供选择的调配来确定(130，220)有效性的第二测量值，并且基于有效性的第二测量值来确定(140，230)可供选择的调配是否可接受。
4.权利要求1的方法，其中至少部分地基于由位于多个摄像机位置的摄像机的调配提供的期望的视觉覆盖来进一步确定(130，220)有效性的测量值。
5.权利要求1的方法，其中计算机视觉有效性的测量值是基于由调配提供的透视测量值的。
6.权利要求1的方法，进一步包括在多个摄像机位置调配(160，260)摄像机。
7.一种在多摄像机系统中调配摄像机的方法，包含基于由调配提供的期望的视觉覆盖来确定(210)位于多个摄像机位置的摄像机的第一调配，确定(220)由位于多个摄像机位置的摄像机的第一调配提供的期望的计算机视觉有效性的测量值，并且基于第一调配和期望的计算机视觉有效性的测量值来确定(250)摄像机的第二调配。
8.权利要求7的方法，其中第二调配包含第一调配的多个摄像机位置和提供比第一调配更高的期望的计算机视觉有效性的测量值的一个或更多个附加的摄像机位置。
9.权利要求7的方法，其中期望的计算机视觉有效性的测量值包含由第一调配提供的透视测量值。
10.权利要求7的方法，进一步包含依照第二调配来调配(160，260)摄像机。
11.一种计算机程序，当在计算机系统上运行时，使计算机系统执行以下操作至少部分地基于由位于多个摄像机位置的摄像机的调配提供的期望的计算机视觉有效性的测量值来确定(130，220)有效性的测量值，和基于调配的有效性的测量值来确定(140，230)该调配是否可接受。
12.权利要求11的计算机程序，其中该计算机程序进一步使计算机系统修改(150)多个摄像机位置中的一个或更多摄像机位置以提供可供选择的调配，至少部分地基于可供选择的调配来确定(130)有效性的第二测量值，并且基于有效性的第二测量值来确定(140)可供选择的调配是否可接受。
13.权利要求11的计算机程序，其中该计算机程序进一步使计算机系统通过向多个摄像机位置增加一个或更多的摄像机位置来修改(240-250)调配以提供可供选择的调配，至少部分地基于可供选择的调配来确定(220)有效性的第二测量值，并且基于有效性的第二测量值来确定(230)可供选择的调配是否可接受。
14.权利要求11的计算机程序，其中计算机系统进一步至少部分地基于由位于多个的摄像机位置的摄像机的调配提供的期望视觉覆盖的测量值(120)来确定有效性的测量值。
15.权利要求11的计算机程序，其中计算机视觉有效性的测量值是基于由调配提供的透视测量值的。
16.一个多摄像机调配系统，包含一个测量单元，被安排成用来至少部分地基于由位于多个的摄像机位置的摄像机的调配提供的期望计算机视觉有效性的测量值来确定(130，220)有效性的测量值，并且一个测试单元，被安排成用来基于调配的有效性的测量值来确定(140，230)该调配是否可接受。
全文摘要
对于摄像机调配的有效性测量包括摄像机在为计算机视觉应用提供图像信息方面的有效性。除了基于由多台摄像机调配提供的视觉覆盖进行的测量之外，或作为其替代，调配的有效性还包括基于一个或更多计算机视觉应用的能力进行的测量以便使用调配的摄像机提供的图像信息执行它们的预期功能。特别要注意的是，摄像机的调配还要考虑由该调配所提供的透视信息。
文档编号G08B13/196GK1561640SQ02819058
公开日2005年1月5日 申请日期2002年9月11日 优先权日2001年9月27日
发明者M·特拉科维 申请人:皇家飞利浦电子股份有限公司