专利名称：用于基于摄像机的对象分析的系统、方法和程序产品的制作方法
技术领域：
本发明大体上涉及智能摄像机系统并且更具体地涉及可采用摄像机系统以改善 对象分析的系统、方法和程序产品。
背景技术：
摄像机监控系统日益变得更加“智能”，其中从这些摄像机系统获得的图像和数据 越来越可以独立于(至少部分地)对摄像机获得的数据(即，视频)的人工检查和分析的 需要而分析。利用任何类型的自动化视频分析，各种因素可以不利地影响有效识别、检测和/ 或归类视频中的对象的能力。可能影响准确和有效对象分析的因素中的仅仅一些包括场景 的照明、场景的尺度和摄像机的旋转。因此，存在对摄像机系统和对象分析(包括对象的识别、检测和/或归类)的“智 能”的改善的持续需要。
发明内容
本发明通过对摄像机系统的“智能”加以改善克服前述摄像机系统中的缺点中的 至少一些。更具体地，本发明针对用于提高包括对象识别、对象检测和对象归类的对象分析 的系统、方法和程序产品。因此，根据本发明的一个方面，用于分析图像中的对象的计算机化方法，其中该图 像从摄像机系统获得，所述计算机化方法包括从该摄像机系统接收至少一个具有多个像 素的图像；对该多个像素中的每个像素计算特征池；导出下列中的一个来自该特征池的 特征的径向矩的池的和该至少一个图像的几何中心；和来自该特征池的特征的中心矩池； 基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中的一个，计 算规范化描述子(descriptor)；并且基于该规范化描述子，计算机于是进行下列中的至少 一个识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对 象；以及将在该至少一个图像中的至少一个对象归类。根据本发明的另一个方面，用于分析图像中的对象的计算机化方法，其中该图像 从摄像机系统获得，所述计算机化方法包括从该摄像机系统接收至少一个具有多个像素 的图像；对该多个像素中的每个像素计算特征池；从该特征池导出特征的中心矩池；基于 该特征中心矩池，计算中心矩不变量池；基于该至少一个图像的面积和该特征中心矩池，计 算规范化描述子；以及基于该规范化描述子，计算机于是进行下列中的至少一个识别在 该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对象；以及将在 该至少一个图像中的至少一个对象归类。根据本发明的另一个方面，具有提供用于分析图像中的对象的方法的计算机可执 行指令的计算机可读介质，其中该图像从摄像机系统获得，所述方法包括从该摄像机系统 接收至少一个具有多个像素的图像；对该多个像素中的每个像素计算特征池；导出下列中的一个来自该特征池的特征的径向矩池的和该至少一个图像的几何中心；和来自该特征 池的特征的中心矩池；基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中 心矩池中的一个，计算规范化描述子；以及基于该规范化描述子，进行下列中的至少一个 识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对象；以 及将在该至少一个图像中的至少一个对象归类。根据本发明的另一个方面，用于分析在图像中的对象的系统，其中该图像从摄像 机系统获得，所述系统包括用于从该摄像机系统接收至少一个具有多个像素的图像的系 统；用于对该多个像素中的每个像素计算特征池的系统；用于导出下列中的一个的系统 来自该特征池的特征的径向矩池的和该至少一个图像的几何中心；和来自该特征池的特征 的中心矩池；基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中 的一个，用于计算规范化描述子的系统；和基于该规范化描述子，进行下列中的至少一个的 系统识别在该至少一个图像中的至少一个对象；检测在该至少一个图像中的至少一个对 象；以及将在该至少一个图像中的至少一个对象归类。通过下列详细说明和附图将使本发明的各种其他特征和优势明显。
附示目前设想用于执行本发明的一个实施例。图1是结合本发明的方面用于分析基于摄像机的对象的系统的示意图。图2A-2D是可由根据本发明的实施例的系统采用的各种旋转角度的俯视图的图像。图3是结合本发明的方面用于分析基于摄像机的对象的系统的示意图。
具体实施例方式本发明的方面提供关于采用摄像机系统的前述系统的优势。该系统、方法和程序 产品能够更有效地分析在从摄像机系统获得的数据(例如，视频、图像、图像区域等)中的 对象(例如，车辆、人等)。根据本发明的方面的改善包括关于噪声和图像变换(例如，照明 变化、摄像机旋转变化、尺度变化等)更容易地检测对象、将对象归类和/或识别对象的能 力。采用本发明的方面的摄像机系统的“智能”有效地增加。本发明的方面包括更高效地分析对象的能力，其包括例如检测对象、将对象归类 和/或识别对象。可根据实施例分析的对象实际上可以是从摄像机系统获得的任何事物， 其包括车辆、人等。对象检测包括确定在图像中存在的属于特定类别的对象的数量、在该特定类别中 的对象在图像中的什么位置、和/或在该图像中对象的近似大小的能力。例如，给定单个图 像，对象检测可包括检测属于给定类别(例如，所有可能车辆的类别)的对象。对象归类包括确定检测的对象属于N个对象类别中的哪个类别的能力。例如，假 设存在N个可检测对象的类别(例如，N = 3，其中一个类别是所有SUV的，另一个类别是所 有轿车，并且第三个类别是所有货车)。从而，给定单个图像，对象归类包括能够归类到检测 的对象所属的N个类别中的哪个类别。例如，给定包含车辆的图像，对象归类包括能够确定 该车辆是SUV、轿车还是货车。
对象识别包括确定检测的对象是否是来自对象图像的收集库的相同特定对象的 能力。例如，给定包含对象的新图像，对象识别包括识别包含在该图像中的对象是否描绘收 集库中先前存在的相同的特定对象。例如，在车辆背景中，假设存在用户试图识别的特定所 有者的SUV (例如，具有行李架的2005款深蓝色Honda Element EX)。对象识别包括能够基 于对象(例如，车辆)图像的该收集库足够确定在接收的图像中特定所有者的SUV是否存 在于该图像(或若干个图像)中。该对象识别可以包括在该图像(若干个图像)中识别例 如该所有者的具有行李架的2005款深蓝色Honda Element EX的能力，即使该图像库包括 例如具有相同属性(例如，2005款；深蓝色；SUV ；Honda制造；Element型；Element EX型； 等)的其他车辆的图像。对象识别包括识别该图像(若干个图像)包含(或不包含)收集 库中包含的特定对象，不管该对象的类别或对象归类如何。本发明的方面包括基于图像矩应用于图像特征池的想法的新的一类外观描述子。 通过仔细设计图像矩和图像特征，可以使描述子为尺度和旋转不变的，以及对于照明变化 是鲁棒的。方面包括它们的计算的快速程序，其基于积分表示。它们的不变性性质使它们 例如适合于从空中视频的车辆检测的应用，其中尺度和旋转不变性常常是关键的。外观描述子的设计在过去的十年间受到相当大的注意。这是因为许多实际应用要 求描述子的计算用于支持从图像特征匹配到对象匹配的范围或从对象检测到对象类别识 别的范围的任务。描述子的重要性质是它的独特性，但另一个问题是它关于噪声和由于照 明和视角变换的图像变换的鲁棒性。描述子的计算复杂性也是主要性质。这在训练阶段 (例如，特征选择)期间以及在运行时间可能成为问题。实际上，几乎每个任务必然需要从 对应于若干图像区域的数据的大量统计(即，外观描述子)的计算。本发明的方面提出解 决计算效率、尺度和旋转变换等的不变性的问题的一类新的描述子。本发明的方面提出图像特征矩，其实现从图像空间到其中每个像素指派给图像特 征向量(包含该图像的期望局部说明)的空间的映射的设计。本发明的方面解决旋转不变 性并且提供新的各向同性特征池。本发明的实施例包括三个不同外观描述子的使用。该描述子都是尺度不变的，并 且它们可以是旋转不变的，取决于图像特征的各向同性性质。在任何情况下，第一外观描述 子计算给定区域的图像特征的中心矩。第二外观描述子是在每个图像特征上计算的不变量 集。第三外观描述子计算图像特征的径向矩。计算效率根据本发明的方面通过设计将积分图像表示应用到图像特征矩的计算 的程序来解决。对于给定图像，这实现以许多参量的预先计算为模在固定时间中新描述子 的计算。本发明的方面包括新的一类描述子，其关注对于尺度和旋转的不变性问题，为此 开发了新的图像特征集。方面还包括新的程序，其实现在固定时间中描述子的计算。这在 预先计算相位后获得，具有与图像特征的维度成线性关系而非二次关系定标的成本。本发明的实施例解决从空中视频检测车辆的问题。描述子胜过现有技术方法，因 为它们是最高效的，同时与例如支持向量机(SVM)等分类器结合使用。图像特征矩图像特征和图像特征矩限定为本文公开的。使I成为对于每个(x, j)€Oc E2限定的单色或RGB图像。Φ是映射I和像素(X，y)到d维图像特征向量的总体滤波运算(generic filtering operation)f(x,y) = [/, (xj), ... Jd{x,y)Y -Φ (I,x,y),⑴图像I的旋转围绕像素(x，y)操作。如果fi(x，y)没有基于该旋转改变，它是各 向同性特征。否则，&是各向异性的。例如，Λ =汉/彻是各向异性特征，但是图像梯度
的大小是各向同性特征。所有矩的集是图像特征到具有两个变量的多项式空间上的投影。利用mM，其中ρ和q是非负整数，阶(order) η = p+q的图像特征f的矩定义为mM = / ωΧΥ (Χ，y)dxdy(2)注意在此之前矩的所有定义将图像特征认作概率密度。然而，根据本发明的方面， 图像特征不视为概率密度。只要{fj是分段连续的，并且具有有界支撑，那么所有阶的矩 存在，并且被唯一确定。在所有实际的情况下这些条件普遍满足。本发明的方面还提出符号！!^ = [m〖 ,…，m〖Qf:，其指的是阶η的η+1个矩的有序 堆找(ordered stack) 0相似地，μΜ是阶n = p+q彡2的图像特征f的中心矩，其中具有分量μ M, i并且 定义为/W =L nh^r Cv- 抓yj 叔办.(3)
rnQQ，irnOOJ符号外=k，...,乂。『指的是阶η的η+1个中心矩的有序堆栈。从μ 2和μ 3，提取七个不同的对于特征f的平移(translation)和旋转不变的统 计数字(称为Hu不变量)是可能的。它们指示为T1 , ...,T7G 并且它们是具有如下定 义的分量的向量 τ Jji—t1 20, i —“02，i，
T2ji—(P 20, i-μ 02ji)2+4 (Ullji)2,
τ3 j—(P 30, i-3 μ 12，J + (3 U 21, i~ l·1 03, i)，
τ4 j—(P 30, iP 12，i) + ( P 21，i+P 03，i)，
τ5 j=(y so,厂3 U 12，i) ( U 30, i+ P 12，i) [ ( P 30,±+μ12^)2-3(μ21^+μ03^)2] + (3μ21i+ l·1 03, i) ( y 21,i+ 03，i) [3 ( l·1 30，i+ P 12，i) ~ ( ^ 21，i+ U 03，
τ6 j—(P 20，i_ l·1 02，i) [ ( P 30, i+ P 12，i) _ ( P 21，i"^μ03, )2]+4μ11,^U30,^U12a) (μ21
i+ Ii 03, i)，τ 7ji = (3 μ 21,厂3 μ 03,》(μ 30, i+ μ 12, i) [ ( μ so, i+ ^ 12, i) '"3 ( μ 21, ^ μ 03, i)2] _ (3 μ 30,阶η彡1的图像特征f的径向矩定义为m = Jn [(x-xnf + (y-y Ω)2]"办，少)dxdy(5)其中Ω , i Ω) e λ代表域ω的几何中心。这些矩具有对特征f的旋转不变的 基本性质。外观描述子D C ω是单连通域，其中idi指示域的面积。映射图像特征{f (X，y) i (x,y) e d} 到描述子向量y e妒的算子打算供外观描述子使用。根据本发明的方面，基于本文论述的图像特征矩的三个外观描述子定义如下。中心矩(CM)描述子从图像特征的中心矩集{ μ J，在域D上计算，阶η彡2的中心矩描述子定义为向量
其中具有Jcm= 一_4 c/个分量。中心矩不变量(CMI)描述子从图像特征的中心矩不变量集{ τ J，在域D上计算，中心矩不变量描述子定义为
其是具有Jcmi = 7d个分量的向量。径向矩(RM)描述子从图像特征的径向矩不变量集ImJ，在域D上计算，阶η > 1的径向矩描述子定义 为其是具有Jkm = nd个分量的向量。区域协方差(RC)描述子在测试前述三个外观描述子的耐久性中，下列区域协方差(RC)描述子用作比较。 区域D的图像特征f的协方差矩阵定义为kf=4i (取 ^)-f)(f(x,^)-f f dxd兄(9)其中f = mQQ/|Z)|是在D上的平均图像特征向量。假定kf是对称正定矩阵，区域协 方差描述子由包含kf的Jkc = (d2+d) /2个独立项目的向量yK给出。外观描述子性质所有该四个描述子可以提供图像的有效并且非常低维的表征，特别是RM。相反，甚 至广泛使用的图像特征用联合直方图的表示将引起具有维度0(d2)的描述子，其中α 0。在CM、CMI和RM中，图像特征视为概率分布，并且该描述子概述特征如何在计算域 上分布。在RC中，图像特征视为随机向量，并且描述子是它的协方差。如果特征包含空间 信息，然后RC将该信息与其他特征相关。所有该描述子提供适合的方式以融合多个特征的信息。尽管RC通过本征计算每 对图像特征之间的相关性而如此进行，CM、CMI和RM通过设置一些图像特征成为其他的组 合而实现此。根据本发明的方面，该三个新描述子(即，CM、CMI、RM)的维度与d成线性而 非像在RC中的二次那样定标。假使在给定时刻，D包含在均勻背景上的对象，并且在随后的时刻，对象已经平移 但仍然在D内。所有该描述子对于这样的平移是不变的，其中RM例外，其关于D的几何中心计算。如此，RM可是用于定位特定对象的更好的描述子。假设在每个像素的特征编码尺度不变的信息，在方程6、7、8和9上运算的关于|D 的规范化使所有该描述子尺度不变。然而，注意即使没有完全尺度不变的特征，获得关于尺 度的极高度不变性是可能的。如此，下列事实导致(a)如果图像特征{fj是各向同性的，CMI、RM和RC是旋转 不变的；(b)如果{fj中的一些是各向异性的，CMI、RM和RC不是旋转不变的；(c)不管{fj 的性质如何，CM不是旋转不变的。从而，取决于应用，旋转不变性(变化性)可或可以不是 要求。所有该描述子委派照明不变性问题给图像特征的设计。RC对引起特征的附加变化 的照明变化也是不变的，因为平均特征从描述子计算去除。图像特征集根据本发明的方面，滤波运算可用于产生图像特征集。例如，可使用两个滤波器 集ΦΑ和Φι，其中ΦΑ是各向异性特征集并且 是各向同性特征集。滤波器集ΦΑ使得图像特征计算为f (xj；) = [χ, y,R(x, y), G(x, y)B(x,其中R、G和B是图像I的RGB颜色通道，并且其他参量是图像强度一和二阶偏导 的大小。这既不是特征的照明不变集也不是特征的尺度不变集。最终，X和y仅当RC描述 子计算时存在。滤波器集C^1这样定义成使得图像特征计算为f(X1V) =[p2n,R{x,y\G(x,y)B{x,y),|V/(x,y%Kp(x,y),Kg(x,y),s(x,yj^ ,(11)其中户二丄(x-^J + G —yj2，RGB颜色通道，和图像强度的梯度的大小。如之前，
P a仅当RC描述子计算时存在。该最后三个特征是形状参数，并且给出由图像强度生成的
3D形状的局部描述，BP{(x. V, R3 I I(x, y)+ζ =0)。κ p和κ 0是主曲率κ工和
K 2在极坐标中的表示，由此S是形状指数，其也是尺度不变的。它们可以用如下限定的快 速程序计算
O1不是照明不变的特征集。增加的照明鲁棒性通过用各个通道的对数拉普拉斯 算子代替RGB通道获得。在对数后的任意导数消去倍增的照明变化，并且显著减小附加变 化。已经进行采用这些修正的成功实验。通过积分表示的快速算法在Ω上限定的图像I (它的积分表示)称为积分图像并且由 7 (“，V) d"dv 给
u<c,v<y
出。该表示允许采用0(1)数目个运算在任何矩形域D上计算图像的积分。注意D= [χ'，x" ]X[y'，y〃 ]的面积可以计算为 |D| =A(x'，y' )-A(X〃，y' )+A(x"，y〃 )-A(x'， y")，其中
权利要求
一种用于分析图像中的对象的计算机化方法，其中所述图像从摄像机系统获得，所述计算机化方法包括从所述摄像机系统接收至少一个具有多个像素的图像；对所述多个像素中的每个像素计算特征池；导出下列中的一个来自所述特征池的特征的径向矩池和所述至少一个图像的几何中心；以及来自所述特征池的特征的中心矩池；基于所述导出的特征的径向矩池和所述导出的特征的中心矩池中之一和所述至少一个图像的面积，计算规范化描述子；以及基于所述规范化描述子，计算机则进行下列中的至少一个识别在所述至少一个图像中的至少一个对象；检测在所述至少一个图像中的至少一个对象；以及将所述至少一个图像中的至少一个对象归类。
2.如权利要求1所述的方法，其中所述至少一个对象是车辆。
3.如权利要求1所述的方法，其中所述摄像机系统的一部分包括空中视频设备。
4.如权利要求1所述的方法，进一步包括从所述计算机输出所述识别的对象、所述检 测的对象和所述归类的对象中的一个的标识。
5.如权利要求1所述的方法，其中所述至少一个图像包括图像区域。
6.如权利要求1所述的方法，其中所述导出包括用户可选择的顺序。
7.如权利要求1所述的方法，其中所述特征池是各向同性的。
8.如权利要求1所述的方法，其中所述特征池是各向异性的。
9.一种用于分析图像中的对象的系统，其中所述图像从摄像机系统获得，所述系统包括用于从所述摄像机系统接收至少一个具有多个像素的图像的系统； 用于对所述多个像素中的每个像素计算特征池的系统； 用于导出下列中的一个的系统来自所述特征池的特征的径向矩池和所述至少一个图像的几何中心；以及 来自所述特征池的特征的中心矩池；基于所述导出的特征的径向矩池和所述导出的特征的中心矩池中之一和所述至少一 个图像的面积，计算规范化描述子的系统；以及基于所述规范化描述子进行下列中的至少一个的系统 识别所述至少一个图像中的至少一个对象； 检测所述至少一个图像中的至少一个对象；以及 将所述至少一个图像中的至少一个对象归类。
10.如权利要求9所述的计算机化系统，进一步包括摄像机系统。
全文摘要
用于包括对象识别、对象检测和/或对象归类的基于摄像机的对象分析的系统、方法和程序产品。用于分析在从摄像机系统获得的图像中的对象的计算机化方法的示范性实施例包括从该摄像机系统接收具有像素的图像；对每个像素计算特征池；然后导出来自该特征池的特征的径向矩池的和该图像的几何中心或来自该特征池的特征的中心矩池；然后基于图像的面积和导出的特征矩池，计算规范化描述子；并且然后基于该规范化描述子，计算机于是识别、检测在该图像中的对象和/或将其归类。
文档编号G06K9/00GK101996315SQ20101026693
公开日2011年3月30日 申请日期2010年8月18日 优先权日2009年8月18日
发明者G·多雷托, Y·姚 申请人:通用电气公司