基于支持向量机的对象检测系统及相关方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年11月8日提交的美国专利申请序号14/076,030的优先权，该申 请被认为通过引用方式合并于本申请的公开中。
技术领域
[0003] 本公开一般设及对象检测系统及相关方法，并且更特别地设及基于支持向量机 (SVM)的对象检测系统和相关方法。
【背景技术】
[0004] 对象检测系统和方法，诸如行人检测系统和方法，能够实现在自动驾驶辅助系统 中W提供路线检测、障碍物检测、交通标志识别、行人检测和/或其它类型的检测。运些对象 检测系统和方法经常实现支持向量机(SVM)分类器来辅助将分析后图像分类成对象类或非 对象类。当今的基于SVM的对象检测系统和方法趋于计算密集，要求相当大的数据带宽，对 实时实现提出了挑战。因此，虽然现有的基于SVM的对象检测系统和相关方法对于它们预期 目的通常是足够的，但是它们并不是在所有方面都完全令人满意。
【附图说明】
[0005] 通过下面结合附图理解下面的发明详述，能够最好的理解本公开。应强调的是，根 据行业的标准惯例，各特征不是按比例绘制，仅用于示例的目的。实际上，为了论述清晰的 原因，各特征的尺寸可任意增大或减小。
[0006] 图1示出了根据本公开的各方面的用于检测图像帖中的对象的示例性的方法。
[0007] 图2是根据本公开的各方面的用于检测图像帖中的对象的示例性的方法的流程 图，诸如与参考图1所描绘和所描述的示例性方法相关联的流程图。
[000引图3示出了根据本公开的各方面的用于检测图像帖中的对象的另一示例性方法。
[0009] 图4是根据本公开的各方面的用于检测图像帖中的对象的示例性方法的流程图， 诸如与参考图3所描绘和描述的示例性方法相关联的流程图。
[0010] 图5是根据本公开的各方面的用于实现对象检测和分类过程的示例性处理器的示 意性框图，诸如参考图1-4所描绘和所描述的对象检测和分类方法。
[0011] 图6是根据本公开的各方面的诸如图5的处理器的具有对象检测模块的处理器的 示例性的存储器方案W及实现诸如参考图3和图4所描绘和所描述的实现对象检测与分类 过程的示例性的存储器方案的示意性框图。
【具体实施方式】 [0012] 发明概述
[0013]示例性的对象检测方法包括:生成表征图像帖的特征块组件，W及利用特征块组 件来分析图像帖。对于图像帖的每个特征块行，与特征块行相关联的特征块组件被评估W 对于与图像帖的包括特征块行的部分重叠的检测窗来确定部分向量点积，使得每个检测窗 具有关联的一组部分向量点积。该方法可W包括:基于相关联的一组部分向量点积来确定 与每个检测窗相关联的向量点积，W及基于向量点积将与每个检测窗相对应的图像帖分类 为对象或非对象。每个特征块组件能够从外存储器移到内存储器一次，实现示例性的对象 检测方法。在各实现中，装置包括与内存储器和外存储器禪合的处理器，其中所述处理器包 括对象检测模块，该对象检测模块配置为执行最小化内存储器与外存储器之间的数据传输 的对象检测与分类过程。对象检测模块能够配置为执行示例性的对象检测方法。
[0014] 发明详述
[0015] 下面的公开提供了多个不同的实施方案或实施例，用于实现本公开的不同的特 征。下面描述组件和布置的具体实施例W简化本公开。当然，运些仅为实施例，而不意在限 审IJ。此外，本公开可W在各实施例中重复附图标记和/或字母。该重复是为了简化和清晰的 目的，本身不规定所论述的各实施方案和/或配置之间的关系。
[0016] 图1示出了根据本公开的各个方面的用于检测图像帖10中的对象的示例性的方 法。在各实现中，示例性的方法检测图像帖10中的行人。为了清晰目的，已经简化了图1，W 便更好的理解本公开的发明构思。附加的特征能够添加到示例性的方法和关联的图像帖10 中，并且在示例性的方法的其它实施方案和关联的图像帖10中，下面描述的一些特征能够 被取代或消除。
[0017]在图1中，图像帖10被分割成特征块FB1，FB2，FB3，. . . FBx，其中X是图像帖10的特 征块的总数。特征块FBl，FB2，FB3,.. .FBx能够分组成特征块行(在图像帖10的水平方向上 的特征块组）W及特征块列(在图像帖10的垂直方向上的特征块组）。例如，在所描绘的实施 方案中，图像帖10包括特征块行Hl，肥，H3，... HR和特征块列Vl，V2，V3，... VC，其中R是图像 帖10的特征块行的总数，C是图像帖10的特征块列的总数。每个特征块行化，肥，册，...皿包 括在图像帖10的水平方向上的多个特征块N;并且每个特征块列Vl，V2，V3, .. .VC包括在图 像帖10的垂直方向上的多个特征块M。
[0018] 每个特征块FBI,FB2，FB3, .. .FBx具有关联的特征块组件，诸如方向梯度化OG)特 征块组件的关联直方图。例如，在各实现中，图像帖10能够分割成单元（图像帖10的各个空 间区域），其中每个单元包括图像帖10的一个或多个像素。每个像素具有边缘(梯度)强度值 和边缘角度(方向）值。对于每个单元，边缘强度加权边缘角直方图能够通过对于每个边缘 角仓库累积边缘强度值来确定。该直方图提供了用于单元的HOG描述符。单元随后能够分组 成块(此处，特征块FBl，FB2，FB3,.. .FBx),其中每个单元能够形成多于一个块的部分。对于 每个块，强度度量（"能量"能够累积在块内的单元上且用于标准化该块内的各单元的HOG特 征描述符，使得块具有关联的册G特征块组件。在各实现中，关联的册G特征块组件因此可W 包括块内的单元的标准化单元直方图的册G特征描述符的向量。
[0019] 利用HOG特征块组件，图像帖10能够被分析W检测图像帖10中的对象。例如，检测 窗能够被限定且与图像帖10的部分对准，使得检测窗重叠(跨越）图像帖10的部分;并且与 图像帖10的通过检测窗重叠的部分对应的册G特征块组件能够被评估W识别图像帖10的部 分中的对象。检测窗能够移到图像帖10内的各位置W评估图像帖10的各部分，用于对象检 。在各实现中，检测窗能够在图像帖10内垂直地W及水平地移动W评估图像帖10的感兴 趣区域，该图像帖10的感兴趣区域可W包括全部的图像帖10或者图像帖10的选定部分。在 各实现中，图像帖10能够利用具有各种尺寸一-多个检测窗标度L一一的检测窗来评估。例 如，在一些实施方案中，=个检测窗标度化=3)能够应用于图像帖IOW检测对象，诸如具有 48x 80像素尺寸的第一检测窗，具有64x 128像素尺寸的第二检测窗，W及具有SOx 160像 素尺寸的第=检测窗。通过具有不同尺寸的检测窗来评估图像帖10能够增强对象检测可靠 性。
[0020] 在图1中，检测窗20重叠图像帖10的部分21，并且因此，重叠与图像帖部分21对应 的特征块FB1，FB2，FB3,. . .FBx的部分。特别地，检测窗20重叠多个特征块行P，W及多个特 征块列Q。例如，检测窗20重叠八个特征块行(P = S) W及四个特征块列(Q = 4)。在图像帖10 内的每个位置，检测窗20(更特别地，通过检测窗20重叠的图像部分)具有关联的册G特征向 量，其由与通过检测窗20重叠的图像部分对应的特征块的HOG特征块组件来表征。例如，在 描绘的实施方案中，检测窗20具有由与通过检测窗20重叠的图像部分21对应的特征块的 HOG特征块组件表征的关联的HOG特征向量。换言之，在每个位置处，与检测窗20相关联的 册G特征向量能够通过对通过检测窗20重叠的特征块的标准化单元直方图化OG描述符)分 组来形成。
[0021] 分类器能够将HOG特征向量评估且分类为肯定(表明册G特征向量表示对象)或否 定(表明HOG特性向量不表示对象），从而对图像帖10的被检测窗20重叠(与其对应）的部分 提供对象/非对象分类。在各实现中，分类器是支持向量机(SVM)分类器，诸如线性SVM，其能 够被训练W针对各种尺寸的检测窗来检测对象。例如，SVM分类器可W是二进制分类器，其 使用训练数据来构建用于最优地将册G特征向量分成两类一一此处是对象或非对象一一的 超平面。在各实现中，SVM分类器通过图像集来训练，图像集划分成行人类图像和非行人类 图像，其中SVM分类器已经过进一步训练W利用不同尺寸的检测窗对图像进行分类。
[0022] 在所描绘的实施方案中，SVM分类器构建超平面30,超平面能够用于将与检测窗20 (W及因此表征图像帖10中的图像的册G特征向量)相关联的HOG特征向量识别为落入对象 (行人)类或非对象(非行人)类。超平面30具有与用于对象检测和分类的检测窗的尺寸对应 的尺寸。例如，此处，超平面30还跨越多个特征块行P和多个特征块列Q。SVM分类器利用向量 点积40将与检测窗20相关联的HOG特征向量与超平面30(换言之，HOG特征描述符的加权和） 组合，并且然后评估向量点积40W将册G特征向量（W及因此对应的图像部分21)分类为对 象或非对象。能够对图像帖10内的各位置处与检测窗20相关联的册G特征向量执行该分类 过程，使得图像帖10的各个部分能够被分类为对象或非对象。
[0023] 典型地，当实现图1所描绘的示例性方法时，与图像帖10对应的所有的HOG特征块 组件(此处，与特征块FBl，FB2，FB3, .. .FBx相关联的册G特征块组件）不能放置在内存储器 中用于对象检测与分类过程。因此，册G特征块组件被放置在外存储器中，并且随着检测窗 在图像帖10内移动，对于图像帖10内的检测窗的每个位置，关联的HOG特征向量（W及因此 关联的HOG特征块组件)从外存储器移动到内存储器用于分类。例如，一旦检测窗20移动到 跨越如图1所描绘的图像部分21的位置，与图像部分21对应且因此形成关联的HOG特征向量 的HOG特征块组件从外存储器移到内存储器，其中关联的HOG特征向量随后与超平面30组合 W确定向量点积40, W及因此将相关联的HOG特征向量（W及因此，图像帖10的与检测窗20 对应的部分)分类为对象或非对象。对于图像帖10内检测窗20的每个位置，W及类似地对于 用于评估图像帖10的其它检测窗的每个位置，实现该特征块组件(数据)从外存储器到内存 储器的移动。
[0024] 图2是根据本公开的各个方面的用于检测图像帖内的对象的示例性的方法50的流 程图，诸如与参考图1所描绘和描述的示例性方法相关联的。方法50开始于框52,将表征图 像帖（与图像帖对应）的特征块组件存储在外存储器中。例如，参考图IW及对应的描述，图 像帖10能够被分析W限定表征图像帖10的特征块组件，诸如HOG特征块组件。在后续处理期 间能够用于对图像帖10的部分分类的HOG特征块组件能够存储在外存储器中。在框54中，检 测窗定位成重叠(跨越)图像帖的部分。例如，参考图1，检测窗20重叠图像帖10的部分21。在 框56,与检测窗相关联的特征向量从外存储器移到内存储器。例如，参考图1，与图像帖10内 检测窗20的位置相关联的册G特征向量从外存储器移到内存储器。换言之，与通过检测窗20 重叠的图像部分21对应的一组HOG特征块组件从外存储器移到内存储器。在框58处，方法50 进行W确定超平面和特征向量的向量点积。例如，参考图1，与检测窗20相关联的HOG特征向 量(定位在图像帖10内）与超平面30组合W确定向量点积40。在框60处，在各实现中图像帖 的部分被分类成两类之一。例如，参考图1，基于向量点积40,通过检测窗30重叠的图像帖部 分21被分类为对象或非对象。步骤54至步骤60能够重复，直到检测窗已经定位成重叠图像 帖的各部分。例如，在各实现中，步骤54至步骤60重复，直到检测窗20已经覆盖了图像帖10 的全部。本公开还构思了运样的实现方式：图像帖10的选定部分被评估，而不是整个图像帖 10。此外，在各个检测窗标度被实现的情况下，能够对于每个检测窗标度的检测窗重复步骤 54至步骤60。在方法50之前、期间和之后，可W提供额外的步骤，并且对于方法50的其它实 施例，所描述的一些步骤能够被取代或去除。
[002