确定高光谱数据处理中所用的跟踪对象的方法
【专利摘要】本发明公开一种确定跟踪对象的方法，所述跟踪对象具有高光谱和空间信息的已知数据库。所述方法：将标识符与所述跟踪对象关联起来；选择与所述跟踪对象的所述高光谱或空间信息相关的参数；检测所选参数中的偏差；将所述偏差与所述数据库进行比较；以及如果所述偏差超过预定阈值，则向所述跟踪对象分配新标识符，并且如果所述偏差未超过所述预定阈值，则继续跟踪所述跟踪对象。
【专利说明】确定高光谱数据处理中所用的跟踪对象的方法
【技术领域】
[0001]本发明涉及一种高光谱数据处理方法。
【背景技术】
[0002]Manolakis D.、Marden D.和 Shaw G.(林肯实验室期刊；第 14 卷；2003 年，第 79至82页)的“自动目标检测应用的高光谱图像处理(Hyperspectral Image Processingfor Automatic Target Detection Applications) ”对高光谱图像(HSI)的遥感系统环境进行了详细描述。成像传感器拥有记录高光谱能量测量值的像素。HSI装置将记录像素阵列中的能量，该装置将按照阵列的几何形状来捕集空间信息，并且通过测量每个像素中的若干相邻高光谱带来捕集光谱信息。对空间和光谱信息的进一步处理取决于遥感系统的具体应用。
[0003]经过验证，遥感的HSI已得到广泛应用，包括环境和土地使用监视、军事监视和勘察。HSI提供同时包括空间和光谱信息的图像数据。这些类型的信息可用于远程检测和跟踪任务。具体来说，若给定一组安装在无人飞行器(UAV)或地面站等平台上的视觉传感器，则可以获取HSI视频并且可以对光谱视频应用一组算法，以逐帧来检测并跟踪对象。
[0004]已开发出基于光谱的处理算法，以对类似的像素，即拥有类似光谱特性或标记的像素进行分类或分组。对于目标跟踪和检测应用而言，单以这种方式处理是经不起检验的，因为场景中目标的数量和大小通常过小，无法支持进行目标分类所必需的统计性质估计。然而，典型HSI的空间处理也会因收集HSI的典型系统的空间分辨率低下而受到损害。因此，在开发收集并处理HSI的遥感系统时，通常需要在光谱和空间分辨率之间进行权衡，以最大化对已解析和未解析目标的检测，其中已解析目标是被一个以上像素成像的对象。通过这种方式，光谱技术可以按照未解析目标的标记对其进行检测，而空间技术可以按照已解析目标的形状对其进行检测。
[0005]已开发出若干高光谱搜索算法，用于处理HSI以便进行目标检测。这些高光谱搜索算法通常被设计成利用图像中候选目标的统计特性，并且通常以公知的统计概念为基础。例如，马哈拉诺比斯距离(Mahalanobis distance)是类似性的统计性量度，已应用于高光谱像素标记中。马哈拉诺比斯距离通过测试签名与已知签名类别的平均和标准偏差来测量标记的类似性。
[0006]其他已知的技术包括光谱角映射(Spectral Angle Mapping:简称SAM)、光谱信息散度(Spectral Information Divergence:简称 SID)、零均值微分区(Zero MeanDifferential Area:简称 ZMDA)和巴特查里亚距离(Bhattacharyya Distance)。SAM 方法用于通过将每一光谱作为矢量处理并计算矢量之间的角度来将候选目标的标记与已知标记进行比较。由于SAM仅使用矢量方向而不使用矢量长度，因此该方法对光照的变化不敏感。SID方法通过测量光谱的概率离散或散度(Probabilistic discrepancy ordivergence)来将候选目标的标记与已知标记进行比较。ZMDA按照候选目标标记和已知标记的偏差来将其规范化(normalized)，并计算它们之间的差异，所述差异与两个矢量之间的区域相对应。巴特查里亚距离类似于马哈拉诺比斯距离，但用于测量一组候选目标标记与已知标记类别之间的距离。
【发明内容】
[0007]本发明涉及一种确定跟踪对象的方法。所述方法包括:使用图像传感器来跟踪对象，其中所述跟踪对象拥有已知的高光谱和空间信息数据库；将标识符与所述跟踪对象相关联；选择与所述跟踪对象的所述高光谱或空间信息相关联的至少一个参数；检测所选至少一个参数中的偏差；将所述偏差与所述数据库进行比较；以及如果所述偏差超过预定阈值，则将新标识符分配给所述跟踪对象；以及如果所述偏差未超过所述预定阈值，则继续跟踪所述跟踪对象。
[0008]作为优选，所述方法包括用所述至少一个参数的变化来更新所述数据库的步骤。
[0009]作为优选，所述方法包括将检测所选至少一个参数中的偏差的步骤标识为事件的步骤。
[0010]作为优选，其中所述至少一个参数包括以下其中一项:颜色、对比度、亮度、形状、速度、方向、大小、位置。
[0011]作为优选，其中在执行将所述偏差与所述数据库进行比较的步骤时，将使用以下其中一项:光谱角映射(SAM)、光谱信息散度(SID)、零均值微分区(ZMDA)、马哈拉诺比斯距离、巴特查里亚距离。
【专利附图】
【附图说明】
[0012]在附图中:
[0013]图1是根据本发明第一实施例的图解，其中示出了用于跟踪并确定HSI中观测对象的检测概率的方法。
[0014]图2是根据本发明一个实施例的图解，其中示出了用于选择高光谱搜索算法的方法。
[0015]图3是根据本发明一个实施例的图解，其中示出了用于选择高光谱搜索算法的公差的方法。
[0016]图4a示出了根据本发明一个实施例的高光谱成像系统已检测并跟踪到两个对象的场景。
[0017]图4b示出了根据本发明一个实施例的高光谱成像系统检测到跟踪对象中的变化的场景。
【具体实施方式】
[0018]在背景部分以及以下说明中，为说明起见，列出了许多具体细节，以便读者透彻地理解本说明书中所述的技术。但所属领域中的技术人员将清楚地了解，可以在不含这些具体细节的情况下实践这些示例性实施例。在其他情况下，结构和装置以图形方式示出，以便于说明示例性实施例。
[0019]示例性实施例将参考附图进行说明。这些附图示出了实施本说明书中所述模块、方法或计算机程序产品的具体实施例的一些细节。但是，附图不得视作施加任何限制。所述方法和计算机程序产品可以配备在任何机器可读介质上，以便完成操作。实施例可以使用现有计算机处理器实施，或者通过具备这种或其他功能的专用计算机处理器实施，或者通过硬连线系统实施。
[0020]如上所述，本说明书中所述的实施例可以包括计算机程序产品，所述计算机程序产品包括机器可读介质，以便执行或存储机器可执行的指令或数据结构。所述机器可读介质可以是任何可用介质，所述介质能够被通用或专用计算机或者配备处理器的其他机器访问。例如，此类机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储装置，或者其他任何介质，这些介质可用于执行或存储机器可执行指令或数据结构形式的目标程序代码，并且可以被通用或专用计算机或者配备处理器的其他机器访问。当通过网络或其他通信连接(硬连线、无线，或者硬连线或无线相结合)将信息传输或提供到机器中时，该机器将以适当方式将该连接视作机器可读介质。因此，任何此类连接均被适当地称作机器可读介质。上述内容的组合也可以包括在机器可读介质的范围内。例如，机器可执行指令包括致使通用计算机、专用计算机或专用处理机器执行特定功能或功能组的指令和数据。
[0021]本发明的实施例将在一般的方法步骤上下文中进行描述，这些方法步骤可以通过包括诸如程序代码等机器可执行指令的程序产品在一个实施例中执行，例如，采用由在网络环境中的机器执行的程序模块的形式。通常，程序模块包括拥有执行特定任务或执行特定抽象数据类型的技术功能的例程、程序、对象、部件、数据结构等。与数据结构相关的机器可执行指令以及程序模块代表执行本说明书中所公开方法的步骤的程序代码实例。这些可执行指令或相关数据结构的特定顺序代表执行这些步骤中所述功能的相应操作的实例。
[0022]实施例可以通过与配备处理器的一个或多个远程计算机的逻辑连接而在网络环境中实施。逻辑连接可以包括以示例但不限定的方式提出的局域网(LAN)和广域网(WAN)。此类网络环境是常见的办公室范围或企业范围计算机网络、内部网和互联网，可以使用各种不同的通信协议。所属领域的技术人员应认识到，这些网络计算环境通常包括许多类型的计算机系统配置，包括个人计算机、手持式装置、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、微型计算机、主计算机等。
[0023]各种实施例还可以在分布式计算环境中实施，在这种情况下，任务由通过通信网络连接(硬连线、无线连接，或者硬连线或无线连接的组合)的本地和远程处理装置执行。在分布式计算环境中，程序模块可以位于本地或远程存储装置中。
[0024]用于执行全部或部分示例性实施例的示例性系统可以包括计算机形式的通用计算装置，包括处理单元、系统存储器以及将包括系统存储器在内的各种系统部件连接到处理单元的系统总线。系统存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)。计算机还可以包括用于读取并写入磁硬盘的磁硬盘驱动器、用于读取或写入可移动磁盘的磁盘驱动器，以及用于读取或写入CD-ROM或其他光学介质等可移动光盘的光盘驱动器。驱动器及其相关机器可读介质为机器可执行指令、数据结构、程序模块和其他计算机数据提供非易失性存储器。
[0025]实施例中公开方法的技术效果包括提高高光谱标记匹配的效用和性能，尤其是在对象检测与跟踪方法与所述方法结合使用时。所述方法能够减少观测跟踪目标所必需的工时数。此外，所述方法能够改进与已跟踪对象相关的新对象的自主识别和关联，从而防止跟踪损失并通过免去人工操作员即时审查的需要而扩展自主跟踪范围。该技术可用于从光谱立方体阵列生成复合图像的任何系统。
[0026]图1是根据本发明第一实施例的图解，其中示出了用于跟踪并确定HSI中观测对象的检测概率的方法10。可包括单个图像或高光谱视频馈送的遥感HSI可以在12中输入到能够处理HSI的处理器。处理器接收12中的高光谱数据，并在14中将该数据集处理成一组高光谱图像帧，方法是执行一系列公知的图像处理步骤，这些步骤可以包括但不限于噪声过滤、角点检测、图像配准、单应(homography)和巾贞对巾贞对准。处理器随后可以在16中使用搜索算法来从高光谱图像帧的跟踪对象中选择候选目标，其中候选目标和跟踪对象是代表相关现实世界对象的高光谱图像的像素集。例如，在被设计成搜索运动目标的HSI收集系统中，候选目标可以是运动对象。在该实例中，处理器可以对确定HSI中的运动对象的最小判别式特性执行计算搜索。在另一实例中，HSI收集系统的用户可以在显示器上手动选择像素，并且确定相应的标记以进行进一步分析。
[0027]处理器随后可以在18中对HSI逐帧跟踪所选的候选目标。处理器可以在20中将所选候选目标与在28中存储在模板数据库中的已知目标的参考目标模板进行比较，其中参考目标模板是之前所建立的代表相关现实世界对象的高光谱图像的像素集。
[0028]在22中，处理器可以进行匹配比较。如果所选候选目标与28中的模板数据库的参考目标模板匹配，则处理器随后可以在24中确定所选候选目标与参考目标模板之间的匹配程度，以及所选候选目标已得到检测的概率。如果所选候选目标与模板不匹配，则处理器可以在30中将所选候选目标视作新参考目标模板，或者在32中将其丢弃。如果所选候选目标在30中被视作新模板，则处理器可以在28中将与新目标相关的数据添加到目标模板数据库中。
[0029]在24中确定匹配程度和检测概率后，处理器可以在26中概率与阈值进行比较。如果概率超过阈值，则处理器可以采取34中的操作。否则，处理器可以在18中继续跟踪所选的候选目标。
[0030]在28中从参考目标模板数据库确定具体参考目标模板，并且在20中与候选目标进行比较后，处理器可以在24中计算匹配程度和检测概率。匹配程序和检测概率可以测量所选候选目标与具体参考目标模板匹配的概率，方法是首先在24中将所选候选目标中出现的顶部光谱标记与界定参考目标模板的顶部光谱标记进行比较，然后在空间上对其进行匹配。
[0031]在24中计算匹配程序和检测概率的确定方法的处理器可以首先确定所选候选目标和参考目标模板中都出现的一组顶部标记。之后，处理器可以基于所选候选目标和参考目标模板中的像素数来计算这些顶部标记的分布。为此，第一步是确定参考目标模板中包括参考目标模板中特定百分比像素的标记组，并且确定参考目标模板中每一标记的百分t匕。在24中对方法进行计算的处理随后可以确定所选候选目标的标记分布。如果每一标记中的像素分布与参考目标模板中的标记分布类似，则对方法进行计算的处理器可以在考虑类似标记像素之间的最大和最小差异的情况下，计算每一标记的匹配程度。计算高光谱像素分布之间相似性的处理器可以采用一个或多个类似性量度来进行计算。类似性量度可以包括SAM、SID、ZMDA或巴特查里亚距离。处理器可以采用其他类似性量度，具体取决于实施方案。[0032]假定Si = (S1, s2,..., sp}是目标中的标记组,且Xij是高光谱帧的二维空间表示中的位置ij处的像素。像素Xij由亚像素(subpixel)阵列构成，使得Xij具有一组值xbl、Xb2>…，Xbq，其中q是高光谱图像中的光谱带数。因此，每一像素包括与用像素描绘的代表所述空间位置的每个光谱带相关的亚像素值。
[0033]对于在本说明书中为便于说明而称作Oi的所选候选目标，其在空间上与在本说明书为便于说明而称作T的参考模板目标匹配，如果目标T中R%的顶部标记集以λ的相似比例出现在对象Oi中，则还可以在光谱上以C的可靠性与目标T匹配。目标是在空间上和光谱上将对象与目标匹配，即，对象和目标的形状和标记类似。
[0034]假定Ni是对象Oi的像素数,而nn、ni2、"^nirCr < P)定义呈现类似标记s^sf.、sr的对象Oi中的像素集的基数或大小。如果对象Oi中的1?%的顶部光谱标记与对象Oj中R%的顶部标记匹配，则在24中对方法进行计算的处理器将这两个对象Oi和Oi视作光谱匹配。对于对象Oi和Oj的分别表不为{nn, ni2,..., nir}和Injl, nJ2,..., nJr}的所有选定数量的顶部标记，如果满足下式，则这两个对象Oi和Oi准确地λ匹配:
【权利要求】
1.一种用于确定跟踪对象的方法，所述方法包括: 使用图像传感器来跟踪对象，其中所述跟踪对象具有高光谱和空间信息的已知数据库； 将标识符与所述跟踪对象关联起来； 选择与所述跟踪对象的所述高光谱或空间信息相关的至少一个参数； 检测所选至少一个参数中的偏差； 将所述偏差与所述数据库进行比较；以及 如果所述偏差超过预定阈值，则向所述跟踪对象分配新标识符，并且如果所述偏差未超过所述预定阈值，则继续跟踪所述跟踪对象。
2.根据权利要求1所述的方法，所述方法包括用所述至少一个参数的变化来更新所述数据库的步骤。
3.根据权利要求1所述的方法，所述方法包括将检测所选至少一个参数中的偏差的步骤标识为事件的步骤。
4.根据权利要求1所述的方法，其中所述至少一个参数包括以下其中一项:颜色、对比度、亮度、形状、速度、方向、大小、位置。
5.根据权利要求1所述的方法，其中在执行将所述偏差与所述数据库进行比较的步骤时，将使用以下其中一项:光谱角映射(SAM)、光谱信息散度(SID)、零均值微分区(ZMDA)、马哈拉诺比斯距离、巴特查里亚距离。
【文档编号】G06F17/30GK103810226SQ201310359095
【公开日】2014年5月21日 申请日期:2013年8月16日 优先权日:2012年8月17日
【发明者】E.D.比勒, B.T.奥基平蒂, K.R.库琴斯基 申请人:通用电气航空系统有限责任公司